I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   39 ,   N o .   3 S e pt e m b e r   2 025 ,   pp .   2032 ~ 2042   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 39 .i 3 . pp 203 2 - 2042             2032     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   U n i M S E :   a   u n i f i e d   a p p r o a c h   f o r   m u l t i m o d a l   s e n t i m e n t   a n a l y s i l e v e r a g i n g   t h e   C M U - M OS I Da t a set       M i r i ya l a   Tr i n ath   Bas u ,   M a i n a k   S ah a ,   A r p i ta   G u p ta,   S u m i H a z r a ,   S h ah i n   F ati m a,     C h u n d ak ath   H o u s e   S u m al ak s h m i N al l ago p u   S h an v i N y al ap atl a   A n u s h   R e d d y   N al l am al l i   V e n k at  A b h i n av K o gan ti   H e m an th   D e p a rt m e n t   o C o m p u t e S c i e n c e   a n d   E n g i n e e ri n g ,   K o n e ru   L a k s h m a i a h   E d u c a t i o n   F o u n d a t i o n ,   H y d e ra b a d ,   I n d i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e D e c   7 2024   R e v i s e A pr   22 2025   A c c e pt e J ul   3 2025       T hi s   p a pe r   e xp l o r e s   m u l t i m o da l   s e nt i m e n t   a na l y s i s   us i ng   t he   C M U - M O S I   da t a s e t   t o   e n ha nc e   e m o t i o d e t e c t i o t h r o ug a   un i f i e a pp r o a c c a l l e d   U ni M S E .   T r a di t i o na l   s e nt i m e n t   a na l y s i s ,   o f t e n   r e l i a n t   o s i ng l e   m o da l i t i e s   s uc a s   t e x t ,   f a c e s   l i m i t a t i o ns   i c a p t ur i ng   c o m pl e e m o t i o na l   nua nc e s .   U ni M S E   o v e r c o m e s   t h e s e   c ha l l e ng e s   by   i nt e g r a t i ng   t e xt ,   a udi o ,   a nd   v i s ua l   c ue s ,   s i g ni f i c a n t l y   i m p r o v i ng   s e n t i m e nt   c l a s s i f i c a t i o a c c ur a c y .   T he   s t udy   r e v i e w s   ke y   da t a s e t s   a n c o m pa r e s   l e a d i ng   m o de l s ,   s ho w c a s i ng   t he   s t r e ng t h s   o f   m ul t i m o da l   a pp r o a c he s .   U ni M S E   l e v e r a g e s   t a s k   f o r m a l i z a t i o n,   pr e - t r a i n e d   m o da l i t y   f us i o n,   a nd   m ul t i m o da l   c o nt r a s t i v e   l e a r n i ng ,   a c hi e v i ng   s upe r i o r   p e r f o r m a nc e   o w i de l y   us e d   be nc hm a r ks   l i ke   M O S I   a nd   M O S E I .   A ddi t i o na l l y ,   t h e   p a pe r   a ddr e s s e s   t he   di f f i c ul t i e s   i e f f e c t i v e l y   f us i n g   di v e r s e   m o da l i t i e s   a nd   i nt e r pr e t i ng   no n - v e r ba l   s i g na l s ,   i nc l u di ng   s a r c a s m   a nd   t o ne .   F ut u r e   r e s e a r c h   d i r e c t i o ns   a r e   p r o po s e t o   f ur t he r   a dv a nc e   m ul t i m o da l   s e n t i m e nt   a na l y s i s ,   w i t h   po t e n t i a l   a pp l i c a t i o ns   i n   a r e a s   l i k e   s o c i a l   m e d i a   m o ni t o r i ng   a nd   m e nt a l   he a l t h   a s s e s s m e nt .   T h i s   w o r k   hi g hl i g ht s   U ni M S E ' s   c o nt r i bu t i o t o   de v e l o p i ng   m o r e   e m pa t he t i c   a r t i f i c i a l   i nt e l l i g e nc e   ( AI )   s y s t e m s   c a pa b l e   o f   und e r s t a ndi ng   c o m pl e e m o t i o na l   e x pr e s s i o ns .   Ke y w or d s :   D a t a   f us i o n   E m o t i o n   r e c o gn i t i o n   MOSI   S e n t i m e n t   a na l y z e   U n i M S E   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   M i r i y a l a   T r i na t B a s   D e pa rt m e n t   o f   Co m put e S c i e n c e   a nd  E n g i n e e r i ng,   K o n e r L a ks hm a i a E duc a t i o F o un d a t i o n   H y de r a b a d,   500075 ,   T e l a n ga na ,   I ndi a   E m a i l :   t m i ri i y a l a @ g m a i l . c o m       1.   I N TR O D U C TI O N   S e n t i m e n t   a na l y s i s ,   a l s o   k n o w n   a s   o pi n i o m i n i n g ,   i s   a   f un da m e nt a l   t a s k   i n a t u r a l   l a n gu a ge   pr o c e s s i n (N L P t ha t   a i m s   t o   i de nt i fy   a n c l a s s i fy   s ubj e c t i v e   i n f o r m a t i o n   s uc h   a s   o pi ni o n s ,   e m o t i o n s ,   a n d   a t t i t u de s   w i t hi n   t e xt   o r   s pe e c h   [1].   T r a d i t i o n a l   s e n t i m e n t   a n a l y s i s   m e t h o ds   ha v e   l a r ge l y   r e l i e o n   u ni m o da l   da t a ,   p r i m a ri l y   t e xt ua l   i n pu t ,   us i n g   l e xi c a l   f e a t u r e s   o r   de e l e a rni n g - b a s e a pp r o a c h e s .   W h i l e   t h e s e   t e c hn i q ue s   ha v e   pr o v e n   e ffe c t i ve   i n   m a n y   a ppl i c a t i o n s ,   t h e y   of t e n   f a i l   t o   c a pt u r e   t h e   n o n - v e r b a l   c ue s   t h a t   a r e   c r i t i c a l   t o   u nde r s t a n d i n g   t h e   f ul l   s pe c t r um   o f   h u m a e m o t i o [2] - [4 ].   In  r e a l - w o r l c o m m u ni c a t i o n ,   pe o pl e   e xp r e s s   e m o t i o n s   n o t   j us t   t hr o ug h   w o r ds ,   b ut   a l s o   t hr o ug i n t o na t i o n,   f a c i a l   e xp r e s s i o n s ,   a n d   ge s t u r e s .   T h e s e   c o m pl e m e n t a r y   s i gna l s   p r o v i de   e s s e n t i a l   c o n t e xt   t ha t   c a e i t h e r e i n f o r c e   o r   c o n t r a d i c t   s po ke l a ngua ge   [5] .   T o   a dd r e s s   t h i s   ga p ,   m ul t i m o da l   s e n t i m e nt   a na l y s i s   (M S A )   ha s   e m e r ge d   a s   a   r e s e a r c di r e c t i o t ha t   i nt e g r a t e s   m ul t i p l e   m o da l i t i e s   t y pi c a l l y   t e xt ,   a udi o ,   a nd   v i s ua l   t b e t t e r   c a pt u r e   t h e   e m o t i o n a l   i nt e n t   b e h i n d   h u m a e xp r e s s i o ns   [6].   T hi s   ha s   s i g n i f i c a n t   i m pl i c a t i o n s   f o r   a r e a s   s uc h   a s   e m o t i o n - a w a r e   v i r t u a l   a s s i s t a nt s ,   s o c i a l   r o b o t i c s ,   a n m e nt a l   h e a l t a n a l y s i s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       U ni MS E a   un i f i e d   appr o ac h   f or   m ul t i m od al   s e nt i m e n t   anal y s i s   l e v e r agi ng   t he     ( Mi r i y al T r i n at h   B as u )   2033   H ow e ve r ,   M S A   c o m e s   w i t s e v e r a l   c ha l l e nge s .   F i r s t ,   t he   h e t e r o ge n e o us   na t u r e   o f   m o da l i t i e s   i n t r o duc e s   di f f i c ul t i e s   i t e m po ra l   a l i g nm e n t ,   f e a t u r e   i nt e g r a t i o n,   a n d   s i g n a l   i m b a l a n c e   [ 7].   S e c o n d,   d a t a s e t s   of t e n   v a r y   i l a b e l i n g   g r a nul a ri t y   a n d   s e n t i m e n t   de f i n i t i o n s ,   m a ki n g   i t   d i f f i c ul t   t o   de v e l o m o de l s   t ha t   ge n e ra l i z e   w e l l   a c r o s s   t a s ks   [8] .   T hi r d ,   a m b i guo us   o c o n f l i c t i n g   e m o t i o na l   s i g n a l s ,   s uc a s   s a r c a s m   o s ub t l e   e xpr e s s i o n s ,   c a r e duc e   m o de l   r e l i a b i l i t y   [9].   A l t h o ug h   r e c e n t   m o de l s   ha v e   m a de   p r o gr e s s   us i n a t t e nt i o m e c h a ni s m s ,   t r a n s f o r m e r s ,   a nd  m e m o r y   n e t w o r ks ,   m a n y   r e m a i t a s k - s pe c i f i c   a n s t r ugg l e   w i t h   ge n e ra l i z a t i o a n d   r o b us t n e s s   [10] .   T o   o ve r c o m e   t h e s e   i s s ue s ,   t hi s   pa pe p r o po s e s   U n i M S E ,   a   u ni f i e f r a m e w o r f o r   m ul t i m o da l   s e n t i m e n t   a n a l y s i s .   U n i M S E   i nt r o duc e s   t a s f o r m a l i z a t i o t o   ha r m o n i z e   di v e r s e   l a b e l   s c h e m e s ,   e na b l i n g   c o n s i s t e n t   c r o s s - da t a s e t   t r a i n i ng  [11 ].   It   l e v e r a ge s   m o da l i t y - s p e c i f i c   e n c o de r s   fo r   f e a t u r e   e xt r a c t i o a n d   a ppl i e s   a   h y b r i d   f us i o s t r a t e gy   t ha t   c o m b i n e s   e a r l y   a n d   l a t e   f us i o n   f o f l e xi b l e   i nt e gra t i o n.   F u r t h e rm o r e ,   a n   i n t e r - m o da l   c o nt r a s t i v e   l e a rn i ng  o b j e c t i v e   i s   i n t r o duc e t o   a l i g m o da l i t y   r e p r e s e n t a t i o n s   a n d   e nha n c e   pe r f o r m a n c e   u nde a m b i guo us   o r   n o i s y   i nput   c o n di t i o n s   [12] [1 3].   T h e   ke y   c o n t r i b ut i o n s   o f   t hi s   p a pe r   a r e   t hr e e f o l d:     F i rs t ,   w e   p r o po s e   a   u ni f i e d   de e p   l e a rni ng - b a s e d   a rc hi t e c t u re   t ha t   s y s t e m a t i c a l l y   i nt e g ra t e s   t hre e   m o da l i t i e s .     S e c o n d,   w e   de v e l o a   c o n t ra s t i v e   l e a rni n g   m e c ha n i s m   t ha t   r e i n f o r c e s   m o da l i t y   a l i g nm e nt   w h i l e   i m p r o v i n g   ge n e ra l i z a b i l i t y .     T h i r d ,   w e   v a l i da t e   t h e   m o de l   a c r o s s   f o ur   b e n c h m a r k   da t a s e t s   CM U - M O S I,   CM U - M O S E I,   M E L D ,   a n d   IE M O CA P   d e m o n s t r a t i n g   s upe ri o r   pe r f o r m a n c e   i n   b o t h   a c c ur a c y   a n F 1 - s c o r e   c o m pa r e t o   s t a t e - of - t h e - a r t   m o de l s .   T h i s   r e s e a r c di r e c t l y   a dd r e s s e s   t h e   c ha l l e n ge s   o ut l i n e d   a b o ve   a n d   s h o w s   h o w   t h e   p r o po s e d   f r a m e w o r l e a ds   t o   m e a s u r a b l e   i m p r o v e m e n t s ,   a s   de m o n s t ra t e i t h e   r e s ul t s .   I a dd i t i o t o   i t s   e m p i r i c a l   s uc c e s s ,   U n i M S E   p r e s e nt s   o ppo r t u ni t i e s   fo r   f ut u r e   a pp l i c a t i o n   i e m o t i o n - a w a r e   s y s t e m s ,   c r o s s - l i n gua l   s e n t i m e n t   t a s ks ,   a n d   h u m a n - c o m put e r   i n t e r a c t i o do m a i n s .   F i gu r e   1   i l l us t ra t e s   t h e   c o n c e pt ua l   f r a m e w o r o U n i M S E ,   hi g hl i g ht i ng  t h e   i n t e g ra t i o o f   t e xt ,   a ud i o ,   a n d   v i s ua l   m o da l i t i e s   t o   p r o v i de   a   c o m p r e h e n s i v e   unde r s t a n d i n o f   s e n t i m e n t   t hr o ug h   m ul t i m o da l   d a t a   f us i o n.   T h e   r e s t   o f   t h e   pa pe r   i s   s t r uc t u r e a s   f o l l o w s :   s e c t i o n   r e v i e w s   r e l a t e w o r k,   s e c t i o p r e s e n t s   t h e   m e t h o do l o g y ,   s e c t i o n   d i s c us s e s   r e s ul t s   a n d   a na l y s i s ,   a n s e c t i o 5   c o n c l ude s   t h e   pa pe w i t ke y   i n s i g ht s   a n d   f ut u re   di r e c t i o n s .           F i gu r e   1 .   T h e   i m a ge   r e p r e s e n t s   a   c o n c e pt ua l   f r a m e w o r f o r   s e n t i m e n t   a na l y s i s   us i n m u l t i m o da l   d a t a ,   i n c o r po r a t i ng  t e xt ,   a udi o ,   a n d   v i s ua l   i n f o rm a t i o t o   c o m p r e he n s i v e l y   a s s e s s   s e n t i m e nt       2.   R ELA TED   WO R K   MSA   ha s   b e c o m e   i n c r e a s i ngl y   i m po rt a nt   due   t o   i t s   a b i l i t y   t o   i nt e gra t e   v e r b a l   a n d   n o n - v e r b a l   c ue s   fo r   b e t t e e m o t i o r e c o gn i t i o n.   T r a d i t i o n a l   s e nt i m e nt   a na l y s i s   t e c hni que s   w e r e   p r i m a r i l y   t e xt - b a s e [14] ,   a nd  w h i l e   e f fe c t i ve   fo r   e xt ra c t i ng  l e xi c a l   s e nt i m e nt ,   t h e y   of t e n   o v e r l o o k e c r i t i c a l   p a r a l i ngui s t i c   e l e m e n t s   s uc a s   vo c a l   t o n e ,   f a c i a l   e xp r e s s i o n,   a n d   ge s t u r e .   T h e s e   s h o r t c o m i n gs   m o t i v a t e r e s e a r c h e r s   t o   e xpl o r e   m u l t i m o da l   a pp r o a c h e s   t h a t   f us e   t e xt ,   a udi o ,   a nd  v i s ua l   da t a   f o r   i m p r o v e s e nt i m e nt   c l a s s i f i c a t i o n .   T o   t h i s   e n d ,   s e ve r a l   m o de l s   ha v e   e m e r ge w i t v a r y i n f us i o n   s t ra t e gi e s   a n d   a r c hi t e c t u r e   de s i g n s .   L i e t   al .   [1 5]  i n t r o duc e t h e   a s pe c t - b a s e a t t e n t i o n   a n d   f us i o n   n e t w o r (A B A F N ),   e m p l oy i n a t t e nt i o n   m e c h a ni s m s   t o   h i g h l i g h t   s a l i e nt   c o n t e xt u a l   a n d   v i s ua l   f e a t ur e s   f o r   i m p r o v e c l a s s i f i c a t i o n.   Y e t   al .   [1 6]  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   39 ,   N o .   3 ,   S e pt e m b e r   20 25 203 2 - 2042   2034   pr o po s e t h e   i m a ge - t a rge t   m a t c h i n g   (I T M )   n e t w o r k,   w h i c a l i g n s   i m a ge   a n d   t e x t   f e a t u r e s   t hr o ug a   c o a r s e - to - f i n e   m e c ha n i s m   a n d   ut i l i z e s   t r a n s f o r m e r   l a y e r s   f o r   de e m ul t i m o da l   f us i o n .   O t h e s t udi e s   ha v e   e xpl o r e m e m o r y   n e t w o r ks   a nd  g ra p h - b a s e m e t h o ds .   T h e   m ul t i - i n t e r a c t i v e   m e m o r y   n e t w o r (M IM N )   by   X e t   al .   [17]   u t i l i z e s   dua l   m e m o r y   m o dul e s   t o   m o de l   i nt ra - m o da l   a n d   c r o s s - m o d a l   i n t e ra c t i o n s .   Z h a o   a n Y a n g   [18]   de v e l o p e t h e   f us i o n   w i t h   G CN   a nd  S E - R e s N e X t   (F G S N )   f r a m e w o r k,   l e v e r a g i n g   g ra p c o n v o l ut i o na l   n e t w o r ks   a l o ngs i de   a t t e nt i o m e c ha n i s m s   t o   f us e   t e xt u a l   a n v i s ua l   r e p r e s e n t a t i o n s .   S i m i l a r l y ,   W a n e t   al .   [1 9]  p r o po s e t h e   A M CG m o de l ,   w h i c h   i n c o r po ra t e s   a s pe c t - l e v e l   c o - a t t e nt i o n   a n d   ga t e m e c h a ni s m s   f o r   f i n e - g ra i n e d   s e nt i m e nt   de t e c t i o n.   T r a n s f o r m e r - b a s e m o de l s   h a v e   a l s o   g a i n e po pul a ri t y .   T h e   hi e ra r c h i c a l   i nt e r a c t i v e   m ul t i m o da l   t r a n s f o r m e r   (H IM T [20]   a n d   t h e   hi e r a r c h i c a l   c r o s s - m o da l   t ra n s f o r m e (H CT [2 1]  a do pt   s e l f - a t t e nt i o a nd  a s pe c t - a w a r e   l a y e r s   t o   c a pt u r e   i nt r i c a t e   i n t e r de pe nde n c i e s   a c r o s s   m o da l i t i e s .   W h i l e   t h e s e   m o de l s   de m o n s t r a t e   i m p r o v e a c c ur a c y ,   t h e y   t y pi c a l l y   r e qui r e   e xt e n s i v e   c o m p ut a t i o na l   r e s o ur c e s   a n d   o f t e n   l a c r o b us t n e s s   i n o i s y   o r   a m b i guo us   d a t a   e n v i r o n m e nt s .   D e s pi t e   t h e s e   a dv a n c e m e n t s ,   s e v e r a l   l i m i t a t i o n s   r e m a i n.   M o s t   e xi s t i n g   m o de l s   a r e   de s i g n e d   w i t h   da t a s e t - s pe c i f i c   a s s um pt i o n s   a n s t r ugg l e   t o   ge n e ra l i z e   a c ro s s   di v e r s e   da t a s e t s   d ue   t o   i n c o n s i s t e nt   l a b e l i n g   s c h e m e s .   A ddi t i o n a l l y ,   a l i g n i n g   i n f o r m a t i o n   f r o m   h e t e r o ge ne o us   m o da l i t i e s   r e m a i n s   a   c ha l l e n ge ,   p a r t i c ul a rl y   w h e n   c o n f l i c t i n s i g n a l s   a r i s e ,   s uc a s   a   po s i t i v e   ut t e ra n c e   de l i v e r e w i t h   a   s a r c a s t i c   t o n e .   F u rt h e rm o r e ,   m a n y   of   t h e s e   m o de l s   r e l y   o n   s t a t i c   o r   u n i m o da l - f o c us e f us i on   m e c ha n i s m s   t ha t   a r e   i n a de qu a t e   f o r   h a ndl i n e m o t i o n   a m b i gu i t y   a nd  s ub t l e   n o n - v e r b a l   c ue s   [22] [23] .   In  r e s po n s e   t o   t h e s e   c h a l l e n ge s ,   t h e   p r o po s e U n i M S E   f r a m e w o r i n t r o duc e s   a   u ni f i e a n d   f l e xi b l e   a pp r o a c t o   m u l t i m o da l   s e n t i m e n t   a n a l y s i s .   It   i n c o r po ra t e s   t a s k   f o r m a l i z a t i o n   t o   s t a nda rdi z e   l a b e l   r e p r e s e n t a t i o n s   a c r o s s   da t a s e t s ,   e na b l i n g   c o n s i s t e n t   t ra i ni ng  a n d   e v a l ua t i o n.   T h e   m o de l   e m pl oy s   a   h y b r i f us i o n   s t r a t e gy   t h a t   c o m b i n e s   e a r l y   a n l a t e   f us i o n   t e c hni que s ,   a l l o w i n g   i t   t o   a d a pt i v e l y   i nt e g r a t e   i n f o r m a t i o f r o m   m u l t i pl e   m o da l i t i e s   a t   di f f e r e n t   s t a ge s   o f   pr o c e s s i n g.   A ddi t i o n a l l y ,   i n t e r - m o da l   c o nt r a s t i v e   l e a rni n g   i s   a ppl i e t o   a l i g n   s e m a nt i c a l l y   s i m i l a r   f e a t u r e s   w h i l e   m i n i m i z i n m o da l i t y   n o i s e ,   t h e r e by   i m p r o v i n s e nt i m e n t   di s c r i m i na t i o e v e n   u n de r   a m b i gui t y .   T h e s e   i nn o v a t i o n s   po s i t i o n   U n i M S E   a s   a   s c a l a b l e   a nd  r o b us t   s o l ut i o n,   c a pa b l e   o f   o ut pe r f o r m i ng  e xi s t i n g   m o de l s   i n   b o t a c c u r a c y   a n d   ge n e ra l i z a b i l i t y .         3.   M ET H O D   T h e   p r o po s e U n i M S E   f r a m e w o r a i m s   t o   e nha n c e   t h e   r o b us t n e s s   a n d   ge n e r a l i z a b i l i t y   of   MSA   b y   i n t r o duc i n a   u ni f i e l a b e l   f o r m a l i z a t i o n   s t r a t e gy ,   m o da l i t y - s pe c i f i c   f e a t ur e   e xt ra c t i o n,   h y b r i f us i o n   m e c h a ni s m s ,   a n d   i n t e r - m o da l   c o n t ra s t i v e   l e a rn i ng.   T hi s   s e c t i o n   p r o v i de s   a   de t a i l e e xp l a na t i o o f   t h e   da t a s e t s ,   p r e p r o c e s s i n g   pi pe l i n e ,   a r c h i t e c t ura l   c o m po n e nt s ,   a n d   t ra i ni n g   s e t up .       3. 1 .     D atas e ts   T o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   U n i M S E   a c r o s s   di v e r s e   m ul t i m o da l   s c e n a ri o s ,   w e   s e l e c t e f o ur   b e n c h m a r d a t a s e t s :   CM U - M O S I,   CM U - M O S E I,   M E L D ,   a n I E M O CA P .   T h e s e   da t a s e t s   c ov e r   a   b r o a d   s pe c t r um   o f   c o n t e xt s   f r o m   Y o uT ub e   m o n o l o gue s   t o   t e l e v i s i o n   di a l o gue s   a nd  dy a di c   c o n v e r s a t i o n s   o ff e r i n v a r y i n g   d e g r e e s   o f   s e n t i m e nt   g ra n ul a r i t y ,   e m o t i o na l   i nt e n s i t y ,   a nd   m o da l i t y   c o m b i n a t i o n s .   A l l   f o ur  d a t a s e t s   i n c l ude   s y n c hr o n i z e t e xt ,   a ud i o ,   a nd   v i s ua l   m o da l i t i e s .   A   de t a i l e d   o ve r v i e w   of   t h e s e   da t a s e t s ,   i n c l udi ng   t h e i s i z e ,   m o da l i t y   di s t ri b ut i o n,   s o ur c e   pl a t f o r m s ,   a n d   l a n gu a ge ,   i s   p r e s e n t e d   i T a b l e   1 .   T h e   di v e r s i t y   of   t h e s e   b e n c h m a r ks   e n s u r e s   a   t h o r o ugh  e v a l ua t i o o f   U n i M S E ’s   ge n e r a l i z a t i o c a p a b i l i t y   a c r o s s   di f f e r e n t   do m a i n s   a n e m o t i o n a l   c o nt e xt s .       T a b l e   1 .   O v e r v i e w   of   po pul a m u l t i m o da l   s e n t i m e n t   da t a s e t s   D a t a s e t   Y e a r   M o d a l i t i e s   S i z e   S o u r c e   L a n g u a g e   IE M O C A P   [2 4 ]   2008   A u d i o ,   v i d e o ,   t e x t   1 , 0 3 9   s e g m e n t s   S p e e c h   L a b ,   U S C   E n g l i s h   D E A P   [2 5 ]   2011   E E G   s i g n a l s   3 2   p a rt i c i p a n t s   Q u e e n   M a r y   U n i v .   E n g l i s h   M O S I   [2 6 ]   2016   A u d i o ,   v i d e o ,   t e x t   2 , 1 9 9   s e g m e n t s   Y o u T u b e   E n g l i s h   M O S E [2 7 ]   2018   A u d i o ,   v i d e o ,   t e x t   2 3 , 4 5 3   s e g m e n t s   Y o u T u b e   E n g l i s h   M E L D   [2 8 ]   2019   A u d i o ,   v i d e o ,   t e x t   1 3 , 0 0 0   s e g m e n t s   F ri e n d s   T V   S e ri e s   E n g l i s h   M u l t i - Z O L   [2 9 ]   2019   T e x t ,   v i d e o   5 , 2 8 8   re v i e w s   Z O L . c o m   Ch i n e s e   CH - S I M S   [3 0 ]   2020   A u d i o ,   v i d e o ,   t e x t   2 , 2 8 1   c l i p s   Y o u T u b e   Ch i n e s e   M O S E A S   [3 1 ]   2021   A u d i o ,   v i d e o ,   t e x t   4 0 , 0 0 0   s e g m e n t s   Y o u T u b e   S p a n i s h ,   F r e n c h   M A L E - C A L L   [3 2 ]   2021   A u d i o ,   v i d e o ,   t e x t   2 9 1   v i d e o s   Y o u T u b e   E n g l i s h   B - T A S A   [3 3 ]   2021   T e x t ,   v i d e o   4 , 7 0 0   t w e e t s   T w i t t e r   E n g l i s h   F A CT IF Y   [3 4 ]   2022   Im a g e ,   t e x t   5 0 , 0 0 0   t w e e t s   T w i t t e r   E n g l i s h   M E M O T IO N   [3 5 ]   2022   Im a g e ,   t e x t   1 0 , 0 0 0   m e m e s   Re d d i t ,   F a c e b o o k   E n g l i s h       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       U ni MS E a   un i f i e d   appr o ac h   f or   m ul t i m od al   s e nt i m e n t   anal y s i s   l e v e r agi ng   t he     ( Mi r i y al T r i n at h   B as u )   2035   IE M O CA P   [ 24]   i s   a   m ul t i m o da l   da t a s e t   f e a t u r i ng  1 , 03 c o n v e r s a t i o na l   s e gm e n t s   o v e r   12   h o u r s   o v i de o   w i t h   v a r i o us   e m o t i o n s   e xp r e s s e t hr o ug h   a ud i o   a n v i s ua l   da t a .   D E A P   [ 25]  f o c us e s   o n   p h y s i o l o gi c a l   s i g n a l s   f r o m   E E G   d a t a   r e c o r de a t   51 2   H z   f r o m   p a r t i c i pa nt s   ra t i n g   v i de o   s t i m ul i   o v a l e n c e   a n d   a r o us a l .   M O S [26]   c o n s i s t s   o f   93  Y o uT ub e   v i de o s   w i t s e n t i m e n t   i n t e n s i t y   a nn o t a t i o n s   a c r o s s   2, 1 99   o pi n i o s e gm e n t s .   M O S E I   [27]   e xp a n ds   o t h i s   w i t o v e r   3, 228   v i d e os   s e gm e nt e i n t o   23, 4 53   pa rt s   a c r o s s   m u l t i pl e   m o da l i t i e s .   M E L D   [28]  i n c l ude s   v i de o   c l i ps   f r o m   t h e   F ri e nds   T V   s e r i e s   a nn o t a t e f o r   s e v e n   e m o t i o n s   a n d   s e n t i m e n t .   M u l t i - Z O L   [29]  c o nt a i n s   m o b i l e   ph o n e   r e v i e w s   ra t e o n   a   s e n t i m e n t   s c a l e .   CH - S IM S   [30]  i s   a   M a n da ri n   da t a s e t   f o c us e o n   f a c i a l   a n v o i c e   da t a   w i t s e nt i m e nt   i nt e n s i t y   a nn o t a t i o n s .   M O S E A   [3 1]  c o ve r s   m ul t i l i n gu a l   s e n t e n c e   f r a gm e n t s   w i t s e nt i m e nt   r a t i n gs .   M A L E - CA L L   [32]   c o n s i s t s   o f   Y o uT ube   v i de os   i n   En gl i s a c r o s s   m ul t i p l e   m o da l i t i e s .   B - T A S A   [33]   i n c l ude s   t w e e t s   c o m b i n i ng   v i de o   a n d   t e xt   f o r   s o c i a l   m e d i a   s e n t i m e n t   a n a l y s i s .   F A CT IF Y   [34]   i s   a i m e d   a t   f a ke   n e w s   d e t e c t i o n   w i t i m a ge - t e xt   d a t a   po i n t s   c a t e go ri z e i n t o   s uppo r t   o r e f ut a t i o c l a i m s .   F i n a l l y ,   M E M O T IO N   [35]   p r o v i de s   m e m e s   a nn o t a t e d   f o s e n t i m e nt   c a t e go r i e s   l i ke   h u m o a nd   s a r c a s m .   T h e s e   da t a s e t s   a r e   c r uc i a l   f o r   a dv a n c i n g   m ul t i m o da l   s e n t i m e n t   a n a l y s i s   r e s e a r c by   off e r i ng  d i v e r s e   s o ur c e s   of   da t a   t h a t   e nha n c e   s e nt i m e nt   de t e c t i o a c r o s s   v a ri o us   c o n t e xt s.     3. 2 .     O v e r v i e w   o th e   U n i M S fr am e w o r k     T h e   U ni M S E   f ra m e w o r i s   b ui l t   t o   u ni fy   t h e   l e a rni n g   pr o c e s s   a c r o s s   s e n t i m e n t   a n d   e m o t i o n   c l a s s i f i c a t i o n   t a s ks   w hi l e   a dd r e s s i n c h a l l e n ge s   s uc a s   m o da l i t y   m i s a l i g nm e n t ,   l a b e l   i n c o n s i s t e n c y ,   a n d   s e n t i m e n t   a m b i gui t y   [36].   I t   i n c o r po ra t e s   f o ur   ke y   c o m po n e nt s :   m o da l i t y - s pe c i f i c   f e a t ur e   e x t r a c t i o n ,   u n i f i e t a s f o r m a l i z a t i o n,   a   h y b r i f us i o s t r a t e gy ,   a n i n t e r - m o da l   c o n t ra s t i v e   l e a rni n g .   T h e   s y s t e m   p r o c e s s e s   r a w   t e xt ,   a udi o ,   a n d   v i s ua l   d a t a   us i ng   de di c a t e f e a t u r e   e xt ra c t o r s ,   i n c l udi ng  L S T M - b a s e m o de l s   fo r   a udi o   (A - L S T M )   a nd  v i s ua l   (V - L S T M s t r e a m s ,   a n d   a   T 5   e n c o de r   f o r   t e xt u a l   i nput .   T h e s e   e xt r a c t e e m b e ddi n gs   a r e   a l i g n e d   a nd  f e i nt o   a   m ul t i m o da l   f us i o l a y e r   w i t h i a   t r a n s f o r m e r - b a s e e n c o de r - de c o d e r   s t r uc t u r e .   A   c o nt r a s t i v e   l e a rni n g   l o s s   i s   a p pl i e t o   e n s u r e   s e m a nt i c a l l y   s i m i l a r   e m b e ddi n gs   a c r o s s   m o da l i t i e s   a r e   b r o ught   c l o s e r ,   w h i l e   d i s s i m i l a o n e s   a r e   pus h e d   a p a r t .   T h i s   m e c h a ni s m   i m p r o v e s   r e p r e s e n t a t i o r o b us t n e s s ,   e s pe c i a l l y   i n   e m o t i o n a l l y   a m b i guo us   s c e n a ri o s   [37 ].   F i gu r e   i l l us t ra t e s   t h e   c o n c e pt ua l   a r c hi t e c t u r e   o f   U n i M S E ,   s h o w i n t h e   e n d - to - e n f l o w   f r o m   m o da l i t y - s p e c i f i c   i n pu t s   t o   f us e e m b e ddi n gs   a n d   t a s k - s pe c i f i c   o ut put s .   T h e   f ra m e w o r s up po r t s   b o t MSA   a n e m o t i o n   r e c o gni t i o n   i c o n v e r s a t i o n   t hr o ug h   a   s ha r e d   a r c hi t e c t u r e   a nd  de c o di ng  l a y e r .             F i gu r e   2 .   Co n c e pt ua l   f ra m e w o r o f   t h e   p r o po s e U n i M S E   m o de l ,   i n t e g ra t i n g   t e xt ,   a ud i o ,   a nd  v i s ua l   m o da l i t i e s   w i t f us i o n   a nd  c o nt r a s t i v e   l e a rn i ng  f o r   s e n t i m e n t   a n d   e m o t i o c l a s s i f i c a t i o n       3. 3 .     D ata   p r e p r o c e s s i n g   E a c h   m o da l i t y   un de r w e n t   p r e p r o c e s s i n t a i l o r e t o   i t s   na t u r e .   T e xt   da t a   w a s   c l e a n e t hr o ug l o w e r c a s i n g,   s t o pw o r r e m o v a l ,   a nd   pu n c t u a t i o n o rm a l i z a t i o n .   U t t e r a n c e s   w e r e   t o ke ni z e d   us i n g   a   p r e - t r a i n e d   T 5 - c o m pa t i b l e   t o ke n i z e r   t o   r e t a i c o n t e xt u a l   r i c hne s s .   F o r   a ud i o ,   a c o us t i c   f e a t ur e s   s uc a s   m e l - f r e que n c y   c e ps t r a l   c o e f f i c i e n t s   (M F CCs ) ,   pi t c h ,   a n e n e rg y   w e r e   e xt r a c t e us i ng  t h e   o pe n S M IL E   t o o l ki t .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   39 ,   N o .   3 ,   S e pt e m b e r   20 25 203 2 - 2042   2036   T h e s e   f e a t ur e s   w e r e   n o rm a l i z e a nd  t e m po ra l l y   a l i g n e w i t h   c o rr e s po n d i n g   v i s ua l   f r a m e s .   V i s ua l   pr e p r o c e s s i n i n v o l v e s a m pl i ng   f r a m e s   f r o m   v i de o s   a t   5 10   F P S   a nd   e xt r a c t i n g   f a c i a l   l a ndm a r ks   a n d   e xpr e s s i o n s   us i n g   p r e - t r a i n e CN N s .   A l l   m o da l i t i e s   w e r e   a l i g n e us i n g   t i m e s t a m p   i n f o r m a t i o t o   e n s u r e   c o n s i s t e n t   c r o s s - m o da l   r e p r e s e n t a t i o n.     3. 4 .     Tas k   fo r m al i z at i o n   G i v e n   t h a t   s e nt i m e nt   da t a s e t s   d i f f e r   i n   a nn o t a t i o n   s c h e m e s   ra n gi ng  f r o m   b i n a r y   s e n t i m e n t   l a b e l s   t f i n e - g r a i n e c o nt i n uo us   s c o r e s   a   t a s k   f o r m a l i z a t i o s t e p   w a s   r e qui r e d .   F o da t a s e t s   l i ke   CM U - M O S a nd  M O S E I,   w h i c h   c o n t a i s e nt i m e n t   s c o r e s   f r o m   - t o   + 3 ,   v a l ue s   w e r e   di s c r e t i z e d   i nt o   t hr e e   c l a s s e s :   n e ga t i v e ,   n e ut ra l ,   a nd   po s i t i v e ,   us i n g   e m p i r i c a l l y   de f i n e t hr e s h o l ds .   F o r   d a t a s e t s   w i t p r e - e xi s t i n g   c a t e go r i c a l   l a b e l s ,   a   di r e c t   m a pp i n g   t o   t hi s   u ni f i e t hr e e - c l a s s   f ra m e w o r w a s   a ppl i e d.   T hi s   f o r m a l i z a t i o a l l o w e U n i M S E   t o   l e a rn   a   c o n s i s t e nt   s e nt i m e n t   c l a s s i f i c a t i o n   t a s a c r o s s   h e t e ro ge n e o us   da t a s e t s ,   f a c i l i t a t i ng  t r a n s f e r   l e a rni n g   a n s t a n d a r d i z e d   e v a l ua t i o n.       3. 5 .     F e atu r e   e x tr ac ti o n   U n i M S E   e m p l oy s   m o da l i t y - s p e c i f i c   n e u r a l   e n c o de r s   t o   e xt ra c t   di s c r i m i na t i v e   r e pr e s e nt a t i o n s .   T e xt   f e a t ur e s   a r e   e n c o de us i n g   a   p r e - t ra i n e T 5   e n c o de r ,   c a p t u ri n g   b o t s e m a nt i c   a nd   c o n t e xt u a l   de pe n de n c i e s .   A udi o   f e a t ur e s ,   w h i c h   e x h i b i t   s t r o n g   t e m po r a l   c ha r a c t e r i s t i c s ,   a r e   p r o c e s s e us i n b i di r e c t i o na l   l o n g   s h o r t - t e rm   m e m o r y   n e t w o r ks   t o   m o de l   pa t t e rn s   s uc a s   i nt o na t i o a n d   rh y t hm   [38] .   V i s u a l   f e a t u r e s   a r e   e x t r a c t e us i n c o n v o l ut i o na l   n e u r a l   n e t w o r ks ,   f o c us i n o n   f a c i a l   e xpr e s s i o n s   a n m i c r o - ge s t u r e s .   A l l   e xt ra c t e e m b e ddi n gs   a r e   p r o j e c t e i nt o   a   s ha r e l a t e nt   s p a c e   t o   s uppo rt   e f fe c t i ve   m ul t i m o da l   f us i o n .       3. 6 .     H yb r i d   fu s i o n   s tr ate gy   T o   a dd r e s s   t h e   l i m i t a t i o n s   o f   pur e l y   e a r l y   o r   l a t e   f us i o n ,   U n i M S E   i nt e g r a t e s   a   h y b r i f us i o m e c h a ni s m .   I t h e   e a rl y   s t a ge ,   f e a t ur e   v e c t o r s   f r o m   e a c h   m o da l i t y   a r e   c o n c a t e na t e a n pa s s e t hr o ug h   a   s e l f - a t t e n t i o n   l a y e r   t o   c a pt u r e   f i n e - g ra i n e d   i nt e r - m o da l   de p e n de n c i e s .   T h i s   i s   f o l l o w e by   a   de c i s i o n - l e v e l   f us i o n ,   w h e r e   i n t e rm e di a t e   p r e di c t i o n s   f r o m   e a c h   m o da l i t y   s t r e a m   a r e   r e w e i ght e us i n g   a   l e a rna b l e   ga t i n g   m e c h a ni s m ,   a l l o w i n g   t h e   m o de l   t o   dy n a m i c a l l y   e m p h a s i z e   o r   de - e m p ha s i z e   m o da l i t y   c o n t r i b ut i o n s   b a s e o c o n t e xt   [39] .   T h i s   s t r a t e g y   e nh a n c e s   i n t e r p r e t a b i l i t y   a n r o b us t n e s s ,   e s pe c i a l l y   i n   t h e   p r e s e n c e   of   n o i s y   o r   m i s s i n g   m o da l i t i e s .       3. 7 .     I n te r - m o d al   c o n tr as ti v e   l e a r n i n g   T o   f urt h e e nha n c e   c r o s s - m o da l   a l i g nm e n t   a n d   m i t i g a t e   r e p re s e n t a t i o n o i s e ,   U n i M S E   i n c o r po r a t e s   i n t e r - m o da l   c o nt r a s t i v e   l e a rn i ng.   T hi s   t ra i ni n g   o bj e c t i v e   e n c o ur a ge s   e m b e ddi n gs   f r o m   di f f e r e n t   m o da l i t i e s   b ut   s i m i l a s e nt i m e n t   c l a s s e s   t o   c o n v e r ge   i n   t h e   s h a r e d   s pa c e   w h i l e   pus h i n g   a pa rt   d i s s i m i l a r   s a m p l e s .   T h e   c o n t ra s t i v e   l o s s   i s   c o m put e us i n g   c o s i n e   s i m i l a ri t y   a n a   t e m pe ra t u r e - s c a l e S o f t M a x   f un c t i o n :         =   l o g ex p ( s i m ( , ) / ) ex p ( s i m ( ( , ) / )  = 1     (1)     In  (1) ,       de n o t e s   t h e   c o nt r a s t i v e   l o s s ,   w h i c i s   m i ni m i z e d   du r i n g   t ra i ni n g   t o   i m p r o v e   i n t e r - m o da l   c o n s i s t e n c y .   T h e   t e r m   si m ( , r e pr e s e nt s   t h e   c o s i n e   s i m i l a r i t y   b e t w e e n   m o da l i t y   e m b e ddi n gs          b e l o n gi n g   t o   t h e   s a m e   s e n t i m e n t   c l a s s .   T h e   de n o m i n a t o i n c l ude s   a l l   ,   r e p r e s e n t i n g   o t h e e m b e d d i ng s   i t he   b a t c h ,   u s e d   t o   no r m a l i z e   t he   s i m i l a ri t y   s c o re .   T he   v a r i a b l e   τ   i s   a   t e m p e ra t u re   s c a l i ng   p a ra m e t e t h a t   c o nt ro l s   t he   s ha rp ne s s   o f   t he   S o f t M a x   d i s t ri b u t i o n,   a nd   N   i s   t he   nu m b e o f   s a m p l e s   i t he   b a t c [ 4 0 ] .       3. 8 .     Tr ai n i n g   c o n fi gu r ati o n   U n i M S E   i s   t ra i n e us i ng  a   c o m po s i t e   l o s s   f un c t i o t ha t   i n c l ude s   c a t e go ri c a l   c r o s s - e n t r o py   f o r   s e n t i m e n t   c l a s s i f i c a t i o n   a nd  c o n t ra s t i v e   l o s s   fo r   i nt e r - m o da l   a l i g nm e n t .   T h e   m o de l   i s   o pt i m i z e us i n t h e   A da m   o pt i m i z e w i t a   l e a rn i ng   r a t e   o f   1e - 4   a nd   a   b a t c s i z e   o f   32.   E a rl y   s t o ppi n g   b a s e o v a l i d a t i o l o s s   i s   us e t o   p r e v e n t   o v e r f i t t i n g .   A l l   e xpe ri m e nt s   a r e   c o n duc t e us i n g   t h e   P y T o r c f r a m e w o r o n   s y s t e m s   e qui ppe w i t h   N V ID IA   G P U s .   H y pe r pa r a m e t e r s   a r e   t u n e v i a   g ri s e a r c h ,   us i ng  v a l i da t i o a c c u r a c y   a n d     F1 - s c o r e   a s   t h e   m a i e v a l ua t i o c ri t e r i a .         4.   R ES U LTS   A N D   D I S C U S S I O N   T o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   t h e   p r o po s e U n i M S E   f ra m e w o r k,   w e   c o n duc t e e xt e n s i v e   e xpe r i m e nt s   o n   f o ur   b e n c hm a r d a t a s e t s :   CM U - M O S I,   CM U - M O S E I,   M E L D ,   a nd  I E M O CA P .   E a c h   d a t a s e t   pr e s e nt s   u ni que   c h a l l e n ge s   ra n g i n f r o m   s e nt i m e nt   g ra n u l a ri t y   a n d   e m o t i o na l   a m b i gui t y   t o   m o da l i t y   n o i s e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       U ni MS E a   un i f i e d   appr o ac h   f or   m ul t i m od al   s e nt i m e n t   anal y s i s   l e v e r agi ng   t he     ( Mi r i y al T r i n at h   B as u )   2037   a n c o n v e r s a t i o na l   v a r i a b i l i t y   m a k i n g   t h e m   i de a l   f o r   a s s e s s i n t h e   r o b us t n e s s   a n ge n e r a l i z a b i l i t y   of  m ul t i m o da l   m o de l s .   E v a l ua t i o w a s   pe r f o r m e us i n g   w i de l y   a c c e pt e m e t r i c s ,   i n c l ud i n g   m e a a b s o l ut e   e rr o (M A E ),   c o rr e l a t i o n   ( Co rr ) ,   b i n a r y   a n 7 - c l a s s   a c c ura c y   (A CC - 2,   A CC - 7) ,   a n m a c r o   F 1 - s c o r e   fo r   CM U - M O S a n d   M O S E I ,   a n d   a c c u r a c y   (A CC)  a n d   w e i ght e F 1 - s c o r e   (W F 1)  f o r   M E L D   a n d   I E M O CA P .   A c r o s s   a l l   f o ur   da t a s e t s ,   U ni M S E   c o n s i s t e n t l y   o ut pe r f o r m e s t a t e - of - t h e - a r t   m o de l s .   O CM U - M O S I,   U ni M S E   a c h i e v e a   M A E   o f   0. 691 ,   Co rr  o f   0. 839 ,   A CC - o f   85. 48% ,   a n d   a n   F 1 - s c o r e   o f   85. 90% ,   s ur p a s s i n s t r o n g   b a s e l i n e s   s uc h   a s   M A G - B E R T ,   S e l f - M M ,   a nd  M u l T .   O CM U - M O S E I,   w hi c i n c l ude s   m o r e   t ha 23 , 000   o pi n i o s e gm e n t s ,   U n i M S E   a t t a i n e a   M A E   o f   0. 523 ,   Co rr   o f   0. 773 ,   a n d   a   7 - c l a s s   a c c u r a c y   of   85. 86% ,   w i t h   a n   F 1 - s c o r e   o f   87. 97%,   s e t t i ng  a   n e w   b e n c hm a r k   i m ul t i m o da l   s e nt i m e nt   p r e d i c t i o n.   I t h e   e m o t i o n - o ri e nt e d   M E L D   a nd   I E M O CA P   d a t a s e t s ,   w hi c e m p ha s i z e   c o n v e r s a t i o na l   c o nt e x t ,   U ni M S E   a l s o   de m o ns t ra t e d   s i g ni f i c a nt   i m p ro v e m e nt s .   F o M E L D ,   t he   m o de l   a c hi e v e d   a n   a c c u ra c y   o f   65 . 51 %   a nd   W F 1   o f   6 5 . 9 1 % ,   o u t pe r f o rm i ng   p r e v i o us   m o de l s   s uc a s   M M IM   a nd   M M G CN .   O I E M O CA P ,   U ni M S E   r e a c he d   7 0 . 6 6%   a c c u ra c y   a nd   a   W F 1   o f   70 . 46 % ,   o u t pe r f o rm i ng   m o de l s   i n c l ud i ng   D i a l o g X L   a nd   C O S M IC .   T h e s e   r e s ul t s   h i g h l i g h t   t h e   e ff e c t i v e n e s s   o f   U n i M S E ’s   h y b r i f us i o s t ra t e gy   a n d   i n t e r - m o da l   c o n t ra s t i v e   l e a rni n g .   U nl i ke   t r a d i t i o na l   e a rl y   o r   l a t e   f us i o n   m e t h o ds ,   U n i M S E   dy n a m i c a l l y   a da pt s   t h c o n t ri b ut i o o f   e a c h   m o da l i t y ,   a l l o w i n g   i t   t o   b e t t e r   c a p t ur e   t h e   n ua n c e s   o f   s e n t i m e n t   e xp r e s s i o n .   T h e   c o n t ra s t i v e   l o s s ,   i n   p a r t i c ul a r,   w a s   b e n e f i c i a l   f o r   e m o t i o na l l y   a m b i guo us   s a m pl e s s uc h   a s   s a r c a s t i c   o c o n f l i c t i ng  u t t e r a n c e s   by   e nh a n c i n g   a l i g nm e n t   b e t w e e n   s e m a n t i c a l l y   s i m i l a s i g n a l s   a c r o s s   m o da l i t i e s .     A   c o m pa r a t i v e   pe r f o r m a n c e   a na l y s i s   w i t l e a d i n g   m o de l s   i s   p r e s e nt e i T a b l e   2 .   T h e   t a b l e   s u m m a r i z e s   U n i M S E ’s   c o n s i s t e n t   i m p r o v e m e n t s   a c r o s s   a l l   t a s ks ,   w i t e s pe c i a l l y   n o t a b l e   ga i n s   i n   m a c r o   F 1 - s c o r e   a   c r i t i c a l   m e t r i c   f o r   e v a l ua t i ng  pe r f o r m a n c e   o n   i m b a l a n c e da t a s e t s   s uc a s   M E L D .       T a b l e   2 .   Co m p a r a t i v e   pe r f o r m a n c e   o f   U n i M S E   a nd  e xi s t i n g   s t a t e - of - t h e - a rt   m o de l s   a c r o s s   CM U - M O S I,   CM U - M O S E I,   M E L D ,   a nd  I E M O CA P   da t a s e t s   M e t h o d   M O S I   ( M A E↓ )   M O S I   ( C o r r )   M O S I   ( A C C - 2↑)   M O S I   ( A C C - 7↑)   M O S ( F 1 )   M O S E I   ( M A E↓ )   M O S E ( C o r r )   M O S E ( A C C - 2↑)   M O S E ( A C C - 7↑)   M O S E I   ( F 1 )   M EL D   ( A C C )   M EL D   ( W F 1 )   I EM O C A P   ( A C C )   I EM O C A P   ( W F 1 )   LM F   0 . 9 1 7   0 . 6 5 5   8 2 . 5   -   -   0 . 6 3 3   0 . 7 0 3   82   -   -   -   -   -   -   TF M   0 . 9 0 7   0 . 6 9 6   8 4 . 3   -   -   0 . 6 1 4   0 . 7 2 3   8 3 . 7   -   -   -   -   -   -   M F M   0 . 8 3 6   0 . 7 1 4   8 4 . 4   -   -   0 . 5 6 1   0 . 7 3 3   8 4 . 2   -   -   -   -   -   -   M TA G   0 . 9 0 6   0 . 7 1 1   8 4 . 3   -   -   0 . 6 5 1   0 . 7 3 5   8 3 . 7   -   -   -   -   -   -   S P C   0 . 8 1 2   0 . 7 1 4   8 4 . 1   -   -   0 . 5 1   0 . 7 4   8 4 . 6   -   -   -   -   -   -   I C C N   0 . 7 3 8   0 . 7 3 1   8 4 . 2   -   -   0 . 5 4 4   0 . 7 5 6   8 4 . 2   -   -   -   -   -   -   M u l T   0 . 8 7 1   0 . 7 1 4   8 4 . 4   -   -   0 . 5 6 5   0 . 7 5   8 5 . 1   -   -   -   -   -   -   M S A   0 . 8 0 4   0 . 7 4 4   8 5 . 0 2   8 4 . 8 3   8 5 . 0 7   0 . 5 4 4   0 . 7 5 6   8 2 . 9   8 4 . 9 9   8 3 . 4 6   -   -   -   -   S e l f - MM   0 . 7 1 3   0 . 7 5 1   8 4 . 1 4   8 5 . 2 3   8 4 . 1 2   0 . 5 1   0 . 7 4 8   8 4 . 1 5   8 5 . 9 9   8 4 . 2 7   -   -   -   -   M A G - B ER T   0 . 7 1 2   0 . 7 6 1   8 4 . 2 5   8 5 . 1 2   8 4 . 9 3   0 . 5 1 7   0 . 7 5 4   8 2 . 7 2   8 4 . 9 9   8 3 . 4 6   -   -   -   -   M M I M   -   -   -   -   -   -   -   -   -   -   5 9 . 4 6   5 9 . 4 9   6 5 . 1   6 5 . 3 8   D i a l o g G C N   -   -   -   -   -   -   -   -   -   -   -   -   6 4 . 1 8   6 3 . 5 4   D i a l o g X L   -   -   -   -   -   -   -   -   -   -   -   -   6 6 . 3 5   6 6 . 5 3   EM R G - D i a l o g G C N   -   -   -   -   -   -   -   -   -   -   -   -   6 4 . 6   6 4 . 7 4   C O G - B A R T   -   -   -   -   -   -   -   -   -   -   -   -   6 5 . 6 3   6 6 . 1   P s y c h o l o g i s t   -   -   -   -   -   -   -   -   -   -   -   -   6 5 . 7 2   6 6 . 2 2   C O S M I C   -   -   -   -   -   -   -   -   -   -   -   -   6 6 . 2 4   6 6 . 3 9   TO D K A V   -   -   -   -   -   -   -   -   -   -   -   -   6 4 . 1 2   6 4 . 4   M M G C N   -   -   -   -   -   -   -   -   -   -   -   -   6 5 . 6 6   6 5 . 9 1   MM - D F N   -   -   -   -   -   -   -   -   -   -   -   -   6 4 . 4 4   6 4 . 7 2   U n i M S E   0 . 6 9 1   0 . 8 3 9   8 5 . 4 8   8 5 . 5 6   8 5 . 9   0 . 5 2 3   0 . 7 7 3   8 4 . 2 3   8 5 . 8 6   8 7 . 9 7   6 5 . 5 1   6 5 . 9 1   7 0 . 6 6   7 0 . 4 6       D e s pi t e   i t s   s t r e n gt h s ,   U n i M S E   h a s   l i m i t a t i o n s .   T h e   m o de l ’s   pe r f o r m a n c e   de gra de d   s l i g h t l y   i n   s c e n a r i o s   i n v o l v i n e xt r e m e   m o da l i t y   i m b a l a n c e ,   s uc h   a s   m i s s i n v i s u a l   c ue s   o r   n o i s y   a udi o   i n put .   T h i s   s ugge s t s   a   n e e f o r   f u r t h e r   r o b us t n e s s   t e c hn i q ue s ,   s uc h   a s   m o da l i t y   dr o po ut   o u n c e rt a i n t y - a w a r e   f us i o n .   A ddi t i o n a l l y ,   t h e   m o de l ’s   de c i s i o n - m a ki ng  p r o c e s s   r e m a i n s   a   b l a c b o x;   w h i l e   a t t e nt i o n   m e c ha n i s m s   i m p r o v e   a da pt i v i t y ,   a   de e pe r   u n de r s t a ndi n g   o f   w h y   c e r t a i m o da l i t i e s   a r e   p ri o ri t i z e r e m a i n s   u n e xp l o r e d.   F ut u r e   w o r c o ul i n c o r po r a t e   e xpl a i na b i l i t y   t o o l s ,   s uc h   a s   s a l i e n c y   m a ppi n g   o r   a t t e nt i o n   v i s ua l i z a t i o n,   t o   i m p r o v e   i n t e r p r e t a b i l i t y   f o r   de pl o y m e n t   i h i g h - s t a ke s   s e t t i ngs .   O v e r a l l ,   t h e   e xpe r i m e nt a l   r e s ul t s   c o n f i r m   t h a t   U n i M S E   s uc c e s s f ul l y   a dd r e s s e s   c o r e   c h a l l e nge s   i n   m ul t i m o da l   s e n t i m e n t   a na l y s i s .   It s   s t r o ng  pe r f o r m a n c e ,   ge n e ra l i z a b i l i t y ,   a nd   r e s i l i e nc e   t o   a m b i g u i t y   po s i t i o n   i t   a s   a   v i a b l e   s o l u t i o f o r e a l - w o rl a pp l i c a t i o n s ,   i n c l u d i ng   e m o t i o n - a w a re   a rt i f i c i a l   i nt e l l i ge n c e   ( AI )   s y s t e m s ,   hu m a n - c o m pu t e i nt e ra c t i o n,   a nd   s o c i a l   m e d i a   a na l y s i s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   39 ,   N o .   3 ,   S e pt e m b e r   20 25 203 2 - 2042   2038   5.   C O N C LU S I O N     T h i s   p a pe r   i nt r o duc e U n i M S E ,   a   u n i f i e f ra m e w o r f or   m u l t i m o da l   s e n t i m e nt   a na l y s i s   t h a t   i n t e g r a t e s   t e xt ,   a ud i o ,   a nd  v i s ua l   m o da l i t i e s   t hr o ug h   t a s k   fo r m a l i z a t i o n ,   h y b r i f us i o n ,   a n i n t e r - m o da l   c o n t ra s t i v e   l e a rn i ng.   T h e   m o de l   w a s   de v e l o p e t o   o v e r c o m e   c o m m o n   l i m i t a t i o n s   i t h e   f i e l d,   s uc a s   i n c o n s i s t e n t   t a s de f i n i t i o n s ,   w e a m o da l i t y   a l i g n m e nt ,   a n r e duc e pe r f o r m a n c e   i a m b i guo us   e m o t i o n a l   c o n t e xt s .   T o   a dd r e s s   t h e s e ,   U ni M S E   i nt r o duc e a   u n i f i e l a b e l   m a ppi ng   s c h e m e ,   l e v e r a ge d   m o da l i t y - s pe c i f i e n c o de r s ,   a n d   e m pl o y e a   du a l - s t a ge   f us i o s t ra t e gy   s uppo r t e by   a   c o n t r a s t i v e   l e a rn i ng  o b j e c t i v e .   E xt e n s i v e   e xpe r i m e n t s   o f o ur  b e n c hm a r k   d a t a s e t s   CM U - M O S I,   CM U - M O S E I,   M E L D ,   a nd   IE M O CA P   de m o n s t ra t e d   t h a t   U n i M S E   o ut pe r f o r m s   e xi s t i n g   m o de l s   i b o t a c c ura c y   a nd   F 1 - s c o r e .   It s   c o n s i s t e n t   pe r f o r m a n c e   a c r o s s   da t a s e t s   v a l i da t e s   i t s   ge n e r a l i z a b i l i t y   a n e f f e c t i v e n e s s   i n   ha n d l i n g   di v e r s e   s e n t i m e n t   a n d   e m o t i o c l a s s i f i c a t i o n   s c e na r i o s .   P a r t i c ul a rl y ,   t h e   h y b r i f us i o n   m e c ha n i s m   a l l o w e fo r   d y n a m i c   m o da l i t y   w e i ght i n g ,   w hi l e   c o n t ra s t i v e   l e a rni n i m p r ov e r o b us t n e s s   i c a s e s   of   s e n t i m e nt   a m b i gui t y   o r   m o da l i t y   c o n f l i c t .   T h e   r e s ul t s   o b t a i n e i t h i s   s t udy   v a l i da t e   t h e   o bj e c t i v e s   out l i n e d   i t h e   i nt r o duc t i o n.   T h e   u n i f i e t a s f o r m a l i z a t i o n ,   h y b r i f us i o n   s t ra t e gy ,   a n c o nt r a s t i v e   l e a rni n c o m po n e n t s   p r o po s e i n   U ni M S E   w e r e   e m pi r i c a l l y   s h o w n   t o   a d d r e s s   t h e   ke y   c h a l l e n ge s   o f   m u l t i m o da l   s e nt i m e nt   a na l y s i s ,   i n c l udi ng  c r o s s - m o da l   a l i g n m e n t ,   t a s i n c o n s i s t e n c y ,   a n d   e m o t i o a m b i gui t y .   T h i s   di r e c t   a l i g nm e n t   b e t w e e n   t h e   r e s e a r c h   go a l s   a nd  t h e   a c hi e v e o ut c o m e s   c o n f i rm s   t h e   m e t h o do l o gi c a l   s o und n e s s   a nd   p r a c t i c a l   v a l ue   o f   t h e   a pp r o a c h .   F urt h e rm o r e ,   t h e   a da p t a b i l i t y   of   U n i M S E   a c r o s s   da t a s e t s   s u gge s t s   pr o m i s i n g   po t e n t i a l   f o r   f ut u r e   a pp l i c a t i o n s   i n   e m o t i o n - a w a r e   s y s t e m s ,   s o c i a l   m e di a   m o ni t o ri n g ,   hum a n - c o m put e r   i n t e ra c t i o n,   a n d   m ul t i l i n g ua l   s e n t i m e n t   e n v i r o n m e n t s .   N e ve r t h e l e s s ,   s e v e r a l   l i m i t a t i o n s   r e m a i n.   T h e   m o de l ’s   pe rfo r m a n c e   m a y   be   a ff e c t e i n   c a s e s   o s e v e r e l y   c o r rupt e o m i s s i n m o da l i t i e s ,   a n d   i t s   i nt e rna l   de c i s i o n - m a ki ng  p r o c e s s   l a c ks   f ul l   i n t e r p r e t a b i l i t y .   F ut u r e   w o r m a y   foc us   o n   i nt e g r a t i n g   a d a pt i v e   m o da l i t y   dr o po ut ,   a t t e n t i o n   v i s ua l i z a t i o n ,   o r   e xpl a i na b i l i t y   m o dul e s .   A dd i t i o n a l l y ,   e xt e n d i n g   t h e   f r a m e w o r t o   s uppo r t   m ul t i l i n gu a l   s e nt i m e nt   r e c o gn i t i o n   a n d   do m a i n - s pe c i f i c   t uni n (e . g. ,   m e di c a l ,   e duc a t i o na l ,   o l o w - r e s o ur c e   l a n g ua ge s p r e s e nt s   v a l ua b l e   di r e c t i o n s   f o r   f ur t h e r e s e a r c h .       A U TH O R   C O N TR I B U TI O N S   S TA T EM EN T   T h i s   j o urna l   us e s   t h e   Co n t ri b ut o R o l e s   T a xo n o m y   (CR e di T t o   r e c o gn i z e   i n d i v i dua l   a ut h o c o n t ri b ut i o n s ,   r e duc e   a ut h o r s hi p   di s pu t e s ,   a n d   f a c i l i t a t e   c o l l a bo r a t i o n.     N am e   o A u th o r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   M i r i y a l a   T r i na t B a s u                               M a i na S a h a                               A r p i t a   G up t a                               S um i t   H a z ra                               S ha h i F a t i m a                               Chu n da ka t h   H o us e   S um a l a ks hm i                               N a l l a go pu  S ha n v i                               N y a l a pa t l a   A n us R e dd y                               N a l l a m a l l i   V e nka t   A b h i n a v                               K o ga n t i   H e m a n t h                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r m a l   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e s o u rc e s   D   :   D a t a   Cu ra t i o n   O   :   W ri t i n g   -   O ri g i n a l   D ra ft   E   :   W ri t i n g   -   Re v i e w   &   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e r v i s i o n   P     P ro j e c t   a d m i n i s t ra t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         C O N F LI C O F   I N T ER ES S TA T EM EN T   T h e   a u t h o r s   de c l a r e   t ha t   t h e y   ha v e   n o   k n o w n   f i na n c i a l ,   pe r s o n a l ,   o r   p r o f e s s i o n a l   c o n f l i c t s   o f   i n t e r e s t   t h a t   c o ul ha v e   a ppe a r e t o   i n f l ue n c e   t h e   w o r r e po r t e d   i t hi s   pa pe r.   A ut h o r s   s t a t e   n o   c o n f l i c t   o f   i n t e r e s t .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       U ni MS E a   un i f i e d   appr o ac h   f or   m ul t i m od al   s e nt i m e n t   anal y s i s   l e v e r agi ng   t he     ( Mi r i y al T r i n at h   B as u )   2039   D A TA   A V A I LA B I LI T Y     T h e   d a t a   t h a t   s u ppo r t   t h e   f i n di ngs   o f   t h i s   s t udy   a r e   pub l i c l y   a v a i l a b l e   f r o m   t hi r d - p a rt y   s o ur c e s .   S pe c i f i c a l l y ,   da t a s e t s   s uc h   a s   CM U - M O S I,   CM U - M O S E I,   M E L D ,   a n d   IE M O CA P   w e r e   o b t a i n e d   f r o m   t h e i r e s pe c t i v e   off i c i a l   r e po s i t o r i e s .   N o   n e w   da t a   w e r e   c r e a t e o r   c o l l e c t e by   t h e   a ut h o r s   f o r   t h i s   s t udy .   A l l   a n a l y s i s   w a s   c o n duc t e us i n g   t h e s e   o pe n l y   a c c e s s i b l e   r e s o urc e s .       R EF ER EN C ES   [1 ]   R.   S .   K u m a r,   A .   F .   S a v i o u D e v a ra j ,   M .   Ra j e s w a ri ,   E .   G .   J u l i e ,   Y .   H .   Ro b i n s o n ,   a n d   V .   S h a n m u g a n a t h a n ,   E x p l o ra t i o n   o s e n t i m e n t   a n a l y s i s   a n d   l e g i t i m a t e   a rt i s t ry   fo r   o p i n i o n   m i n i n g ,   M u l t i m e d i a   T o o l s   a n d   A p p l i c a t i o n s ,   v o l .   8 1 ,   n o .   9 ,   p p .   1 1 9 8 9 1 2 0 0 4 ,   J a n .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 020 - 10480 - w.   [2 ]   R.   D a s   a n d   T .   D .   S i n g h ,   M u l t i m o d a l   s e n t i m e n t   a n a l y s i s :   a   s u r v e y   o f   m e t h o d s ,   t r e n d s ,   a n d   c h a l l e n g e s ,   A C M   Co m p u t i n g   S u r v e y s v o l .   5 5 ,   n o .   1 3 ,   p p .   1 3 8 ,   J u l .   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 5 8 6 0 7 5 .   [3 ]   T .   Z h u ,   L .   L i ,   J .   Y a n g ,   S .   Z h a o ,   H .   L i u ,   a n d   J .   Q i a n ,   M u l t i m o d a l   s e n t i m e n t   a n a l y s i s   w i t h   i m a g e - t e x t   i n t e ra c t i o n   n e t w o rk ,   IE E E   T r a n s a c t i o n s   o n   M u l t i m e d i a ,   v o l .   2 5 ,   p p .   3 3 7 5 3 3 8 5 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / T M M . 2 0 2 2 . 3 1 6 0 0 6 0 .   [4 ]   A .   A n i k i n ,   T h e   l i n k   b e t w e e n   a u d i t o r y   s a l i e n c e   a n d   e m o t i o n   i n t e n s i t y ,   C o g n i t i o n   a n d   E m o t i o n ,   v o l .   3 4 ,   n o .   6 ,   p p .   1 2 4 6 1 2 5 9 ,   M a r.   2 0 2 0 ,   d o i :   1 0 . 1 0 8 0 / 0 2 6 9 9 9 3 1 . 2 0 2 0 . 1 7 3 6 9 9 2 .   [5 ]   M .   G .   H u d d a r,   S .   S .   S a n n a k k i ,   a n d   V .   S .   Ra j p u ro h i t ,   M u l t i - l e v e l   fe a t u re   o p t i m i z a t i o n   a n d   m u l t i m o d a l   c o n t e x t u a l   f u s i o n   fo r   s e n t i m e n t   a n a l y s i s   a n d   e m o t i o n   c l a s s i fi c a t i o n ,   Co m p u t a t i o n a l   In t e l l i g e n c e ,   v o l .   3 6 ,   n o .   2 ,   p p .   8 6 1 8 8 1 ,   J a n .   2 0 2 0 ,   d o i :   1 0 . 1 1 1 1 / c o i n . 1 2 2 7 4 .   [6 ]   S .   M .   K i m   a n d   E .   H o v y ,   D e t e r m i n i n g   t h e   s e n t i m e n t   o f   o p i n i o n s ,   i n   C O L ING   2 0 0 4   -   P r o c e e d i n g s   o f   t h e   2 0 t h   I n t e r n a t i o n a l   Co n f e r e n c e   o n   Co m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 0 4 ,   p p .   1 3 6 7 - e s ,   d o i :   1 0 . 3 1 1 5 / 1 2 2 0 3 5 5 . 1 2 2 0 5 5 5 .   [7 ]   E .   Ca m b ri a ,   B .   S c h u l l e r,   Y .   X i a ,   a n d   C.   H a v a s i ,   N e w   a v e n u e s   i n   o p i n i o n   m i n i n g   a n d   s e n t i m e n t   a n a l y s i s ,   IE E E   In t e l l i g e n t   S y s t e m s ,   v o l .   2 8 ,   n o .   2 ,   p p .   1 5 2 1 ,   M a r.   2 0 1 3 ,   d o i :   1 0 . 1 1 0 9 / M IS . 2 0 1 3 . 3 0 .   [8 ]   P .   L i u ,   W .   Y u a n ,   J .   F u ,   Z .   J i a n g ,   H .   H a y a s h i ,   a n d   G .   N e u b i g ,   P r e - t ra i n ,   p ro m p t ,   a n d   p r e d i c t :   a   s y s t e m a t i c   s u rv e y   o p r o m p t i n g   m e t h o d s   i n   n a t u ra l   l a n g u a g e   p ro c e s s i n g ,   A CM   Co m p u t i n g   S u r v e y s ,   v o l .   5 5 ,   n o .   9 ,   p p .   1 3 5 ,   J a n .   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 5 6 0 8 1 5 .   [9 ]   N .   L i ,   C .   Y .   Ch o w ,   a n d   J .   D .   Z h a n g ,   S E M L :   s e m i - s u p e r v i s e d   m u l t i - t a s k   l e a rn i n g   fra m e w o rk   fo r   a s p e c t - b a s e d   s e n t i m e n t   a n a l y s i s ,   IE E E   A c c e s s ,   v o l .   8 ,   p p .   1 8 9 2 8 7 1 8 9 2 9 7 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C CE S S . 2 0 2 0 . 3 0 3 1 6 6 5 .   [1 0 ]   H .   H .   D o ,   P .   W .   C .   P ra s a d ,   A .   M a a g ,   a n d   A .   A l s a d o o n ,   D e e p   l e a r n i n g   fo a s p e c t - b a s e d   s e n t i m e n t   a n a l y s i s :   a   c o m p a ra t i v e   re v i e w ,   E x p e r t   S y s t e m s   wi t h   A p p l i c a t i o n s ,   v o l .   1 1 8 ,   p p .   2 7 2 2 9 9 ,   M a r.   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 8 . 1 0 . 0 0 3 .   [1 1 ]   J .   L i   e t   a l . ,   H y b ri d   m u l t i m o d a l   fe a t u r e   e x t ra c t i o n ,   m i n i n g   a n d   f u s i o n   f o s e n t i m e n t   a n a l y s i s ,   i n   M u S e   2 0 2 2   -   P r o c e e d i n g s   o f   t h e   3 r d   In t e r n a t i o n a l   M u l t i m o d a l   S e n t i m e n t   A n a l y s i s   W o r k s h o p   a n d   Ch a l l e n g e ,   O c t .   2 0 2 2 ,   p p .   8 1 8 8 ,   d o i :   1 0 . 1 1 4 5 / 3 5 5 1 8 7 6 . 3 5 5 4 8 0 9 .   [1 2 ]   A .   F a v a ro   e t   a l . ,   A   m u l t i - m o d a l   a rra y   o f   i n t e r p r e t a b l e   fe a t u re s   t o   e v a l u a t e   l a n g u a g e   a n d   s p e e c h   p a t t e rn s   i n   d i ffe r e n t   n e u r o l o g i c a l   d i s o rd e r s ,   i n   2 0 2 2   IE E E   S p o k e n   L a n g u a g e   T e c h n o l o g y   W o r k s h o p ,   S L T   2 0 2 2   -   P r o c e e d i n g s ,   J a n .   2 0 2 3 ,   p p .   5 3 2 5 3 9 ,   d o i :   1 0 . 1 1 0 9 / S L T 5 4 8 9 2 . 2 0 2 3 . 1 0 0 2 2 4 3 5 .   [1 3 ]   V .   Ru p a p a ra ,   F .   Ru s t a m ,   H .   F .   S h a h z a d ,   A .   M e h m o o d ,   I.   A s h ra f ,   a n d   G .   S .   Ch o i ,   I m p a c t   o f   S M O T E   o n   i m b a l a n c e d   t e x t   fe a t u re s   fo r   t o x i c   c o m m e n t s   c l a s s i f i c a t i o n   u s i n g   R V V C   m o d e l ,   I E E E   A c c e s s ,   v o l .   9 ,   p p .   7 8 6 2 1 7 8 6 3 4 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A CCE S S . 2 0 2 1 . 3 0 8 3 6 3 8 .   [1 4 ]   M .   S o l e y m a n i ,   D .   G a rc i a ,   B .   J o u ,   B .   S c h u l l e r ,   S .   F .   C h a n g ,   a n d   M .   P a n t i c ,   A   s u rv e y   o f   m u l t i m o d a l   s e n t i m e n t   a n a l y s i s ,   I m a g e   a n d   V i s i o n   Co m p u t i n g ,   v o l .   6 5 ,   p p .   3 1 4 ,   S e p .   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . i m a v i s . 2 0 1 7 . 0 8 . 0 0 3 .   [1 5 ]   L .   L .   L i u ,   Y .   Y a n g ,   a n d   J .   W a n g ,   A B A F N :   a s p e c t - b a s e d   s e n t i m e n t   a n a l y s i s   m o d e l   fo m u l t i m o d a l ,   Co m p u t e r   E n g i n e e r i n g   a n d   A p p l i c a t i o n s   J o u r n a l   ( Co m E n g A p p ) ,   v o l .   5 8 ,   n o .   1 0 ,   p p .   1 9 3 1 9 9 ,   2 0 2 2 .   [1 6 ]   J .   Y u ,   J .   W a n g ,   R.   X i a ,   a n d   J .   L i ,   T a rg e t e d   m u l t i m o d a l   s e n t i m e n t   c l a s s i f i c a t i o n   b a s e d   o n   c o a r s e - to - f i n e   g ra i n e d   i m a g e - t a r g e t   m a t c h i n g ,   i n   IJ CA I   In t e r n a t i o n a l   J o i n t   Co n f e r e n c e   o n   A r t i f i c i a l   In t e l l i g e n c e ,   J u l .   2 0 2 2 ,   p p .   4 4 8 2 4 4 8 8 ,   d o i :   1 0 . 2 4 9 6 3 / i j c a i . 2 0 2 2 / 6 2 2 .   [1 7 ]   N .   X u ,   W .   M a o ,   a n d   G .   C h e n ,   M u l t i - i n t e ra c t i v e   m e m o ry   n e t w o rk   fo a s p e c t   b a s e d   m u l t i m o d a l   s e n t i m e n t   a n a l y s i s ,   3 3 r d   A A A I   Co n f e r e n c e   o n   A r t i f i c i a l   In t e l l i g e n c e ,   A A A I   2 0 1 9 ,   3 1 s t   In n o v a t i v e   A p p l i c a t i o n s   o f   A r t i f i c i a l   In t e l l i g e n c e   Co n f e r e n c e ,   IA A 2 0 19  a n d   t h e   9 t h   A A A S y m p o s i u m   o n   E d u c a t i o n a l   A d v a n c e s   i n   A r t i f i c i a l   In t e l l i g e n c e ,   E A A 2 0 1 9 ,   v o l .   3 3 ,   n o .   0 1 ,   p p .   3 7 1 3 7 8 ,   J u l .   2 0 1 9 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 3 i 0 1 . 3 3 0 1 3 7 1 .   [1 8 ]   J .   Z h a o   a n d   F .   Y a n g ,   F u s i o n   w i t h   G CN   a n d   S E - Re s N e X t   n e t w o rk   fo a s p e c t   b a s e d   m u l t i m o d a l   s e n t i m e n t   a n a l y s i s ,   i n   IT N E C   2023  -   IE E E   6 t h   In f o r m a t i o n   T e c h n o l o g y ,   Ne t w o r k i n g ,   E l e c t r o n i c   a n d   A u t o m a t i o n   Co n t r o l   Co n f e r e n c e ,   F e b .   2 0 2 3 ,   p p .   3 3 6 3 4 0 ,   d o i :   1 0 . 1 1 0 9 / IT N E C5 6 2 9 1 . 2 0 2 3 . 1 0 0 8 2 6 1 8 .   [1 9 ]   S .   J .   W a n g ,   G .   Y .   Ca i ,   G .   R .   L v ,   a n d   W .   B .   T a n g ,   A s p e c t - l e v e l   m u l t i m o d a l   c o - a t t e n t i o n   g ra p h   c o n v o l u t i o n a l   s e n t i m e n t   a n a l y s i s   m o d e l ,   In t e r n a t i o n a l   J o u r n a l   o f   Im a g e   a n d   G r a p h i c s ,   p p .   1 1 6 ,   2 0 2 3 .   [2 0 ]   J .   Y u ,   K .   Ch e n ,   a n d   R.   X i a ,   H i e ra r c h i c a l   i n t e ra c t i v e   m u l t i m o d a l   t ra n s f o r m e fo r   a s p e c t - b a s e d   m u l t i m o d a l   s e n t i m e n t   a n a l y s i s ,   IE E E   T r a n s a c t i o n s   o n   A f f e c t i v e   Co m p u t i n g ,   v o l .   1 4 ,   n o .   3 ,   p p .   1 9 6 6 1 9 7 8 ,   J u l .   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / T A F F C . 2 0 2 2 . 3 1 7 1 0 9 1 .   [2 1 ]   K .   Ch e n ,   X .   G .   D o n g ,   a n d   X .   S .   Z h o u ,   R e s e a rc h   o n   m u l t i m o d a l   f i n e - g ra i n e d   s e n t i m e n t   a n a l y s i s   m e t h o d   b a s e d   o n   c r o s s - m o d a l   t ra n s fo r m e r ,   Co m p u t e r   a n d   D i g i t a l   E n g i n e e r i n g ,   v o l .   5 0 ,   n o .   1 0 ,   p p .   2 2 7 0 2 2 7 5 ,   2 0 2 2 .   [2 2 ]   S .   M u n i ra t h i n a m ,   In d u s t ry   4 . 0 :   i n d u s t ri a l   i n t e rn e t   o f   t h i n g s   ( II o T ),   i n   A d v a n c e s   i n   Co m p u t e r s ,   v o l .   1 1 7 ,   n o .   1 ,   E l s e v i e r ,   2 0 2 0 ,   p p .   1 2 9 164.   [2 3 ]   K .   Z h a o ,   M .   Z h e n g ,   Q .   L i   a n d   J .   L i u ,   " M u l t i m o d a l   s e n t i m e n t   a n a l y s i s a   c o m p r e h e n s i v e   s u r v e y   fro m   a   f u s i o n   m e t h o d s   p e r s p e c t i v e , "   i n   I E E E   A c c e s s ,   v o l .   1 3 ,   p p .   6 4 5 5 6 - 6 4 5 8 3 ,   2 0 2 5 ,   d o i :   1 0 . 1 1 0 9 / A C CE S S . 2 0 2 5 . 3 5 5 4 6 6 5 .   [2 4 ]   C.   Bu s s o   e t   a l . ,   IE M O C A P :   i n t e ra c t i v e   e m o t i o n a l   d y a d i c   m o t i o n   c a p t u re   d a t a b a s e ,   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n ,   v o l .   4 2 ,   n o .   4 ,   p p .   3 3 5 3 5 9 ,   N o v .   2 0 0 8 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 5 7 9 - 008 - 9076 - 6.   [2 5 ]   S .   K o e l s t ra   e t   a l . ,   D E A P :   d a t a b a s e   f o r   e m o t i o n   a n a l y s i s ;   u s i n g   p h y s i o l o g i c a l   s i g n a l s ,   IE E E   T r a n s a c t i o n s   o n   A f f e c t i v e   Co m p u t i n g ,   v o l .   3 ,   n o .   1 ,   p p .   1 8 3 1 ,   J a n .   2 0 1 2 ,   d o i :   1 0 . 1 1 0 9 / T - A F F C. 2 0 1 1 . 1 5 .   [2 6 ]   A .   Z a d e h ,   R .   Z e l l e r s ,   E .   P i n c u s ,   a n d   L . - P .   M o r e n c y ,   M o s i :   m u l t i m o d a l   c o r p u s   o f   s e n t i m e n t   i n t e n s i t y   a n d   s u b j e c t i v i t y   a n a l y s i s   i n   o n l i n e   o p i n i o n   v i d e o s ,   a r X i v   p r e p r i n t   a r X i v : 1 6 0 6 . 0 6 2 5 9 ,   2 0 1 6 .   [2 7 ]   A .   Z a d e h   e t   a l . ,   M u l t i m o d a l   l a n g u a g e   a n a l y s i s   i n   t h e   w i l d :   C M U - M O S E d a t a s e t   a n d   i n t e r p r e t a b l e   d y n a m i c   f u s i o n   g ra p h ,   i n   A CL   2 0 1 8   -   5 6 t h   A n n u a l   M e e t i n g   o f   t h e   A s s o c i a t i o n   f o r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   P r o c e e d i n g s   o f   t h e   Co n f e r e n c e   ( L o n g   P a p e r s ) 2 0 1 8 ,   v o l .   1 ,   p p .   2 2 3 6 2 2 4 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / p 1 8 - 1208.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   39 ,   N o .   3 ,   S e pt e m b e r   20 25 203 2 - 2042   2040   [2 8 ]   S .   P o ri a ,   D .   H a z a ri k a ,   N .   M a j u m d e r,   G .   N a i k ,   E .   Ca m b ri a ,   a n d   R.   M i h a l c e a ,   M E L D :   a   m u l t i m o d a l   m u l t i - p a r t y   d a t a s e t   f o r   e m o t i o n   r e c o g n i t i o n   i n   c o n v e r s a t i o n s ,   i n   A C L   2 0 1 9   -   5 7 t h   A n n u a l   M e e t i n g   o f   t h e   A s s o c i a t i o n   f o r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   P r o c e e d i n g s   o f   t h e   Co n f e r e n c e ,   2 0 2 0 ,   p p .   5 2 7 5 3 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / p 1 9 - 1 0 5 0 .   [2 9 ]   Z .   L i u   a n d   J .   W a n g ,   S c a l i n g   m u l t i m o d a l   p r e - t ra i n i n g   v i a   c ro s s - m o d a l i t y   g ra d i e n t   a l i g n m e n t ,   P r o c e e d i n g s   o f   t h e   3 6 t h   Co n f e r e n c e   o n   Ne u r a l   In f o r m a t i o n   P r o c e s s i n g   S y s t e m s   ( Ne u r I P S   2 0 2 2 ) ,   2 0 2 2 .   [3 0 ]   W .   Y u   e t   a l . ,   CH - S IM S :   Ch i n e s e   m u l t i m o d a l   s e n t i m e n t   a n a l y s i s   d a t a s e t   w i t h   fi n e - g ra i n e d   a n n o t a t i o n s   o f   m o d a l i t y ,   i n   P r o c e e d i n g s   o f   t h e   A n n u a l   M e e t i n g   o f   t h e   A s s o c i a t i o n   f o r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 0 ,   p p .   3 7 1 8 3 7 2 7 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . a c l - m a i n . 3 4 3 .   [3 1 ]   A .   Z a d e h ,   Y .   S .   Ca o ,   S .   H e s s n e r ,   P .   P .   L i a n g ,   S .   P o ri a ,   a n d   L .   P .   M o r e n c y ,   CM U - M O S E A S :   a   m u l t i m o d a l   l a n g u a g e   d a t a s e t   f o r   S p a n i s h ,   P o rt u g u e s e ,   G e r m a n   a n d   F r e n c h ,   i n   E M N L P   2 0 2 0   -   2 0 2 0   Co n f e r e n c e   o n   E m p i r i c a l   M e t h o d s   i n   Na t u r a l   L a n g u a g e   P r o c e s s i n g ,   P r o c e e d i n g s   o f   t h e   Co n f e r e n c e ,   2 0 2 0 ,   p p .   1 8 0 1 1 8 1 2 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . e m n l p - m a i n . 1 4 1 .   [3 2 ]   Z .   L i ,   S .   L i ,   Y .   Z h a n g ,   a n d   S .   L i ,   M A L E - C A L L :   m u l t i m o d a l   d a t a s e t   fo s e n t i m e n t   a n a l y s i s   o v e h i c l e   re v i e w s ,   In   IE E E / A C M   In t e r n a t i o n a l   Co n f e r e n c e   o n   M u l t i m e d i a   Co n f e r e n c e   (M M ) ,   2 0 2 1 .   [3 3 ]   Y .   L u o ,   J .   L i ,   J .   C h e n ,   Y .   Z h a n g ,   a n d   X .   L i ,   B - T A S A :   a   b e n c h m a rk   d a t a s e t   fo m u l t i m o d a l   s e n t i m e n t   a n a l y s i s   o n   T w i t t e r ,   In   IE E E / A C M   In t e r n a t i o n a l   Co n f e r e n c e   o n   M u l t i m e d i a   Co n f e r e n c e   ( M M ) ,   2 0 2 1 .   [3 4 ]   S .   M i s h ra   e t   a l . ,   F a c t i fy :   m u l t i - m o d a l   f a c t   v e ri fi c a t i o n   d a t a s e t . ,   In   P r o c e e d i n g s   o f   t h e   F i r s t   W o r k s h o p   o n   M u l t i m o d a l   F a c t - Ch e c k i n g   a n d   H a t e   S p e e c h   D e t e c t i o n   ( D E - F A CT I F Y ) ,   2 0 2 2 .   [3 5 ]   S .   Ra m a m o o r t h y   e t   a l . ,   M e m o t i o n   2 :   D a t a s e t   o n   s e n t i m e n t   a n d   e m o t i o n   a n a l y s i s   o m e m e s ,   In   P r o c e e d i n g s   o f   D e - F a c t i f y :   w o r k s h o p   o n   m u l t i m o d a l   f a c t   c h e c k i n g   a n d   h a t e   s p e e c h   d e t e c t i o n ,   CE U R ,   v o l .   1 7 ,   2 0 2 0 .   [3 6 ]   G .   H u ,   T .   E .   L i n ,   Y .   Z h a o ,   G .   L u ,   Y .   W u ,   a n d   Y .   L i ,   U n i M S E :   t o w a rd s   u n i f i e d   m u l t i m o d a l   s e n t i m e n t   a n a l y s i s   a n d   e m o t i o n   re c o g n i t i o n ,   i n   P r o c e e d i n g s   o f   t h e   2 0 2 2   Co n f e r e n c e   o n   E m p i r i c a l   M e t h o d s   i n   Na t u r a l   L a n g u a g e   P r o c e s s i n g ,   E M NL P   2 0 2 2 2 0 2 2 ,   p p .   7 8 3 7 7 8 5 1 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 2 . e m n l p - m a i n . 5 3 4 .   [3 7 ]   A .   Z a d e h ,   M .   Ch e n ,   S .   P o ri a ,   a n d   L .   P .   M o r e n c y ,   M u l t i m o d a l   s e n t i m e n t   a n a l y s i s :   a   s u rv e y   a n d   r e s e a r c h   d i r e c t i o n s ,   I E E E   T r a n s a c t i o n s   o n   A f f e c t i v e   Co m p u t i n g ,   2 0 1 8 .   [3 8 ]   J .   L i ,   Z .   Z h a n g ,   B .   W a n g ,   Q .   Z h a o ,   a n d   C.   Z h a n g ,   In t e r - a n d   i n t ra - m o d a l   c o n t ra s t i v e   h y b ri d   l e a r n i n g   f ra m e w o rk   fo m u l t i m o d a l   a b s t ra c t i v e   s u m m a ri z a t i o n ,   E n t r o p y ,   v o l .   2 4 ,   n o .   6 ,   p .   7 6 4 ,   M a y   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / e 2 4 0 6 0 7 6 4 .   [3 9 ]   N .   W a n g   a n d   Q .   W a n g ,   " D y n a m i c   w e i g h t e d   g a t i n g   f o e n h a n c e d   c ro s s - m o d a l   i n t e r a c t i o n   i n   m u l t i m o d a l   s e n t i m e n t   a n a l y s i s , "   A CM   T r a n s a c t i o n s   o n   M u l t i m e d i a   C o m p u t i n g ,   C o m m u n i c a t i o n s   a n d   A p p l i c a t i o n s ,   v o l .   2 1 ,   n o .   1 ,   p p .   1 - 1 9 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 4 5 / 3 7 0 2 9 9 .     [4 0 ]   H .   W a n g ,   X .   L i ,   Z .   R e n ,   M .   W a n g   a n d   C .   M a ,   " M u l t i m o d a l   s e n t i m e n t   a n a l y s i s   r e p re s e n t a t i o n s   l e a rn i n g   v i a   c o n t ra s t i v e   l e a rn i n g   wi t h   c o n d e n s e   a t t e n t i o n   f u s i o n , "   S e n s o r s ,   v o l .   2 3 ,   n o .   5 ,   p .   2 6 7 9 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s 2 3 0 5 2 6 7 9 .       B I O G R A P H I ES   O F   A U T H O R S       D r .   M i r i y al a   T r i n a t h   B as u           r e c e i v e d   hi s   P h . D .   i n   e ng i n e e r i n g   ( D e pa r t m e n t   of   C o m put e r   s c i e nc e   a n d   E ng i n e e r i ng )   a t   K   L   U n i v e r s i t y ,   V i j a y a w a da ,   I ndi a .   H e   i s   w o r k i ng   a s   a n   A s s oc i a t e   P r o f e s s o r   i t he   D e pa r t m e nt   o f   C o m put e r   S c i e nc e   a nd  E ng i ne e r i ng ,   K   L   D e e m e t o   be   U n i v e r s i t y ,   H y de r a ba d .   H i s   r e s e a r c w o r k s   ha v e   be e n   pub l i s h e i n um e r o us   pe e r   r e v i e w e d   j o ur na l s .   H e   a l s o   h a s   b e e n   a a c t i v e   r e v i e w e r   f o r   m a ny   pe e r   r e v i e w e d   j o ur n a l s .   H e   c a n   be   c o nt a c t e a t   e m a i l :   t m i r i i y a l a @g m a i l . c o m .         M ai n ak   S ah a           i s   a n   A s s i s t a nt   P r o f e s s o r   i n   t h e   D e pa r t m e nt   o f   C o m put e r   S c i e n c e   a nd  E ng i ne e r i ng   a t   K   L   D e e m e t o   be   U n i v e r s i t y ,   H y de r a ba d .   H e   i s   c ur r e n t l y   pur s ui ng   a   P h . D .   i c o m put e r   s c i e nc e   a nd  e ng i ne e r i ng   a t   t h e   N a t i o na l   I ns t i t u t e   o f   T e c hno l o gy ,   A g a r t a l a .   H e   e a r n e hi s   M a s t e r   o f   T e c hno l o gy   de g r e e   f r o m   T r i pur a   U n i v e r s i t y ,   A g a r t a l a ,   I ndi a .   H i s   r e s e a r c h   pr i m a r i l y   f o c us e s   o A I ,   M L ,   i m a g e   p r o c e s s i ng ,   a nd   c o m put e r   v i s i o n.   H i s   de di c a t i o n   a nd   e xpe r t i s e   i n   t he s e   f i e l d s   c o nt r i bu t e   s i g ni f i c a n t l y   t o   a dv a nc i ng   r e s e a r c e f f o r t s .   H e   c a be   c o nt a c t e a t   e m a i l :   m a i na k . s km s @g m a i l . c o m .         D r .   A r p i t a   G u p t         r e c e i v e d   he r   P h. D .   f r o m   N I T ,   T i r uc hi r a p pa l l i   i T r a n s f e r   L e a r ni ng .   S he   i s   w o r ki ng   a s   a n   A s s o c i a t e   P r o f e s s o r   a nd   H O D   i n   t h e   D e pa r t m e nt   o f   C o m put e r   S c i e nc e   a nd   E ng i ne e r i ng ,   K   L   D e e m e d   t o   be   U n i v e r s i t y ,   H y de r a b a A z i z   N a g a r   C a m pu s .   H e r e s e a r c w o r ks   h a v e   b e e n   pu bl i s he d   i n   num e r o us   pe e r   r e v i e w e d   j o ur na l s .   S he   a l s o   ha s   b e e n   a n   a c t i v e   r e v i e w e r   f o r   m a ny   pe e r   r e v i e w e d   j o ur na l s .   S he   c a n   be   c o nt a c t e d   at   e m a i l :   a r p i t a g upt a 2993 @g m a i l . c o m .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       U ni MS E a   un i f i e d   appr o ac h   f or   m ul t i m od al   s e nt i m e n t   anal y s i s   l e v e r agi ng   t he     ( Mi r i y al T r i n at h   B as u )   2041     D r .   S u m i t   H az r         r e c e i v e h i s   P h. D .   d e g r e e   i n   C S E   s pe c i a l i z i ng   i A I   a nd  M L   f r o m   N I T   R o ur ke l a ,   O d i s ha .   H e   r e c e i v e d   hi s   M .   T e c h   de g r e e   i n   C S E   f r o m   V I T   U ni v e r s i t y ,   V e l l o r e ,   I ndi a .   H e   i s   c ur r e n t l y   w o r ki ng   a s   a A s s i s t a n t   P r o f e s s o r   i D e pa r t m e n t   o f   C o m put e r   S c i e nc e   a nd   E ng i n e e r i ng   a t   K o ne r u   L a ks hm a i a h   E duc a t i o F o unda t i o n,   H y de r a ba d .   H e   ha s   a ut ho r e s e v e r a l   j o ur na l s ,   i nt e r na t i o na l   a nd   c o r e - r a nki ng   c o nf e r e nc e s   a nd   bo o c ha pt e r s .   H e   i s   a a c t i v e   r e v i e w e r   i n   m a ny   pe e r - r e v i e w e j o ur n a l s .   H i s   r e s e a r c i nt e r e s t s   i nc l ude   g a i t   a n a l y s i s ,   c og ni t i v e   s c i e nc e ,   A I ,   pa t t e r n   r e c o g ni t i o n,   a nd   c o m put e r   v i s i o n .   H e   c a n   be   c o nt a c t e at   e m a i l :   s um ha z 15@g m a i l . c o m .         D r .   S h a h i n   F at i m a           i s   a n   A s s i s t a n t   P r o f e s s o r   i n   t he   D e p a r t m e nt   o f   C o m put e r   S c i e nc e   a nd   E ng i ne e r i ng   a t   K o ne r u   L a k s hm a i a h   E duc a t i o F o und a t i o n,   H y de r a ba d .   S h e   ha s   c om pl e t e h e r   D o c t o r a t e   i c o m put e r   s c i e nc e   a nd   e ng i ne e r i ng   f r o m   I nt e g r a l   U n i v e r s i t y ,   L uc kn o w ,   I ndi a .   S h e   h a s   do ne   he r   M .   T e c a nd   B .   T e c i n   c o m put e r   s c i e nc e   a nd  e ng i ne e r i ng S he   h a s   a ut ho r e d   s e v e r a l   j o ur n a l s ,   i nt e r na t i o na l   c o nf e r e nc e s   a nd   bo o c ha pt e r s .   S h e   i s   a n   a c t i v e   r e v i e w e r   i m a ny   pe e r - r e v i e w e j o ur na l s   a n h a s   t o t a l   a c a d e m i c   t e a c h i ng   e xp e r i e nc e   o f   10  y e a r s .   H e r   r e s e a r c i n t e r e s t s   i nc l ude   c l o ud  c o m put i ng ,   da t a   s c i e nc e ,   A I ,   pa t t e r r e c o g ni t i o n ,   a nd  bl o c kc ha i n .   S he   c a b e   c o nt a c t e a t   e m a i l :   s ha h i n . f a t i m a @ kl h . e du. i n .         D r .   C h u n d ak at h   H o u s e   S u m a l ak s h m i           i s   a n   A s s i s t a nt   P r o f e s s o r   i n   t he   D e pa r t m e n t   o f   C o m put e r   S c i e nc e   a nd   E ng i n e e r i ng   a t   K L   U ni v e r s i t y ,   H y de r a ba d .   S he   ho l ds   a   P h. D .   i n   i nf o r m a t i o a nd   c o m m uni c a t i o e ng i ne e r i ng   f r o m   A nna   U ni v e r s i t y ,   s p e c i a l i z i ng   i n   f a c i a l   e xp r e s s i o r e c og ni t i o n   us i ng   m a c hi ne   l e a r ni ng   a nd   d e e p   l e a r ni ng   t e c hni que s .   W i t h   o v e r   13  y e a r s   o f   t e a c hi ng   e xpe r i e nc e   a nd  a   s t r o ng   r e s e a r c ba c kg r o und,   s h e   h a s   pub l i s h e d   e xt e ns i v e l y   i S C I   a nd  S c o pus - i nde x e j o ur n a l s ,   f o c us i ng   o a r t i f i c i a l   i n t e l l i g e nc e ,   i m a g e   pr o c e s s i ng ,   a nd   o pt i m i z a t i o t e c h n i qu e s .   D r .   S um a l a k s hm i   h a s   r e c e i v e m u l t i p l e   a c c o l a de s ,   i nc l ud i ng   t he   I nno v a t i v e   T e a c hi ng   E xc e l l e nc e   A w a r d   a nd   t h e   B e s t   W o m a F a c ul t y   A w a r d.   S he   i s   a l s o   a   c e r t i f i e d   A dv a nc e R P A   P r o f e s s i o na l   a nd   a n   a c t i v e   m e nt o r   i s k i l l   d e v e l o pm e nt   i ni t i a t i v e s .   S he   c a b e   c o nt a c t e d   a t   e m a i l :   c hunda ka t h . s um a l a ks hm i @kl h. e du . i n.         N al l ago p u   S h an v i           ho l d s   a   B a c he l o r   o f   T e c hno l o gy   ( B .   T e c h)   d e g r e e   i n   c o m put e r   s c i e nc e   a nd   e ng i n e e r i ng   f r o m   K   L   U n i v e r s i t y ,   H y de r a ba d,   w i t h   a   s p e c i a l i z a t i o i d a t a   s c i e nc e .   S he   ha s   r e c e i v e a n   o f f e r   l e t t e r   f r o m   A c c e nt ur e   a nd   w i l l   b e   j o i n i n g   s o o n.   S he   i s   d e di c a t e d   t o   e nha nc i ng   he r   t e c hni c a l   s ki l l s   a n i s   e a g e r   t o   a pp l y   he r   a c a de m i c   k no w l e dg e   i n   a   p r o f e s s i o na l   e nv i r o nm e nt ,   m a k i ng   he r   a   p r o m i s i ng   f ut u r e   e ng i ne e r .   S he   c a b e   c o nt a c t e d   a t   e m a i l :   s ha nv i 1 424 @g m a i l . c o m .         N y al ap at l A n u s h   R e d d y           ho l d s   a   B a c he l o r   o f   T e c hno l o gy   ( B .   T e c h)   d e g r e e   i n   c om put e r   s c i e nc e   a nd  e ng i ne e r i ng   f r o m   K   L   U ni v e r s i t y ,   H y de r a b a d,   w i t a   s pe c i a l i z a t i o i n   da t a   s c i e nc e .   H e   i s   p r e p a r i ng   t o   g o   a br o a t o   pur s ue   a   m a s t e r s   de g r e e   i da t a   s c i e nc e   a n d   a r t i f i c i a l   i nt e l l i g e nc e H e   i s   c o m m i t t e d   t o   f ur t he r   ho ni ng   h i s   s ki l l s   t o   a c hi e v e   h i s   pr o f e s s i o na l   a s p i r a t i o ns .   H e   c a be   c o nt a c t e d   a t   e m a i l :   r e ddy a nus h0 7@g m a i l . c o m .       Evaluation Warning : The document was created with Spire.PDF for Python.