I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   3 9 ,   No .   2 A u g u s t   2 0 2 5 ,   p p .   1 249 ~ 1 2 6 0   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 3 9 .i 2 . pp 1 2 4 9 - 1 2 6 0           1249     J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Deep learni ng - ba sed multi - tie r sen sitiv ity a na ly sis  net wo rk  for  do cument se nsitiv ity cla ss ificatio n       Sa diy a   Ans a ri,   Sh a m ee m   Akt her   D e p a r t me n t   o f   F a c u l t y   o f   E n g i n e e r i n g   a n d   Te c h n o l o g y ,   K B N   U n i v e r s i t y ,   K a l a b u r a g i ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   21 2 0 2 4   R ev is ed   May   16 2 0 2 5   Acc ep ted   J u l   2 2 0 2 5       In   t h e   d ig i tal  a g e ,   th e   e x p o n e n ti a g ro wt h   o f   d a ta  n e c e ss it a tes   ro b u st   a n d   e fficie n sy ste m fo d o c u m e n c las sifica ti o n   to   m a in tain   d a ta  se c u rit y   a n d   c o m p li a n c e .   Tex c las sifica ti o n   p lay a   c ru c ial  r o le  i n   id e n t ify i n g   se n siti v e   in fo rm a ti o n   b y   a u t o m a ti c a ll y   c a teg o rizi n g   d o c u m e n ts  b a se d   o n   t h e ir  c o n ten t.   Us in g   a d v a n c e d   m a c h in e   lea rn in g   a n d   d e e p   lea rn in g   m o d e ls,  it   a n a ly z e tex t   to   d e tec k e y w o rd s,   p a tt e r n s,  a n d   c o n te x tu a l   c u e t h a i n d ica te  t h e   p re se n c e   o se n siti v e   d a ta.  Th is  p a p e p r e se n ts  a   n o v e fra m e wo r k ,   t h e   m u lt i - ti e r   se n siti v it y   a n a ly sis   n e two r k   ( M TS AN ),   d e si g n e d   to   a c c u ra tely   c las sify   d o c u m e n ts  in t o   p u b li c ,   p ri v a te,  a n d   c o n fid e n ti a c a teg o ries .   T h e   p ro p o se d   sy ste m   in teg ra tes   se v e ra a d v a n c e d   c o m p o n e n ts,  i n c lu d in g   th e   m u lt i - ti e r   se n siti v it y   e n c o d in g   n e two r k   (M TS EN).   M TS AN   lev e ra g e a   c o m b in a ti o n   o c o n v o l u ti o n a n e two rk a n d   g ra p h   c o n v o l u ti o n a n e two r k ( G CN s)  to   c a p tu re   b o th   l o c a a n d   g l o b a c o n tex t u a in f o rm a ti o n .   T h e   d u a l - sc o p e   g ra p h   c o n v o lu ti o n   b lo c k   (DSG CB)  is  in tr o d u c e d   t o   a d d re ss   b o t h   g lo b a l   d e p e n d e n c ies   a n d   lo c a d y n a m ics ,   e m p lo y i n g   a   n o v e fu si o n   m e c h a n ism   t o   m e rg e   g lo b a l   a n d   lo c a fe a tu re e ffe c ti v e ly .   Ad d it i o n a ll y ,   t h e   c ro ss - ti e in fo rm a ti o n   f u sio n   b lo c k   ( CTI F B)  fa c il it a tes   th e   se a m les in te g ra ti o n   o m u lt i - lev e fe a tu re s,  f u rth e re fi n in g   th e   c las sifica ti o n   p ro c e ss .   T h e   re su lt s   d e m o n stra te  t h a t h e   p ro p o se d   M TS AN   m o d e l   o u tp e rf o rm trad it io n a l   m a c h in e   lea rn in g   a p p ro a c h e a n d   c o n tem p o ra ry   d e e p   lea rn in g   m o d e ls  su c h   a b id irec ti o n a l   e n c o d e re p r e se n tatio n fr o m   tra n sfo rm e rs  ( BERT ) a c h iev in g   su p e rio r   a c c u ra c y   a n d   F 1   sc o re i n   c las sify i n g   se n siti v e   in fo rm a ti o n .   K ey w o r d s :   Do cu m en s en s itiv ity   c lass if icatio n   Mu lti - tier   s en s itiv ity   an aly s is   n etwo r k   E n cr y p tio n   Du al - s co p g r a p h   co n v o l u tio n   b lo ck   Dee p   lear n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sad iy An s ar i   Dep ar tm en t o f   Facu lty   o f   E n g i n ee r in g   a n d   T ec h n o lo g y ,   KB Un iv er s ity   Kala b u r ag i,  I n d ia   E m ail: sad iy aa n s ar i_ k b n u @ r ed if f m ail. co m       1.   I NT RO D UCT I O N   I n   to d ay ' s   d ig ital  er a,   th ex p o n en tial  g r o wth   o f   d ata  h as  b ec o m b o th   b o o n   an d   c h a llen g f o r   o r g an izatio n s .   As  in f o r m atio n   p r o life r ates,  s o   d o es  th n ee d   f o r   ef f ec tiv d ata  m an ag em en t   an d   class if icatio n .   T h class if icatio n   o f   d o cu m e n ts   in to   ca teg o r ies   s u ch   as  p u b lic,   p r iv ate,   an d   co n f id en ti al  is   es s en tial  f o r   m ain tain in g   d ata  s ec u r ity ,   p r i v ac y ,   an d   c o m p lian ce   with   le g al  an d   r eg u lato r y   f r am ewo r k s .   T h is   n ec ess ity   i s   p ar ticu lar ly   p r o n o u n ce d   in   s ec to r s   lik f in an ce ,   h ea lth ca r e,   a n d   tech n o lo g y ,   wh e r s en s it iv in f o r m atio n   m u s t   b m eticu lo u s ly   p r o tecte d   to   p r ev e n u n au t h o r ized   ac c ess   an d   b r ea ch es.  E n s u r in g   th s ec u r ity   an d   co n f id en tiality   o f   d ata  to   s af eg u ar d   s en s itiv in f o r m atio n   f r o m   u n au th o r ized   ac ce s s   [ 1 ] .   Fo r   d ata  t o   b e   au th en tic,   it  n ee d s   to   co m f r o m   a   tr u s two r th y   s o u r ce   an d   s tay   u n ch a n g ed .   E n cr y p tio n   an d   s ig n atu r s y s tem s   ar ess en tial  f o r   m ain tain in g   co n f id en tiality   a n d   v er if y i n g   au t h en ticity .   T h er a r t h r ee   ty p es  o f   d ata   s en s itiv ity   p u b lic,   p r iv ate,   an d   co n f id e n tial.  Pu b lic  d ata   r e f er s   to   in f o r m atio n   th at  is   o p en ly   ac ce s s ib le  an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  3 9 ,   No .   2 ,   Au g u s 20 25 :   1 2 4 9 - 1 260   1250   p o s es  m in im al  r is k   if   d is clo s e d .   I t   in clu d es  c o n ten t   s u ch   as p r ess   r elea s es,  p u b licly   av aila b le  f in an cial   r ep o r ts ,   an d   m ar k etin g   m ater ials .   T h e s d o cu m en ts   ar e   in ten d e d   f o r   wid d is tr ib u tio n   an d   d o   n o r eq u ir e   p r o tectio n   fro m   u n au th o r ized   ac ce s s .   I n   co n tr ast,  p r iv ate  d ata  in cl u d es  in f o r m atio n   t h at  is   n o t   m ea n f o r   p u b lic   d is clo s u r b u t   is   n o t   n ec ess ar ily   h ig h ly   s en s itiv [ 2 ] .   T h is   ca teg o r y   m ay   en co m p ass   in ter n a co m m u n icatio n s ,   p er s o n al  o p in io n s   in   cu s to m er   r ev iews,  an d   in ter n al  m e m o s .   W h ile  p r iv ate  d ata   s h o u ld   b p r o tecte d   to   m ain tain   p r iv ac y ,   its   u n a u th o r ized   d is clo s u r ty p ically   p o s es  less   r is k   th an   co n f id en tial  in f o r m atio n .   C o n f id en tial  d ata ,   o n   t h o th er   h an d ,   in clu d es  h ig h ly   s en s itiv in f o r m atio n   th at,   if   ex p o s ed ,   co u ld   r esu lt  in   s ig n if ican leg al,   f in an cial,   o r   r ep u tatio n al  d a m ag e.   T h is   ca t eg o r y   c o v er s   b r o ad   r a n g o f   d o cu m e n ts ,   s u ch   as   m ed ical  r ec o r d s   p r o tecte d   u n d er   laws  lik HI PAA  ( h ea lth   in s u r an ce   p o r tab ilit y   a n d   ac co u n tab ilit y   ac t ) ,   f in an cial  d ata,   p r o p r ietar y   b u s i n ess   in f o r m atio n ,   an d   in t er n al  co r p o r ate  co m m u n icati o n s   [ 3 ] ,   [ 4 ] .   T h e   p r o tectio n   o f   co n f id en tial  d ata   is   p ar am o u n t,   as  b r ea c h es  ca n   lead   t o   s ev er e   co n s eq u en ce s ,   in clu d in g   id e n tity   th ef t,  f in an cial  lo s s ,   an d   lo s s   o f   in tellectu al  p r o p er ty .     T ex class if icati o n ,   s u b f ield   o f   n atu r al  lan g u ag e   p r o ce s s in g   ( NL P),   p lay s   a   cr u cial  r o le  in   au to m atin g   th e   class if icatio n   o f   d o cu m en ts   i n to   t h ese  ca teg o r ies.  T ex t   class if icatio n   in v o lv es  ass ig n in g   p r ed ef in e d   lab els  to   tex d o cu m en ts   b ased   o n   th eir   co n ten t.  T r ad itio n al  m e th o d s   r elied   h ea v ily   o n   m an u al   r ev iew  an d   r u le - b ased   s y s tem s ,   wh ich   ar n o s ca lab le  g iv e n   th v ast  am o u n ts   o f   d ata  g e n er ated   d aily .   T h ese   m eth o d s   o f ten   lack   th f lex ib i lity   an d   ac cu r ac y   n ee d e d   to   h an d le  co m p lex   an d   n u a n ce d   l an g u ag in   d i v er s d o cu m e n ts .   T h ad v en o f   d ee p   lear n in g   h as  r ev o lu t io n ized   tex class if icatio n ,   o f f er in g   s ig n if ican t   im p r o v em e n ts   in   ac cu r ac y   a n d   ef f icien cy .   Dee p   lear n in g   m o d els,  s u ch   as  co n v o lu tio n al  n eu r al  n etwo r k s   ( C NNs),   r ec u r r en n eu r al  n et wo r k s   ( R NNs),   an d   tr an s f o r m er - b ased   ar c h itectu r es  lik B E R T   ( b id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m er s ) ,   h av d em o n s tr ated   ex ce p tio n al  p er f o r m a n c in   u n d er s tan d in g   an d   p r o ce s s in g   n atu r al  lan g u a g [ 5 ] .   T h ese  m o d els  lev er ag e   lar g d atasets   an d   p o wer f u co m p u tin g   r eso u r ce s   to   lear n   c o m p lex   p atter n s   an d   r elatio n s h ip s   with in   tex t,  e n ab lin g   th em   to   class if y   d o c u m en ts   with   h ig h   p r ec is io n .   C NNs,  ty p ically   u s ed   in   im ag e   p r o ce s s in g ,   h av e   b ee n   s u cc ess f u lly   a d ap ted   f o r   tex class if icatio n   b y   tr ea tin g   tex as  s eq u e n ce   o f   wo r d s   o r   c h ar ac ter s ,   id en tif y in g   lo ca p atter n s ,   an d   co m b i n in g   th em   to   f o r m   co m p r e h en s iv u n d er s tan d i n g .   R NNs,  an d   th eir   v a r ian l o n g   s h o r t - ter m   m em o r y   n etwo r k s   ( L STM s ) ,   ar e   well - s u ited   f o r   s eq u en tial  d a ta,   ca p tu r in g   th c o n tex an d   d ep en d en cies  with in   tex t.  T r an s f o r m e r - b ase m o d els,  s u ch   as  B E R T ,   ex ce in   h an d lin g   l o n g - r an g d e p en d en cies  an d   c o n tex b y   u s in g   s elf - atten tio n   m ec h an is m s ,   m ak in g   th em   p ar ticu lar ly   ef f ec tiv f o r   task s   in v o lv in g   n u an ce d   lan g u ag an d   co n te x tu al   u n d er s tan d i n g   [ 6 ] .   T h im p le m en tatio n   o f   r o b u s d o cu m en class if icatio n   s y s tem   n o o n ly   en h a n ce s   d ata  s ec u r ity   b u also   s tr ea m lin es  o p er atio n s   b y   e n s u r in g   th at  s en s itiv in f o r m atio n   is   ap p r o p r iately   h an d led   a n d   ac ce s s ed .   I en ab les  o r g an izati o n s   to   co m p ly   with   d ata  p r o te ctio n   r eg u latio n s ,   s af eg u a r d   i n tellect u al  p r o p er t y ,   an d   m ain tain   c u s to m er   tr u s t.  As th lan d s ca p o f   d ata  c o n ti n u es to   ev o lv e,   th d e v elo p m e n t a n d   r e f in em en o f   th ese  class if icatio n   s y s tem s   r em ain   cr itical  ar ea   o f   r esear c h   an d   i n n o v atio n   [ 7 ] .   I n   to d a y ' s   d ig ital  er a,   th r ap id   g r o wth   o f   d ata  n ec ess itates  ef f ec tiv class if icatio n   s y s tem s ,   p ar ticu lar ly   f o r   s en s itiv in f o r m atio n   in   s ec to r s   lik f in a n ce ,   h ea lth ca r e,   an d   tech n o l o g y .   E n s u r in g   d ata   s ec u r ity   an d   p r i v ac y   is   cr u cia to   p r ev en u n au th o r ized   ac c ess   an d   b r ea ch es,  wh ile  also   m ee tin g   r eg u lat o r y   co m p lian ce   r eq u ir em en ts   s u ch   as  HI PA an d   GDP R   ( g en er al  d ata  p r o tectio n   r eg u latio n )   [ 8 ] ,   [ 9 ] .   T r ad itio n al   m an u al  m eth o d s   ar in s u f f icien to   h an d le  th s h ee r   v o lu m o f   d ata,   p r o m p tin g   t h n ee d   f o r   a u to m ated ,   ef f icien t,  an d   ac c u r ate  class if icatio n   m ec h a n is m s .   R ec en ad v an ce m en ts   in   d ee p   lear n in g   a n d   NL P,   in clu d in g   C NNs,  R NNs,  an d   t r an s f o r m e r - b ased   m o d els  lik B E R T ,   o f f er   p r o m is in g   s o lu tio n s   [ 1 0 ] .   T h ese  tech n o lo g ies  ca n   en h an ce   t h ac cu r ac y   a n d   r o b u s tn ess   o f   s en s itiv in f o r m atio n   d etec tio n ,   m itig atin g   r is k s   ass o ciate d   with   m is class if icatio n   an d   en s u r in g   p r o p e r   d ata  h an d lin g .   T h m o tiv atio n   f o r   th is   r esear ch   is   to   lev er ag th ese   tech n o lo g ical  ad v an ce m en ts   t o   d ev elo p   s tate - of - t h e - ar s y s tem   f o r   ca teg o r izin g   d o cu m en ts   in to   p u b lic,   p r iv ate,   an d   co n f id en tial  lev el s ,   th er eb y   im p r o v i n g   o p er atio n al  ef f icien cy   a n d   c o m p lian ce .     Dev elo p m en o f   MT SAN  f r am ewo r k in tr o d u ce d   th m u lti - tier   s en s itiv ity   an aly s is   n etwo r k   ( MT SAN)   f o r   p r ec is class if icatio n   o f   d o cu m en ts   in to   p u b lic,   p r iv ate,   an d   co n f id e n tial  ca teg o r ies.       I n n o v ativ m u lti - tier   f ea tu r en co d i n g im p lem e n ted   t h m u lti - tier   s en s itiv ity   en co d in g   n etwo r k   ( MT SEN)   to   ca p tu r m u lti - tier   d o cu m en t f ea tu r es,  p r o v id in g   n u a n ce d   u n d er s tan d in g   o f   co n ten t.     E n h an ce d   co n tex t u al  u n d er s tan d in g   with   DSGC B d ev elo p ed   th d u al - s co p g r ap h   co n v o lu tio n   b lo c k   ( DSGC B )   to   ef f ec tiv ely   in teg r ate  g lo b al  an d   lo ca l c o n tex tu al   in f o r m atio n .     Ad v an ce d   f ea tu r f u s io n   wit h   C T I FB u til ized   th cr o s s - tier   in f o r m atio n   f u s io n   b l o c k   ( C T I FB )   t o   s ea m less ly   m er g m u lti - lev el  f ea tu r es,  en h a n cin g   class if icat io n   ac cu r ac y       2.   RE L AT E D   WO RK   T h p r im ar y   o b jectiv o f   th i s   s tu d y   is   to   d e v elo p   a   r o b u s an d   e f f icien s y s tem   f o r   c lass if y in g   d o cu m e n ts   in to   p u b lic,   p r iv at e,   an d   co n f i d en tial  ca teg o r ies,  p ar ticu lar ly   in   th e   co n tex t   o f   h an d lin g   lo n g   a n d   co m p lex   d o c u m en ts .   T h is   s y s t em   aim s   to   le v er ag e   ad v a n ce d   m ac h in e   lear n in g   an d   d ee p   le ar n in g   tech n iq u es  Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Dee p   lea r n in g - b a s ed   mu lti - ti er sen s itivi ty  a n a lysi s   n etw o r k   fo r   …  ( S a d iy a   A n s a r i )   1251   to   ac cu r ately   id e n tify   a n d   d if f er en tiate  s en s itiv in f o r m atio n ,   th e r eb y   im p r o v in g   d o cu m e n m an a g em en t   an d   en s u r in g   d ata  s ec u r ity .   Pu ja r   et  a l.  [ 1 0 ]   u tili ze d   B E R T   to   s eg m en len g th y   te x ts ,   g en er atin g   in itial  r ep r esen tatio n s   f o r   ea ch   s eg m en t.  T h in te r ac tio n s   b etw ee n   s eg m en ts   wer s u b s eq u e n tly   m o d ele d   u s in g   eith er   r ec u r r en lay e r   o r   t r an s f o r m er .   B u ild in g   o n   th is ,   [ 1 1 ]   in tr o d u ce d   E R NI E - DOC ,   wh ich   in clu d es  r etr o s p ec tiv f ee d   m ec h a n is m   th at  allo ws  f o r   th i n teg r atio n   o f   s em an tic  in f o r m ati o n   f r o m   t h en tire   d o cu m e n t.  T o   b etter   r ep r esen t   th s tr u ctu r al   f ea tu r es  o f   lo n g   d o cu m en ts ,   [ 1 2 ]   p r o p o s ed   t h e   h ier ar ch ical   g r a p h   co n v o l u tio n al  n etwo r k s   ( GC Ns) co n s tr u ctin g   b o th   s ec tio n   an d   w o r d   g r ap h s   to   ex p licitly   m o d el  m ac r o   a n d   m icr o s tr u ctu r al  in f o r m atio n .   Ad d itio n ally ,   s en ten ce   s tr u ctu r es we r in co r p o r ate d   in to   wo r d   g r ap h   m o d elin g   to   en h an ce   f ea tu r lear n in g   ca p a b ilit ies.  T o   ad d r ess   th co m p u tatio n al  co m p lex ity   in h er e n i n   th s elf - atten tio n   m ec h an is m   o f   tr an s f o r m er s ,   [ 1 3 ]   p r o p o s ed   v a r io u s   s p ar s a tten tio n   m ec h a n is m s ,   aim in g   t o   r estrict  th r a n g e   o f   to k e n   in ter ac tio n s   an d   r ed u ce   co m p u tatio n al  o v er h ea d .   T h r ee   m ain   ty p es  o f   s p ar s ity   p atter n s   h av e   b ee n   id en tifie d 1 )   f i x ed   p atter n ,   wh ich   in clu d es  win d o w - b ased ,   g l o b al,   a n d   r an d o m   atten tio n   tech n iq u es.  Fo r   in s tan ce ,   [ 1 4 ]   p r esen te d   h y b r id   ap p r o ac h   th at  co m b in es  w in d o wed   lo ca l - co n tex t   atten tio n   with   task - d r iv e n   g lo b al  atten tio n ,   e f f ec tiv ely   r e d u cin g   c o m p u tatio n al  co m p le x ity   f r o m   q u a d r atic  to   lin ea r .   T h is   ap p r o ac h   was   f u r th er   r ef in e d   b y   [ 1 5 ] ,   w h o   i n co r p o r ated   r an d o m   atten tio n ,   m ain tain in g   lin ea r   co m p lex it y   wh ile  im p r o v in g   m o d el  p er f o r m an ce .   2 )   L ea r n ab le  p atter n ,   ex em p lifie d   b y   [ 1 6 ] ,   wh ich   d y n am ically   d eter m in es  th ass o ciate d   r eg io n s   f o r   ea ch   to k e n ,   th er e b y   en h a n cin g   th c ap tu r o f   s em an tic  co r r elatio n s .   3 )   L o w - r an k   p atter n s ,   as  ex p lo r ed   b y   [ 1 7 ] ,   wh er s elf - atten tio n   m atr ices  ar p r o j ec ted   in to   lo wer - d im en s io n al   s p ac es   to   r ed u ce   co m p lex ity ,   lev er a g in g   th o b s er v atio n   th at  th ese  m atr ices   o f ten   ex h ib it  lo w - r an k   p r o p e r ties .   Kitaev   et  a l.   [ 1 8 ]   i n tr o d u ce d   th Dee p Do class if ier ,   u tili zin g   d ee p   C N with   th Alex Net  ar ch itectu r e.   T h is   m o d el  was  p r etr ain ed   o n   th I m ag eNe t d a t aset,  s ig n if ican tly   im p r o v in g   p r ev io u s   ap p r o ac h es b y   co n v e r tin g   co n v o lu tio n al  lay er s   in to   f lex ib le  f ea tu r e x tr ac to r s .     Fu r th er m o r e ,   W an g   et  a l.  [ 1 9 ]   co m b in e d   tex tu al  d ata  f r o m   co m m er cial  OC R   s y s tem s   with   r aw   im ag d ata.   T h is   d ata  was  th e n   p r o ce s s ed   b y   a   N L m o d el,   wh ich   tr an s lated   t h tex in t o   th f ea tu r s p ac e.   An   ex tr em lear n in g   m ac h in was  em p lo y ed   to   m an ip u la te  f r o ze n   c o n v o lu tio n al  lay e r s   tr ain ed   with   th Alex Net  m o d el,   r esu ltin g   in   im p r o v e d   o u tp u t   with o u c o m p r o m is in g   ac c u r ac y .   I n   th r e alm   o f   h ier a r ch ical   tex class if icatio n ,   Ma r ten s   an d   Pro v o s [ 2 0 ]   in tr o d u ce d   th Seq 2 L ab el  f r am ew o r k ,   w h ich   em p lo y s   r an d o m   g en er ativ a p p r o ac h   t o   lear n i n g   lab el  h ier ar ch ies  b y   s h u f f lin g   lab el  s eq u e n ce s   d u r in g   tr ain i n g .   Ver m eir et  a l.  [ 2 1 ]   p r o p o s ed   th e   v ar iatio n al   c o n tin u o u s   lab el  d is tr ib u tio n   l ea r n in g   ( VC L DL )   f r am ewo r k ,   wh ich   tr ea ts   lab el  d is tr ib u tio n   as  co n tin u o u s   d en s ity   f u n ctio n   in   laten s p ac e .   T h is   m eth o d   estab lis h es  r elatio n s h ip   b etwe en   th f ea tu r an d   lab el  s p ac es,   u n co v e r in g   in f o r m atio n   h id d en   in   o b s er v a b le  lo g ical  lab els.  Ad d itio n ally ,     L an g   et  a l.  [ 2 2 ]   in tr o d u ce d   th p r o m p t - b ased   lab el - awa r f r am ewo r k   f o r   m u lti - lab el   tex clas s if icatio ( PLAM L ) .   T h is   f r am ewo r k   e n h an ce s   p r o m p t - b ased   lear n in g   with   th r ee   k e y   tech n iq u es:  to k en   weig h tin g   alg o r ith m   co n s id er in g   la b el  c o r r elatio n s ,   a   tem p late   f o r   a u g m en tin g   tr ain in g   s am p les  t o   m ak e   th e   p r o ce s s   lab el - awa r e,   an d   d y n a m ic  th r esh o ld   m ec h a n is m   to   r ef in t h p r ed ictio n   co n d itio n   o f   ea c h   lab el.   Z h ao   et  a l.  [ 2 3 ]   f u r th er   r e f in ed   th m u lti - lab el  class if icat io n   ap p r o ac h   b y   p r o p o s in g   PLAM L ,   wh ich   s p ec if ically   ad d r ess es  th ch allen g es  ass o ciate d   with   m u lti - lab el  class if icatio n .   T h ese  ad v an ce m en ts   co llectiv ely   co n tr ib u te  to   th d e v elo p m e n o f   m o r ef f icien t a n d   ac cu r ate  d o cu m e n t c lass if icatio n   s y s te m s .   Desp ite  s ig n if ican a d v a n ce m en ts   in   d o cu m e n class if icatio n ,   ex is tin g   m eth o d s ,   s u c h   as  th o s lev er ag in g   B E R T ,   E R NI E - D OC ,   an d   h ier ar ch ical  GC N s ,   o f ten   f ac c h allen g es  in   ac c u r ately   ca teg o r izin g   s en s itiv in f o r m atio n ,   esp ec ially   in   lo n g   an d   co m p lex   d o c u m en ts .   T h co m p u tatio n al  o v er h ea d   ass o ciate d   with   s elf - atten tio n   m ec h a n is m s   an d   th e   lim ited   ab ilit y   t o   ca p tu r e   n u a n ce d   c o n tex tu al   r elatio n s h ip s   f u r th e r   ex ac er b ate  th ese  ch allen g es.  Ad d itio n ally ,   wh ile  f r am ewo r k s   lik PLAM L   an d   VC L DL   h av im p r o v ed   m u lti - lab el  class if icatio n ,   th ey   m a y   s till   f all  s h o r in   s ce n ar io s   r eq u ir in g   p r ec is d if f er en ti atio n   o f   d o cu m e n t   s en s itiv ity   lev els  [ 2 4 ] ,   [ 2 5 ] .   T h is   r esear ch   aim s   to   a d d r ess   th ese  g ap s   b y   d e v elo p in g   r o b u s class if icatio n   s y s tem   th at  lev er ag es  ad v an ce d   d ee p - lear n i n g   tech n iq u e s   to   en h an ce   t h ac cu r ac y   an d   ef f icien cy   o f   id en tify in g   a n d   ca teg o r izin g   s en s itiv in f o r m atio n .       3.   P RO P O SE D   M E T H O D   T h is   s ec tio n   o f   th p r o p o s ed   s tu d y   f o cu s es  o n   th p r o p o s e d   m o d el  MT SAN  th at  aim s   to   class if y   s en s itiv d ata.   T h is   is   ca teg o r ized   in to   v a r io u s   s tag es,  n am el y   p r iv ate,   p u b lic,   a n d   c o n f id e n tial  s tag es  h av in g   an   in cr ea s ed   ac c u r ac y .   T h e   p r o p o s ed   m o d el   h as  th r ee   m aj o r   p h ases ,   th MT SEN,   th p r o p o s ed   i n ter ac tiv n etwo r k ,   a n d   th i n teg r ated   s e n s itiv ity   f ea tu r f u s io n   ( I SF F).   Fig u r 1   s h o ws th MT SAN  m o d el.   T h MT SEN  co n s u m es  th in p u d o c u m en an d   s tu d ies  th m u lti - lev el  ex p r ess io n s   f o r   s en ten ce s ,   wo r d s   as  well  as  s ec tio n s .   F u r th er ,   t h p r o p o s ed   MT SAN”  is   im p lem en ted   f o r   d ata  i n ter ac tio n   b etwe en   v ar io u s   lev els  o f   th c o n v o l u tio n al  n etwo r k .   Her e,   th c o n v o lu ti o n al  n etwo r k   is   d esig n ed   p a r ticu lar ly   to   h an d le  len g th y   d o c u m en ts ,   w h ile  th co n v o l u tio n al  n etwo r k   f o r   wo r d s   as  well  as  s en ten ce s   is   in v ested   in   g r asp in g   th e   m icr o s tr u ctu r o f   th d o cu m en t.   T h f in e - tu n ed   n o d es  th at  ar r e d u n d an ar o m itted   an d   th e   in te r ac tio n   o f   th m u lti - lev el  d ata  is   im p r o v is ed ,   s ec tio n - aid ed   s eg m en ts   f o r   p o o lin g   as  well  as  C T I FB   ar e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  3 9 ,   No .   2 ,   Au g u s 20 25 :   1 2 4 9 - 1 260   1252   im p lem en ted   p r i o r   as  well  a s   af ter   ev er y   lay er   o f   th w o r d   as  well  as  s en ten ce   co n v o lu tio n s .   T h ese  ar e   u tili ze d   to   co m b in th t h r ee - l ev el  g r ap h s   in to   o n in teg r ated   u n it.  W also   in tr o d u ce   a   g l o b al  lo ca g r ap h ical   co n v o l u tio n al  s eg m en to   d y n am ically   g r asp   th lo ca as  we ll  as  th g lo b al  f ea tu r es  in s id e   th s en ten ce   n o d es  wh ich   th er ef o r in cr ea s es  th ca p ab ilit ies  o f   f ea tu r e   r ep r esen tatio n .   L astl y ,   th I S FF   is   im p lem en ted   f o r   in teg r atio n   o f   th p r io r   m u lti - l ev el  f ea tu r es f o r   th last   o f   len g th y   d o cu m e n t c ateg o r izatio n .             Fig u r 1 .   Mu lti - tier   s en s itiv ity   an aly s is   n etwo r k       3 . 1 .     M ulti - t ier  s ens it iv it y   enco din g   net wo rk   d o cu m en is   n o r m ally   m ad u p   o f   s ec tio n s   th at  co u ld   b e   f u r th er   b r o k en   d o wn   in t o   s en ten ce s   an d   wo r d s .   T h d o c u m en   is   s p lit  in to   s ec tio n s     f o r   f ix ed   d im e n s io n   to   g r asp   th lay e r ed   d ata   r ep r esen tatio n s   o m itti n g   r e d u n d an cy   as  is   e x p r ess ed   as  { 1 , 2 , . , } .   W er e,   = { 0 , 1 , ,  }   is   th e     s ec tio n   h av in g   + 1   to k en s .   T o   m ain tain   s im ilar   len g th     f o r   ev er y   s e ctio n ,   p a d d in g   is   u tili ze d   if   n ee d ed .   E v er y   s ec tio n   is   s to r ed   in   th p r io r   tr ain ed   en co d er   ( , ) ,   th p ar am eter s   h er ar d en o ted   as  .   Her e,   in   th last   pha s e,   th to k e n     is   co n s id er ed   s ec tio n   attr ib u te.   W h er e as,  th o th er   to k en s   ar co n s id er ed   f o r   wo r d   attr ib u tes.  Fu r th er ,   r esu ltin g   in   s ec tio n - lev el  attr ib u tes  f o r   len g th y   d o cu m e n ts   =   [ 1 , 2 , , ]          × an d   f o r   w o r d   lev el,   it  is   g iv e n   as  = [ 11 , . . , 1 , , 1 , . . ,  ]           × .   T h attr ib u te  d im en s io n   is   d e n o ted   as  .   T h s en ten ce   ex p r ess io n s   ar attain ed   b y   co m b in in g   th wo r d   attr ib u tes  f o r   ev er y   s en ten ce   v ia   p o o lin g .   Sen ten ce   m ask in g                o p er atio n   is   u s ed .   L et  u s   ass u m th er ar   s en ten ce s   in   th e   d o c u m en t,   th er e   ar e   , = 1 , 2 , ,   wo r d s   in   th e     s en ten ce .   T h is   is   ex p r ess ed   as   = [ 1 , , 1 , 2 , . , 2 , 3 , . , 3 , . , , . , ] .   Her e,   th n u m b er s   th at  ar id en tical  s h o wca s th at  th wo r d s   at  t h o s l o c a t i o n s   a r e   f r o m   t h e   s a m e   s en t e n c e ,   t h e   v a l u e   o f   t h e   n u m b e r s   e x p r e s s e s   t h e   p o s it i o n a l   d at a   o f   t h e   s e n t e n c e s .   A n o t h e r   p r o j e c t i o n   l a y e r   is   a d d e d   t o   o b t a i n   t h e   s e n t e n c e   a tt r i b u t e s   w h ic h   a r e   e x p r e s s e d   a s   g i v e n   i n   ( 1 ) .     =   ( [  = = 1  ] ) ,   wh er = 1 , ,   = + = 1 , ,   ( 1 )     I n   th is   eq u atio n ,   we  o b s er v t h m ax   p o o lin g   is   im p lem en t ed   co lu m n - wis e.   T h tr ain a b l attr ib u tes  ar r ep r esen ted   as           ×               .   I n   ad d itio n   to   s en ten ce   m ask in g ,   t h er ar two   ad d ed   t r an s f er   m ask in g   u tili ze d   in   th is   n etwo r k   m o d e th at  ar d en o ted   as           ×   an d             × ,   wh ich   is   u s ed   to   estab lis h   th r elatio n s h ip   b etwe en   wo r d s ,   s en ten ce s   as  well  a s   s ec tio n s .   T h d ef in itio n   g iv en   f o r   ( 2 )   is   s u ch   th at  if   wo r d   o r   s en ten ce   b elo n g s   to   p ar ticu lar   s ec tio n   th en   th m ask in g   s co r is   s et  to   1   o th er wis it is   s et  to   0 .     [ ]  = { 1 ,                         0 ,      [ ]  = { 1 ,                       0 ,    ( 2 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Dee p   lea r n in g - b a s ed   mu lti - ti er sen s itivi ty  a n a lysi s   n etw o r k   fo r   …  ( S a d iy a   A n s a r i )   1253   3 . 2 .     M ulti - t ier  s ens it iv it y   a na ly s is   net wo rk     T h p r o p o s ed   m o d el  co n s is ts   o f   s ev er al  g r ap h ical  co n v o l u tio n al  n etwo r k s   f o r   wo r d s ,   an d   s en ten ce s   as  well  as  s ec tio n s   to   g r asp   i n tr an d   in ter - lev el   co r r elatio n s   f o r   len g th y   d o cu m e n ts .   C o n s id er in g   th Sectio n   g r ap h ,   th s ec tio n   s ca le  attr ib u tes  ar g iv en   as           × .   Self - atten tio n   m ec h a n is m   is   im p lem en te to   b u ild   n o d es f o r   th c o m p let ely   lin k ed   g r ap h       as g iv en   in   ( 3 ) .     = ( , , ) , =   ( ( (  ) × (  ) ) ( ) 1 2 )   ( 3 )     Her e,   th ed g e   s et  is   d en o ted   as  ,   an d   th a d jace n m atr ix   is   g iv en   as    f o r   th g r ap h   .   N o r m aliza tio n   wh ich   is   r o w - wis i s   im p lem en ted   an d   th weig h ts   ar g iv en   as            × ,             × T h d im en s io n   o f   th e   attr ib u t is   g iv en   as  .   T h o u tp u f o r   th g r ap h ical  co n v o lu tio n al  n e two r k   f o r   th   lay er   is   as  g iv en   b el o w,   wh er th d iag o n a n o d m atr i x   is   g iv e n   as  ̃ , =     ( , ) .        ×   with     as th ac tiv atio n   f u n ctio n .     + 1 = ( 1  ̃    ̃     )   ( 4 )     W o r d ,   as  well  as  co n tex tu al - s en s itiv ity   g r ap h s ,   h av n o d es  th at  b eg in   with   h u g q u a n tity   th at  h as  v is ib le  co m p lex ity   wh ile  co n s id er in g   th co m p u tatio n s   in v o lv e d .   T h er ef o r e,   we  in tr o d u ce   s ec tio n - aid e d   p o o lin g   s eg m en ts   f o r   s en ten ce s   as  well  as  s ec tio n - aid ed   p o o lin g   s eg m en ts   f o r   wo r d s   th at  allo p o o lin g   o p er atio n s   iter ativ el y .   T h is   h elp s   to   o m it  n o d es  th at  ar r ed u n d a n as  well  as  d ec r ea s e s   th co m p u tatio n a l   co m p lex ity   an d   r e p r esen ts   g r a p h s   f o r   wo r d s   a n d   s en ten ce s   a v ar io u s   lev els.  T h is   im p r o v e s   th r e p r esen tatio n   th at  is   p r o d u ce d   f o r   t h co n cl u d in g   attr ib u tes.  W ex p r ess   th p r o jectio n   v ec to r   as  = ( ) ,   ap p li ed   o n   th e   attr ib u tes  o f   th   lay er   o f   t h m ac r o - s en s itiv ity   g r ap h ,   wh er        .   T h in d ex   f o r   t h o v er h ea d   n o d es    is   r etr iev ed   h av in g   s ca lar   p r o jectio n   s co r es  f o r   s en ten ce s   an d   s im ilar ly     f o r   wo r d s .   T h is   is   ex p r ess ed   as  = ,    =    ( , )   an d   = ,    =    ( , ) .   Her e,   th r an k in g   o f   n o d es  is   ex p r ess ed   as     ( , )   an d      ( , )   th at  r esu lts   in   th e   lar g est    v alu in     an d   lar g est    v alu in   .     T h d ata  p r o p ag atio n   f o r   s ec tio n - aid ed   p o o lin g   s eg m en ts   f o r   s en ten ce s   as we ll a s   s ec tio n - aid ed   p o o lin g   s eg m e n ts   f o r   wo r d s   is   f o r m u lated   as g iv e n   in   ( 5 ) .                             ,     ̃ = (  , : )       + 1 = (  , : )     ̃ =   ( (  ) )     = ̃   ( ̃ 1 )   ( 5 )                            ,     ̃ = (  , : )       + 1 = (  , : )     + 1 = (  ,  ) + 1 = (  ,  )     ̃ =   ( (  ) )     = ̃   ( ̃ 1 )   ( 6 )     C o n s id er in g   th e   ( 4 )   an d   ( 5 ) ,   th e   s u b - m at r ices  ar (  , : ) , (  , : ) (  , : ) (  , : ) (  ,  )   an d   (  ,  )   b y   c h o o s in g   a   r o w   o r   co lu m n   ac c o r d in g   to      an d    .   E lem en t - b ased   m u ltip licatio n   is   r ep r esen ted   as  .   C o n s id er in g   th co n tex tu al - s en s itiv ity   g r ap h we  p r o p o s ed   DSGC B   s eg m en t o   r eso lv th is s u o f   u n wan te d   d ata  g ath er in g   b y   ca p t u r in g   s em an tic  r elatio n s   f o r   v ar io u s   g lo b al   ar ea s .   T h is   r eso lu tio n   in clu d es  two   c o n v o lu tio n al  g r ap h s ,   o n b ei n g   g l o b al  an d   t h o t h er   o n b ein g   lo ca l.  T h e   g lo b al  g r ap h   is   r es p o n s ib le  f o r   tak in g   c ar o f   d e p en d e n cies o n   lo n g - te r m   s en ten ce   n o d es.  Ass u m   is   th p o o led   s en ten c attr ib u te,   th atten tio n   co e f f icien ts   ar ev alu ated   with   d o t   p r o d u ctio n   f o r   v ar io u s   n o d es.  C o n s id er     as  th n u m b er   o f   n o d es  in   th e   g l o b al  g r ap h .   T h atten tio n   m atr i x   is   d en o ted   as  =   ( 1 . ̃ ) ,   h er = .   T h er ef o r e,   we  f o r m u late   as p er   g iv e n   ( 7 ) .     ̃ = , ( , )          ×   ( 7 )     Her e,   ,   an d   ,          ×   ar ex p r ess ed   as  p r o jectio n   m atr ices.  T h o u tp u f o r   th   h ea d   is   ev alu ated   as  = ( , ) ,   wh er th e   m at r ix   th at  is   tr ain ab le  is   g iv en   as  ,          × .   T h Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  3 9 ,   No .   2 ,   Au g u s 20 25 :   1 2 4 9 - 1 260   1254   co n clu d in g   in teg r ated   r esu lt  is   g iv en   as  f o llo ws,  with   0             ×   as  th attr ib u te  m atr ix   as  g iv en   in   ( 8 ) .     =      [ { } = 1 ] 0            ×   ( 8 )     W h ile  lo o k in g   in to   th e   lo ca co n v o lu tio n al  g r ap h   s eg m e n t,  is   d ev elo p ed   to   ca ter   to   th lo ca l   d ep en d e n cies  c o n s id er i n g   t h d y n am ic  lo ca l   d ata.   An   atten tio n - m ask in g   win d o w   is   also   d e v elo p ed            × ,   h av in g   win d o d im en s io n   o f   ,   f o r   s h ap in g   th r elatio n   b etwe en   th n o d es  as  well  as  th eir   lo ca l   lo ca tio n s .   th r esh o ld     im p lem en ted   o n   th atten tio n   h ea d   c o ef f icien ts     f o r   th e   g lo b a l   g r ap h   s eg m en t to   c h o o s th r ig h t sem an tic  n eig h b o r   g lo b all y ,   wh ich   is   ex p r ess ed   as g iv en   in   ( 9 ) .     [   ] ,  = { [   ] ,  ,                     [   ] ,              0 ,             ,                       ( 9 )     Her e,   th   an d     r o as  well  a s   th co lu m n   o f   th atten tio n   co ef f icien is   ex p r ess ed   as  [   ] ,  .   L astl y ,   th lay e r - b ased   d ata  p r o p a g atio n   f o r   th e   lo ca c o n v o lu tio n al   g r a p h   s eg m en t,  s i m ilar   to   t h g lo b al   co n v o l u tio n al  g r ap h   s eg m en is   g iv en   as  g iv e n   in   ( 1 0 ) .   W h er th tr ain a b le  p a r am eter s   a r g iv en   as  0   an d   , .   On   th in teg r atio n   o f   t h g lo b al  as  well  as  th lo ca co n v o lu tio n al  g r ap h   s eg m en ts ,   we  u s an   attr ib u te   f u s io n   g ate  th at   is   u s ed   in   o b tain in g   t h c o n clu d i n g   attr i b u te  r e p r esen tatio n   f o r   s en te n ce s .   T h er e f o r e,   we   o b tain   th ( 1 1 ) .     = ( , , ) ,     = 1 , 2 ,     =      [ { } = 1 ] 0            ×   ( 1 0 )     =   ( 1 [ ; ] + 1 ) ,     = 1 , 2 ,       = + ( 1 )   ( 1 1 )     Her e,   th o p er atio n   f o r   co n ca ten atio n   elem e n t - wis is   ex p r ess ed   as  1          2 ×   an d   1            ar t h lear n in g   v ar ia b les.  T h wo r d s   o f   th e   s am s ec tio n   o r   s en ten ce   n o r m ally   h a v m o r e   ess en tial  d ata.   T h lay er ed   s tr u ctu r o f   d ata  is   im p lem e n ted   f o r   in t r a - s ec tio n   lear n i n g   g r a p h s   to   en h an ce   th e   attr ib u te  in ter ac tio n .     i s   u s ed   to   r ep r esen t   th a d jace n m atr ix   th at   r esu lts   f r o m   th e   o p er atio n   o f   s elf - atten tio n   o n   th p o o lin g   wo r d   attr ib u te  ,   is   in itially   d ec o u p led   as  an   in tr a - s ec tio n   m atr ix   th at  is   also   ad jace n an d   e x p r ess ed   as    in ter   s ec tio n   m atr ix     f o r   th len g th     o f   t h s ec tio n .   T h m ask i n g   o f   s en ten ce s   as  well  a s   s ec tio n s   ar co m b in e d   with     to   f o r m u l ate  th co n v o l u tio n al  g r a p h   f o r   in tr a - s ec tio n   as g iv en   in   ( 1 2 ) .      =     ( + 1 + + 1 )     ̂ =   (   ( )  )     = ( ̂ )   ( 1 2 )     W h er   an d     ar u s ed   to   d en o te  h y p er p ar am eter s .   Fo r   in ter - s ec tio n   co n v o lu tio n al  g r ap h   a s   m en tio n ed   in   ( 1 3 ) .   Gate   t ec h n iq u e   is   ap p l ied   b etwe en     an d       th at  r esu lts   in   as g iv en   in   ( 1 4 ) .     ̂ =   ( )       =   ( ̂ ) +   ( 1 3 )     =   ( 2 + 3   ) + 2     = + ( 1 )     ( 1 4 )     Her e,   th lear n in g   v ar iab les  f o r   th g ate  ar e   ex p r ess ed   as  2 , 3 ,   an d   2 .   T h attr ib u te  in ter ac tio n   b etwe en   th m ac r o - s en s itiv ity   g r ap h ,   co n te x tu al - s en s itiv ity   g r ap h   as  well  as  k ey wo r d - s en s itiv ity   g r ap h s   h av e   to   b in te g r ate d   wh ich   is   p e r f o r m ed   u s in g   a   C T I FB .   I f   w o r d   o r   s en ten ce   n o d   is   f r o m   s ec tio n     th en   as  g iv en   in   ( 1 5 ) .   Her e,   th lear n in g   v ar iab les  o f   tr an s f er   f u s io n   ar d en o ted   as     an d    .   T h e   d etailed   wo r k in g   o f   th p r o p o s ed   m o d el  is   ex p lain ed   in   t h g i v en   A lg o r ith m   1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Dee p   lea r n in g - b a s ed   mu lti - ti er sen s itivi ty  a n a lysi s   n etw o r k   fo r   …  ( S a d iy a   A n s a r i )   1255    = + 1 + 1     + 1 =     (  ,   )       = + 1 + 1     + 1 =     (  , )      ( 1 5 )     Alg o r ith m   1 .   MT SAN   Input   Dataset  = { ( , ) } 1 , language model  ( , )   that is prior - trained and  , , , , ,   , , = 1 , ,   Output   Trained model    that categorizes    classes   Step 1   For every iteration  = 1 , 2 , ,   do   Step 2       Sample of a batch    from    Step 3        Multi - tier sensitivity encoding network (MTSEN) part:   Step 4         Representation through words and sections   Step 5          Sentence representation using (1)   Step 6          S RMG using (2) and (3)   Step 7           Implement  Multi - Tier Sensitivity Analysis Network (MTSAN)   Step 8           For every layer  = 1 , 2 , . ,   do   Step 9      Global convolutional network graph based on sections using (3) and (4)    Step 10      section aided pooling seg ments for sentences using (5) and (6)   Step 11   Global c onvolu tiona l grap h  for con textua l - s e ns i t i v it y   g r a p h  s e g m e nt   u s in g   ( 7 ) (11)   Step 12   Global convolutional graph for keyword - sensitivity graph segment using (12) - (14)   Step 13      Interactions using transfer  fusion with (15)   Step 14   End for   Step 15   Feature fusion part   Step 16   Feature fusion calculation using equation 16   Step 17   The  Multi - Tier Sensitivity Analysis Network (MTSAN)   is evaluated using (17)   Step 18   End For   Step 19   Return      3 . 3 .     I nte g ra t ed   s ens it iv it y   f ea t ure  f us io   p o o lin g   o p er atio n   b ased   o n   th co lu m n   is   ap p lied   to   g at h e r   m o r d ata  at  d if f er e n lay er s   wh ich   ar ex p r ess ed   as  ( ) ,   th f in al  o u tp u is   th r esu lt  o f   th ev alu atio n   as  g iv en   in   ( 1 6 ) .   T h co u n o f   lay er s   in   th p r o p o s ed   m o d el  is   in d icate d   b y   .   T h en ,   an o th er   m a x   p o o li n g   o p e r atio n   is   p er f o r m e d   to   in teg r ate  th p r i o r   f ea tu r es o f   th e   lay er s   wh ich   ar   ,     ,   an d       wh ich   is   f o r m u lated   as  g iv en   b el o in   ( 1 7 ) .       = ( )       = [ ( 1 ) , . , ( ) ) ]       = [ ( 1 ) , . , ( ) ) ]   ( 1 6 )     = ( [   ,   ,   ] )   ( 1 7 )       4.   P E RF O RM A NCE   E VA L U AT I O N   T h p ap er   in tr o d u ce s   th MT SAN,   n o v el  f r am ewo r k   f o r   class if y in g   d o cu m e n ts   in to   p u b lic,   p r iv ate,   an d   co n f id en tial  ca te g o r ie s .   L ev er a g in g   a d v an ce d   d ee p   lear n i n g   tech n iq u es,  in cl u d in g   c o n v o lu tio n al   n etwo r k s   an d   GC N s ,   MT SA ca p tu r es  b o th   lo ca an d   g lo b al  co n tex tu al  in f o r m atio n .   I in co r p o r ates  s ev er al  k ey   co m p o n en ts ,   s u ch   as  th MT SEN,   DSG C B ,   an d   C T I FB ,   to   en h an ce   f ea tu r r ep r esen tatio n   an d   class if icatio n   ac cu r ac y .   T h e   p r o p o s ed   s y s tem   was  ev alu ate d   o n   d atasets   lik th 2 0   n ewsg r o u p s ,   e n r o n   em ail an d   MI MI C - III  clin ical  d ata b ase ,   d em o n s tr atin g   s u p er i o r   p er f o r m a n ce   o v e r   tr ad itio n al  m o d els  lik s u p p o r t   v ec to r   m ac h in ( SVM )   an d   c o n tem p o r ar y   d ee p   lear n in g   m o d els  lik B E R T .   T h is   s tu d y   ad d r ess es  ex is tin g   g ap s   in   s en s itiv in f o r m atio n   class if ica tio n ,   p ar ticu lar ly   f o r   co m p lex   a n d   le n g th y   d o c u m e n ts ,   b y   p r o v i d in g   a   m o r r o b u s t a n d   ef f icien t c lass if icatio n   s y s tem .     4 . 1 .   Da t a s et   d et a ils   a nd   co mp a riso n m ec ha nis m   4 . 1 . 1 .   20  newsg ro up s   da t a s et   T h is   d ataset  co n s is ts   o f   ar o u n d   2 0 , 0 0 0   n ewsg r o u p   d o cu m en ts ,   p a r titi o n ed   ac r o s s   2 0   d if f er e n t   n ewsg r o u p s ,   c o v er i n g   a   wid r an g o f   t o p ics.  T h e   v ast  m aj o r ity   o f   th e   co n te n in   th 2 0   New s g r o u p s   d ataset   ca n   b class if ied   as  p u b lic .   T h ese  ar d is cu s s io n s   f r o m   v ar i o u s   n ewsg r o u p s ,   co v e r in g   a   wid ar r ay   o f   to p ics,  in ten d ed   f o r   p u b lic  v iewin g   an d   s h ar in g .   T h er is   m in im al  r is k   ass o ciate d   with   th is   d ata  b ein g   p u b licly   ac ce s s ib le,   as th co n ten t is m ea n t to   b o p en   t o   all  u s er s   o f   t h n ewsg r o u p s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  3 9 ,   No .   2 ,   Au g u s 20 25 :   1 2 4 9 - 1 260   1256   4 . 1 . 2 .   E nro em a il da t a s e t   Ma n y   em ails   in   t h is   d ataset  ca n   b e   co n s id er e d   p r iv ate .   As  th ey   in v o lv e   in ter n al   co r p o r ate  co m m u n icatio n s   th at  ar e   n o m ea n f o r   p u b lic  d is clo s u r e.   T h ey   d o   n o n ec ess ar ily   c o n t ain   h ig h l y   s en s itiv in f o r m atio n .     4 . 1 . 3 .   M I M I C - I I I   clinica l da t a ba s e   T h clin ical  n o tes  an d   m ed ica d ata  in   th MI MI C - III  d atab ase  ar h ig h ly   co n f id en tial.  T h is   d ataset   in clu d es  s en s itiv p atien in f o r m atio n ,   m ed ical  h is to r ies,  d i ag n o s es,  an d   tr ea tm en p la n s .   T h HI PAA  in   th Un ited   States ,   f o r   in s tan ce ,   m a n d ates stric t c o n f id en tiality   f o r   s u ch   d ata  to   p r o tect  p atien t p r iv ac y .     4 . 1 . 4 .   Su pp o rt   v ec t o m a chi ne   SVMs  ar p o p u lar   m ac h i n e - lear n in g   tech n iq u u s ed   f o r   cl ass if icatio n   task s .   T h ey   w o r k   b y   f i n d in g   th o p tim al  h y p e r p lan e   th at   s ep ar ates  d if f er e n class es  in   h ig h - d im en s io n al  s p ac e .   I n   t h co n tex o f   d o cu m e n class if icatio n ,   SV Ms  ar ef f ec tiv d u to   th eir   ab ilit y   to   h an d le  s p ar s d ata  a n d   h ig h - d im en s io n al   f ea tu r s p ac es,  ty p ical  in   te x t - b ased   ap p licatio n s .     4 . 1 . 5 .   B idi re ct io na enco der  re presenta t io ns   f ro m   t ra ns f o rm er s   B E R T ,   s tate - of - th e - ar d ee p   lear n in g   m o d el  f o r   NL P,  lev er ag es  th tr an s f o r m e r   ar ch itectu r e.   B E R T   is   p r etr ain ed   o n   v ast  a m o u n ts   o f   te x d ata   an d   f in e - tu n ed   f o r   s p ec if ic  task s ,   m ak i n g   it   ex ce p tio n ally   g o o d   at  u n d er s tan d in g   co n tex an d   s em an tics .   Un lik tr a d itio n al  m o d els,  B E R T   r ea d s   te x b i - d ir ec tio n ally co n s id er in g   th c o n tex f r o m   b o th   p r ec e d in g   an d   f o llo wi n g   wo r d s   in   a   s en ten ce ,   th u s   ca p tu r in g   r ich er   in f o r m atio n     4 . 2 .     Resul t s   Fig u r 2   co m p a r es  th o v er all   ac cu r ac y   o f   th r ee   d if f e r en m o d els SVM,   B E R T ,   an d   th e   MT SAN   in   class if y in g   d o cu m e n ts   in to   p u b li c,   p r iv ate,   a n d   co n f id en tial  ca teg o r ies.  T h SVM  m o d el  a ch iev es a n   ac cu r ac y   o f   ar o u n d   8 4 %,  i n d icatin g   its   b asic  ca p ab ilit y   to   p e r f o r m   th e   class if icatio n   task ,   th o u g h   it  s tr u g g les  with   m o r e   co m p lex   d is tin ctio n s .   T h e   B E R T   m o d el,   lev e r ag in g   d ee p   l ea r n in g   tech n iq u es  an d   tr an s f o r m er   a r ch itectu r e,   s ig n if ican tly   im p r o v es  ac cu r a cy   to   ap p r o x im ately   9 1 %,  d e m o n s tr atin g   b etter   u n d er s ta n d in g   o f   n u a n ce d   lan g u ag e   an d   co n tex t.  T h M T SAN  o u tp er f o r m s   b o th   SVM  an d   B E R T ,   ac h iev in g   a n   ac c u r ac y   o f   a b o u t   9 6 %.   T h is   s u g g ests   th at   th PS   m o d el  in co r p o r ates  ad v an ce d   f ea tu r es  o r   o p tim izatio n s ,   m a k in g   it  p ar ticu lar l y   ef f ec tiv at  ac cu r ately   ca teg o r izin g   d o c u m en ts   ac r o s s   d if f e r en s en s itiv ity   lev els.  T h s u p er io r   p e r f o r m an ce   o f   th PS   m o d el  h ig h lig h ts   its   p o ten tial  as  r eliab le  to o f o r   s en s itiv d ata  class if icat io n ,   alig n in g   well  to   en s u r p r ec is id en tific atio n   a n d   h an d lin g   o f   s en s itiv in f o r m atio n .           Fig u r 2 .   C o m p a r es th o v er al l a cc u r ac y   o f   th r ee   d if f er e n t m o d els       I llu s tr ates  th F1 - s co r f o r   p u b lic  d ata  class if icatio n   ac h iev e d   b y   th r ee   m o d els:   SVM,   B E R T ,   an d   th MT SAN.   T h SVM  m o d e s co r es  ar o u n d   8 4 . 5 %,  i n d icat in g   r elativ el y   b alan ce d   p r ec i s io n   an d   r ec all  b u Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Dee p   lea r n in g - b a s ed   mu lti - ti er sen s itivi ty  a n a lysi s   n etw o r k   fo r   …  ( S a d iy a   A n s a r i )   1257   with   lim itatio n s   in   h a n d lin g   t h co m p lex ity   o f   p u b lic   d ata   co n ten t.   T h e   B E R T   m o d el   im p r o v es  u p o n   t h is ,   ac h iev in g   ap p r o x i m ately   9 1 . 5 %,  b en ef itin g   f r o m   its   ab ilit y   t o   u n d er s tan d   co n tex an d   s em an tics   th r o u g h   d ee p   lear n in g .   T h MT SAN  ac h iev es  th h ig h est  F1 - s co r at  ar o u n d   9 6 . 5 %,  s h o wca s in g   its   s u p er io r   ca p a b ilit y   in   ac cu r ately   class if y in g   p u b lic   d o c u m en ts .   T h is   h ig h   p er f o r m an ce   s u g g ests   th at  th e   PS   m o d el   ef f ec ti v ely   b alan ce s   p r ec is io n   an d   r ec all,   m in im izin g   b o th   f alse  p o s itiv es  an d   f alse  n eg ativ es.  T h r esu lts   h ig h lig h th PS   m o d el' s   ad v an ce d   p r o ce s s in g   ca p a b ilit ies,  m ak in g   it  th m o s r eliab le  ch o ice  f o r   ca teg o r izin g   p u b li d ata   with in   th is   s et  o f   m o d els.  Fig u r 3   co m p ar es th F1 - s co r o f   p u b lic  d ata  f o r   th r ee   d if f e r en m o d els.           Fig u r 3 .   C o m p a r es th F1 - s c o r o f   p u b lic  d ata  f o r   th r ee   d if f er en t m o d els       T h b ar   c h ar d is p lay s   th F1 - s co r f o r   class if y in g   p r iv ate  d ata  ac r o s s   th r ee   m o d els:   SV M,   B E R T ,   an d   th MT SAN.   T h SV m o d el  s h o ws  an   F1 - s co r o f   ap p r o x im ately   8 2 . 5 %,  r ef lectin g   m o d e r ate   p er f o r m an ce   in   b alan cin g   p r e cisi o n   an d   r ec all  f o r   p r iv ate  d ata,   b u with   s o m s h o r tco m in g s   lik ely   d u to   its   less   co m p lex   h an d lin g   o f   n u an ce s   in   th d ata.   B E R T ,   lev er ag in g   a d v an ce d   NL P   ca p ab ilit ies,  ac h iev es  an   im p r o v e d   F1 - s co r o f   ar o u n d   8 9 . 5 %,  in d icatin g   m o r ac c u r ate  class if icatio n   o f   p r iv ate  d o cu m e n ts ,   th an k s   to   its   ab ilit y   to   u n d er s tan d   th co n t ex an d   in tr icate   d etails.  T h MT SAN  lead s   wi th   th h ig h est  F1 - s co r at  ap p r o x im ately   9 4 . 5 %,  d em o n s tr atin g   ex ce p tio n al  p r ec is io n   a n d   r ec all  i n   id e n tify in g   p r i v ate  in f o r m atio n .   T h is   r esu lt  in d icate s   th at  th PS   m o d el  is   p ar ticu lar ly   ef f e ctiv in   m an ag in g   th co m p lex ities   o f   p r iv ate  d ata,   en s u r in g   h ig h   lev el  o f   ac cu r ac y   in   class if icatio n ,   th u s   o f f er in g   th m o s r eliab le  p er f o r m an ce   am o n g   th e   ev alu ated   m o d els.  Fig u r 4   co m p ar es th F1 - s co r o f   p r iv ate   d ata  f o r   th r ee   d i f f er en m o d el s .           Fig u r 4 .   C o m p a r es th F1 - s c o r o f   p r iv ate  d ata  f o r   th r ee   d if f er en t m o d els     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  3 9 ,   No .   2 ,   Au g u s 20 25 :   1 2 4 9 - 1 260   1258   Fig u r 5   illu s tr ates  th F1 - s co r f o r   th e   class if icatio n   o f   co n f id en tial  d ata   ac r o s s   th r ee   m o d els:   SVM,   B E R T ,   an d   th MT SA N.   T h SVM  m o d el  h as  th lo we s F1 - s co r at  ap p r o x im ately   7 9 %,  s u g g e s tin g   s tr u g g le  with   ac cu r ately   id e n tify in g   a n d   d is tin g u is h in g   co n f id en tial  in f o r m ati o n ,   p o s s ib ly   d u to   its   lim itatio n s   in   h an d lin g   th s u b tleties   o f   s en s itiv co n ten t.  T h B E R T   m o d el  im p r o v es  o n   th is   with   an   F1 - s co r o f   a r o u n d   8 8 %,  b e n ef itin g   f r o m   its   d ee p   lear n in g   ar c h itectu r th at  b etter   ca p tu r es  co n tex an d   s em an tic   n u an ce s ,   th u s   en h an cin g   its   p er f o r m a n ce   in   class if y in g   co n f id en tial  d o cu m e n ts .   T h MT SAN  ac h iev es  th e   h ig h est  F1 - s co r at  a b o u 9 3 . 5 %,  in d icatin g   s u p er i o r   p r ec is io n   an d   r ec all.   T h is   s u g g es ts   th at  th PS   m o d el  is   h ig h ly   ef f ec tiv at  m an ag i n g   th co m p lex ities   in h er en in   co n f id en tial  d ata,   en s u r in g   m o r ac cu r ate  an d   r eliab le  class if icatio n .   T h h ig h   p er f o r m an ce   o f   th PS   m o d el  h ig h lig h ts   its   ca p ab ilit y   to   m ain tain   b alan ce   b etwe en   co r r ec tl y   id en tify i n g   co n f id en tial  in f o r m atio n   an d   m in im izin g   f alse  p o s itiv es  an d   n eg ativ es,  m ak in g   it th m o s t e f f ec tiv m o d el  am o n g   th o s ev alu ated   f o r   th is   ta s k .           Fig u r 5 .   F1 - s co r f o r   th clas s if icatio n   o f   co n f id en tial d ata       4 . 3 .     Co m pa ra t iv a na ly s is   T h co m p ar ativ a n aly s is   d e m o n s tr ates  th at  th p r o p o s ed   MT SAN  s ig n if ican tly   o u tp e r f o r m s   b o t h   tr ad itio n al  m ac h in lear n in g   m o d els,  s u ch   as  SVM,   an d   ad v an ce d   d ee p   lear n in g   m o d els  l ik B E R T .   MT SA N   ac h iev ed   h i g h er   ac c u r ac y   r ate  o f   ap p r o x im ately   9 6 %,  c o m p ar ed   to   8 4 f o r   SVM  an d   9 1 f o r   B E R T ,   s h o wca s in g   its   s u p er io r   ca p a b ilit y   in   co r r ec tly   ca teg o r izin g   s en s itiv in f o r m atio n   i n to   p u b lic,   p r iv ate,   a n d   co n f id en tial  ca teg o r ies.  T h F 1 - s co r es  also   f av o r ed   MT SA N,   p ar ticu lar ly   in   h an d lin g   c o m p lex   d is tin ctio n s   in   co n f i d en tial  d ata,   wh er it  r ea ch ed   9 3 . 5 %,  co m p ar e d   to   B E R T ' s   8 8 %.  Key   im p r o v em en ts   o v er   B E R T   in clu d e   th in tr o d u ctio n   o f   th MT SE N,   wh ich   p r o ce s s es  m u lti - lev el  d o cu m e n f ea t u r es  s u ch   as  s ec tio n s ,   s en ten ce s ,   an d   wo r d s ,   o f f er in g   a   m o r e   n u an ce d   u n d e r s tan d in g   o f   d o c u m en s tr u ctu r e.   T h DSGC B   en h an ce s   s em an tic   r elatio n s h ip   d etec tio n   b y   ca p t u r in g   b o th   g lo b al  d ep e n d en ci es  an d   lo ca d y n am ics,  s u r p ass in g   B E R T ' s   to k en - lev el  atten tio n   m ec h an is m .   Ad d itio n ally ,   th C T I FB   in   MT SAN  ef f ec tiv ely   in teg r ates  m u lti - lev el  f ea tu r es,   ca p ab ilit y   n o p r esen in   B E R T ' s   ar ch itectu r e,   th u s   lev er ag in g   b o th   m ac r o   an d   m icr o - s tr u ctu r al  in f o r m atio n   f o r   m o r e   ac cu r ate   class if icatio n .   Fu r th er m o r e,   MT SAN  ad d r ess es  th ch allen g o f   h an d lin g   lo n g   a n d   co m p lex   d o cu m e n ts   m o r ef f i cien tly   th an   B E R T ,   wh ich   ca n   s tr u g g le  with   len g th y   in p u ts   d u to   its   q u ad r atic  co m p lex ity .   T h s ec tio n - ai d ed   p o o lin g   an d   f ea tu r f u s io n   m ec h an is m s   in   MT SAN  f ac ili ta te  th m an ag em en t   o f   d o c u m en ts   with   m ix e d   co n ten ty p es  an d   v ar y in g   s en s i tiv ity   lev els.  Ov er all,   th ese  e n h an ce m e n ts   m ak MT SAN  m o r r eliab le  an d   ef f ec tiv t o o f o r   s en s itiv in f o r m atio n   class if icatio n ,   p r o v id in g   co m p r eh e n s iv an d   ef f icien t s o lu tio n   f o r   m a n ag in g   s en s itiv d ata.       5.   CO NCLU SI O N   T h p r o p o s ed   MT SAN  p r esen ts   r o b u s an d   ef f ec tiv e   s o lu tio n   f o r   class if y in g   d o cu m en ts   in to   p u b lic,   p r i v ate,   an d   c o n f i d en tial  ca teg o r ies .   B y   lev er ag in g   ad v an ce d   d ee p   lea r n in g   te ch n iq u es,  in clu d in g   co n v o l u tio n al  n etwo r k s   an d   GC N s ,   MT SAN   s u cc es s f u lly   ca p tu r es   b o th   lo ca an d   g lo b al  co n tex tu al   Evaluation Warning : The document was created with Spire.PDF for Python.