I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   16 ,   No .   5 ,  Octo b er   20 26 ,   p p .   2 8 0 6 ~ 2 8 1 8   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 16 i 5 . pp 2 8 0 6 - 2 8 1 8           2806       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   Dete c tion a nd  cla ss ificatio n of  thyr o id disea ses  using  ult ra so und  ima g es throug h d eep learning   tech niques       K a m a l Sub edi 1 ,   Ak a s h K um a r  Ya da v 2 ,   L o cha n P a ud el 3   1 S c h o o l   o f   E n g i n e e r i n g   a n d   A p p l i e d   S c i e n c e ,   Th e   G e o r g e   W a sh i n g t o n   U n i v e r si t y ,   W a s h i n g t o n ,   D C ,   U n i t e d   S t a t e s   2 G r a d u a t e   S c h o o l   o f   A r t s   a n d   S c i e n c e s,  F o r d h a m U n i v e r s i t y ,   N e w   Y o r k   C i t y ,   U n i t e d   S t a t e s   3 A r t i f i c i a l   I n t e l l i g e n c e   a n d   M a c h i n e   L e a r n i n g   D e p a r t m e n t ,   S y m b i o si s   I n st i t u t e   o f   Te c h n o l o g y ,   P u n e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   2 1 ,   2 0 2 6   R ev is ed   J u l 2 9 ,   2 0 2 6   Acc ep ted   Au g   1 9 ,   2 0 2 6       Th y r o id   d iso r d e rs  c o n ti n u e   t o   b e   a   m a jo r  g lo b a l  p u b li c   h e a lt h   c o n c e rn ,   wit h   u lt ra so u n d   sc re e n in g s   in d ica ti n g   th a t  t h y r o id   n o d u les   a ffe c t  ro u g h ly   3 0 %   t o   5 0 %   o f  a d u lt s.   Id e n ti fy i n g   t h e   sp e c ifi c   n a tu re   o f  t h e se   n o d u les   is  c ru c ial  fo r   e ffe c ti v e   trea tme n t,   a s  c a t c h in g   m a li g n a n t  n o d u les   e a rly   lea d s   to   b e tt e r   o u tco m e s.  A  k e y   c h a ll e n g e   is  th a t  b e n ig n   a n d   m a li g n a n t  n o d u les   o ften   lo o k   v isu a ll y   sim il a r  i n   u lt ra so u n d   sc a n s.  Co n se q u e n tl y ,   t h is p a p e r  p re s e n ts a t wo - p h a se   d e e p   lea rn in g   a p p ro a c h   f o r   th e   a u t o m a ted   d e tec ti o n   a n d   c las sifica ti o n   o f  th y ro i d   n o d u les   in   u lt ra so u n d   sc a n s.  In it ially ,   t h e   fra m e wo rk   u se s   Atten ti o n   U - Ne t  se g m e n tatio n   t o   lo c a te  th e   re g i o n   o f  i n tere st  (R OI)  fo r  t h e   n o d u les .   E x p e rt - d ra wn   p i x e l - lev e l  a n n o tatio n s  o f  t h y r o id   n o d u les   we re   n o t   a v a il a b le;  h e n c e ,   p se u d o - lab e ls w e re   u se d   in   train in g .   Th e y   we re   o b tain e d   b y   a p p ly in g   c o n tras t  li m it e d   a d a p ti v e   h isto g ra m   e q u a li z a ti o n   (CLA HE) ,   Otsu   th re sh o l d i n g ,   a n d   m o rp h o lo g ica l  o p e ra ti o n s.  S u b se q u e n tl y ,   a   tailo re d   c o n v o lu ti o n a l  n e u ra l  n e two r k   ( C NN )   wa s  u ti li z e d   to   c a teg o rize   th e   e x trac ted   th y r o id   a re a s  a s  e it h e r   b e n ig n   o r  m a li g n a n t.   Da ta  a u g m e n tatio n   u sin g   t h e   M ix U p   a n d   C u tM i x   tec h n i q u e s  h e lp e d   re d u c e   t h e   risk   o f   o v e rfit ti n g ,   e n h a n c in g   t h e   m o d e l' s  g e n e ra li z a b il it y .   T h is  e x p e rime n t  wa s  tes ted   o n   4 8 0   u lt ra so u n d   ima g e s  g a th e re d   fro m   two   tea c h in g   h o s p it a ls  in   N e p a l.   Th e   p ro p o se d   fra m e wo rk   sh o ws   th a t  se g m e n tatio n   wit h   we a k   su p e rv isio n   a lo n g   with   c las sifica ti o n   u sin g   d e e p   l e a rn in g   c a n   p ro v i d e   e fficie n t   d i a g n o sis   o f   th y r o id   n o d u les   e v e n   with   m i n ima l  m e d ica l  d a ta  a n n o tati o n .   Va li d a ti o n   u sin g   a   3 - f o ld   stra ti f ied   c ro ss - v a li d a ti o n   m e th o d   d e m o n stra ted   th a t  t h e   Atten ti o n   U - Ne t  se g m e n tatio n   y i e ld e d   a   Dic e   sc o re   o f  0 . 8 7 7 2   a n d   a n   Io U  o f   0 . 7 8 7 3 .   M e a n wh il e ,   th e   c las sifica ti o n   c o m p o n e n t   re a c h e d   a n   o v e ra ll   a c c u ra c y   o f  9 6 . 7 3 % ,   wit h   a   se n sit iv it y   o f   5 8 . 3 3 % ,   sp e c ifi c it y   o f   9 7 . 8 9 % ,   a n d   a   m e a n   ROC - AU C  o f  9 4 . 6 0 % .   K ey w o r d s :   Atten tio n   U - Net   No d u le  s eg m en tatio n   Ots u   th r esh o ld in g   T h y r o i d   d is ea s e  d etec tio n   Ultr aso u n d   im ag e  a n aly s is   W ea k   s eg m en tatio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kam al  Su b ed i   Sch o o l o f   E n g in ee r in g   a n d   Ap p lied   Scien ce ,   T h e  Geo r g e  W a s h in g to n   Un iv e r s ity   W ash in g to n ,   DC ,   Un ited   State   E m ail: K am al. s u b ed i@ g wu . ed u       1.   I NT RO D UCT I O N   T h e  th y r o id   g lan d   is   a  s m all,   b u tter f ly - s h ap e d   g lan d   th at  is   lo ca ted   in   th e  an ter i o r   r e g io n   o f   th e  n ec k .   T h e  th y r o id   g lan d   p r o d u ce s   h o r m o n es  wh o s e  f u n ctio n   is   to   r eg u late  th e  d if f er en t  p r o ce s s es  in   th e  b o d y   s u ch   as  m etab o lis m ,   h ea r t  r ate,   an d   b o d y   tem p e r atu r e.   W h en   t h er e  ar e  s o m e  a b n o r m alities   with   r eg ar d s   to   th e   th y r o id   g lan d ,   th e n   d if f er e n t  d is ea s es  will  b e  ex p e r ien ce d ,   in clu d in g   h y p er th y r o id is m ,   h y p o th y r o id is m ,   G o iter ,   an d   th y r o id   ca n ce r   [ 1 ] .   As o b s er v ed   f r o m   th e  latest s tu d ies,  th y r o i d   n o d u les ar e  f o u n d   in   b etwe en   3 0 %   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dete ctio n   a n d   cla s s ifica tio n   o f th yro id   d is ea s es u s in g   u ltr a s o u n d   …  ( K a ma l  S u b e d i )   2807   an d   5 0 %  o f   th e  t o tal  n u m b er   o f   p e o p le  th r o u g h   u ltra s o u n d   s cr ee n in g   test s .   C an ce r   is   p r es en t  in   7 %  to   1 5 %  o f   th e  th y r o i d   n o d u les  [ 2 ] .   Ultr aso u n d   is   th e  m o s t  f r eq u e n t  an d   p r im ar y   m o d ality   f o r   th e  d iag n o s is   o f   th y r o id   n o d u les  d u e  to   its   s af ety ,   co s t - ef f ec tiv en ess ,   an d   lack   o f   io n izin g   r ad iatio n   [ 3 ] .   Ultr aso u n d   im a g es  g en er ally   co n tain   p o o r   co n tr ast,  s p ec k le  n o is e,   an d   u n clea r   b o u n d ar ies,  m ak in g   it  d i f f icu lt  f o r   p h y s ician s   to   m ak e  a  p r o p e r   d iag n o s is .   T h e  Am er ican   T h y r o id   Ass o ciatio n   ( AT A)   h as  p r o v id e d   d iag n o s tic  cr iter ia  f o r   th y r o id   n o d u les  u s in g   u ltra s o u n d   ch a r ac ter is tics   s u c h   as  s h ap e,   ec h o g en icity ,   an d   m ar g in s   [ 4 ] .   Desp ite  th e  p r esen ce   o f   g u id elin es,   th er e  ar e  m ajo r   d is cr ep an cie s   in   th e  in ter p r etatio n s   o f   u l tr aso u n d   im ag es  b y   d if f er en t   p h y s ician s ,   an d   a   d iag n o s is   is   g en er ally   m a d e  o n ly   af ter   a  f in e - n ee d le  asp ir atio n   b io p s y ,   wh ich   is   an   i n v asiv e  p r o ce s s .   Dee p   lear n in g   h as b ec o m e   an   ef f ec tiv e  m eth o d   f o r   an aly zin g   m ed ical  im a g es  in   t h e  p ast  d ec ad e.   T h e   d ee p   lear n in g   f r a m ewo r k ,   esp ec ially   co n v o l u tio n al  n e u r al  n etwo r k   ( C NN)   ar ch itectu r e,   is   ab le  to   lear n   u s ef u l   f ea tu r es  d ir ec tly   f r o m   im ag es   r ath er   th an   u s in g   m an u al  f ea tu r e  ex tr ac tio n   tech n iq u es  [ 2 ] .   T h er e  h a v e  b ee n   s ev er al  in s tan ce s   wh er e  d ee p   lear n in g   alg o r ith m s   h av e   b ee n   em p lo y ed   f o r   th y r o id   n o d u l e  class if icatio n   an d   ac h iev ed   s atis f ac to r y   p er f o r m an ce .   Fo r   i n s tan ce ,   Kim   et  a l.   [ 5 ]   d e v elo p e d   m o d els  u s in g   th e  VGG1 6 ,   VGG1 9 ,   an d   R esNet  ar ch itectu r es  o n   a  d ataset  o f   m o r e  th an   1 5 , 0 0 0   t h y r o i d   u ltra s o u n d   im a g es  an d   o b tain ed   co m p ar ab le  ac c u r ac y   lev els  to   ex p er ien ce d   r ad io lo g is ts   f o r   class if icatio n   task   o f   b en ig n   an d   m alig n a n t   n o d u les.  L ik ewise,   Das  et  a l.   [ 2 ]   co n d u cted   an   ex h a u s tiv e  r ev iew  s h o win g   th e  ef f icac y   o f   d ee p   lear n in g - b ased   alg o r ith m s   in   t h y r o id   n o d u le  an aly s is .   T h e  ea r lier   m eth o d s   o f   class if icatio n   o f   th e   d is ea s e  wer e  b ased   o n   m an u ally   d esig n e d   tex tu r e   f ea tu r es a s   well  as c las s ical  m ac h in e  lear n in g   class if ier s .   T h e  ap p r o ac h   o f   Nu g r o h o   et  a l.   [ 1 ]   was b ased   o n   t h e   u s e  o f   s u p p o r t  v ec to r   m ac h i n e   ( SVM )   with   tex tu r e  f ea tu r es  in   o r d er   to   ac h iev e  th e  ac cu r ac y   o f   8 9 %  in   class if icatio n   o f   th y r o id   u ltra s o u n d   i m ag es.  Ma h m o o d ian   et  a l.   [ 3 ]   p r o p o s ed   an   ap p r o ac h   b ased   o n   th e   ex tr ac tio n   o f   f ea tu r es  u s in g   b is p ec tr u m   with   th e  r esu ltin g   ac cu r ac y   o f   9 3 . 2 7 %  in   class i f icatio n   o f   th y r o id   tex tu r es.  Similar ly ,   Kale   et  a l.   [ 6 ]   em p lo y ed   g r ay - lev el  c o - o cc u r r en ce   m atr i x   ( GL C M)   f ea tu r es  an d   SVM   in   o r d er   to   ac h iev e  8 2 . 2 8 %  ac cu r ac y .   T h e  p o ten tial  o f   th e   ap p l icatio n   o f   tex tu r e   an aly s is   u s i n g   u ltra s o u n d   s h ea r   wav e  elasto g r ap h y   to   p r e d ict   th e  o cc u r r e n ce   o f   m alig n an t   th y r o id   n o d u les  v ia  th e   u s e  o f   SVM,   k - n ea r est  n eig h b o r s   ( KNN) ,   an d   B ay esian   class if ier s   was  s tu d ied   b y   Sin g h   et  a l.   [ 7 ] .   B ib icu   et   a l.   [ 8 ]   u s ed   s tatis tical  f ir s t  o r d er   f ea t u r es  in   o r d er   t o   d etec t  9 0 %  o f   th e  s p ec if icit y ,   wh er ea s   Ab b asian   et  a l.   [ 9 ]   u s ed   2 7 0   f ea tu r es  f r o m   u ltra s o u n d   im a g e  tex tu r es  in   o r d er   to   ac h iev e  9 7 . 1 4 %  ac cu r ac y   o n   7 0   im a g es  in   to tal.   Fu r th er m o r e,   T y ag i  et  a l.   [ 1 0 ]   d ev elo p ed   a n   in ter ac tiv e  a p p licatio n   f o r   t h e  p r e d ictio n   o f   th y r o id   d is e ase  u s in g   m ac h in e   lear n in g   tech n iq u es.   Dee p   lear n in g   h as  b ee n   v e r y   ef f ec tiv e  in   ad v an cin g   th y r o id   d is ea s e  clas s if icatio n .   Kim   et  a l.   [ 5 ]   b u ilt  m o d els  u s in g   VGG1 6 ,   VGG1 9 ,   an d   R esNet  m o d els  o n   a  lar g e  s ca le  d ataset,   a ch iev in g   a  s im ilar   ac cu r ac y   as  t h at  o f   p r o f ess io n al  r ad io l o g is ts .   C h i  et  a l.   [ 1 1 ]   f in e - tu n ed   a   p r e - t r ain ed   Go o g L eNe t  m o d el,     wh ile  Av er s an o   et  a l.   [ 1 2 ]   f u r th er   tr ain ed   th e  R esNet - 1 8   n eu r al  n etwo r k   f o r   th y r o id   u ltra s o u n d   class if icatio n .   L iu   et  a l.   [ 1 3 ]   p er f o r m e d   a   tr an s f er   lear n in g   an d   h y b r id   f ea tu r e  s tu d y   o n   th y r o id   u ltra s o u n d   im a g es  an d   Ab d o lali  et  a l.   [ 1 4 ]   p r esen t ed   an   a u to m ated   th y r o id   d e tectio n   an d   class if icatio n   s y s tem   u s in g   C NNs.     Gu an   et  a l.   [ 1 5 ]   p er f o r m ed   a  lar g e - s ca le  p ilo t  s tu d y   o n   th y r o id   n o d u le  class if icatio n   th r o u g h   d ee p   lear n i n g .   R ec en tly ,   Kim   et  a l.   [ 1 6 ]   u s ed   R esNet5 0 ,   Den s eNe t2 0 1 ,   an d   E f f icien tNetV2 - S d ee p   lear n i n g   ar ch itectu r es f o r   Mu ltiv iew   th y r o id   u ltra s o u n d   class if icatio n ,   o b tain in g   class if icatio n   ac cu r ac ies  o f   8 1 % - 8 3 %.  T h ese  s tu d ies   h ig h lig h t  th e  ad v an tag es  o f   l ea r n ed   f ea tu r es  o v er   m an u ally   d esig n ed   o n es,  h o wev er ,   t h ey   r eq u i r e  a  lar g e   am o u n t  o f   lab elled   d atasets   an d   d ea l w ith   class if icatio n   s ep ar ately   f r o m   s eg m en tatio n .   Fo r   th e  p r o b lem   o f   s eg m en t atio n ,   th e  U - Net  m o d el  [ 1 7 ]   h as  b ec o m e  h ig h ly   p o p u lar   in   m ed ical  im ag in g   d u e  t o   its   ab ilit y   to   g en er ate   ac cu r ate   s eg m en tat io n   m ap s   e v en   with   r elativ e ly   s m all  d atasets .   Atten tio n   U - Net  [ 1 8 ]   f u r t h er   i m p r o v e d   s eg m e n tatio n   p er f o r m an ce   b y   in te g r atin g   atten tio n   g ates  th at  f o cu s   o n   r elev an t  im ag e  r eg io n s .   C h in a  et  a l.   [ 1 9 ]   p r esen ted   a  n ew  v o lu m etr ic  s eg m en tatio n   ap p r o ac h   u s in g   iter ativ e   r an d o m   walk s   f o r   a n aly zin g   u ltra s o u n d   im ag es.  Yan g   et  a l.   [ 2 0 ]   i n tr o d u ce d   a  m u ltit ask   lear n in g   f r am ewo r k   f o r   th y r o id   n o d u le  s eg m en tatio n   b y   in co r p o r atin g   th y r o id   r eg io n   p r io r s ,   wh ile  Do n g   et  a l.   [ 2 1 ]   p r o p o s ed   a  d u al - p ath   atten tio n   m ec h an is m   with   UNe t++   an d   ac h iev ed   a  Dice   s co r e  o f   0 . 8 3 1 0 .   Ho w ev er ,   m o s t  ex is tin g   s eg m en tatio n   ap p r o ac h es  s till   r ely   h ea v ily   o n   m a n u ally   a n n o tated   g r o u n d   tr u th   im a g es,  wh ich   m o tiv ates  o u r   p s eu d o - m ask   a p p r o ac h   f o r   we ak ly   s u p er v is ed   lea r n in g .   Ho wev er ,   th er e  ar e  s till   s o m e  is s u es  th at  n ee d   to   b e  ad d r ess ed .   Firstl y ,   m o s t  d ee p   lear n in g   m o d el s   cu r r en tly   u s ed   f o r   an aly zin g   t h y r o id   n o d u les  d em an d   lar g e  am o u n ts   o f   d ata  with   p ix el - wi s e  an n o tatio n s   m ad e   b y   m e d ical  p r o f ess io n als.  T h i s   p r o ce s s   is   ex tr em ely   lab o r io u s   an d   c o s tly ;  th er ef o r e,   it  ca n n o t  b e  u s ed   i n   th e   m ajo r ity   o f   d e v elo p in g   c o u n tr ies  wh er e  th er e   is   an   a b u n d an ce   o f   p atien ts   with   th y r o id   d is ea s es  an d   a  lack   o f   q u alif ied   p r o f ess io n als.  Sec o n d ly ,   m o s t  r esear c h er s   r e g ar d   s eg m e n tatio n   a n d   class if icatio n   as  two   in d ep en d en t  p r o ce s s es  with o u t  u tili zin g   th e  c o n n ec tio n   b et wee n   th em .   T h ir d ly ,   m o s t  cu r r en t  d ata b ases   ar e   co llected   in   h ig h ly   e q u ip p ed   h o s p itals   in   d e v elo p ed   co u n tr ie s ;  h en ce ,   it  is   d if f icu lt  to   d r aw  co n cl u s io n s   ab o u t   th e  p er f o r m an ce   o f   th ese  m eth o d s   o n   d ata  co llected   in   s m all  h o s p itals .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 8 0 6 - 2 8 1 8   2808   T h is   p ap er   p r o p o s es  a  m o d if ied   ar ch itectu r e  to   im p lem en t  d ee p   lear n in g   u s in g   a  two - p h ase   tech n iq u e  t h at  ca n   b e  u s ed   to   o v er co m e   th e  p r o b lem s   m en ti o n ed   ea r lier .   T h is   ar ch itectu r e   is   co m p o s ed   o f   two   m o d u les.  First,  th e  a tten tio n   U - Net  [ 1 8 ]   alg o r ith m   is   u tili ze d   to   id en tify   th e  ar ea   o f   in ter est  f r o m   th e   u ltra s o n ic  im ag es.  B ec au s e  it  is   q u ite  ch allen g in g   to   g ath e r   an n o tate d   d ata  b y   ex p er ts ,   p s eu d o - m ask in g   is   p er f o r m ed   u s in g   s ev e r al  o p er atio n s ,   in clu d in g   c o n tr ast  lim ited   ad ap tiv e  h is to g r a m   eq u a lizatio n   ( C L AHE )   with   Ots u   th r esh o ld in g ,   a n d   m o r p h o lo g ical  o p er atio n s .   Nex t,  a  s p ec ialized   C NN  m o d el  is   d ep lo y e d   to   class if y   n o d u les  as  b en ig n   o r   m alig n an t.   Fu r th er m o r e,   t h e  Mix U p  [ 2 2 ]   an d   C u tMix   [ 2 3 ]   a p p r o ac h es  ar e   im p lem en ted   d u r i n g   t h e  tr ain in g   p h ase  to   r ed u ce   o v er f itti n g   b y   a u g m e n tin g   s am p les,  wh ich   is   ex tr em el y   im p o r tan t  d u e  to   th e  s ca r city   o f   th e  d ataset.   T h is   ap p r o ac h   was  d ev elo p ed   an d   ev alu ated   o n   4 8 0   u ltra s o u n d   im ag es c o llected   f r o m   two   ed u ca tio n al  h o s p itals   in   Nep al.   Desp ite  th e  p r o g r ess   in   th y r o i d   n o d u le  an aly s is ,   a  cr itical  r esear ch   g ap   r em ain s :  th er e  is   a  lack   o f   m eth o d s   th at  co m b in e  wea k ly   s u p er v is ed   s eg m en tatio n   with   class if icatio n   in   a  u n if ied   p ip elin e,   p ar ticu lar ly   f o r   s ettin g s   wh er e   p ix el - lev el   an n o tatio n s   ar e   u n a v ailab le.   E x is tin g   m eth o d s   eith er   r e q u i r e  ex p e n s iv e  ex p e r t  an n o tatio n s   o r   tr ea t  s eg m en tat io n   an d   class if icatio n   as  s ep ar ate,   d is co n n ec ted   task s .   T h is   wo r k   ad d r ess es  th i s   g ap   th r o u g h   th r ee   m ain   co n tr ib u tio n s :  i )   a  u n if ied   two - s ta g e  f r am ewo r k   th at  i n teg r ates  wea k ly   s u p er v is ed   Atten tio n   U - Net  s eg m en tati o n   with   C NN - b ased   clas s if i ca tio n ,   en ab lin g   th y r o id   n o d u le  d etec tio n   an d   m alig n an cy   class if icatio n   with o u t  p ix el - lev el  an n o tatio n s ;  ii )   a  p s eu d o - m ask   g en er atio n   m ec h an is m   u s in g   C L AHE - en h an ce d   p r ep r o ce s s in g   co m b in ed   with   Ots u   th r esh o ld in g   an d   m o r p h o lo g ical  o p er atio n s ,   p r o v id in g   ef f ec tiv e  s p atial  g u id an ce   f o r   th e  s eg m en tatio n   m o d el;  an d   iii )   a  co m p r eh en s iv e  ev alu ati o n   o n   4 8 0   th y r o id   u ltra s o u n d   im ag es  with   th r ee - f o ld   cr o s s - v alid atio n .   T h e  s ig n if ican ce   o f   th is   wo r k   lies   in   i ts   p o ten tial  to   m a k e  AI - ass is ted   th y r o id   d iag n o s i s   ac ce s s ib le  in   lo w - r eso u r ce   s ettin g s   wh er e  ex p er t  a n n o tatio n s   an d   lar g e   an n o tated   d atasets   ar e  u n av ail ab le.       2.   M E T H O D   T h is   s ec tio n   d escr ib es  t h e  p r o p o s ed   two - s tag e  f r am ewo r k   in   d etail.   T h e  e n d - to - en d   p ip elin e  is   illu s tr ated   in   Fig u r e  1.           Fig u r e  1 .   B lo ck   d iag r am   o f   th e  p r o p o s ed   th y r o id   n o d u le  d et ec tio n   an d   class if icatio n   p ip eli n e       2 . 1 .     Da t a s et   d escript io n   T h is   s t u d y   u t ili ze s   a   c o l lec ti o n   o f   4 8 0   g r a y s c al e  th y r o id   u lt r aso u n d   i m a g es  o b ta in e d   f r o m   Nep al g u n j  Me d ic al   C o lle g e  a n d   T e ac h i n g   H o s p it al   a n d   L u m b in i   Me d i ca l  C o ll eg e   a n d   T ea ch in g   H o s p it al   i n   Ne p a l.   I m a g e   ac q u is iti o n   o c cu r r e d   d u r i n g   p atie n t   u ltr as o u n d   e x am i n ati o n s   at  b o th   i n s tit u t io n s ,   a n d   a ll   n e ce s s ar y   et h ic al  ap p r o v als   we r e   o b ta in ed   f r o m   t h e   I n s tit u ti o n a l  R ev iew   B o a r d s   o f   t h e   h o s p i tals .   All   p a tie n t   i d e n ti f i ca ti o n   d a ta   wer e  a n o n y m i ze d   b e f o r e  u s i n g   th e  u lt r as o u n d   s c an s   f o r   a n al y s is .   D u r i n g   t h e   la b e li n g   p r o c es s ,   t h e   im a g es  we r e  class i f i ed   b y   a n   e x p e r t   r a d i o lo g is t .   T h e   b e n i g n   c ate g o r y   o f   t h e  d atas et   is   m u ch   m o r e   a b u n d an t  th a n   t h e  m al ig n a n t   c at eg o r y ,   t h e r e b y   g i v i n g   r is e   t o   a   cl ass   im b a la n c e  i s s u e   c o m m o n   am o n g   m e d ic al   i m a g e   d at asets .     2 . 2 .     I ma g e  prepro ce s s ing   a nd   da t a   a ug m ent a t io n   All  im ag es  wer e  r escaled   s u ch   th at  th e  r eso lu tio n   o f   th e  im ag es  b ec am e  2 2 4 × 2 2 4   p ix els,  wh ich   was   th e  s ize  o f   th e   in p u t  r e q u ir e d   b y   th e   n e u r al  n etwo r k .   Alth o u g h   th e   im ag es   wer e  i n   g r ay s c ale  f o r m at   to   b eg i n   with ,   it  was  n ec es s ar y   to   co n v er t  th e  im ag es  in to   th r ee - c h a n n el  im ag es  b ec au s e  we  h ad   to   f ee d   th e  im ag es  in to   a  r eg u lar   C NN  with   th r e e  ch an n els.  T h e  n e x t  s tep   in v o lv ed   n o r m alizin g   th e  p ix el  v alu es  b y   d iv id i n g   th em   b y   2 5 5   an d   e n s u r in g   ev e r y   p ix el  is   in   [ 0 , 1 ]   r an g e.   I n   o r d e r   to   s o lv e  th e  is s u e  o f   class   im b alan ce   wh er e  m alig n an t sam p les we r e  s ig n if ican tly   f ewe r   th an   b en ig n   s am p les,  o v er s am p lin g   an d   d ata  au g m en tatio n   wer e  p er f o r m ed .   T h is   was  ac h iev ed   b y   g en er atin g   n ew  im ag es  th r o u g h   h o r izo n tal   f li p s ,   ap p l y in g   s m all  r o tatio n   a n g les  o f   ± 1 5 °,  a n d   ad ju s tin g   th e  b r ig h tn ess   b y   s ca lin g   it  b etwe en   v alu es   o f   0 . 8   an d   1 . 2   [ 2 4 ] .   T h r o u g h   a u g m en tatio n ,   t h e  to tal   n u m b er   o f   i m ag es  in cr ea s ed   to   4 9 0 .   Mo r eo v er ,   Mix Up   [ 2 2 ]   an d   C u tMix   [ 2 3 ]   s tr ateg ies  wer e  u tili ze d   d u r in g   th e   tr ai n in g   o f   t h e  m o d el.   Mix Up   g en e r ates  n ew  s am p le s   b y   c o m b in in g   o r   m ix in g   two   im ag es  to g eth er   alo n g   with   th eir   co r r esp o n d in g   lab els,  wh ile  C u tMix   in v o l v es  cu ttin g   o u t  a  p o r tio n   o f   o n e  im ag e   an d   p asti n g   it  o n to   an o th er   im ag e.   Ad d itio n ally ,   a  class - weig h te d   b in ar y   cr o s s - en tr o p y   l o s s   f u n ctio n   was  em p lo y ed   d u r in g   C NN  tr ain in g ,   with   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dete ctio n   a n d   cla s s ifica tio n   o f th yro id   d is ea s es u s in g   u ltr a s o u n d   …  ( K a ma l  S u b e d i )   2809   th e  m alig n a n t  class   r ec eiv in g   a  weig h t   p r o p o r tio n al  to   th e   in v er s e  o f   its   class   f r e q u en c y   ( weig h t   r atio   o f   ap p r o x im ately   3 4 :1   f o r   m alig n an t  v s .   b e n ig n ) .   T h is   weig h ti n g   s tr ateg y   e n s u r es  th at  m is class if icatio n s   o f   th e   r ar e  m alig n a n t  class   co n tr ib u t e  s ig n if ican tly   m o r e  to   th e  g r ad ien t  u p d ates,  th er eb y   co u n t er ac tin g   th e  n atu r al   b ias o f   th e  o p tim izer   to war d   th e  m ajo r ity   b en ig n   class .     2 . 3 .     P s eudo - ma s k   g ener a t io n   T h e  f ac t  th at  th e  i n itial  d ata  lack ed   p ix el - wis e  an n o tatio n s   p r o v i d ed   b y   th e  m ed ical  p r o f ess io n al s   m ad e  it  n ec ess ar y   to   cr ea te  a n   au to m ated   p r o ce d u r e   to   g e n er ate  p s eu d o - m ask s   u s ed   in   th e  tr ain in g   o f   th e   s e g m e n t a ti o n   n e t w o r k .   T h e   p r o c e s s   i n c l u d e s   t h r ee   s t a g es .   A t   f i r s t ,   C L A HE   i s   p e r f o r m e d   o n   t h e   i n p u t   u l t r a s o u n d   i m a g e .   T h e   m ai n   i d e a  b e h i n d   C L A H E   i s   t o   p a r ti t i o n   t h e   im a g e   i n t o   s e v e r a l  s m al l   p a r t s   a n d   e q u a l i z e  t h e  h i s t o g r a m   w it h i n   e a c h   p a r t   i n d e p e n d e n t l y .   T h u s ,   t h e   b o u n d a r ie s   o f   t h e   t h y r o i d   n o d u l e   b e c o m e   m o r e   n o t i c e a b l e .   Seco n d ly ,   Ots u   th r esh o ld in g   alo n g   with   a  b in ar y   in v er s e  co n f ig u r atio n   was  u s ed   in   o r d er   t o   d if f er en tiate  th e  d ar k   a r ea   o f   th e  n o d u le  f r o m   o th er   b ac k g r o u n d   ar ea s   o f   th e  im ag e.   T h e  Ots u   tech n iq u e  au to m atica lly   f in d s   th e  o p ti m al  th r esh o ld   v alu e  b y   m ax im izin g   th e  v ar ian ce   b etwe en   th e  two   class es.  Alth o u g h   Ots u   th r esh o ld in g   a s s u m es  a  b im o d al  in ten s ity   d is tr ib u tio n ,   wh ich   ca n   b e  co m p r o m is ed   b y   s p ec k le   n o is e  in   u ltra s o u n d   im ag es,  t h e  p r ec ed in g   C L AHE   en h an ce m en t  s tep   m itig ates  th is   li m itatio n   b y   lo ca lly   n o r m alizin g   c o n tr ast  an d   im p r o v in g   th e  s ep ar a b ilit y   o f   n o d u le  a n d   b a ck g r o u n d   r eg i o n s .   W e  ev alu ated   alter n ativ e  lo ca l  ad a p tiv e  th r esh o ld in g   m et h o d s   ( e. g . ,   Sau v o la  an d   B er n s en )   b u t  f o u n d   th at  g lo b al  Ots u   th r esh o ld in g   o n   C L AHE - p r e - p r o ce s s ed   im ag es  p r o d u ce d   m o r e  co n s is ten t  an d   co h er en t  b i n ar y   m ask s   f o r   th e  p s eu d o - lab el  g e n er atio n ,   as  lo ca l  m eth o d s   ten d ed   to   o v er - s eg m en t  in   r eg io n s   with   g r ad u al  in ten s ity   tr an s itio n s   ty p ical  o f   u ltra s o u n d   im ag e r y .   T h ir d ly ,   m o r p h o lo g ical  o p e n in g   a n d   cl o s in g   w er e  p er f o r m ed   u s in g   an   ellip tical  s tr u ctu r e   elem en t   o f   s ize  7 × 7   to   elim in ate   n o is e  an d   im p r o v e   ed g e   d etec tio n   o f   th e   b i n ar y   m ask .   L astl y ,   a  co n to u r   d etec tio n   tec h n iq u e  was  u s ed   t o   d etec t  all  co n n ec ted   c o m p o n en ts   with in   th e  im ag e,   a n d   th e   lar g est co m p o n en t w as c o n s id er ed   th e  p s eu d o - m ask   o f   th e   th y r o id   n o d u le.     2 . 4 .     At t ent io n U - Net   f o r   no du le  s eg m ent a t io n   T h e  s eg m en tatio n   ar c h itectu r e  f o llo ws  th e   atten tio n   m ec h a n is m   o f   U - Net  [ 1 8 ] ,   an   ex ten s io n   to   t h e   co n v en tio n al  U - Net  [ 1 7 ]   ar c h itectu r e  with   th e  u s e  o f   atten tio n   g ates  at  ea ch   s k ip   co n n ec ti o n .   T h is   p ar ticu lar   ar ch itectu r e  was  cr ea ted   s p ec i f ically   f o r   b i o m ed ical  im ag in g   ap p licatio n s ,   esp ec ially   th o s e  in v o lv in g   im a g e   s eg m en tatio n .   I t  co n s is ts   o f   t wo   p ath s   ca lle d   en c o d er s   an d   d ec o d er s ,   r esp ec tiv ely .   T h e   en co d er s   d ec r ea s e  th e   d im en s io n s   o f   th e  f ea tu r e   m a p s   wh ile  in cr ea s in g   th e  n u m b er   o f   f ilter s ,   wh e r ea s   th e  r ev e r s e  h ap p en s   with   th e   d ec o d er s ,   wh o s e  f u n ctio n   is   to   r esto r e  th e  s p atial  d im en s io n s .   Fo u r   co n v o lu tio n al  b lo ck s   ar e   in clu d ed   in   th e  en c o d er   p ath   o f   o u r   Atten tio n   U - Net  ar ch itec tu r e  with   f ilter s   o f   3 2 ,   6 4 ,   1 2 8 ,   a n d   2 5 6   as  s h o wn   in   Fig u r e  2 .   E ac h   b lo ck   co m p r is es  two   co n s ec u tiv e  3 × 3  co n v o l u tio n al  lay er s   a n d   th en   b atch   n o r m aliza tio n   is   ap p lied   an d   th e   R eL U  ac tiv atio n   f u n ctio n   an d   th en   2 × 2  m ax - p o o lin g   o p er atio n   f o r   d o wn s am p lin g .   T h r ee   u p s am p l in g   b lo c k s   ar e  i n co r p o r ated   i n   th e  d ec o d e r   p at h   with   f ilter s   o f   1 2 8 ,   6 4 ,   a n d   3 2 ,   u s in g   2 × 2   t r an s p o s ed   c o n v o l u tio n s .   An   atte n tio n   g ate  m ec h an is m   is   em p lo y ed   at  ea ch   s k ip   co n n ec tio n   to   e m p h asize  th e  r elev an t  a r ea s   in   th e  im ag e.   T h e  o u tp u t  f r o m   th e  atten tio n   g at e   g en er ates  a  weig h t   m ap ,   wh ic h   f o c u s es  o n   th e   n o d u le  r e g io n   wh ile  s u p p r ess in g   th e  b ac k g r o u n d   r e g io n .   T h is   is   s ig n if ican t  wh en   d ea lin g   with   u ltra s o u n d   im ag es,  wh er e  th e  b o u n d a r y   o f   th e  n o d u le  is   d if f icu lt  to   d is tin g u is h   b ec au s e  o f   lo w  co n tr ast an d   s p ec k le  n o is e.   T h e  s eg m en tatio n   o u tp u t o f   th e  m o d el  is   a  b in ar y   m ask   o f   d im en s io n s   2 2 4 × 2 2 4   b y   em p lo y in g   th e  1 × 1   co n v o lu tio n   l ay er   an d   s ig m o id   ac tiv atio n .           Fig u r e  2 .   Atten tio n   U - Net  ar c h itectu r e  u s ed   f o r   th y r o id   n o d u le  s eg m en tatio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 8 0 6 - 2 8 1 8   2810   2 . 5 .     Reg i o n o f   inte re s t   ex t ra ct io n   On ce   th e  Atten tio n   U - Net  h as   g en er ated   th e  b in ar y   s eg m en t atio n   m ask ,   b o u n d in g   b o x   e x tr ac tio n   is   p er f o r m ed   to   c r o p   o u t  th e   R eg io n   o f   I n ter est  f r o m   th e  r aw  u l tr aso u n d   im a g e   as  s h o wn   in   F ig u r e  3 .   B o u n d i n g   b o x   g e n er atio n   in v o lv es  d eter m in in g   th e  r o w  an d   co lu m n   v alu es  f o r   th e  m in im u m   a n d   m ax im u m   r o ws  an d   co lu m n s   wh er e  t h e  n o d u le  a p p ea r s   in   th e  s eg m e n tatio n   m as k .   T h is   r eg i o n   is   th en   e x tr ac te d   f r o m   th e  o r ig in al  im ag e  an d   f ed   in to   th e  class if icatio n   m o d el.   T h is   p r o ce s s   h e lp s   en s u r e  th at  th e  n eu r al  n etwo r k   p ay s   atten tio n   to   th e  n o d u le  o n ly   an d   n o t   an y   o th er   r eg io n s   with in   t h e  r aw  im ag e.   Af ter   g e n er a tin g   th e  p r ed icted   s eg m en tatio n   m ask ,   m o r p h o l o g ical  o p er atio n s   wer e   p e r f o r m ed   to   im p r o v e   th e  o u tp u t   m ask   b o u n d a r ies.  I n   p ar ticu lar ,   th e  m o r p h o lo g ical  clo s in g   with   a  3 ×3   cir cu lar   k e r n el  was  p er f o r m e d   f o r   clo s in g   s m all  h o les  with in   th e  p r ed icted   n o d u le  ar ea ,   f o llo wed   b y   th e  m o r p h o lo g ical  o p en in g   f o r   r em o v in g   s m all  f al s e - p o s itiv e  clu s ter s   less   th an   5 0   p ix els in   s ize.           Fig u r e  3 .   E x am p le  o u tp u ts   o f   t h e  s eg m en tatio n   p ip elin e  s h o win g   o r ig in al  im a g es,  p s eu d o - m ask s ,   an d   p r ed icted   m ask s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dete ctio n   a n d   cla s s ifica tio n   o f th yro id   d is ea s es u s in g   u ltr a s o u n d   …  ( K a ma l  S u b e d i )   2811   2 . 6 .     Cus t o m   CNN  f o r  c la s s if ica t io n   T h e  ex tr ac ted   p atc h es  f r o m   t h e  th y r o id   n o d u les  ar e  lab eled   b ased   o n   th e  d ev elo p e d   C NN  m o d el  th at  u s es  th e  Ker as  f u n ctio n al  API .   T h is   m o d el  co m p r is es  th r ee   co n v o lu tio n   b lo c k s   with   an   in cr ea s e  in   th e  n u m b er   o f   f ilter s   in cr em en tall y   f r o m   3 2   to   6 4   to   f in ally   1 2 8   f ilter s .   T h ese  th r ee   co n v o lu tio n   b lo ck s   h av e  a   p air   o f   3 ×3   co n v o lu tio n al  lay er s   in co r p o r atin g   b atch   n o r m a lizatio n   alo n g   with   R eL U  ac tiv atio n   f u n ctio n s   t o   b o o s t  th e  lear n i n g   ca p a b ilit ies.  Af ter   th is ,   th e  d o wn s am p lin g   p r o ce s s   em p lo y s   m a x   p o o lin g   with   a  2 ×2   k er n el   f o r   e x tr ac tio n   o f   r elev an t  f e atu r es.  Par am eter s   ar e  r ed u c ed ,   an d   to   p r ev e n t  o v er f itti n g ,   a  g lo b al  a v er ag e   p o o lin g   p r o ce s s   is   u s ed .   Mo r e o v er ,   d r o p o u t   r eg u la r izatio n   with   a  0 . 5   r ate  is   in c o r p o r ated   in   th e  C NN  m o d el.   T h e  class if icatio n   p r o ce s s   tak es  p lace   with   th e  h el p   o f   s ig m o id   ac tiv atio n   with   a  th r esh o ld   v alu e   o f   0 . 5   to   d is tin g u is h   b etwe en   b e n ig n   a n d   m alig n an t  n o d u les  as sh o wn   in   Fig u r e  4.           Fig u r e  4 .   Ar c h itectu r e  f o r   cu s t o m   C NN  u s ed   f o r   b en ig n - m ali g n an t c lass if icatio n       2 . 7 .     T ra ini ng   p ro t o co l   T r ain in g   f o r   b o th   th e  Atten tio n   U - Net  an d   C NN  m o d els  was  ca r r ied   o u t  with   th e  Ad a m   o p tim izatio n   alg o r ith m .   W e  ch o s e  a   s tar tin g   lear n in g   r ate  o f   10 − 5   to   m ai n tain   s tab le  co n v er g en ce   w h ile  th e  n etwo r k   was   b ein g   tr ain e d .   As  th e  o b jectiv e  f u n ctio n ,   b in ar y   cr o s s - en tr o p y   was  ap p lied   to   b o th   th e   s eg m en tatio n   an d   th e   class if icatio n   task s .   A  r ed u ctio n   in   th e   lear n in g   r at e  d u r i n g   t r ain in g   was  attain ed   th r o u g h   t h e   R ed u ce L R On Plateau   ca llb ac k .   E ar ly   s to p p i n g   was  ad o p te d   to   av o id   o v er f itti n g ,   with   th e  p atien ce   s et  to     1 5   ep o ch s .   T h e  b atc h   s ize  an d   m ax im u m   ep o c h s   wer e  8   an d   1 0 0 ,   r esp ec tiv ely .   W e  c o n d u cted   3 - f o ld   s tr atif ie d   cr o s s - v alid atio n   to   ev alu ate  o u r   m o d el  b ec au s e  it  en s u r es  th e  r eliab ilit y   o f   o u r   r esu lts   r eg ar d less   o f   th e  d ata  s p lit.     2 . 8 .     L o s s   f un ct io ns   a nd   ev a lua t io n m et rics   T h is   s ec tio n   d escr ib es   th e  o b j ec tiv e  f u n ctio n s   ap p lied   t o   tr ain   th e   two   n etwo r k s ,   to g eth e r   with   t h e   m etr ics  ad o p ted   f o r   m ea s u r i n g   h o w  well  th e  s eg m e n tatio n   an d   class if icatio n   s tag es  p er f o r m   with in   th e   p r o p o s ed   f r am ewo r k .     2 . 8 . 1 .   Cro s s   ent ro py   lo s s   Fo r   th e   b in ar y   class if icatio n   t ask   ( b en i g n   o r   m alig n a n t) ,   th e  cu s to m ized   C NN  is   tr ain ed   u s in g   th e   b in ar y   c r o s s - en tr o p y   o b jectiv e ,   wh o s e  m ath em atica l f o r m   is   g iv en   b y :     = − 1   ∑ [   .      ( ̂ ) + ( 1 − )   . l og ( 1 − ̂ ]     Her e,   N   d en o tes  th e  to tal  n u m b er   o f   s am p les,  −   r ep r esen ts   th e   g r o u n d - tr u th   lab el,   an d   ̂   co r r e s p o n d s   to   th e  p r ed icted   p r o b a b ilit y   f o r   th e  m alig n an t c ateg o r y .     2 . 8 . 2 .   Dice   l o s s   I n   th e  ca s e  o f   th e  Atten tio n   U - Net  s eg m en tatio n   p h ase,   d ice  lo s s   i s   u s ed   in   o r d er   to   m ak e  th e  p r ed ictio n   m ask   o v er lap   with   th e  p s eu d o - m ask .   T h e  ex p r ess io n   f o r   d ice  s im ilar ity   co ef f ici en t  ( DSC )   an d   ca n   b e  wr itten   as:   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 8 0 6 - 2 8 1 8   2812    =   2 | ⋂ | | | +   | |     wh er e    r ep r esen ts   th e  p r ed icted   s eg m en tatio n ,   an d     co r r esp o n d s   to   th e  g r o u n d - tr u t h   m ask .   T h e  d ice  lo s s ,   wh ich   is   m in im ized   d u r in g   tr a in in g ,   is   th en :     = 1 −      2 . 8 . 3 .   I nte rsect io n o v er   un io n  ( I o U)   An o th er   im p o r tan t  m ea s u r e  o f   th e  q u ality   o f   th e  s eg m e n tatio n   m o d el  is   in ter s ec tio n   o v er   u n io n   ( I o U) .   I o U  is   co m p u ted   b ase d   o n   h o w  s im ilar   th e  r e g io n s   o f   th e  p r ed icted   m ask   ar e  to   th e  r eg io n s   o f   th e   tar g et  m ask :     =   | ⋂ | | ⋃ |     2 . 8 . 4 .   M ix U p  a ug m ent a t io n s t r a t eg y   Mix Up   is   a  d ata   au g m en tatio n   m eth o d   u s ed   in   tr ain in g   to   im p r o v e  g en er aliza tio n   an d   av o i d   o v er f itti n g .   T h is   s tr ateg y   cr ea t es  n ew  tr ain in g   ex am p les  b y   tak in g   th e  weig h ted   s u m   o f   two   d ata  s am p les  an d   th eir   co r r esp o n d in g   lab els.  T h e  m ix ed   s am p les ar e  g e n er ated   as:     ̃ =   + ( 1 − )     ̃ =   + ( 1 − )     wh er e  ( ,  )   an d   ( ,  )   ar e  r an d o m l y   s am p led   tr ain in g   p air s ,   a n d     f o llo ws  a  B eta  d is tr ib u tio n ,   co n tr o llin g   th e  p r o p o r tio n   o f   m ix in g ,   wh er e  α   is   th e  c o n ce n tr atio n   p a r am eter   o f   t h e  B eta  d is tr ib u tio n   ( s et  to   0 . 2   in   o u r   ex p er im en ts ) ,   c o n tr o llin g   th e  s tr en g th   o f   in ter p o latio n   b etwe en   th e  two   s am p les.     2 . 8 . 5 .   Cla s s if ica t io n  m et rics   Fo r   th e  co m p r eh en s iv e  ass ess m en t  o f   th e  p er f o r m an ce   o f   th e  cu s to m ized   C NN  class if ier ,   th e  f o llo win g   m etr ics  o f   b in ar y   class if icatio n   h av e  b ee n   co m p u ted   b ased   o n   t h e  tr u e   p o s itiv es  ( T P),   tr u e   n eg at iv es  ( T N) ,   f alse  p o s itiv es  ( FP ) ,   an d   f alse  n eg ativ es   ( FN)   v alu es  f r o m   th e   co n f u s io n   m atr ix .   T h e   im p o r tan t m etr ics in clu d e:   a.   Sen s itiv ity   ( R ec all) : M ea s u r es   th e  p er ce n ta g e  o f   tr u e  m alig n an t c ases   th at  ar e  co r r ec tly   d et ec ted :        =   +      b.   Sp ec if icity :  Me asu r es  th e  p er ce n tag e  o f   tr u e  b en ig n   ca s es  th at  ar e  co r r ec tly   d etec ted .   T h is   m ea s u r e  is   im p o r tan t  b ec au s e  o f   th e   cla s s   im b alan ce   is s u e  to   s ee   w h eth er   th e   alg o r ith m   ca n   av o id   u n n ec ess ar y   b io p s ies:       =     +      c.   Pre cisi o n : M ea s u r es th e  p er ce n tag e  o f   t r u e  p o s itiv es ( m alig n an t)   am o n g   all  m alig n a n t p r e d ictio n s :       =   +      d.   F1 - Sco r e:  Har m o n ic  m ea n   o f   p r ec is io n   an d   r ec all,   wh er e  p r ec is io n   is     an d   r ec all  is   :     1 = 2  +     wh er e    d en o tes  p r ec is io n   an d     d en o tes  s en s itiv ity .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dete ctio n   a n d   cla s s ifica tio n   o f th yro id   d is ea s es u s in g   u ltr a s o u n d   …  ( K a ma l  S u b e d i )   2813   2 . 9 .     I m ple m ent a t io n  d et a ils   T h e  ex p er im en ts   wer e  ca r r i ed   o u t  in   ac co r d an ce   with   t h e  f o llo win g   s etu p   f o r   r e p r o d u cib ilit y   p u r p o s es.  T h e  em p lo y ed   d ata s et  co m p r is ed   4 9 0   im ag es  o f   th y r o id   u ltra s o u n d s   with   a  r o u g h ly   3 4 :1   r atio   o f   b en ig n   to   m alig n an t  ca s es  ( 4 7 6   b en i g n   a n d   1 4   m alig n an t ) .   P r ep r o ce s s in g   in v o lv e d   r esizin g   th e  im a g es  to   t h e  d im en s io n s   o f   2 2 4 × 2 2 4 ,   c o lo r   co n v e r s io n   f r o m   g r a y s ca le  to   R GB ,   an d   n o r m aliza tio n   t o   th e  r an g e  [ 0 ,   1 ] .   Fo r   th e  p s eu d o ‑ m ask in g   p r o c ess ,   C L AHE   with   a  c lip p in g   th r esh o ld   o f   2 . 0   an d   a  tile  g r id   h av in g   d im en s io n s   ( 8 ×8 )   was  ap p lied ,   al o n g   with   Ots u 's  th r esh o ld in g   an d   m o r p h o lo g ical  o p er atio n s   with   a  7 ×7   ellip tical  k er n el.   All  tr ials   wer e  ex ec u ted   o n   a  s in g le  A1 0 0   ac ce ler ato r   f r o m   NVI DI A  u s in g   th e  Ker as   API   b u ilt  o n   T en s o r Flo w,   an d   n etwo r k   tr ai n in g   e m p lo y ed   t h e  Ad a m   o p ti m izatio n   alg o r ith m   h av in g   a   l ea r n in g   r ate  o f   1 e‑ 5   an d   a  m in i‑ b atch   s ize  eq u al   to   8 ,   u p   to   1 0 0   e p o ch s ,   p atien ce   f o r   ea r ly   s to p p in g   o f   1 5   an d   d r o p o u t  o f   0 . 5 .   T h e  in tr o d u ce d   s eg m e n tatio n   ar c h i tectu r e,   d e r iv ed   f r o m   th e   Atten tio n   U‑ s h ap e d   n etwo r k   with   g atin g ,   h as  ar o u n d   2 . 0 1   m illi o n   tr ain a b le  p a r am e ter s   wh ile  th e  cu s to m   C NN  class if ier   h as  ab o u t  0 . 8   m illi o n   p a r am eter s .   T h e   to tal  n u m b er   o f   p ar am eter s   a m o u n ts   to   ju s t  a   f ew  GFLO Ps   an d   th e  i n f er e n ce   r e q u ir es  lo w  m em o r y   f o r   b o th   s tag es,  th u s   v alid atin g   th at   t h e  ar ch itectu r e   is   lig h tweig h t  an d   d ep lo y a b le  o n   r eg u lar   clin ical  h ar d war e .   I n f er en ce   laten cy ,   d eter m in e d   u s in g   a  GPU  an d   a  c o n s u m er   C PU,  p r o v es  th at  th e   f r am ewo r k   p r o ce s s es  u ltra s o u n d   im a g es in   clin ically   ac ce p tab le  tim ef r a m es f o r   d i ag n o s tic  ap p licatio n s .       3.   RE SU L T S AN D  D I SCU SS I O N   3 . 1 .     Seg m ent a t i o n  p er f o rma nce   Qu an titativ e  ev alu atio n   o f   att en tio n   U‑ Net  s eg m en tatio n   p a r t  is   ca r r ied   o u t  u s in g   t h e  f o ll o win g   two   m etr ics:   Dice   s co r e  an d   I o U  ( also   k n o wn   as  J ac ca r d   in d ex ) .   T ab le  1   s u m m ar izes   th ese  o u tco m es,  s h o win g   th at  th e  p r o p o s ed   n etwo r k   g o t  an   av er ag e  Dice   s co r e  e q u al  to   0 . 8 7 7 2   ±   0 . 0 0 5 4   a n d   th e  a v er ag e  I o U   eq u al  to   0 . 7 8 7 3   ±   0 . 0 0 7 5 .   T h is   im p lies   th at  th e   m o d el  g ets  s ig n i f ican t  ag r ee m en t  b etwe en   s eg m en ted   a n d   r ef er e n ce   m ask s   in   s p ite  o f   a  lack   o f   e x p er t  p ix el‑ le v el  an n o tatio n s .   I t  is   also   ev id en t  f r o m   th e  c o n s is ten cy   o f   r esu lts   ac r o s s   d if f er en t  f o ld s   ( s tan d a r d   d ev iatio n   b ein g   less   th an   0 . 0 1   f o r   b o th   m etr ics).   As   ca n   b e  s ee n   f r o m   Fig u r e  3 ,   th e  m o d el  c o p ed   well  with   is o latio n   o f   n o d u les  an d   g en e r atio n   o f   a p p r o p r iate  b o u n d a r ies  f o r   th em .   I t  is   ex p lain ed   b y   th e  atten tio n   co m p o n en t  o f   th e  m o d el  wh ich   f o r ce s   th e  n etwo r k   to   p ay   atten tio n   to   th e   n o d u le  p ar t w h ile  ig n o r in g   th e   b ac k g r o u n d   o n e.       T ab le  1 .   Seg m e n tatio n   p e r f o r m an ce   o f   atten ti o n   U - Net  ac r o s s   th r ee   f o ld s   M e t r i c s   F o l d   I   F o l d   I I   F o l d   I I I   M e a n   + / -   S t d   D i c e   S c o r e   0 . 8 7 1 6   0 . 8 7 7 9   0 . 8 8 2 3   0 . 8 7 7 2   + / -   0 . 0 0 5 4   I o U   ( Jac c a r d )   0 . 7 7 9 4   0 . 7 8 8 2   0 . 7 9 4 2   0 . 7 8 7 3   + / -   0 . 0 0 7 5       3 . 2 .     Cla s s if ica t io n  p er f o r m a nce   T h e  ex tr ac te d   r e g io n s   o f   in te r est  ( i.e . ,   R OI s )   wer e  s u p p lie d   to   t h e  class if ier ,   wh ich   m a p p ed   e v er y   r eg io n   o n to   o n e  o f   two   d ia g n o s tic  g r o u p s :  class   0 ,   d en o tin g   b en i g n ,   o r   class   1 ,   d en o tin g   m alig n an t .   C las s if icatio n   o u tco m es  o b tain ed   v ia  s tr atif ied   th r ee ‑ f o ld   c r o s s ‑ v alid atio n   ar e  s u m m ar iz ed   in   T ab le  2 ,   th e   co n f u s io n   m atr ix   is   d ep icted   in   Fig u r e   5 ,   a n d   th e  r ec eiv er   o p er atin g   ch ar ac ter is tic  ( R OC )   p lo t  is   illu s tr ated   i n   Fig u r e  6 .       T ab le  2 .   C lass if icatio n   p er f o r m an ce   m etr ics ac r o s s   th r ee   cr o s s - v alid atio n   f o ld s   M e t r i c s   F o l d   I   F o l d   I I   F o l d   I I I   M e a n   + / -   S t d   A c c u r a c y   ( %)   9 7 . 5 6   9 8 . 1 6   9 4 . 4 8   9 6 . 7 3   + / -   1 . 9 7   S e n s i t i v i t y   ( %)   4 0 . 0 0   7 5 . 0 0   6 0 . 0 0   5 8 . 3 3   + / -   1 7 . 5 6   S p e c i f i c i t y   ( %)   9 9 . 3 7   9 8 . 7 4   9 5 . 5 7   9 7 . 8 9   + / -   2 . 0 4   P r e c i s i o n   ( %)   6 6 . 6 7   6 0 . 0 0   3 0 . 0 0   5 2 . 2 2   + / -   1 9 . 5 3   F1 - S c o r e   ( %)   5 0 . 0 0   6 6 . 6 7   4 0 . 0 0   5 2 . 2 2   + / -   1 3 . 4 7   R O C - A U C   ( %)   9 5 . 9 7   9 2 . 7 7   9 5 . 0 6   9 4 . 6 0   + / -   1 . 6 5       T h e  m o d el  o b tain ed   an   o v er a ll  ac cu r ac y   o f   9 6 . 7 3 %  with   a   s tan d ar d   d ev iatio n   o f   1 . 9 7 %  ac r o s s   th e   th r ee   f o l d s .   Ad d itio n ally ,   th e  m o d el  o b tain ed   a   s p ec if icity   o f   9 7 . 8 9 %,  wh ic h   d em o n s tr ates  its   h ig h   ca p ac ity   t o   id en tify   b en ig n   n o d u les  co r r e ctly .   C lin ically ,   h ig h   s p ec if icity   im p lies   f ewe r   f alse  p o s iti v e  r esu lts ,   th er eb y   r ed u cin g   th e  n ee d   f o r   in v asiv e  b io p s ies an d   m in im izin g   u n n ec ess ar y   p atien t a n x iety   in   m ed ical  en v ir o n m e n ts .   C o n v er s ely ,   th e  s en s itiv ity   o b t ain ed   b y   th e  m o d el  was  co m p ar ativ ely   lo w  at  5 8 . 3 3 %.  T h e  p r im ar y   r ea s o n   f o r   th is   lo wer   s en s itiv ity   is   th e  in h er en t c lass   im b alan ce   with in   t h e  d ataset.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 8 0 6 - 2 8 1 8   2814         Fig u r e  5 .   C o n f u s io n   m atr i x   s h o win g   th e  class if icatio n   r esu lts     Fig u r e  6 .   R OC   cu r v e  s h o win g   th e  d is cr im in ativ e  ab ilit y   o f   th e  class if icatio n   m o d el       3 . 3 .   Crit ica l  a na ly s is   o f   s ens i t iv it y   I t  is   im p o r tan t  to   d is cu s s   th e  m ea n   s en s itiv ity   o f   5 8 . 3 3 %  ±   1 7 . 5 6 %.  I n   ter m s   o f   d etec tin g   th y r o i d   ca n ce r ,   lo w   s en s itiv ity   m ea n s   th at  f alse  n eg ativ es  ( th e  d etec tio n   o f   m alig n a n t  n o d u les)  ar e  n o t  g o o d .   I n   o th er   wo r d s ,   a  late  d iag n o s is   o f   th e   d is ea s e  will  lead   to   th e  d ev elo p m en t  o f   th e  d is ea s e  an d   a  s m aller   n u m b er   o f   way s   to   tr ea t  th e  d is ea s e  in   th e  f u tu r e.   T h e  r ea s o n   f o r   th e  l o w  s en s itiv ity   is   th e  h ig h   im b alan ce   o f   class es  in   th e  d ata,   s in ce   th e  r atio   o f   b en ig n   an d   m alig n an t t u m o r s   in   t h e  d ata  is   3 4 :1 .     3 . 4 .     Co m pa riso n  wit h e x is t ing   s t ud ies   T ab le  3   o u tlin es  h o w  o u r   n e wly   d ev elo p ed   f r am ewo r k   p er f o r m s   r elativ e  to   ea r lier   m o d e ls   u s ed   f o r   th y r o id   n o d u le   class if icatio n .   T ab le   3   o u r   p r o p o s ed   two ‑ s tag e  f r am ewo r k   attain e d   th e  to p   class if icatio n   p er f o r m an ce ,   with   a  v al u e  o f   9 6 . 7 3 %,  th er eb y   s u r p ass in g   all  co m p etin g   m o d els  ev alu at ed   ac r o s s   d if f er en t   d ataset  s izes.  Ag u s tin   et  a l.   [ 2 5 ]   p r e v io u s ly   ass ess ed   b a s elin e  m o d els  o n   th e  T DI D   d ataset,   wh er e  th e  s tan d ar d   U‑ Net   [ 1 7 ]   ac h iev e d   an   ac cu r ac y   o f   9 1 . 0 0 %,  w h ile  th e  a tten tio n   U‑ Net   [ 1 8 ]   r ea ch e d   8 6 . 0 0 %.  Alth o u g h   th e   a tten tio n   U‑ Net  is   ef f ec tiv e   at  s eg m e n tin g   th y r o id   n o d u les  b y   s u p p r ess in g   b ac k g r o u n d   n o is e  th r o u g h   its   atten tio n   m ec h an i s m ,   it  is   less   ef f ec tiv e  at  lear n in g   th e   h ig h er ‑ lev el  f ea tu r es   r eq u ir e d   to   r eliab ly   s ep ar ate  b en i g n   f r o m   m alig n a n t  lesi o n s   wh en   u s ed   as  a   s tan d alo n e   class if ier .   T o   o v e r co m e  th is   lim itatio n ,   o u r   f r am ewo r k   s ep ar ates  th e  two   task s .   I n   th e  f ir s t  s tag e,   th e  Atten tio n   U‑ Net  s er v es  s o lely   to   p er f o r m   p r ec is e  n o d u le  s eg m e n tatio n ,   af ter   wh ich   th e  s eg m en ted   r e g io n s   ar e   p ass ed   to   a  d ed icate d   C NN  in   th e  s ec o n d   s tag e,   wh ich   ex tr ac ts   m o r e   d is cr im in ativ e  f ea tu r es  f o r   class if icatio n .   T h is   c o m b in ati o n   allo ws  t h e  s y s tem   to   e x p lo it  th e  ad v an tag es  o f   b o th   ar c h itectu r es,  y ield in g   im p r o v em e n ts   o f   5 . 7 3 %  o v e r   th e  co n v e n tio n al  U‑ Net  an d   1 0 . 7 3 %  o v er   th e   s tan d alo n e  at ten tio n ‑ b ased   U‑ Net  r e p o r ted   b y   Ag u s tin   et  a l.   [ 2 5 ] .       T a b l e   3 .   C o m p a r a ti v e   a n a l y s i s   o f   t h e   p r o p o s e d   f r a m e w o r k   w i th   e x i s t i n g   s t u d i es   f o r   t h y r o i d   n o d u l e   c l a s s i f ic a t i o n .   A c c u r a c y   ( % )   d e n o t es   t h e   o v e r a l l   c l ass i f i c at i o n   a c c u r a c y   r e p o r t e d   b y   e a c h   s t u d y   o n   t h e i r   r es p e c t i v e   d a t as e t   S t u d y   M e t h o d   D a t a s e t   S i z e   A c c u r a c y   ( %)   N u g r o h o   e t   a l .   [ 1 ]   G LC M   +   S V M   39   8 9 . 7 4   K a l e   e t   a l .   [ 6 ]   G LC M   +   S V M   85   8 2 . 2 8   G u a n   e t   a l .   [ 1 5 ]   I n c e p t i o n - v3   2 8 3 6   9 0 . 5 0   K i m   e t   a l .   [ 1 6 ]   R e sN e t 5 0   1 0 4 8   8 2 . 0 0   K i m   e t   a l .   [ 1 6 ]   D e n seN e t 2 0 1   1 0 4 8   8 3 . 0 0   K i m   e t   a l .   [ 1 6 ]   Ef f i c i e n t N e t v 2   1 0 4 8   8 1 . 0 0   A g u s t i n   e t   a l .   [ 2 5 ]   U - N e t   2 9 8   9 1 . 0 0   A g u s t i n   e t   a l .   [ 2 5 ]   A t t e n t i o n   U - N e t   2 9 8   8 6 . 0 0     R a s h e d   e t   a l .   [ 2 6 ]   R e sN e t 1 0 1   ( t r a n sf e r   l e a r n i n g )   4 8 3   9 4 . 7 5     R a s h e d   e t   a l .   [ 2 6 ]   Ef f i c i e n t N e t B 0   ( t r a n sf e r   l e a r n i n g )   4 8 3   9 3 . 0 9   D o n g   e t   a l .   [ 2 1 ]   U N e t + +   +   D u a l - p a t h   A t t e n t i o n   4 8 0   9 4 . 5 0   Zh a n g   e t   a l .   [ 2 7 ]   Y O LO v 3   5 0 0   8 4 . 0 0   Li   e t   a l .   [ 2 8 ]   V i T - b a se d   n o m o g r a m D L  m o d e l   2 2 4 7   8 8 . 6 0   Pr o p o sed   Fr a m e w o r k   A t t e n t i o n   U - N e t   + C N N   4 8 0   9 6 . 7 3       3 . 5 .     T ra ini ng   a nd   co nv er g en ce   a na ly s is   Fig u r es  7   a n d   8   s h o w  th e   l ea r n in g   cu r v e  f o r   t r ain in g   a n d   v alid atio n   p er f o r m an ce   i n   ter m s   o f   ac cu r ac y   an d   lo s s   f o r   s u b s eq u en t  ep o ch s .   Fro m   th ese  f ig u r e s ,   it  ca n   b e  o b s er v ed   th at  th er e  is   co n v er g en ce   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Dete ctio n   a n d   cla s s ifica tio n   o f th yro id   d is ea s es u s in g   u ltr a s o u n d   …  ( K a ma l  S u b e d i )   2815   th e  n etwo r k   with o u t  o v er f itti n g .   T h e   ap p licatio n   o f   r e g u lar izatio n   ap p r o ac h es   lik e  Mix U p   [ 2 2 ]   an d   C u tMix   [ 2 3 ] ,   b atch   n o r m aliza tio n ,   an d   d r o p o u t  allo wed   u s   to   h av e  a  s im ilar   p er f o r m an ce   b et wee n   tr ain in g   an d   v alid atio n   d atasets .   Mo r eo v er ,   th e  ap p r o ac h   o f   R ed u ce L R On Plateau   was  also   p o s itiv e  s in ce   it  r ed u ce d   th e   lear n in g   r ate  a f ter   th e  v alid atio n   lo s s   b ec am e  s tag n an t.             Fig u r e  7 .   T r ain in g   ac c u r ac y   v s .   v alid atio n   ac c u r ac y   cu r v e     Fig u r e  8 .   T r ain in g   l o s s   an d   v al id atio n   lo s s   cu r v es       3 . 6 .     Q ua lit a t iv e  v is ua l a na ly s is   T h e  r aw  im ag es  o f   th e  th y r o i d   u ltra s o u n d   ar e  illu s tr ated   in   Fig u r e  9 .   Fro m   th ese  im ag es,  o n e  ca n   u n d er s tan d   th at  t h er e  a r e  s ev e r al  ch allen g es   in   th y r o id   u ltra s o u n d s   s u ch   as  lo w  c o n tr ast,  s p ec k le  n o is e,   a n d   v is u al  am b ig u ity   b etwe en   b en i g n   an d   m alig n an t  T u m o r s .   T h e  r esu lts   o f   class if icatio n   ar e  s h o wn   in   Fig u r e  1 0 .   Her e,   r eg io n s   m ar k e d   with   g r e en   b o r d e r s   r ep r esen t b en ig n   c o n d itio n s ,   wh er ea s   th o s e  m ar k ed   with   r ed   b o r d e r s   s h o w  m alig n a n t  co n d itio n s .   B ar   ch ar ts   o f   p r o b ab ilit ies  r ep r e s en t  co n f id e n ce   le v el  o f   t h e  p r ed ictio n s   m a d e  b y   th e  alg o r ith m .   As ex p ec ted ,   t h e  co n f id e n ce   lev els f o r   b en ig n   ca s es a r e  h ig h er   th a n   m alig n a n t c ases .           Fig u r e  9 .   E x am p le  r aw  t h y r o id   u ltra s o u n d   im ag es f r o m   th e  d ataset       3 . 7 .     Clini ca l im pli ca t io ns   a n d lim it a t io ns   Ov er all,   th e   p r o p o s ed   s y s tem   is   h ig h l y   p r o m is in g   in   ter m s   o f   b ein g   ap p lied   in   clin ical  s ettin g s ,   esp ec ially   in   lo w - r eso u r ce   a r e as  wh er e  th er e   is   s h o r tag e   o f   tr ain ed   r a d io lo g is ts .   Sin ce   th e   s y s tem   h as  a  v er y   g o o d   lev el  o f   s p ec if icity   o f   9 7 . 8 9 %,  o n e  ca n   b e  s u r e   th at  t h er e  will  b e   n o   ca s es  o f   wr o n g ly   lab eled   b en i g n   n o d u les.  Hen ce ,   th is   ca n   p o te n tially   d ec r ea s e  th e  n ee d   f o r   u n n ec ess ar y   b io p s y   p r o ce d u r e s .   No n eth eless ,   th is   s tu d y   h as  s ev er al  im p o r tan t  lim itatio n s   th at  m u s t  b e  ac k n o wled g ed :  i )   Sm all  d ataset  s ize :  T h e  ev alu atio n   was   co n d u cte d   o n   o n l y   4 8 0   th y r o id   u ltra s o u n d   im a g es,  wh ich   is   s u b s tan tially   s m aller   th an   d atasets   u s ed   in   co m p ar ab le   s tu d ies.  A  lar g er   d ataset  wo u ld   p r o v id e  m o r e   r eliab le  p e r f o r m an ce   esti m at es.  ii)  Sev er e  class   im b alan ce :  T h e   d ataset  ex h ib its   an   ex tr em e   b en ig n - to - m alig n an t  r atio   o f   ap p r o x i m ately   3 4 :1 ,   wh ic h   s ig n if ican tly   b iases   th e  m o d el  to war d   th e   b en ig n   class   an d   d i r ec tly   co n tr i b u tes  to   t h e  lo w  s en s itiv ity .   iii)  L ac k   o f   ex ter n al  v alid atio n   a n d   a n n o tatio n :  All  ex p e r im en ts   wer e  co n d u cted   u s in g   i n ter n al  th r ee - f o ld   cr o s s - v alid atio n   o n   a  s in g le  d ataset.   T h e  ab s en ce   o f   ex ter n al   v alid atio n   o n   in d e p en d e n t  d atasets   lim it s   th e  Evaluation Warning : The document was created with Spire.PDF for Python.