I n t e r n at io n al  Jou r n al  of  A d van c e s  i n  A p p li e d  S c ie n c e s  ( I JA A S )   V ol .  14 , N o.  3 ,  S e pt e m be r   20 25 , pp.  838 ~ 848   I S S N :  2252 - 8814 ,  D O I :  10.11591/ ij a a s . v14. i 3 . pp838 - 848          838       Jou r n al  h om e page :  ht tp : // ij aas .i ae s c or e .c om   D e e p  l e ar n i n g f or  i m age  c l ass i f i c at i o n  of  su b m e r si b l e  p u m p   i m p e l l e r       P h an  N gu ye n  K y  P h u c 1 , D oan  H u u  C h an h 1 , T r on g H ie u  L u u 2   1 S c hool  of  I ndus t r i a l  E ngi ne e r i ng a nd M a na ge m e nt , I nt e r na t i ona l  U ni ve r s i t y, V i e t  N a m  N a t i ona l  U ni ve r s i t y,    H o C hi  M i nh C i t y, V i e t na m   2 F a c ul t y of  A ut om a t i on E ngi ne e r i ng, C ol l e ge  of  E ngi ne e r i ng, C a n T ho U ni ve r s i t y, C a n T ho C i t y, V i e t na m       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d  D e c  16, 2024   R e vi s e d  M a y 19, 2025   A c c e pt e d  J un 8, 2025       This  study  presented  a  deep  learning - based  model  in   the  submersible   pump  impellers  quality  inspection  process.   The  proposed   method  aimed   to  relieve  worker  workload,  automate  the  system,  as   well  as  increase  the   accur acy  in  defect  detection  and  classification.  The  proposed  approach  aims   to  be   implemented  on  systems  with  low   investment  cost  and   limited  res ources,  i.e., small sing le - board computers, enabling flexible deployment  in ind ustrial  environm ents.  The  model  co nsist ed  of  three  convolutional  neural  n etwork  (CNN)  models,  i.e.,  visual  geometry  group  16   ( VGG16 ) ,   ResNet50,   and  a  custom  model.  The  outputs  of  three  networks  were  either  synthesize d  later  through  a n  ensemble  stage  or  used  separately.  A  graphical  user  in terface  (GUI)  was  also  developed   for  real - tim e  inspection  and   user - fr iendly  interactio n.  The  approac h  achieve d  up  to  99.8%  accura cy  in  identifying  defects,  including  surface  scratches,  corrosion,  and   geometric  irregul arities.  The  proposed  method  improved  the  quality  assurance   process  by  re ducing  manual  inspection  efforts.  Future  research  could  explore  advanced  techniques  like  anomaly  detection  to  further   enhance   system  perfor mance  and versat ility .   K e y w o r d s :   D e f e c t  de te c ti on   E ns e m bl e  m ode l   Q ua li ty  i ns pe c ti on   R e s N e t5 0   V is ua l  ge om e tr y gr oup   16   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   T r ong Hie u L uu   F a c ul ty  of  A ut om a ti on E ngi ne e r in g, C ol le ge  of  E ngi ne e r in g, C a n T ho U ni ve r s it y   C a n T ho C it y,  V ie tn a m   E m a il :  lu ut r onghie u@ c tu .e du.vn       1.   I N T R O D U C T I O N   I n  m ode r n  in dus tr y,  m a nua l  in s pe c ti ons   a r e   ti m e - c ons um in g  a nd  e r r or - pr one .  I n  or de r   to   pr ovi de   r e li a bl e   a nd  hi gh - qua li ty   pr oduc ts ,  in s pe c ti ons   s houl d  b e   a u to m a te d  a nd  a ppl y  in nova ti ve   t e c hnol ogi e s .   C ur r e nt ly ,  c om put e r   vi s io n  a nd  de e p  le a r ni ng  te c hni que s   a r e   two  c a ndi da te   m e th ods   th a t   a r e   w id e ly   a dopt e d   by  in dus tr y  due   to   th e ir   pr om in e nt   a dv a nt a ge s ,   s u c h  a s   lo w   c os t  a nd   im pl e m e nt a ti on  s im pl ic it y.  I n  th e   c om put e r   vi s io n  f ie ld ,  th e   c onvolut io na l  ne ur a l  ne twor k  ( C N N )   ha s   pr ove d  it s   huge   va lu e   th r ough  s e v e r a l  a ppl ic a ti ons  i n both m a nuf a c tu r in g a nd i ns pe c ti on pr oc e s s e s .    A c c or di ng  to   s e v e r a l  f or m e r   s tu di e s ,  d e e p  le a r ni ng  s ys te m s   ou tp e r f or m e d  r e gul a r   m a c hi ne   le a r ni ng  s ys te m s   in   pa tt e r n  r e c ogni ti on,  c om put e r   vi s io n,  a nd  im a g e   pr oc e s s in g.  S im onya n   a nd  Z is s e r m a n   [ 1]   e xa m in e d  C N N   a nd  num e r ous   a r c hi te c tu r e s ,   li ke   a s   L e N e t,   A l e xN e t,   a nd  G oogl e N e t,   on   th e   la r ge   I m a ge N e t  da ta s e ts .  T he y de du c e d f r om  t hi s  s tu dy t ha t  th e  a m ount  of  da ta  m a y  di r e c tl y i m pa c t   th e  numbe r  of  e poc hs  a nd  a c c ur a c y  of   th e   s e le c te d   m ode l.   M or e ov e r ,  He   e t  al .  [ 2]   pr ovi de d  a   m e th odol ogy   f or   pr oduc t  in s pe c ti on   a nd  te s ti ng  ba s e d  on  de e p  le a r ni ng  a ppr oa c he s .  B a s e d  on  th e   goa ls   of   e xi s ti ng  pr oduc t  in s pe c ti on  s ys te m s ,  th e y  pr ovi de d  a n  e f f e c ti ve   m e th od  f or   s us ta in in g  a nd  e nha nc in g  a   pr oduc t  in s pe c ti on  s ys te m .  D ue   to   th e   a ppr oa c h   pr ovi de d,  th e   pr opos e d  s y s te m   w a s  s e e n  to   ha ve   good   s ys t e m  m a in te na nc e   a nd   s ta bi li ty .  I n  a ddi ti on,  ut il iz in g  Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       D e e p l e ar ni ng f or  i m ag e  c la s s if ic at io n of  s ubm e r s ib le  pum p i m pe ll e r   ( P han N guy e n K y  P huc )   839   a   c us to m iz e d   A le xN e t - ba s e d  C N N .  K r is hna   a nd  K a ll ur i   [ 3]   s ugge s te d  a   m e th od  f or   c la s s if yi ng  de f e c t s   in   ya r n - dye d  f a br ic s .  T he   e xpe r im e nt a l  f in di ngs   de m ons tr a te d  s i gni f ic a nt   r e s il ie nc e   i n  ya r n - dye d  f a br ic   f a ul t   c la s s if ic a ti on  a nd  a   pr om is in g  a ve r a ge   c la s s if ic a ti on  r a te .  K im   e t  al .   [ 4]   a ls o  p r e s e nt e d  a   di s ti nc ti ve   r e c ogni ti on  s tr a te gy  f or   s te e l  s ur f a c e   f a ul ts   ba s e d  on  upgr a de d  a r ti f ic ia l  ne ur a l  ne twor k  a lg or i th m s ,  in c lu di ng   f e a tu r e   vi s ua li z in g ,   a lo ng  w it h  a c c ur a c y   e va lu a ti on.   T he   s t e e l  s ur f a c e   de f e c t   c la s s if ic a ti on  pr obl e m   w a s   pr e - tr a in e d  us in g  th e   vi s ua l  ge om e tr y  gr oup  16   ( V G G 19 ) ,  a nd  th e   m a tc hi ng  D V G G 19  w a s   de ve lo pe d  to   e xt r a c t  th e  f e a tu r e  pi c tu r e s  i n va r io us  l a ye r s  f r om  t he  de f e c t  w e ig ht  m o de l.  T he n, a  ne w   vi r tu a li z e d s e r vi c e s  di r e c to r y  ( V S D )   ne twor k  w a s   de ve lo pe d  a nd  ut il iz e d  to   c la s s if y  s te e l  s u r f a c e   f la w s .  T he   e xpe r im e nt   f in di ngs   poi nt e d  out  t ha t  th e  s ugge s te d a ppr oa c h m a y s ig ni f ic a nt ly  i nc r e a s e  a ve r a ge  c la s s if ic a ti on a c c ur a c y, a nd t he  m ode l  c a n  c onve r ge   f a s t,   w hi c h  w a s   be ne f ic ia l  f or   s te e l  s ur f a c e   de f e c t  id e nt if ic a ti on  ut il iz in g  a  V S D   ne twor k   m ode l  o f   f e a tu r e   vi s ua li z a ti on  a nd  qua li ty   e va lu a ti on.  F or   a ut om a ti c   f r ui t  g r a de s   c la s s if ic a ti on,  J in g   e t  al   [ 5]   in ve s ti ga te d  th e   in f lu e nc e   of   s e ve r a l  c om pl e x  C N N   s tr uc tu r e s   on  th e   r e li a bi li ty   of   a   s tr a w be r r y  gr a di ng   s ys te m   ( qua li ty   in s p e c ti on) .  T he n,   th e y  e xa m in e d   s e v e r a l  ty pe s   of   c ur r e nt   de e p  C N N   a r c hi te c tu r e s,   s u c h  a s   A le xN e t,   M obi le N e t,   G oogL e N e t,   V G G N e t,   a nd  X c e pt io n ,   c om pa r e d  to   a   two - la ye r   C N N   a r c hi te c tu r e .  A c c or di ng  to   th e   r e s ul ts ,  V G G N e t  ha d  th e   hi ghe s t   a c c ur a c y,  w he r e a s   G oogL e N e t  ha d  th e   m os t   c om put a ti ona ll y  e f f ic ie nt   de s ig n.  B ot h  th e   two - c la s s   c la s s if ic a ti on  a nd  th e   f our - c la s s   c la s s if ic a ti on  s ho w e d  th e   s a m e   f in di ngs .  G ua n   e t  al .  [ 6]   de ve lo pe d a n  in je c ti on  m oul di ng  qua li ty   in s pe c ti on  pr oc e s s   s y s te m   in   e dg e   in te ll ig e nc e .  A s   a   r e s ul t,   th e   m e nt io ne d  m ode l' s   a c c ur a c y  w a s   gr e a te r   th a n  90% ,  de m ons tr a ti ng  th a t  th e   s ys te m  m a y be  u s e d i n t he  f ie ld .   I n  r e c e nt   ye a r s ,  c om put e r   pe r f or m a nc e   ha s   im pr ove d  dr a m a ti c a ll y,  le a di ng  to   s ig ni f ic a nt   a dva nc e m e nt s   in   de e p  le a r ni ng  te c hnol ogy.  D e e p  le a r ni ng  is   c a pa bl e   of   a ut om a ti c a ll y  le a r ni ng   c om pl e x   f e a tu r e s ,  gi vi ng  it   s tr ong  ge ne r a li z a ti on  a bi li ti e s   a nd  m a ki ng  i t  hi ghl y  e f f e c ti ve   in   va r io us   obj e c t  de te c ti on  ta s ks   [ 7] ,  [ 8] .  A s   a   r e s ul t,   de f e c t  de te c ti on  m e th ods   ba s e d  on  de e p  le a r ni ng  a r e   ga in in g  m or e   a tt e nt io n.  T hi s   f ie ld   c a n  be   di vi de d   in to   obj e c t   de te c ti on  a nd  obj e c t   s e gm e nt a t io n.  Du   e t  al .   [ 9]   e nh a nc e d  th e   F a s te r   R - C N N   ne twor k  by  in c or por a ti ng  f e a tu r e   pyr a m id   ne twor ks   ( FPN )   a n d  r e gi on  of   in te r e s t  ( R oI   A li gn ) ,  e na bl in g  th e   de te c ti on  of   de f e c t s   in   X - r a y  im a g e s   of   a ut om ot iv e   c a s t  a lu m in um   pa r ts .  S im il a r ly ,  X ue   e t  al .  [ 10]   us e d   te c hni que s   li ke   O ve r la p  a nd  M o s a ic   to   e xpa nd   th e   tr a in in g  da ta s e t,   a c hi e vi ng  a c c ur a te   de t e c ti on  of   va r io us   c a s ti ng  de f e c ts   w it h  th e   you  onl y  lo ok  onc e ,  ve r s io n  3   ( Y O L O v3 )   m ode l.   D ua n  e t  al .  [ 11]   a dde d  a n  s pa ti a l   pyr a m id   pool in g  ( SPP )   la ye r   to   Y O L O v3  be f o r e   th e   f in a l  c onvolut io na l  la ye r .  E xpe r im e nt a l  r e s ul ts   de m ons tr a te d  a   s ig ni f ic a nt   im pr ove m e nt   in   th e   m e a n  a ve r a ge   p r e c is io n  ( m A P )   f or   r e c ogni z in g  c a s ti ng  di gi ta l   r a di ogr a phy  ( DR )   im a ge   de f e c ts ,   r e a c hi ng  88.02%   c om p a r e d  to   th e   or ig in a l  ne twor k  [ 12] .  C ha   e t  al .  [ 13]   a nd  C ui   e t  al .   [ 14]   in tr oduc e d  a   C N N   th a t  c om bi ne s   f a s te r   R - C N N   w it h  a   r e gi on  pr opos a l  ne twor k  ( R P N ) ,   e na bl in g  th e   d e te c ti on  of   m ul ti pl e   ty pe s   of   da m a ge   s im ul ta ne ou s ly   a t  a   r e m a r ka bl e   s pe e d  of   ju s t  0.03   s e c onds   pe r   im a ge .  O n  th e   ot he r   ha nd,  th e   S D D N e t  ne twor k   in c or por a te s   a   f e a tu r e   r e f in e m e nt   m odul e   ( F R B )   a nd  a   s ki p - la ye r   c onne c ti on  m odul e   to   ha ndl e   va r io us   te xt ur e   de f e c ts   [ 15] ,  [ 16] .  H ow e ve r ,  th is   m ode l  ha s   li m it a ti ons , s uc h a s  m is s e d de te c ti ons  w he n de a li ng w it h t a r ge ts  t ha t  ha ve  s tr ong ba c kgr ound nois e  or  unc le a r   te xt ur e   de ta il s .  I t  a ls o  s uf f e r s   f r om   lo w   s e gm e nt a ti on  a c c ur a c y  a nd   li m it e d  ge ne r a li z a ti on  a bi li ty   w he n   id e nt if yi ng both wor kpi e c e s  a nd de f e c ti ve  c ondi ti ons .   T hi s   s tu dy  lo oke d  in to   th e   e f f e c ts   of   C N N   a r c hi te c tu r e   on  in dus tr ia l  pr oduc t  in s pe c ti on  a nd  c la s s if ic a ti on. W hi le  pr e vi ous  s tu di e s  i nve s ti ga te d t he  i m pa c t  of  de e p l e a r ni ng t e c hni que s  on  th e s e  t a s ks , t he y  di d  not   e xpl ic it ly   a ddr e s s   th e ir   in f lu e nc e   on   s y s te m   de pl oym e nt   us in g  s in gl e - boa r d c om put e r s . T hr ough  th e s e   s tu di e s ,  C N N   a nd   de e p  le a r ni ng  te c hni que s   ha ve   pr ove n  e f f e c ti ve   f or   pr oduc t  in s pe c ti on  a nd  c la s s if ic a ti on.  H ow e ve r ,  th e s e   a ppr oa c h e s   r e qui r e   s y s te m s   w it h  f a s t  c om p ut a ti ona l  c a pa bi li ti e s   a nd  hi gh   R A M ,  of te n  le a di ng  to   hi gh  in ve s tm e nt   c os ts   a nd  pow e r   c on s um pt io n,  w hi c h  hi nde r   th e ir   in dus tr ia l  a ppl ic a ti ons .  T o  a ddr e s s   th is   li m it a ti on,  th is   s tu dy   f oc us e d   on  C N N   a r c hi te c tu r e s   w it h  a ppr opr ia te   s iz e s ,  e na bl in g  e a s y   de pl oym e nt  on s in gl e - boa r d c om put e r s  s uc h a s  B e a gl e B one , R a s pbe r r y P i,  or  O r a nge  P i.  T he s e  opt im iz a ti ons   e nha nc e   th e   pr a c ti c a li ty   of   C N N   a nd  de e p  le a r ni ng  f or   in dus tr ia l  in s pe c ti on.  T he   pr opos e d  m e c ha ni s m   a ls o   e ns ur e s   s y s te m   s u s ta in a bi li ty ,  w hi c h  is   a   c r it ic a l  f a c to r   in   de te r m in in g  th e   a dopt io n  of   th e   m e th od.  S in c e   th e   pr opos e d  s ys te m   op e r a te s   in de p e nde nt ly   of   th e   m a in   s ys t e m   a nd  e a c h  m odul e   f unc ti ons   a ut onomou s ly ,  th e   in s pe c ti on  s ys te m   r e m a in s   ope r a ti ona l  e v e n  if   a   m odul e   f a il s   or   ne e ds   te s ti ng  be f or e   in te gr a ti on.  F ig ur e   1   il lu s tr a te s  t he  s ys t e m  de s ig n a ppl ie d i n t hi s   s tu dy.   We   f oc us e d   on  a ut om a ti ng  in s p e c ti ons   of  s ubm e r s ib le   pum p   im pe ll e r s ,  w hi c h  a r e  e r r or - pr one   due   to   va r io us  c a s ti ng de f e c ts . B y i m pl e m e nt in g di f f e r e nt  C N N  a r c hi t e c tu r e s  s uc h a s  V G G 16  [ 7] , R e s N e t5 0 [ 8] ,  a nd   one   c us to m   m ode l,   th e   s tu dy   in ve s ti ga te d  th e   e f f e c ti ve ne s s   of   us in g  a   no n - pr e tr a in e d  C N N   unde r   th e   c ir c um s ta nc e   of   li m it e d  da ta ,   w hi c h  is   ve r y  c om m on   in   in du s tr y.  M or e ove r ,  dur in g  r e s e a r c h,  th e   tr a ns f e r   le a r ni ng a nd e ns e m bl e  m e th od s   w e r e  a ls o c on s id e r e d. U nde r  t r a ns f e r  l e a r ni ng, only t he  out put  l a ye r   is  t r a in e d   w hi le   ot he r   la ye r s   a r e   f r oz e n.  T hi s   s tr a te gy  r e duc e s   ove r f it ti ng,  th e   tr a in in g  ti m e ,   a nd  ut il iz e s   th e   f or m e r   w e ll   pr e - tr a in e d  m ode l.   T he   r e tu r ne d  r e s ul ts   of   a ll   m ode ls   w e r e   f us e d  la te r   in   th e   e ns e m bl e   s ta ge   to   e nha nc e   th e   a c c ur a c y  a nd  e f f ic ie nc y  of   de f e c t  de te c ti on  a nd  c la s s if ic a ti on.  F r om   th e   in dus tr ia l   vi e w ,  e a c h  m ode l  pl a ye d  a   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i ,  V ol .  14 , N o.  3 ,  S e pt e m be r   20 25 :  838 - 848   840   r ol e  a s  a  m odul e  t ha t  c ont r ib ut e d di r e c tl y t o t he  s uc c e s s  of  t he  c la s s if ie r . D ur in g t he  ope r a ti on, i ne f f e c ti ve  a nd  in a c c ur a te  m odul e s  c a n be  c he c ke d a nd r e pl a c e d w it hout  c r e a t i ng   a ny s e r io us  e f f e c t  on   th e  w hol e   s ys te m .           F ig ur e  1. T he  s ys te m  m ode l s       A ddi ti ona ll y ,  a   gr a phi c a l  u s e r   in te r f a c e   ( G U I )   w a s   d e ve lo pe d  to   im pr ove   us a bi li ty   a nd   r e a l - ti m e   de c is io n - m a ki ng  c a pa bi li ti e s .  T hi s   r e s e a r c h  a ddr e s s e d  th e   li m it a ti ons   of   m a nua l  in s pe c ti on,  of f e r e d  a   de e p   le a r ni ng - ba s e d  a ppr oa c h  f or   qua li ty   in s pe c ti on.  T he   in te gr a ti on  of   C N N   m ode ls   a nd  G U I   te c hnol ogy   c ont r ib ut e d  to   m or e   e f f ic ie nt   a nd  a c c ur a te   de f e c t  id e nt if ic a ti o n,  pa v in g   th e   w a y  f or   s m a r te r   pr oduc ti on  a nd  in s pe c ti on  s y s te m s   in   th e   e r a   of   I ndus tr y  4.0  a nd  m a nuf a c tu r in g  di gi ti z a ti on.  I n  th e   r e s t  of   th e   pa p e r ,  th e   s e c ond  s e c ti on  m e nt io ne d  pr ope r   li te r a tu r e   r e vi e w s ,   w hi le   th e   ne xt   s e c ti on  de s c r ib e d  th e   us e d  da ta   s e t  a nd   pr opos e d m e th odol ogy. T he  c on c lu s io n w a s  pr ovi de d i n t he  f in a l  s e c ti on.       2.   R E S E A R C H  M E T H O D   2.1 .     D at as e t  i n f or m at io n   T he   da ta s e t  u s e d  in   th is   s tu dy  c om pr is e s   7 , 348  im a ge s   w it h  di m e ns io ns   of   300 × 300  a nd  w as   obt a in e d  f r om   th e   " R eal - li f e   in dus tr ia l  da ta s e t  of   c a s ti ng  pr od uc t"   on  K a ggl e   [ 17] .  A ll   of   th e   6 , 633   im a ge s   w e r e   us e d   f or   tr a in in g  a nd  v a li da ti on,  w it h  3 , 758   r e pr e s e nt in g de f e c ti ve   a nd   2 , 875  r e pr e s e nt in g  non - de f e c ti ve   pum p  im pe ll e r s .  A n   80/ 20  s pl it   w a s   us e d  to   di vi de   th e   tr a in in g   a nd  va li da ti on   da ta .   T he   te s t   f ol de r   c ont a in e d   453 im a ge s  of  f a ul ty  pump i m pe ll e r s  a nd 262  i m a ge s  of  non - f a ul ty  pump i m pe ll e r s .  F ig ur e  2  pr ovi de s   a  s hor t   da ta s e t  s um m a r y.   T hi s   da t a   s e t  w as   a lr e a dy   us e d   in   s om e   w or ks ,   s uc h   a s   E ka m ba r a n   a nd  P onnus a m y  [ 18] ,    A lf a r iz i  e t  al .   [ 19] ,  W a ng  a nd  J in g  [ 20 ] ,  S unda r a m   a nd  Z e id   [ 21] ,   o r   H u   e t  al .   [ 22] ,   to   na m e   a   f e w .   E ka m ba r a n   a nd  P onnus a m y  [ 18]   us e d  m ul ti pa th   D e ns e N e t  a nd  R e s N e t3 4  f or   pr oduc t  c la s s if ic a ti on.    A lf a r iz i   e t  al .   [ 19]   c om pa r e d  th e   a c c ur a c y  of   k - ne a r e s t  ne ig hbor s   ( K N N )   a nd  n a iv e   B a ye s   a lg or it hm s   in   de te c ti ng  de f e c ts   in   im pe ll e r   pr oduc ts .  U s in g  t - di s tr ib ut e d  s to c ha s ti c   ne ig hbor   e m be ddi ng  ( t - S N E )   vi s ua li z a ti on,  th e   s tu dy  c onc lu de d  th a t  K N N   w a s   m or e   r e li a bl e   f or   de f e c t  de te c ti on  in   in dus tr ia l  a ppl ic a ti ons .   W a ng  a nd  J in g  [ 20]   in tr oduc e d  th e   c oor di na te   a tt e nt io n  m e c h a ni s m   in to   th e   ba c kbone   n e twor k  to   a ll oc a te   m or e  a tt e nt io n t o t he  de f e c t  ta r ge t.  T he  r e s e a r c h a ls o us e d t he  b id ir e c ti ona l  w e ig ht e d f e a tu r e  pyr a m id  ne twor k   in   th e   f e a tu r e   f us io n  ne twor k   to   r e pl a c e   th e   or ig in a l  pa th   a ggr e ga ti on  ne twor k,  im pr ovi ng   th e   m ode l’ s   a bi li t y   to   f us e   f e a tu r e s   of   di f f e r e nt   s iz e s .  S unda r a m   a nd  Z e id   [ 21 ]   in t r oduc e d  th e   qua li ty   c ont r ol   s ys te m   us in g  one   c us to m   C N N   m ode l  f or   in s pe c ti on  a nd  a   c om put e r   a ppl ic a ti on  th a t  c a n  be   de pl oye d  on  th e   s hop  f lo or .     Hu   e t  al .   [ 22]   a dopt e d  th e   X c e pt io n   m ode l  to   c r e a te   a   r obus t  c la s s if ic a ti on  s y s te m .  T he   s tu dy  a ls o  a ppl ie d   da ta   a ugm e nt a ti on   te c hni que s   to   e nha nc e   th e   d a ta s e t   in   F ig u r e   3,  a ll ow in g  th e   m ode l  to   ge ne r a li z e   m or e   e f f e c ti ve ly   a nd  im pr ove   it s   de f e c t  r e c ogni ti on  c a pa bi li ti e s .  A ugm e nt a ti on  te c hni que s   ha ve   be e n  a ppl ie d  to   a ll   th e   im a ge s   in   th e   da ta s e t  to   e nha nc e   th e   di ve r s it y  a nd  va r ia bi li ty   of   th e   da ta .  T he   im a ge s   w e r e   la be ll e d  w it h   ta gs   in di c a ti ng  w he th e r   th e y  a r e   c la s s if ie d  a s   " ok"   ( nor m a l ,   a s   s how n  in   F ig ur e   3 ( a ) )   or   " de f "   ( de f e c t/ a nom a ly ,   a s   s how n i n  F ig ur e  3 ( b ) ).     2.2 .    D at as e t  t r ai n in g m od e l   I n  th is   s tu dy,  V G G 16,  R e s N e t5 0,  a nd  a   c u s to m   m ode l  ba s e d  o n  a  C N N   s tr uc tu r e   w e r e   a dopt e d  f or   tr a in in g.  T he   r e tu r ne d  out put s   f r om   e a c h  ne twor k  w e r e   s e nt   la te r   to   th e   e ns e m bl e   s ta ge   f or   m a ki ng  f in a l   de c is io ns   or   us e d  s e pa r a te ly .  I n  th e   e ns e m bl e   s ta ge ,  th e   f in a l  la be l  w a s   de c id e d  by  m a jo r it y  r ul e   [ 23] .  T he   m a in   us e   of   th e   e ns e m bl e   te c hni que   w a s   to   im pr ove   th e   ove r a ll   pe r f or m a nc e   of   th e   e nt i r e   s ys te m   if   it   w e r e   r e qui r e d .  B y  c om bi ni ng  s e ve r a l  in de p e nde nt   w e a k  c la s s if ie r s ,  th e   e n s e m bl e   m e th od  c a n  c r e a te   a   s tr ong   c la s s if ie r  w it h hi ghe r  s e ns it iv it y. T h e  pr opos e d s tr uc tu r e  of  t he   c la s s if ie r   i s  s how n  i n F ig ur e  4.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       D e e p l e ar ni ng f or  i m ag e  c la s s if ic at io n of  s ubm e r s ib le  pum p i m pe ll e r   ( P han N guy e n K y  P huc )   841   I n   a d di ti on,   P yQ t5   w a s   e m p lo ye d  to   c r e a te   a   G U I .   T he   G U I   f unc ti one d  a s   a n  in te r a c t iv e   im a ge   c la s s i f ic a t io n  t oo l,   a ll ow in g   us e r s   to   in p ut   i m a ge s   o f   p um p   i m pe ll e r s   a nd  r e c e iv e   r e a l - t i m e   o ut c om e s   f or   c la s s i f ic a t io n.   I n  t hi s   r e s e a r c h ,  t he   da ta s e t  w a s   t r a i ne d  us in g  v a r i ous  C N N   a r c hi te c tu r e s ,   in c lu di n g  V G G 16 ,   R e s N e t 50,   a nd   a   c us to m   m o de l .   T he   c us to m   m o de l   c ons is te d  of   m a n y  c on vo lu t io na l   la ye r s   a c ti va te d   by   R e L U ,   f ol lo w e d   b y  m a x   po ol in g   f o r   d im e ns i on   r e d uc t io n.   T he   f i r s t  la ye r   e m p lo ye d   3 2   3× 3   f i lt e r s   w it h   R e L U   a c t iv a ti on.   I n  2× 2  w i ndo w s ,  o ut pu ts   w e r e   r o ut e d  t hr o ugh  m a x  poo l in g .  T hi s   m e th o d  w a s   r e pe a t e d   two  m o r e   t i m e s .  T he   f in a l  m a xi m u m   p ool in g  o ut p ut s   w e r e   f la tt e ne d  a nd  s e nt   to   a   de ns e   la ye r   w it h  s i gm oi d   a c ti va t io n  to   r e d uc e   d im e ns i ona li ty .   F o r   p r ob a b il it y   di s tr ib u ti on   o ve r   c la s s e s ,   th e   l a s t   de ns e   la y e r   e m p lo y e d  S o f tM a x   a c t iv a ti on .           F ig ur e  2. D a ta  di s pe r s io n           ( a )   ( b)     F ig ur e  3. R a ndom i m a ge s  of  pump i m pe ll e r s  f r om   th e   da ta s e t   of   ( a )  de f e c ti ve   a nd  ( b)  nor m a l           F ig ur e  4. T he  pr opos e d s tr uc tu r e  of  t he  c la s s if ie r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i ,  V ol .  14 , N o.  3 ,  S e pt e m be r   20 25 :  838 - 848   842   I n  ge ne r a l,   a ll   th r e e   c ons id e r e d  m ode ls   c ont a in e d   s e v e r a l  two - di m e ns io na l  c onvolut io n  la y e r s .  T he y   a r e   th e   ke y  op e r a ti ons   in   C N N   th a t   a r e   r e s pon s ib le   f or   ge ne r a ti ng  a   f e a tu r e   m a p  th a t   c a pt ur e s   im por ta nt   pa tt e r ns  or  f e a tu r e s  i n t he  i nput  i m a ge . T he  op e r a ti on c a n be  r e pr e s e nt e d m a th e m a ti c a ll y a s  ( 1) .     ( ∗ ) [ , ] = ∑ [ , ] . [ − , − ] ∞ , = − ∞   ( 1)     W he r e   f   is   th e   in put   im a ge   a nd   g  is   th e   ke r ne l,   x   a nd  y  a r e   th e   in di c e s   or   c oor di na te s   of   th e   out put   f unc ti o n   r e s ul ti ng  f r om   th e   c onvolut io n.  T he y  de te r m in e   th e   s pe c if ic   lo c a ti on  in   th e   out put   w he r e   th e   c onvolut io n   ope r a ti on  is   a ppl ie d.  A c ti va ti on  f unc ti ons   f or   di f f e r e nt   ne twor ks   in   th is   s tu dy  in c lu de   r e c ti f ie d  li ne a r   uni t  ( R e L U )   [ 24]   a nd  s ig m oi d  [ 25]   f unc ti ons ,   w hi c h  a r e   s how n  in   ( 2) - ( 3) ,  r e s pe c ti ve ly .   F ur th e r m or e ,  a t  th e   out put   la ye r ,   th e   S of tM a x   [ 26]   a c ti va ti on f unc ti on w a s  a dopt e d a s  i n ( 4 ) .     ( ) =   ( 0 , )   ( 2)     ( ) = 1 1 + − = + 1   ( 3)     ( ) = ∑ = 1   ( 4)     W he r e   ( )   r e pr e s e nt s   th e   out put   pr oba bi li ty   of   th e   ℎ   c la s s ,    is   th e   e xpone nt ia l  f unc ti on  a ppl ie d  to   th e   ℎ   c la s s   out put ,  a nd   ∑ = 1   r e pr e s e nt s   th e   s um   of   e xpon e nt ia l  f unc ti ons   a ppl ie d  to   a ll   c l a s s   out put s .   T w o   di s ti nc t  f unc ti ons   w e r e   u s e d  to   c om put e   th e   lo s s   f unc ti on.  T he  f ir s t  is   s pa r s e  c a te gor ic a l  c r o s s - e nt r opy,  w hi c h  is  a ppr opr ia te  f or  m ul t i - c la s s  c la s s if ic a ti on j obs  w he r e  t he  t a r ge t  va r ia bl e  i s  i nt e ge r  e nc ode d. T hi s  w a s  u s e d i n  th e  c us to m  m ode l  s ta te d i n ( 5) .     = − ∑ ∗ l o g ( ) = 1   ( 5)     W he r e   L   r e pr e s e nt s   th e   lo s s   va lu e ,  N   is   th e   num be r   of   c la s s e s ,    is   th e   tr ue   la be l  a nd    is   th e   pr e di c te d   pr oba bi li ty   di s tr ib ut io n  ove r   ℎ   th e   c la s s e s .   T he   s e c ond   lo s s   f unc ti on  is   bi na r y  c r os s - e nt r opy,  w hi c h  is   of te n   us e d  f or   bi na r y  c la s s if ic a ti on  ta s ks   a nd  i s   e m pl oye d   in   V G G 16   a nd  R e s N e t5 0.   T he   bi na r y  c r os s - e nt r opy  lo s s   f unc ti on i s  m a th e m a ti c a ll y r e pr e s e nt e d by ( 6) .     = − 1 ∑ ∗ = 1 ( ̂ ) + ( 1 − ) ∗ ( 1 − ̂ )   ( 6 )     W he r e     is   th e   ta r ge t  la be l  f or   th e   ℎ   s a m pl e   a nd  ̂   is   th e   pr e di c te d  pr oba bi li ty   by   th e   m ode l  f or   th e   ℎ   s a m pl e  be lo ngi ng t o t he  pos it iv e  c la s s .   T o  ut il iz e   th e   pow e r   of   th e s e   s uc c e s s f ul   ne twor ks   a s   w e ll   a s   to   r e duc e   th e   tr a in in g   ti m e   of   th e s e   m ode ls ,  tr a ns f e r   le a r ni ng  a nd  e ns e m bl e   te c hni que s   w e r e   a ppl i e d  in   la te r   s te ps .   F or   V G G 16  a nd  R e s N e t5 0 ,   onl y  th e   la s t  out put   l a ye r   w a s   r e tr a in e d  w hi le   th e ir   ot he r   la y e r s   w e r e   f r oz e n.  S to c h a s ti c   gr a di e nt   de s c e nt   ( S G D )   a nd  A da m   opt im iz a ti on  m e th ods   w e r e   us e d  to   upda t e   ne twor k  pa r a m e te r s   dur in g  tr a in in g.  S G D   c ha nge s   p a r a m e te r s   ba s e d  on  gr a di e nt s   de te r m in e d  on  a   s ub s e t  of   tr a in in g  da ta ,  w he r e a s   A da m   c om bi ne s   a da pt iv e   le a r ni ng  r a te s   a nd  m om e nt um .  T r a in in g  us e d  a   ba tc h  s iz e   of   32  to   m a xi m iz e   c om put a ti ona l  e f f ic ie nc y.  E a c h  a r c hi te c tu r e   w a s   tr a in e d  f or   ni ne   e poc hs ,  a ll ow in g  th e   ne twor k  to   le a r n  a nd  m odi f y  w e ig ht s   a nd  bi a s e s   ove r   ti m e .  A n  e poc h  w a s   one   tr ip   th r ough   th e   c om pl e te   tr a in in g  da ta s e t.   T hi s   m e th od  opt im iz e d  th e  l os s  f unc ti on, c ha nge d   p a r a m e te r s , a nd i nc r e a s e d   c onv e r ge n c e  s pe e d.   M or e ove r ,   t he   G U I   c r e a te d  w it h  P y Q t 5  w a s   a ls o   de v e l ope d   f or   c o ns t r uc ti ng   i nt e r a c ti ve   a nd   us e r - f r ie ndl y  p r og r a m s .  T he   G U I   a ll ow s   t he   us e r   t o  u pl o a d  ph ot os   a nd   s e le c t  th e   de s ir e d  a r c h it e c t ur e   f o r   in s pe c t io n . W he n  t he   a pp li c a t io n  is  l a un c he d,  th e  us e r  i s  p r e s e nt e d  w it h a n  in tu i t iv e  i n te r f a c e  i n  w hi c h  th e y   c a n  b r ow s e   a nd  up lo a d  i m a ge s   f r o m   th e i r   l oc a l  s ys te m .  T he   s e le c t e d  p ho to s   w e r e   th e n  i ns pe c te d  us i ng  t he   f a v or e d  a r c h it e c t ur e   of   c ho ic e   ( e . g. ,  V G G 16 ,  R e s N e t5 0 ,  t h e   c us t om   m ode l ,   or   e ns e m bl e   m o de ls ) .  B y   ut i li z i ng   t he   t r a i ne d   m ode ls   w i th in   th e   G U I ,  us e r s   c a n   e a s i ly   e va l ua te   th e   c ond it io n  of   pu m p   i m pe ll e r s   b y   s im p ly   u pl oa d in g  a n   i m a ge .   T he   c h os e n   m ode l   w i ll   pr o c e s s   t he   i m a g e   a nd   p r o vi de   t he   p r e d ic t e d   c la s s i f ic a t io n,   i nd ic a ti n g   w h e th e r   th e   im p e l le r   is   de f e c ti ve   o r   non - de f e c t iv e .   F i gu r e   5   s how s   th e   d e ve lo p e d   GUI ,   a n d  t he   c la s s i f ic a ti o n  lo g   i s   s how n  i n  T a b le   1 .  A f te r   f in is hi ng  th e   i ns pe c ti on,   th e   G U I   gi ve s   t he   us e r   th e   opt io n  t o  e x po r t   t he   r e s u lt s   to   a n  E xc e l  f i le .  T he   p r o duc e d  E xc e l  f i le   c o m p r is e s   t he   r e c o gn iz e d   c ond it io ns   o f   t he   t e s te d  p r o duc ts ,  m a k in g  i t  e a s y  f o r   f u r th e r   a na ly s is   a nd  r e c o r d - ke e p in g.  T he   P yQ t 5 - ba s e d   G U I   p r o vi de d   a   s m oo th   a n d  in te r a c t iv e   e xpe r ie nc e ,  a l lo w in g   us e r s   to   qui c k ly   s ub m i t   ph ot os ,   c h oos e   t he   a r c h it e c t ur e ,  a nd  e xp or t  in s pe c t io n   r e s ul ts .  I t  i m p r o ve d  us a bi li ty   a nd  a ll ow e d  f o r   m o r e   e f f e c t iv e   da ta   ha nd li ng  a n d a n a l ys is   f or  qu a l it y c ont r ol .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       D e e p l e ar ni ng f or  i m ag e  c la s s if ic at io n of  s ubm e r s ib le  pum p i m pe ll e r   ( P han N guy e n K y  P huc )   843   T a bl e  1 .   T he  c la s s if ic a ti on l og   P r od.   ID   T i m e   D a t e   VGG   R e s N e t   C us t om   E ns e m bl e   I m pe l l e r   973   16: 45   31 - 05 - 2023   Ok   Ok   Ok   Ok   I m pe l l e r   27   16: 45   31 - 05 - 2023   D e f   D e f   D e f   D e f   I m pe l l e r   50   16: 45   31 - 05 - 2023   D e f   D e f   D e f   D e f   I m pe l l e r   95   16: 45   31 - 05 - 2023   D e f   D e f   D e f   D e f   I m pe l l e r   71   16: 46   31 - 05 - 2023   Ok   Ok   Ok   Ok   I m pe l l e r   118   16: 46   31 - 05 - 2023   Ok   Ok   Ok   Ok   I m pe l l e r   26   16: 46   31 - 05 - 2023   D e f   D e f   D e f   D e f   ...   ...   ...   ...   ...   ...   ...   ...           F ig ur e  5.  T he  de ve lo pe d G U I       3.   R E S U L T S   3.1.    M od e l  p e r f or m an c e s   T he   e va lu a ti on  of   th e   pr opos e d  a r c hi te c tu r e s   w a s   c onduc te d  us in g  a  c onf us io n  m a tr ix ,  a c c ur a c y,   pr e c is io n,  r e c a ll ,  a nd  F 1 - s c or e .  T h e s e   e v a lu a ti on  m e tr ic s   pr ovi de d  a   c om pr e he ns iv e   pe r f or m a nc e   of   th e   m ode ls ,  va lu a bl e   in s ig ht s   a bout   th e ir   c a pa bi li ti e s ,   a s   w e ll   a s   t he ir   s tr e ngt hs   a nd  w e a kne s s e s .  T he   a c c ur a c y,  pr e c is io n, r e c a ll ,   a nd F 1 - s c or e  a r e  c om put e d by ( 7) - ( 10) , r e s pe c ti ve ly .      =  +   +  +  +    ( 7)      =   +    ( 8)     =   +    ( 9)     1 −  = 2 ∗ ∗ +   ( 10)     F ig ur e   6  pr ov id e d  de ta il s   a bout   th e   tr a in in g   pr oc e s s   of   th r e e   m ode ls .   T a b le   2  s um m a r iz e s   th e   pe r f or m a nc e   of   th r e e   m ode ls   a f te r   9  e poc hs .   W e   f ound   th a t  tr a in in g  a c c ur a c y  c or r e la te s   w it h  th e   us e   of   pr e - tr a in e d  m ode ls ,  a s   tr a ns f e r   le a r ni ng  e na bl e s   f a s te r   c onve r ge nc e .  T he   pr opos e d  m e th od  in   th is   s tu dy  te nde d  to   ha ve   a n  in or di na te ly   hi ghe r   pr opor ti on  of   tr a in in g  e f f ic ie nc y ,   a s   V G G 16  a c hi e ve d  100%   tr a in in g  a c c ur a c y  a nd  99.24%   va li da ti on  a c c ur a c y   a t  th e   9t h  e po c h,  w hi le   R e s N e t5 0  r e a c he d  99.92%   tr a in in g  a c c ur a c y  a nd   99.47%   va li da ti on  a c c ur a c y  a t  th e   s a m e   e poc h.  A t  th is   poi nt ,   th e   c us to m   m ode l  obt a in e d  98.79%   tr a in in g   a c c ur a c y  a nd  99.10%   va li da ti on  a c c ur a c y.  V G G 16  a nd   R e s N e t5 0  c onve r ge d  m or e   qui c kl y  due   to   tr a ns f e r   le a r ni ng,  w he r e a s   th e   c us to m   m ode l  r e qui r e d  a   lo nge r   tr a in in g   pe r io d  s in c e   a ll   pa r a m e t e r s   ha d  to   be   tr a in e d  f r om  s c r a tc h, a nd t he  da ta s e t  u s e d w a s  not  a s   c om pr e he ns iv e  a s  t he  one  a ppl ie d f or  V G G 16 a nd R e s N e t5 0.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i ,  V ol .  14 , N o.  3 ,  S e pt e m be r   20 25 :  838 - 848   844   T a bl e  2 .   S um m a r iz e s   th e  p e r f or m a nc e  of  t hr e e  m ode ls  a f te r  9 e poc hs   M ode l   T r a i ni ng  l os s   V a l i da t i on  l os s   T r a i ni ng  acc ur a c y   V a l i da t i on   a cc ur a c y   V G G 16   0.002   0.030   1.000   0.992   R e s N e t 50   0.003   0.008   0.999   0.995   C us t om  m ode l   0.007   0.010   0.987   0.971       F r om   th e   F ig u r e   6,  a ll   V G G 16  ( F ig ur e   6 ( a ) ) ,  R e s N e t5 0  ( F ig ur e   6 ( b ) ) ,   a nd  th e   c us to m   m ode l     ( F ig ur e   6 ( c ) )   a ll   ha d  hi gh  pe r f or m a nc e   in   pi c tu r e   c la s s if ic a ti on.  C ons e que nt ly ,  a ll   m ode ls   c a n  s e r ve   a s   a  ba c kbone   w hi c h  a r e   r e s pons ib le   f or   f e a tu r e   e xt r a c ti on.  T h e ir   out put   la ye r   c a n  be   s ub s ti tu te d  w it h   a ny  pr ope r   c la s s if ic a ti on  m e th od.  I n  a ddi ti on,  th e   f e a tu r e   ve c to r s   f r om   ba c kbone s   c a n   a ls o  be   s ta c k e d  to   f or m   a   uni que   f e a tu r e   ve c to r ,   w hi c h  c a n  be   us e d  a s   in put   f or   a ny  c la s s if ie r .  D e pe ndi ng  on  th e   a ppl ie d  m e th od  of   th e   c la s s if ie r ,  in de pe nde nt   m ode ls   c a n  in te r a c t   w it h  ot he r s   in   s e ve r a l  w a ys   a nd  e nha nc e   th e   a c c ur a c y  of   th e   s ynt he s is   m ode l.   T hi s   s tu dy  onl y  e xa m in e d  th e   m o s t  c om m on   w a y  to   s ynt he s i ze   th e s e   r e s ul ts   by  u s in g  th e   ba ggi ng  m e th od,  i. e . ,   th e   m a jo r it y  vot in g  r ul e .  T hi s   ha s   th e   a dva nt a ge   of   e a s e   w he n  th e   m odi f ic a ti ons   a r e   r e qui r e d.  T he   in c lu s io n  a nd  e xc lu s io n  of   a   ne twor k  f r om   t he   e ns e m bl e   c a n   be   done   ve r y  qui c kl y  a nd  c onve ni e nt ly  w it hout  a ny r e tr a in e d a c ti vi ty . T hi s  c a nnot  be  a c hi e ve d e f f e c ti ve ly  i f  ot he r  m e th ods  a r e  a dopt e d.           ( a )     ( b)       ( c )     F ig ur e  6. T r a in in g l os s  a nd a c c ur a c y of  t hr e e  m ode ls   of   ( a )   t r a in in g l os s  a nd a c c ur a c y of  t he  R e s N e t  50  m ode l , ( b)   t r a in in g l os s  a nd a c c ur a c y of  t he   V G G 16 mode l , a nd  ( c )   t r a in in g l os s  a nd a c c ur a c y of     th e  c us to m  m ode l       3.2.    T e s t in g ap p li c at io n   I n  th e   te s ti ng  ph a s e ,   th e   p e r f or m a nc e   of   th e   tr a in e d   m ode ls   w a s   e v a lu a te d  on   a   s e pa r a te   da ta s e t  c ont a in in g  453  im a ge s   of   f a ul ty   pum p  im pe ll e r s   a nd  262   im a g e s   of   non - f a ul ty   pum p  im pe ll e r s .   O ur   f in di ngs   in di c a te   th a t  hi ghe r   f e a tu r e   s e ns it iv it y  is   not   a s s oc ia te d  w it h  po or   pe r f or m a nc e   in   c la s s if yi ng  pum p  im pe ll e r s   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       D e e p l e ar ni ng f or  i m ag e  c la s s if ic at io n of  s ubm e r s ib le  pum p i m pe ll e r   ( P han N guy e n K y  P huc )   845   a c c ur a te ly .  T he   pr opos e d  m e th od  m a y  be ne f it   f r om   in c or por a ti ng  e ns e m bl e   s tr a te gi e s   w it hout   ne ga ti ve ly   a f f e c ti ng  it s   ge ne r a li z a ti on  c a p a bi li ty .  T he s e   te s t  im a ge s ,  r e pr e s e nt in g  r e a l - li f e   s a m pl e s   not   u s e d  dur in g  tr a in in g  or   va li da ti on,  pr ovi de d   a n  unbi a s e d  be nc hm a r k  f or   a s s e s s in g  th e   m ode ls '   a bi li ty   to   a c c ur a te ly   di s ti ngui s h  be twe e n  f a ul ty   a nd  non - f a ul ty   im pe ll e r s   ba s e d  o n  th e   le a r ne d  f e a tu r e s   a nd  pa tt e r ns .  F ig ur e   7  s how s   th e  c onf us io n m a tr ix  of  a ll  m ode ls .   D ur in g  th e   te s ti ng  pha s e ,  th e   V G G 16  m ode l   e xhi bi te d  e xc e pt io na l  pe r f or m a nc e   in   a na ly z in g  th e   te s ti ng  phot os .  I t  a c hi e ve d  im pr e s s iv e   a c c ur a c y,  c or r e c tl y  p r e di c ti ng  450  out   of   453  f a ul ty   phot os   a nd  a c c ur a te ly   id e nt if yi ng  a ll   non - de f e c ti ve   im a ge s   ( F ig ur e   7( a ) ) .  T hi s   hi ghl ig ht e d   th e   m ode l' s   e f f e c ti ve ne s s   in   di s ti ngui s hi ng  be twe e n   th e   two   c la s s e s .  I n  F ig ur e   7( b) ,  th e   R e s N e t5 0  m ode l   de m ons tr a te d  e xc e pt io na l   a c c ur a c y  in   pr e di c ti ng  th e   te s t  phot os .  I t  a c c ur a te ly   id e nt if ie d  451  out   of   453  f a ul ty   phot os   a nd  c or r e c tl y  c la s s if ie d  a ll   non - de f e c ti ve   im a ge s ,  s how c a s in g  it s   e f f e c ti ve ne s s   in   di s ti ngui s hi ng  be twe e n  th e   two  c la s s e s .   T he s e   num be r s   f or   th e   c u s to m   m ode l  w e r e   452   out   of   453  in   th e   de f e c ti ve   c la s s   a nd   247  out   of   263  in   th e   non - de f e c ti ve   c la s s   ( F ig ur e   7( c ) ) ,   w hi le   th e   e ns e m bl e   m ode l  ha d  451  out   of   453  in   th e   de f e c ti ve   c la s s   a nd     263 out of  263 in t he  non - de f e c ti ve  c la s s  ( F ig ur e  7( d) ) .           ( a )     ( b)         ( c )   ( d)     F ig ur e  7 .   T r a in in g l os s  a nd a c c ur a c y of  a ll  m ode ls   of   ( a )   c onf us io n m a tr ix  of  t he  V G G  m ode l ,  ( b)   c onf us io n  m a tr ix  of  t he  R e s N e t5 0 m ode l , ( c )   c onf us io n m a tr ix  of  t he   c us to m  m ode l , a nd ( d)   c onf us io n m a tr ix  of  t he   e ns e m bl e  m ode l       T hi s   s tu dy  in v e s ti ga te d  a   c om pr e he ns iv e   e va lu a ti on  a nd  a na ly s is   of   th e   pr opos e d  s y s te m .  H ow e v e r ,  a ddi ti ona l  a nd  in - de pt h  r e s e a r c h  m a y  be   r e qui r e d  to   c onf ir m   it s   lo ng - te r m   e f f e c ti ve ne s s ,  pa r ti c ul a r ly   r e ga r di ng  it s   s c a la bi li ty   in   di ve r s e   in dus tr ia l  e nvi r onm e nt s .   A lt hough  th e   c us to m   m ode l s   di d  not   pe r f or m   s o   w e ll   c om pa r e d  to   V G G 16  a nd  R e s N e t5 0  due   to   th e   la c k  of   pr e - tr a in e d  da ta ,  th e   pr opos e d  s ys te m   ha s   a   ve r y   hi gh  s e ns it iv it y  f or   th e   r e m a in in g  c a s e s .  T hi s   c a n  be  a tt r ib ut e d  to   th e   r obus t  s e ns it iv it y  of   th e   two  pr e - t r a in e d   ne twor ks .  G iv e n  a   da ta   poi nt   be lo ngi ng   to   c la s s   C ,  if   a ll   ne two r ks   a r e   in de pe nde nt   of   ot he r   ne twor ks   a nd   th e   s e ns it iv it y  of   ne twor k  i   r e ga r di ng   to   c la s s   C   is   de not e d  a s   ,  i. e .,  = (            | ∈ ) ,  th e   s e ns it iv it y of  t he  s ys te m  w h e n us in g t he  e n s e m bl e  m ode l  r e ga r d in g t o c la s s  C  i s  c om put e d a s   in   ( 11) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i ,  V ol .  14 , N o.  3 ,  S e pt e m be r   20 25 :  838 - 848   846   =   1 2   3 +   ( 1 − 1 ) 2   3 +   1 ( 1 − 2 )   3 +     1   2 ( 1 − 3 )   ( 11)     I n  di s c us s io n,  E ka m ba r a n   a nd  P onnus a m y  [ 18]   ut il iz e d  V G G 19  a nd  R e s N e t3 4,  a c hi e vi ng  a n    F1 - s c or e   of   99.54%   w it h  a   c la s s if ic a ti on  ti m e   of   454   m s .   S im il a r ly ,  A lf a r iz i  e t  al .   [ 19 ]   c onduc te d  a   c om pa r a ti ve  a na ly s is  of  K N N  a nd  na ïv e   B a ye s ia n, de m ons tr a ti ng t ha t  K N N  a c hi e ve d a n a c c ur a c y of  98.11% ,   w he r e a s   na ïv e   B a ye s ia n only r e a c he d 85.38% . T hi s  f in di ng  s ugge s ts  t ha t  K N N  i s  s ig ni f ic a nt ly  m or e  e f f e c ti ve   f or  f a ul t  de te c ti on s ys te m s . F ur th e r m or e , H u   e t  a l .   [ 22]  e m pl oy e d t he  X c e pt io n A ug mode l  to  e nha nc e  s ys te m   s ta bi li ty .  T he   s tu dy  c om pa r e d  C N N ,  I nc e pt io n  V 3,  a nd  X c e pt io n  A ug,  r e por ti ng  a c c ur a c y  r a te s   of   98.02% ,  98.48% ,  a nd  99.16% ,  r e s pe c ti ve ly .  B a s e d  on  th e s e   r e s ul t s ,  th e   a ut hor   c onc lu de d  th a t  th e   X c e pt io n  m ode l  is   th e   m os t  s ui ta bl e   f or   e ns ur in g  s ys te m   s ta bi li ty .  I n   our   c ont r ib ut io n,  w e   c om pa r e   V G G 16,   R e s N e t5 0,  a nd  a   c us to m   m ode l.   T he   f in di ngs   in di c a te   th a t  bot h  V G G 16  a nd  R e s N e t5 0  a c hi e ve d  a   tr a in in g  a c c ur a c y  of   99% .  A ddi ti ona ll y,  w e   de ve lo pe d  a n  a ppl ic a ti on  c a pa bl e   of   r unni ng  on  e m be dde d  c om put in g  de vi c e s ,  pr ovi di ng  a   pr a c ti c a l  a nd c os t - e f f e c ti ve  c la s s if ic a ti on s ol ut io n f or  i ndus tr ia l  m a nuf a c tu r in g e nvi r onm e nt s .       4.   C O N C L U S I O N   T he   s tu dy  u s e d  V G G 16,  R e s N e t5 0,  a nd   th e   c u s to m   m ode l  to   a c c ur a te ly   c a te gor iz e   phot o s   of   c a s ti ng  pr oduc ts ,  s pe c if ic a ll y  pum p  im pe ll e r s .  O ur   f in di ngs   of f e r   de f in it iv e   pr oof   th a t  th is   phe nom e non  is   li nke d  to   s ubt le   a lt e r a ti ons   in   pr oduc t  qua li ty ,  r a th e r   th a n  be in g  c a us e d  by  in c r e a s e d  qua nt it ie s   of   im a ge   da ta .  T he   s tu dy  e m pl oye d  V G G 16,  R e s N e t5 0,  a nd  a   c u s to m   m ode l  to   a c c ur a te ly   c a te gor iz e   phot os   of   c a s ti ng  pr oduc ts - s pe c if ic a ll y,  pum p  im pe ll e r s .  E a c h  m od e l  pe r f or m e d  a dm ir a bl y,  a c hi e vi ng  hi gh  a c c ur a c ie s   on  bot h  tr a in in g  a nd  te s ti ng  da ta s e ts .  A ddi ti ona ll y,  a   us e r - f r ie ndl y  gr a phi c a l  in te r f a c e   w a s   de v e lo pe d  us in g  P yQ t5 ,  e na bl in g   us e r s   to   in put   phot os ,  s e le c t  di f f e r e nt   a r c hi te c tu r e s ,  a nd  e xpor t  th e   c a te gor iz a ti on  r e s ul ts   to   a n  E xc e l  f il e .  T he   pr opos e d  de s ig n  is   w e ll - s ui te d  f or   in dus tr ia l   in s pe c ti on  a nd  e ns ur e s   s y s te m   s us ta in a bi li ty ,  a s   it   ope r a te s   in de pe nde nt ly   of   th e   m a in   s ys te m   w it h  e a c h  m odul e   f unc ti on in g  a ut onomous ly .  M or e ove r ,  a s id e   f r om   th e   lo w   in ve s tm e nt   c os t,   th e   s y s te m ' s   ove r a ll   a c c ur a c y  in   it s   in it ia l  s ta ge - w he n  da ta   a r e   li m it e d - c a n  be   e nh a nc e d   by  le ve r a gi ng  w e ll - known  pr e - tr a in e d  m ode ls   in   pa r a ll e l  w it h  c us to m   m ode ls .  T he   e ns e m bl e   m e th od  a ls o   pl a ye d  a n  im por ta nt   r ol e   in   in c r e a s in g  th e   a c c ur a c y  of   th e   m od e l  in   th e   in it ia l  s ta g e .  S o,  f ut ur e   r e s e a r c h   m a y  lo ok  in to   va r io us   da ta s e t s   be   us e d  to   tr a in   th e   m ode ls . T hi s   w il l   a id   in   e va lu a ti ng  th e   m ode ls '   p e r f or m a nc e   on  a   va r ie ty   of   m a nuf a c tu r in g  pr oduc ts   a nd  d e te r m in e   th e ir   ge ne r a li z a ti on  c a pa bi li ti e s .   F ur th e r m or e ,  in c r e a s in g  th e   G U I   f unc ti ons ,  s uc h  a s   a ddi ng  r e a l - ti m e   im a ge   c a pt ur in g  a nd  of f e r in g  vi s ua li z a ti on  to ol s   f or   i m pr ove d   m ode l  in te r pr e ta ti on,  w oul d  im p r ove   th e   us e r   e xpe r ie nc e   e ve n   f ur th e r .  T hi s   s tu dy  hi ghl ig ht s   th e   s uc c e s s f ul   im pl e m e nt a ti on  of   C N N   a r c hi te c tu r e s   a nd  e ns e m bl e   m e th od s   in   in dus tr ia l  qua li ty   c ont r ol   a nd  e xhi bi ts   th e   pos s ib il it ie s  of  us in g G U I  t e c hnol ogy f or  e f f ic ie nt  a nd us e r - f r ie ndl y pi c tu r e  c a te gor iz a ti on s ys te m s .       F U N D I N G  I N F O R M A T I O N   A ut hor s  s ta te  no f undi ng i nvol ve d.       A U T H O R  C O N T R I B U T I O N S  S T A T E M E N T     T hi s   jo ur na l  us e s   th e   C ont r ib ut or   R ol e s   T a xonomy  ( C R e di T )   to   r e c ogni z e   in di vi dua l   a ut hor   c ont r ib ut io ns , r e duc e  a ut hor s hi p di s put e s ,  a nd f a c il it a te  c ol la bo r a ti on.      N am e  o f  A u t h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   P ha n N guye n K y P huc   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓       ✓   ✓   D oa n H uu C ha nh     ✓         ✓   ✓   ✓     ✓     ✓     ✓   T r ong Hie u L uu   ✓     ✓   ✓   ✓     ✓     ✓   ✓   ✓     ✓   ✓     C   :    C onc e pt ua l i z a t i on   M   :    M e t hodol ogy   So   :    So f t w a r e   Va   :    Va l i da t i on   Fo   :    Fo r m a l  a na l ys i s   I   :    I nve s t i ga t i on   R   :    R e s our c e s   D   :   D a t a  C ur a t i on   O   :   W r i t i ng  -   O r i gi na l  D r a f t   E   :   W r i t i ng  -   R e vi e w  &   E di t i ng   Vi   :    Vi s ua l i z a t i on   Su   :    Su pe r vi s i on   P   :    P r oj e c t  a dm i ni s t r a t i on   Fu   :    Fu ndi ng a c qui s i t i on         C O N F L I C T  O F  I N T E R E S T  S T A T E M E N T     A ut hor s  s ta te  no c onf li c t  of  i nt e r e s t.     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       D e e p l e ar ni ng f or  i m ag e  c la s s if ic at io n of  s ubm e r s ib le  pum p i m pe ll e r   ( P han N guy e n K y  P huc )   847   D A T A  A V A I L A B I L I T Y     T he   da ta   th a t  s uppor t  th e   f in di ngs   of   th i s   s tu dy  a r e   ope nl y  a va il a bl e   in   [ K a ggl e ]   a t   ht tp s :/ /ww w .ka ggl e .c om /d a ta s e ts /r a vi r a js in h45/ r e a l - li f e - in dus tr ia l - da ta s e t - of - c a s ti ng - pr oduc t/ da ta ,  r e f e r e nc e   num be r  [ 17 ].       R E F E R E N C E S   [ 1]   K .  S i m onya n  a nd  A .   Z i s s e r m a n,  “ V e r y  de e p   c onvol ut i ona l   ne t w or ks   f or   l a r ge - s c a l e   i m a ge   r e c ogni t i on,”   i n  3 r d  I nt e r nat i ona l   C onf e r e nc e   on  L e ar ni ng  R e pr e s e nt at i ons ,   I C L R   2015  -   C onf e r e nc e   T r ac k   P r oc e e di ngs ,  2015,  pp.  1 – 14.   [ O nl i ne ] .     A va i l a bl e :  ht t ps : / / s hor t l i nkur l .i d/ 8z 2o8   [ 2]   K .  H e ,  X .   Z ha ng,  S .  R e n,  a nd   J .  S un,  “ D e e p  r e s i dua l   l e a r ni ng  f or   i m a ge   r e c ogni t i on,”   i n  2016  I E E E   C onf e r e nc e   on  C o m put e r   V i s i on and P at t e r n R e c ogni t i on , I E E E ,  J un. 2016, pp. 770 – 778. doi :  10.1109/ C V P R .2016.90.   [ 3]   S .  T .  K r i s hna   a nd  H .  K .  K a l l ur i ,  “ D e e p  l e a r ni ng  a nd   t r a ns f e r   l e a r ni ng  a ppr oa c he s   f or   i m a ge   c l a s s i f i c a t i on,”   I nt e r nat i onal   J ou r nal   of   R e c e nt   T e c hnol ogy   and  E ngi ne e r i ng ,  vol .  7,  no.  5,  pp.  427 – 432,  2019,  [ O nl i ne ] .  A va i l a bl e :   ht t ps : / / w w w .i j r t e .or g/ w p - c ont e nt / upl oa ds / pa pe r s / v7i 5s 4/ E 10900275S 419.pdf   [ 4]   T .  H .  K i m ,   H .  R .  K i m ,   a nd  Y . J .  C ho,  “ P r oduc t   i ns pe c t i on  m e t hodol ogy  vi a   de e p  l e a r ni ng:   a n  ove r vi e w ,”   Se ns or s ,  vol .  21,  no.  15,   p. 5039, J ul . 2021, doi :  10.3390/ s 21155039.   [ 5]   J .  J i ng,   A .  D ong,  P .  L i ,  a nd  K .  Z ha ng,  “ Y a r n - dye d  f a br i c   de f e c t   c l a s s i f i c a t i on  ba s e d  on  c onvol ut i ona l   ne ur a l   ne t w or k,”   O pt i c al   E ngi ne e r i ng , vol . 56, no. 09, p. 1, S e p. 2017, doi :  10.1117/ 1.oe .56.9.093104.   [ 6]   S .  G ua n,  M .  L e i ,  a nd  H .  L u,  “ A   s t e e l   s ur f a c e   de f e c t   r e c ogni t i on  a l gor i t hm   ba s e d  on  i m pr ove d  de e p  l e a r ni ng  ne t w or k  m ode l   us i ng   f e a t ur e  vi s ua l i z a t i on a nd qua l i t y e va l ua t i on,”   I E E E  A c c e s s , vol . 8, pp. 49885 – 49895, 2020, doi :  10.1109/ A C C E S S .2020.2979755.   [ 7]   T .  W a ng,  Y .  C he n,  M .  Q i a o,  a nd  H .  S nous s i ,  “ A   f a s t   a nd  r obus t   c onvol ut i on a l   ne ur a l   ne t w or k - ba s e d  de f e c t   de t e c t i on  m ode l   i n   pr oduc t   qua l i t y  c ont r ol ,”   T he   I nt e r nat i onal   J our nal   of   A dv anc e d  M anuf ac t ur i ng  T e c hnol ogy ,  vol .  94,  no.  9 – 12,  pp.  3465 – 3471,  F e b. 2018, doi :  10.1007/ s 00170 - 017 - 0882 - 0.   [ 8]   C .  D e w i ,  R .  C .  C he n,  a nd  H .  Y u,  “ W e i ght   a na l ys i s   f or   va r i ous   pr ohi bi t or y  s i gn  de t e c t i on  a nd  r e c ogni t i on   us i ng  de e p  l e a r ni ng,”   M ul t i m e di a T ool s  and A ppl i c at i ons , vol . 79, no. 43 – 44, pp. 32897 – 32915, N ov.  2020, doi :  10.1007/ s 11042 - 020 - 09509 - x.   [ 9]   W .  D u,  H .   S he n,  J .  F u,  G .   Z ha ng,  a nd  Q .  H e ,   “ A ppr oa c he s   f or   i m pr ove m e nt   of   t he   X - r a y  i m a ge   de f e c t   de t e c t i on  of   a ut om obi l e   c a s t i ng  a l um i num   pa r t s   ba s e d  on  d e e p  l e a r ni ng,”   N D T   and  E   I nt e r nat i onal ,  vol .  107,  p.  102144,  O c t .  2019,     doi :  10.1016/ j .ndt e i nt .2019.102144.   [ 10]   L .  X ue ,  J .  H e i ,  X .  C he n,  Y .  X u,  a nd  L .  Z he ng,  “ A n  e f f i c i e nt   m e t hod  of   c a s t i ng  de f e c t s   de t e c t i on  ba s e d  on  de e p  l e a r ni ng,”   i n   P r oc e e di ngs   of   2020  I E E E   I nt e r nat i onal   C onf e r e nc e   on  A dv anc e s   i n  E l e c t r i c al   E ngi ne e r i ng  and  C om put e r   A ppl i c at i ons ,  A E E C A   2020 , I E E E , A ug. 2020, pp. 480 – 483. doi :  10.1109/ A E E C A 49918.2020.9213492.   [ 11]   L .  D ua n,  K .  Y a ng,  a nd  L .  R ua n,  “ R e s e a r c h  on  a ut om a t i c   r e c ogni t i on  of   c a s t i ng  de f e c t s   ba s e d  on  de e p  l e a r ni ng,”   I E E E   A c c e s s ,    vol . 9, pp. 12209 – 12216, 2021, doi :  10.1109/ A C C E S S .2020.3048432.   [ 12]   Z .  G uo,  C .  W a ng,   G .  Y a ng,   H ua ng,  a nd   G .  L i ,  “ M S F T - Y O L O :   i m pr ove d  Y O L O v5  ba s e d  on  t r a n s f or m e r   f or   de t e c t i ng  de f e c t s   of   s t e e l  s ur f a c e ,”   Se n s or s , vol . 22, no. 9, p. 3467, M a y 2022, doi :  10.3390/ s 22093 467.   [ 13]   Y .  J .  C ha ,  W .  C hoi ,  G .  S uh,  S .  M a hm oudkha ni ,  a nd  O .  B üyüköz t ür k,  “ A ut o nom ous   s t r uc t ur a l   vi s ua l   i ns pe c t i on  us i ng  r e gi on - ba s e d  de e p  l e a r ni ng  f or   de t e c t i ng  m ul t i pl e   da m a ge   t ype s ,”   C om put e r - A i de d  C i v i l   and  I nf r as t r uc t u r e   E ngi ne e r i ng ,  vol .  33,  no.  9 ,   pp. 731 – 747, S e p. 2018, doi :  10.1111/ m i c e .12334.   [ 14]   L .  C ui ,  X .  J i a ng,  M .  X u,  W .  L i ,  P .  L v,  a nd   B .  Z hou,  “ S D D N e t :   a   f a s t   a nd  a c c ur a t e   ne t w or k  f or   s ur f a c e   de f e c t   d e t e c t i on,”   I E E E   T r ans ac t i ons  on I ns t r um e nt at i on and M e as ur e m e nt , vol . 70, pp. 1 – 13, 2021, do i :  10.1109/ T I M .2021.3056744.   [ 15]   R .  S us t i ka ,  A .  S ube kt i ,  H .   F .  P a r de de ,  E .  S ur ya w a t i ,  O .  M a h e ndr a ,  a nd  S .  Y uw a na ,  “ E va l ua t i on  of   de e p  c onvol ut i ona l   n e ur a l   ne t w or k  a r c hi t e c t ur e s   f or   s t r a w be r r y  qua l i t y  i n s pe c t i on,”   I nt e r nat i onal   J our n al   of   E ngi ne e r i ng  and   T e c hnol ogy ( U A E ) ,  vol .  7,     no. 4, pp. 75 – 80, D e c . 2018, doi :  10.14419/ i j e t .v7i 4.40.24080.   [ 16]   H .  H a   a nd  J .  J e ong,  “ C N N - ba s e d  de f e c t   i ns pe c t i on  f or   i nj e c t i on  m ol di ng  us i ng  e dge   c om put i ng  a nd  i ndus t r i a l   I oT   s ys t e m s ,”   A ppl i e d Sc i e nc e s , vol . 11, no. 14, p. 6378, J ul . 2021, doi :  10.3390/ a pp11146378.   [ 17]   D .  R a vi r a j s i nh,  “ C a s t i ng  pr oduc t   i m a ge   d a t a   f or   qua l i t y  i ns pe c t i on,”   K a ggl e .  A c c e s s e d:   J ul .  01,  2025.  [ O nl i ne ] .   A va i l a bl e :   ht t ps : / / w w w .ka ggl e .c om / da t a s e t s / r a vi r a j s i nh45/ r e a l - l i f e - i ndus t r i a l - da t a s e t - of - c a s t i ng - pr oduc t ? r e s our c e =dow nl oa d - di r e c t or y   [ 18]   D .  E ka m ba r a m   a nd  V .   P onnus a m y,  “ I de nt i f i c a t i on  o f   de f e c t s   i n  c a s t i ng  pr odu c t s   by  us i ng  a   c onvol ut i ona l   ne ur a l   ne t w or k,”   I E I E   T r ans ac t i ons  on Sm a r t  P r oc e s s i ng and C om put i ng , vol . 11, no. 3, pp. 149 – 155,  J un. 2022, doi :  10.5573/ I E I E S P C .2022.11.3.149.   [ 19]   M .  F .  A l f a r i z i ,  M .  F a t c ha n,  a nd  W .  H a di kr i s t a nt o,  “ C om pa r i s on  of   de f e c t i ve   c a s t i ng  pr oduc t   c l a s s i f i c a t i on  r e s ul t s   us i ng  t he   k - ne a r e s t   ne i ghbor s   a l gor i t hm ,”   I nt e r nat i onal   J our nal   of   A pp l i e d  R e s e ar c h  and  Sus t ai nabl e   Sc i e nc e s ,  vol .  2,  no.  6,   pp.  417 – 426,   2024, doi :  10.59890/ i j a r s s .v2i 6.1968.   [ 20]   P .  W a ng  a nd  P .  J i ng,  “ D e e p  l e a r ni ng - ba s e d  m e t hods   f or   de t e c t i ng  de f e c t s   i n  c a s t   i r on  pa r t s   a nd  s ur f a c e s ,”   I E T   I m age   P r oc e s s i ng ,  vol . 18, no. 1, pp. 47 – 58, J a n. 2024, doi :  10.1049/ i pr 2.12932.   [ 21]   S .  S unda r a m   a nd   A .  Z e i d,  “ A r t i f i c i a l   i nt e l l i ge nc e - ba s e d  s m a r t   qua l i t y   i ns pe c t i on  f or   m a nuf a c t ur i ng,”   M i c r om ac hi ne s ,  vol .  14,    no. 3, p. 570, F e b. 2023, doi :  10.3390/ m i 14030570.   [ 22]   H .  H u,  S .  L i ,  J .   H ua ng,  B .  L i u,  a nd  C .  C he ,  “ C a s t i ng  pr oduc t   i m a ge   da t a   f or   qua l i t y   i ns pe c t i on  w i t h  X c e pt i on  a nd  da t a   a ugm e nt a t i on,”   J our nal   of   T he or y   and  P r ac t i c e   of   E ngi ne e r i ng  Sc i e nc e ,  vol .  3,  no.   10,  pp.  42 – 46,   O c t .  2023,     doi :  10.53469/ j t pe s .2023.03( 10) .06.   [ 23]   L .  R oka c h,  “ E ns e m bl e - ba s e d  c l a s s i f i e r s ,”   A r t i f i c i al   I nt e l l i ge nc e   R e v i e w ,  vol .  33,  no.  1 – 2,  pp.   1 – 39,  F e b.   2010,    doi :  10.1007/ s 10462 - 009 - 9124 - 7.   [ 24]   V .  N a i r   a nd  G .  E .  H i nt on,  “ R e c t i f i e d  l i ne a r   uni t s   i m pr ove   r e s t r i c t e d  bol t z m a nn  m a c hi ne s ,”   I C M L   2010  -   P r oc e e di ngs ,  27t h   I nt e r nat i onal   C onf e r e nc e   on  M ac hi ne   L e a r ni ng ,  pp.   807 – 814,  2010,  [ O nl i ne ] .  A v a i l a bl e :   ht t ps : / / w w w .c s .t or ont o.e du/ ~ f r i t z / a bs ps / r e l uI C M L .pdf   [ 25]   D .  E .  R um e l ha r t ,  G .  E .  H i nt on,   a nd  R .  J .  W i l l i a m s ,  “ L e a r ni ng  r e pr e s e nt a t i ons   by  ba c k - pr opa ga t i ng  e r r or s ,”   N at ur e ,  vol .  323,    no. 6088, pp. 533 – 536, O c t . 1986, doi :  10.1038/ 323533a 0.   [ 26]   J .  S .   B r i dl e ,  “ P r oba bi l i s t i c   i nt e r pr e t a t i on   of   f e e df or w a r d  c l a s s i f i c a t i on  ne t w o r k  out put s ,  w i t h   r e l a t i ons hi ps   t o  s t a t i s t i c a l   pa t t e r n  r e c ogni t i on,”   i n  N e ur oc om put i ng ,  B e r l i n,  H e i de l be r g:   S pr i nge r   B e r l i n  H e i de l be r g,  1990,  pp.   227 – 236.  doi :   10.1007/ 978 - 3 - 642 - 76153 - 9_28.       Evaluation Warning : The document was created with Spire.PDF for Python.