T E L K O M N I K A  T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 ,   p p .   1 6 3 ~ 1 7 2   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad e  b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI :  1 0 . 1 2 9 2 8 /TE L KO MN I K A. v 1 9 i1 . 1 6 3 9 8     163       J o ur na l ho m ep a g e :  h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   H a lf  G a uss ia n - ba sed wa v elet tra nsf o rm for poo ling  l a y er f o r  co nv o lution neur a l net wo rk         Aqeel  M .   H a m a d  Alhu s s a iny ,   Am ma r  D.   J a s im     De p a rtme n t  o f  In fo rm a ti o n   E n g i n e e rin g ,  Al - Na h ra i n   Un i v e rsity ,   Ira q       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   Ap r   1 5 ,   2 0 2 0   R ev is ed   J u l 3 ,   2 0 2 0   Acc ep ted   Au g   2 9 ,   2 0 2 0       P o o l in g   m e th o d s  a re   u se d   to   se le c t  m o st  sig n ifi c a n t  fe a tu re s  t o   b e   a g g re g a ted   to   sm a ll   re g io n .   In   t h is  p a p e r,   a n e w  p o o li n g   m e th o d   is  p ro p o se d   b a se d   o n   p ro b a b il it y   f u n c t io n .   De p e n d i n g   o n   th e   fa c t  t h a t,   m o st   i n fo rm a ti o n   is   c o n c e n trate d   fro m   m e a n   o f  th e   s ig n a l  t o   it s  m a x imu m   v a lu e s,  u p p e r  h a lf  o f  G a u ss ian   fu n c ti o n   is  u se d   to   d e te rm in e   we ig h ts  o f  th e   b a sic   sig n a l   sta ti stics ,   wh ich   is  u se d   to   d e term in e   th e   tran sfo rm   o f  t h e   o ri g i n a l  sig n a l  in to   m o re   c o n c ise   fo rm u la,  w h ich   c a n   re p re se n t  sig n a l  fe a tu re s,   t h is  m e th o d   n a m e d   h a lf   G a u ss ian   tran sfo rm   (HG T).   Ba se d   o n   stra te g y   o f   tran sf o rm   c o m p u tatio n ,   Th re e   m e th o d s   a re   p ro p o se d ,   t h e   first  m e th o d   (HG T1 )  is  u se d   b a si c   sta ti stics   a fter  n o rm a li z e d   it   a s  we i g h ts   t o   b e   m u lt i p li e d   b y   o ri g i n a l  sig n a l,   se c o n d   m e th o d   (HG T2 )  is   u se d   d e term in e d   sta ti stics   a s  fe a tu re s  o f   th e   o rig in a l  sig n a l   a n d   m u lt i p ly   it   wit h   c o n sta n t  we ig h ts  b a se d   o n   h a lf  G a u ss ian ,   wh il e   th e   th ird   m e th o d   (HG T3 )   is  wo r k e d   in   si m il a r  to   (HG T1 )  e x c e p t,   it   d e p e n d   o n   e n ti re   sig n a l.   T h e   p r o p o se d   m e th o d s  a re   a p p li e d   o n   th re e   d a tab a se s,   wh ich   a re   (M NIST ,   CIF AR1 0   a n d   M IT - BI H  ECG )   d a tab a se .   Th e   e x p e rime n tal  re su l ts  sh o w  t h a t,   o u r  m e th o d s   a re   a c h iev e d   g o o d   imp ro v e m e n t,   wh i c h   is  o u t p e rfo rm e d   sta n d a rd   p o o li n g   m e th o d s  su c h   a s  m a x   p o o li n g   a n d   a v e ra g e   p o o li n g .   K ey w o r d s :   C o n v o lu tio n   n eu r al  n etwo r k   Gau s s ian   HGT 1   HGT 2   HGT 3   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r  th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Aq ee l M .   Ham ad   A lh u s s ain y   Dep ar tm en t o f   I n f o r m atio n   E n g in ee r in g   Al - Nah r a in   Un iv er s it y   Al  J ad r iy ah   B r id g e,   B ag h d ad   6 4 0 7 4 ,   I r a q   E m ail: a q ee l_ alh u s s ain y @ u tq . ed u . iq       1.   I NT RO D UCT I O N     T h e  r ec en t  d ev elo p m en t  is   u s ed   n eu r al  n etwo r k   in   s p ir ed   s y s tem   s u ch   as  co n v o lu tio n al  n e u r al    n etwo r k   ( C NN) ,   De - n o is in g   au to   en co d er   an d   o th er   d ee p   lear n in g   n eu r al  n etwo r k   h as  d er iv ed   s ig n if ican t  d ev elo p m en t  f r o m   b u ild in g   m o r e  im p o r tan t  an d   co m p licated   n etw o r k   s tr u ctu r e,   wh ich   lead   to   m o r e  n o n - lin ea r   ac tiv atio n s   [ 1 - 3 ] .   Desp ite  th e  d ev elo p m en t   p r o g r ess   in   C NNs,  th er e  ar e  s till   s ev er al  ch allen g es  en co u n ter ed   b y   th i s   n etwo r k   s u ch   as  p r o b lem   o f   h ig h   ca p ac ity   b ec au s e  o f   h u g e  p r o ce s s in g   d ata,   wh ich   m ay   r esu lt  in   o v er   f itti n g   p r o b lem   d u e  to   h ig h   ca p ac ity   o f   C NN   [4 - 6 ] .   I n   o r d er   to   s o lv e  th ese  p r o b lem s ,   d if f er en t  r eg u lar izatio n   m eth o d s   wer e  p r o p o s ed   s u ch   as  weig h t d ec ay ,   weig h t  ty in g   an d   p o o lin g   tech n iq u es.  T h e  ce n tr al  r o le  f o r   C NN  n etwo r k   is   th e  f ea tu r es  p o o lin g   o p er atio n ,   h o wev er ,   p o o lin g   h av e  b ee n   litt le  r ev is ed   b ey o n d   s tan d ar d   m eth o d s   o f   av er ag e  an d   m ax   p o o lin g   [ 7 - 9 ] .   I n   th is   p ap er ,   an ew  p o o lin g   o f   f ea tu r es  m eth o d   is   p r o p o s ed   b ased   o n   p r o b ab ilit y   f u n ctio n ,   th e  p r o p o s ed   m eth o d   is   r ep lace d   th e  o u tp u t  o f   co n v o lu tio n al   lay er   with   d eter m in is ts   f ea tu r es  b y   u s in g   p o o lin g   o p er atio n ,   wh ich   is   ev alu ated   b ased   o n   d is tr ib u tio n   s tatis tics   f o r   ea ch   p o o lin g   win d o w,   th e  weig h t  o f   t h e s e   s t a t i s t i c s   a r e   c o m p u t e d   d e p e n d i n g   o n   n o r m a l   d i s t r i b u t i o n   o f   s t a t i s t i c s   [ 1 0 - 1 3 ] .   t h e   m a i n   c o n t r i b u t i o n s   o f   t h i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   164   w o r k   i s   t h a t ,   t h e   b a s i c   p r o p e r t i e s   o f   t h e   s i g n a l   a r e   f i l t e r e d   b y   s e l e c t   t h e   m o s t   s i g n i f i c a n t   i n f o r m a t i o n ,   w h i l e   t h e  d e t a i l   o f   t h e   s i g n a l   w i l l   h a v e   l i t t l e   e f f e c t ,   s o   t h e   e l i m i n a t i o n   o f   t h e   s i g n a l   w i l l   b e   s a t i s f i e d   b y   d i s c a r d   l e s s   s i g n i f i c a n t  i n f o r m a t i o n   t h r o u g h   t h e   C N N s   a n d   t h i s   i s   e l i m i n a t e d   s h o r t c o m i n g   o f   m a x   a n d   a v e r a g e   p o o l i n g   m e t h o d s   [ 1 4 ,   1 5 ] .       2.   L I T E R AT U RE   SU RVE Y   T av is   W illi am   an d   R o b er li  i s   in tr o d u ce d   a  p o o lin g   m eth o d   b ased   o n   wav elet  tr an s f o r m ,   th is   m eth o d   was  b ased   o n   d ec o m p o s e  th e  o r ig in al  im ag e  in to   s ec o n d   lev el  tr an s f o r m   o f   wav elet,   th en   d elete   all  th e    s u b - b an d   d etail s   o f   f ir s t  lev el  d ep en d in g   o n   th e  f ac t  th at  ,   ap p r o x im atio n   co ef f icie n ts   r ep r esen t  th e  b asic  in f o r m atio n   o f   th e  o r ig in al  d ata,   th is   ca n   r ed u ce   th e  f ea tu r es  o f   th e  o r ig in al  s ig n al  b y   d is ca r d in g   less   s ig n if ican t  in f o r m atio n   [ 1 6 ] .   C h en - Yu   L ee   et   a l. ,   th ey   ar e   s tu d ied   th e  p er f o r m an ce   o f   co m b in in g   av er ag e  p o o lin g   with   m ax   p o o lin g   an d   th e  s tr ateg y   o f   tr ee   s tr u ctu r ed   f u s io n   o f   f ilter s .   T h e  b asic  id ea   o f   th is   wo r k   is   u s ed   lear n in g   p r o ce s s   o f   m ix ed   r ate  b etwe en   m ax   an d   av er ag e  p o o lin g   m eth o d ,   th ey   ar e  r ef er r ed   to   th is   m eth o d   as  m ix ed   m eth o d ,   wh ile  th e  s ec o n d   u s ed   m eth o d   in   th is   wo r k   was  b ased   o n   g ated   m ask ,   wh ich   is   u s ed   to   f in d   m ix   o f   m ax   an d   av er ag e  p o o lin g ,   th ey   ar e  r ef er ed   to   th is   m eth o d   as g ated   m ax - av er ag e  m eth o d   p o o lin g   [ 1 7 ] .   Din g ju n   Yu   et   al .   th ey   ar e  p r o p o s e d   a  m eth o d   f o r   f ea tu r e  p o o lin g   b ased   o n   r ep lacin g   d eter m in is ts   with   s to ch asti c  o p er atio n ,   th is   is   ac co m p lis h ed   b y   ch o s e  r an d o m   v alu e  to   s elec t  th e  m ax   o r   av er ag e  p o o lin g   m eth o d ,   th e  b asic  b en ef it  f r o m   th is   m eth o d   is   to   av o id   o v er   f itti n g   p r o b lem .   T h ey   ar e  ap p lied   m ix ed   p o o lin g   b y   th r ee   d if f er en t  ap p r o ac h es,  wh ich   ar e  ap p ly   p o o lin g   f o r   all  f ea tu r es in   a  lay er ,   o r   b y   u s in g   m ix ed   with in   lay er ,   o r   b y   u s in g   m ix in g   b etwe en   r eg io n s   with in   lay er .   T h e  p r o p o s ed   m eth o d s   ar e  ap p lied   o n   d if f er en t  ty p es  o f     d atab ase  [ 1 8 ] .   M.   D.   Z eiler   an d   R o b   Feg u s   ar e  p r o p o s ed   to   s elec t  ac tiv atio n ,   th at  is   d r iv en   f r o m   a  m u ltid im en s io n al  d is tr ib u tio n   b y   ac tiv atio n   in   th e  r eg io n   o f   p o o lin g ( p o o l  s ize) ,   th is   is   p er f o r m ed   b y   f ir s t   co m p u tin g   th e  p r o b ab ilit y   f o r   ea ch   r eg io n ,   th en   th is   p r o b ab ili ty   is   n o r m alize d ,   th en   s am p le  f r o m   th ese  d is tr ib u tio n   b ased   o n   th e  p r o b ab ilit y   is   s elec ted   to   b e  th e  p o o lin g   f ea tu r es,  d if f er en t  m eth o d s   ar e  u s ed   to   s elec t  th ese  p r o b ab ilit ies,  wh ich   m ea n s   th at,   th e  s elec ted   elem en ts   f o r   p o o lin g   f ea tu r e  m ay   n o t  b e  th e  lar g est    v alu e   [ 1 9 ] .   T ak u m i  Ko b ay ash i  is   p r o p o s ed   f ea tu r e  p o o lin g   lay er   b ased   o n   d is tr ib u tio n   o f   p r o b ab ilit ies  o v e r   ac tiv atio n ,   th is   is   p er f o r m ed   b y   d eter m in e  th e  s tatis tics   o f   s tan d ar d   d ev iatio n   an d   m ea n   d ep en d in g   o n   d is tr ib u tio n   o f   Gau s s ian   f u n ctio n ,   th e  b as ic  id ea   o f   th is   wo r k   is   to   s u m m ar ize  th e  d is tr ib u tio n   o f   Gau s s ian   an d   ag g r eg ate  th e  ac tiv atio n   in to   two   b asic  v alu es,  wh ich   ar e  s tan d ar d   d ev iatio n   an d   av er ag e,   th is   m eth o d   is   ap p lied   later   to   s to ch asti c  p o o lin g   m eth o d   [ 1 3 ] .       3.   M E T H O DO L O G Y   I n   t h i s   p a p e r ,   w e   h a v e  p r o p o s e d   a   n e w  p o o l i n g   m et h o d s   b as e d   o n   p r o b a b i l i t y   f u n c ti o n ,   Fi g u r e   1   d e s c r i b e s   t h e   b l o c k   d i a g r a m   o f   t h e   p o o l i n g   l a y e r ,   t h e   b a s i c   c o m p o n e n t   o f   t h i s   l a y e r   is   f e a t u r e   c o m p u t a t i o n ,   w h i c h   i s   e x t r a c t e d   d e p e n d i n g   o n   a l g o r i t h m   ( 1 )   b y   c a l c u l a ti n g   t h e   b a s i c   s t a ti s t i cs ,   w h i c h   c a n   b e   u s e d   t o   c o m p u t e   t h e   w e i g h t s   o f   e a c h   e l e m e n t   a c c o r d i n g   t o   ( 1 )   a n d   ( 2 ) , w h i c h   a r e   r e p r e s e n t e d   a v e r a g e   a n d   s t a n d a r d   d e v i a ti o n   r e s p e ct i v e l y   [ 1 3 ,   2 0 ] .     = 1 │ │ ∑ (  )   ( 1 )       = 1 │ │ ∑ ( − (    ) ) 2   ( 2 )           Fig u r e  1 .   T h e  p r o p o s ed   p o o lin g   lay er   b l o ck   d ia g r am       T h e  s ec o n d   h alf   o f   Gau s s ian   f u n ctio n   r e p r esen t s   th e  s tatis ti cs  b etwe en   m ea n   an d   m ax im u m   v alu e,   wh ich   r ep r esen t s   th e  m o s t  im p o r tan t  ch a r ac ter is tics   o f   th e  s ig n al.   So ,   th e  Ga u s s ian   is   r ec o n s tr u cted   f o r   u p p e r   h alf   o f   its   f u n ctio n   as sh o wn   i n   F ig u r e  2 ,   th en   m o s t s ig n if ican t statis tic s   ar e  ca lcu lated .   T h ese  s tati s tics   w ill b e  u s ed   later   to   d eter m in e  th e   f ea t u r es  an d   th eir   weig h t s   ac co r d i n g   to   th e  s ig n if ican t  o f   ea ch   o f   th em .   T h e  s elec ted   f ea tu r es will b e  d eter m in e d   as sh o wn   in   ( 3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         H a lf   Ga u s s ia n - b a s ed   w a va let  tr a n s fo r m  fo r   p o o lin g   la ye r   fo r   c o n vo lu tio n . . .   ( A q ee l M.   Ha ma d   A lh u s s a in y )   165   =   ∑ ( 4 = 0 µ +   ∗ 2 ) ∗ ( )   ( 3 )     wh er e  ( )   r ep r esen t  th e  weig h t  o f   ea ch   elem en t,  wh ile  µ   ,   ar e  m ea n   an d   s tan d ar d   d ev iatio n   o f   th e  s ig n al  r esp ec tiv ely   [ 2 1 ,  22] .           Fig u r e  2 .  Gau s s ian   an d   h alf   G au s s ian   f u n ctio n       3 . 1 .     P r o po s ed  a lg o rit hm   B ased   o n   th e  s tr ateg y   o f   t r an s f o r m   co m p u tatio n ,  w e  h av e  p r o p o s ed   th r ee   alg o r ith m s .   T h ese  m eth o d s   ar e  h alf   Gau s s ian   t r an s f o r m 1   ( HGT 1 ) ,   h alf   Gau s s ian   t r an s f o r m 2   ( HGT 2 )   a n d   h al f   Gau s s ian   t r an s f o r m 3   ( HGT 3 ) .   T h e  alg o r ith m s   ar e  d if f er en ce d   in   th e  s tr ateg y   o f   tr an s f o r m   co m p u tatio n .   Als o ,   th e  s tati s tic s   ar e  d eter m in ed   in   d if f e r en t w in d o w  s ize.   T h e  d etails ar e  d escr ib ed in   n ex t sectio n s .       3 . 1 . 1 .   H G T 1   T h is   alg o r ith m   is   u s ed   th e  b asic  f ea tu r es  o f   th e  s ig n al  ( m ea n   an d   s tan d ar d   d ev iatio n ) ,   wh ich   ar e  d eter m in ed   as  s h o wn   in   ( 1 )   an d   ( 2 )   r esp ec tiv ely .   At  f ir s t,  th e  s ize  an d   s tr id e  f o r   ea ch   p o o l  s ize  win d o w  an d   o th er s   p ar am eter s   ar e  in itialized ,   th en   m ea n   an d   s tan d ar d   d ev iatio n   ar e  d eter m in ed   f o r   ea ch   p o o l  win d o w,   th en   th e  u p p er   h alf   o f   th e  Gau s s ian   d is tr ib u tio n   f u n ctio n   is   d eter m in ed ,   d ep en d in g   o n   th ese  s tatis tics ,   b asic  elem en ts   o f   th is   f u n ctio n   ar e  co m p u ted ,   wh ich   ar e   ( µ −       , µ   − 1 2 ∗   ,         µ   , µ + 1 2 ∗                    µ +   ) .  T h e  weig h ts   o f   th ese  elem en ts   ar e  d eter m in ed   ac co r d in g   to   Gau s s ian   f u n ctio n   s h o wn   in   ( 4 ) ,   th ese  weig h ts   ar e  m u ltip lied   b y   o r ig in al  s ig n al  to   co m p u te  th e  b asics   f ea tu r es  ( p o o led   s ig n al) .   T h e  d etails  d escr ip tio n   o f   th is   m eth o d   s h o wn   in   Fig u r e  3 ,   wh ich   s h o ws alg o r ith m   HGT 1 .       ( ) = 1 √   2 ∗  2     − ( − µ ) 2 2 2   ( 4 )     3 . 1 . 2 .   H G T 2   I n   th is   alg o r ith m ,   th e  weig h ts   ar e  d eter m in ed   f o r   Ga u s s ian   f u n ctio n ,   th en   f o r   ea ch   p o o l  s ize  win d o w,   th e  m ea n   an d   s tan d ar d   d ev iatio n   ar e  d eter m in ed .   T h ese  s tatis tics   ar e  u s ed   to   d eter m in e  th e  b asic  elem en ts   o f   h alf   Gau s s ian   f u n ctio n ,   wh ich   ar e  ( ( µ −       , µ   − 1 2 ∗ , µ , µ + 1 2 ∗          µ +   ) ) .  T he n ,   th e  d eter m in ed   elem en ts   ar e  m u ltip lied   b y   th e  co n s tan t  weig h ts ,   wh ich   ar e  d eter m in ed   at  f ir s t  s tep .   T h e  d etails  d escr ip tio n   o f   th is   alg o r ith m   ar e  s h o wn   in   Fig u r e  4 .     3 . 1 . 3 .   H G T 3   T h is   alg o r ith m   is   s im ilar   to   alg o r ith m   I I ,   ac ce p t  th at,   it  is   d ete r m in ed   t h e  m ea n   a n d   s tan d ar d   d ev iatio n   f o r   e n tire   s ig n al  i n s tead   o f   d e ter m in ed   it  f o r   ea ch   p o o l   s ize .   At  f ir s t,  th ese  s tatis tics   ar e  ca lcu lated   f o r   en tir e   s ig n al,   th en   th e  b asic  elem en ts   o f   th e  n ew  Gau s s ian   f u n ctio n   ar e  d ete r m in e,   wh ic h   ar e   (( µ −       , µ   − 1 2 ∗ , µ , µ + 1 2 ∗          µ +   )).   T h ese  v alu es a r e  u s ed   as in p u ts   to   Gau s s ian   f u n cti o n   to   d eter m in e  th e  f ea tu r es ,  wh ich   a r e  m u ltip lied   b y   th e   o r ig i n al  s ig n al  to   c o m p u te  th e  p o o l ed   s ig n al .   T h e  d et ails   ar e  s h o wn   in   Fig u r e  5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   166           Fig u r e  3 .   HGT 1   al g o r ith m   Fig u r e  4 .   HGT 2   al g o r ith m           Fig u r e  5 .   HGT 3   a l g o r ith m       4.   E XP E R I M E N T A L   RE SUL T S AN D  D I SC USS I O N   T h e  p r o p o s ed   p o o lin g   m eth o d s   ar e  u s ed   C NN,   an d   a p p lied   o n   d i f f er en t   ty p es  o f   d atab ase  to   test   th e   p er f o r m an ce   o f   th e  p r o p o s ed   m eth o d s   as  co m p ar e d   with   o th er   m eth o d s .   T h ese  d atab as es   ar e  MN I ST  an d   C I FAR 1 0 ,   wh ich   ar e  two - d im en s io n   s ig n al  ( im a g e)   with   s ize  ( 2 8 * 2 8 )   a n d   ( 3 2 * 3 2 )   r es p ec tiv ely .   T h e   o th e r   d atab ase  was  MI T - B I H  E C G   d atab ase,   wh ich   is   one - d im e n s io n   s ig n al.   T h e  ex p er im en t s   ar e  ex ec u ted   b y     I n tel®co r e  ™ i7 - 4 5 0 0 C PU@ 2 . 4 0 GHz   p r o ce s s o r ,   with 8 GB   o f   R AM ,   64 - b it  win d o ws  s ev en   o p er atin g   s y s tem ,   o n   Ma tlab   ( 2 0 1 9 a) .   T h e  r esu lt s   ar e  co m p ar e d   with   r esu lts   o f   s tan d ar d   m eth o d s .     4 . 1 .     M NIS T   da t a ba s e  re s ult s   T h is   d atab a s e  is   co n tain ed   6 0 0 0 0   im ag e  o f   g r ay   s ca le  im ag e  with   s ize  ( 2 8 * 2 8 ) ,   it  is   d iv id ed   in to   ( 5 0 0 0 0 )   im ag e,   wh ich   ar e  u s ed   f o r   tr ain in g ,   wh ile  th e  r em ain in g   1 0 0 0 0   im ag es   ar e  u s ed   f o r   test   th e  p r o p o s e d   m o d el  [ 2 3 ] .   T h e  C NN  is   tr ain ed   with   in itial  lear n in g   r ate  0 . 0 1 , 1 0   ep o ch s   an d   5 8   iter atio n   p er   ep o ch .   T ab le  1   d escr ib es  th e  r esu lts   as  co m p ar ed   with   s tan d ar d   m ax   an d   av er ag e  p o o lin g   m eth o d s   , it  is   clea r   th at  th e  p r o p o s e d   m eth o d   ar e  o u tp er f o r m ed   th ese  m eth o d ,   th e  b est ac cu r ac y   is   s atis f ied   with   ( HGT 1 +a v er ag e )   m eth o d ,   w h ich   is   ac h iev ed   ac cu r ac y   ( 9 9 . 7 2 %)  v er s es  ( 9 9 . 4 8 %)  an d   ( 9 9 . 4 2 %)  f o r   m ax .   an d   av er ag e  p o o lin g   m eth o d s   r esp ec tiv ely ,   also   th is   m eth o d   is   ac h iev ed   lo west  FP R   ( 0 . 2 8 %)  co m p ar ed   with   ( 0 . 3 4 %)  f o r   Ma x   m eth o d   as   s h o wn   in   T ab le  2 ,   wh ich   s h o ws th e  d if f er en t p er f o r m an ce   m etr ics f o r   ( HGT 1 )   m eth o d s .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         H a lf   Ga u s s ia n - b a s ed   w a va let  tr a n s fo r m  fo r   p o o lin g   la ye r   fo r   c o n vo lu tio n . . .   ( A q ee l M.   Ha ma d   A lh u s s a in y )   167   T ab le  1 .   R esu lts   o f   ( HGT 1 )   m eth o d   f o r   MN I ST  class if icatio n   M e t h o d   M a x   a v e r a g e   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   9 9 . 4 8   9 9 . 4 2   9 9 . 6 8   9 9 . 7 2   9 9 . 9 6       T ab le  2 . P er f o r m an ce   m etr ics o f   ( HGT 1 )   m eth o d s   f o r   h an d w r ite  d ig it c lass if icatio n   M e t h o d   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   9 9 . 6 8   9 9 . 7 2   9 9 . 9 6   S e n s i t i v i t y   ( S N %)   9 9 . 6 6   9 9 . 6 8   9 9 . 7 2   F a l se   p o si t i v e   R a t e   F P R   ( %)   0 . 3 4   0 . 2 8   0 . 2 8   S p e c i f i c i t y   ( %)   9 9 . 6 6   9 9 . 6 8   9 9 . 7 2   ER R   ( %)   0 . 3 2   0 . 2 8   0 . 0 4       T h e  r esu lts   o f   s ec o n d   m eth o d   is   d escr ib ed   in   T ab le  3 ,   wh ich   g iv es  th e  b est  r esu lts   b y   ( HG T 2 +M ax ) ,   an d   o th e r   m etr ics  o f   p er f o r m a n ce   ar e  ex p lain ed   in   T a b le  4 ,   f r o m   T a b le  4   it  is   clea r   th at  ( HGT 2 +M ax )   g iv es   lo west  FP R   ( 0 . 2 8 )   with   th e  h ig h est   ac cu r ac y   ( 9 9 . 7 2 ) .   T h e  tab l es  ar e  d escr ib ed   th e  im p r o v e m en ts   o f   o u r   m eth o d s   in   ter m s   o f   ac cu r ac y ,   s en s itiv ity   an d   p r ec is io n   with   m in im u m   f alse p o s itiv e  r ate  ( FP R ) .   T h e  ac cu r ac y   an d   lo s s   tr ain in g   p r o g r ess   f o r   ( HGT 2 + Ma x )   m eth o d   ar e  s h o wn   in   F ig u r e s   6   an d   7   r esp ec tiv ely ,   i t  is   c lear   th at ,   th e   ac cu r ac y   is   r ea c h ed   to   m o r e   th an   9 8 . 5   with   less   th an   2   ep o ch s ,   th is   is   d u e  to   e x tr ac tin g   b asic  f ea tu r es  o f   th e   im ag e  with   less   elim in atio n   as   co m p a r ed   with   m ax   a n d   av er ag e  p o o lin g   m eth o d s ,   also   th e  lo s s   is   atten u ated   to   less   th an   0 . 1 5 .   T h e  co n f u s io n   m atr ix   d etails  f o r   th is   m e th o d   is   d escr ib ed   in   F ig u r e  8 ,   wh i ch   is   d escr ib ed   th e   h ig h   m atch in g   b etwe en   th e  p r ed icted   an d   ac t u al  v alu es,  s in ce   m o s t  o f   th e  class es  ar e  m atch ed   p er f ec tly .     T ab le  5   s h o ws  th e  r esu lt  o f   th i r d   m eth o d   ( HGT 3 ) ,   wh ich   is   ac h iev ed   less   r esu lts   as  co m p ar ed   with   HGT 1   an d   HGT 2   m eth o d s ,   th e  d etail  d escr ip tio n   o f   th ese  m eth o d s   f o r   a ll p er f o r m a n ce   m etr ics ar e  d escr ib ed   in   T a b le  6 .       T ab le  3 .   R esu lts   o f   ( HGT 2 )   m eth o d   f o r   MN I ST  class if icatio n   M e t h o d   M a x   a v e r a g e   H G T2   H G T2 + M a x   H G T2 + a v e r a g e   A c c u r a c y   ( %)   9 9 . 4 8   9 9 . 4 2   9 9 . 5 2   9 9 . 7 2   9 9 . 5 2       T ab le  4 . P er f o r m an ce   m etr ics o f   ( HGT 2 )   m eth o d s   f o r   h an d w r ite  d ig it c lass if icatio n   M e t h o d   H G T2   H G T2 +   M a x   H G T2 +   A v e r a g e   A c c u r a c y   ( %)   9 9 . 5 2   9 9 . 7 2   9 9 . 5 2   S e n s i t i v i t y   ( S N %)   9 9 . 5 2   9 9 . 7 2   9 9 . 5 8   F a l se   Er r o r   R a t e   F ER   ( %)   0 . 4 8   0 . 2 8   0 . 4 2   S p e c i f i c i t y   ( %)   9 9 . 5 2   9 9 . 7 2   9 9 . 5 6   ER R   ( %)   0 . 4 8   0 . 2 8   0 . 4 8           Fig u r e  6 .   A cc u r ac y   tr ain i n g   p r o g r ess   f o r   ( HGT 2 +M ax )   m et h o d           Fig u r e  7 .   L o s s   tr ain in g   p r o g r e s s   f o r   ( HGT 2 +M ax )   m et h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   168   T ab le  5 .   R esu lts   o f   ( HGT 3 )   m eth o d   f o r   MN I ST  class if icatio n   M e t h o d   M a x   a v e r a g e   H G T3   HG T3 + M a x   H G T3 + a v e r a g e   A c c u r a c y   ( %)   9 9 . 4 8   9 9 . 4 2   9 9 . 0 4   9 9 . 5 2   9 9 . 9 6       T ab le  6 .   Per f o r m an ce   m ea s u r e s   f o r   HGT 3   f o r   h a n d wr ite  d ig i t c lass if icatio n   M e t h o d   H G T3   H G T3 +   M a x   H G T3 +   A v e r a g e   A c c u r a c y   ( %)   9 9 . 0 4   9 9 . 5 2   9 9 . 9 6   S e n s i t i v i t y   ( S N %)   9 9 . 3 0   9 9 . 5 2   9 9 . 9 6   F a l se   Er r o r   R a t e   F ER   ( %)   0 . 7   0 . 4 8   0 . 0 4   S p e c i f i c i t y   ( %)    9 9 . 1 2   9 9 . 5 2   9 9 . 9 6   ER R   ( %)   0 . 9 6   0 . 4 8   0 . 0 4           Fig u r e  8 .   c o n f u s io n   m atr ix   o f   ( HGT 3 +M ax )   m eth o d       4 . 2 . Resul t s   CIFAR  1 0   da t a s et   T h is   d ataset  is   co n s tr u cted   f r o m   6 0 0 0 0   im a g e,   ea c h   im ag e   with   s ize  ( 3 2 * 3 2 )   R GB   co lo r   im ag e,   th e  m o d el  is   tr ain ed   o n   ( 5 0 0 0 0 ) ,   wh ile  th e  test   d ataset  was  1 0 0 0 0   im ag es   [ 2 4 ] .   I n   th is   ex p er im en t,  th e   s am e  p ar am eter s   ar e  u s ed   f o r   all  p o o lin g   m eth o d s ( th e  p r o p o s ed   a n d   s tan d ar d ) ,   w h ich   ar e   1 0   ep o ch ,   1 2 8   b atch   s ize   with   0 . 0 1   lear n i n g   r ate  . T h e  r e s u lts   o f   HGT 1   m eth o d   ar e   d es cr ib ed   in   T ab le   7 ,   it  clea r   th at  ,   o u r   m eth o d   ( HGT )   g iv es  th e  b est  r esu lts ,   b ec a u s e  co m b i n in g   th is   m eth o d   with   m ax   an d   a v er ag e   ca n   elim in at e  s o m e  s ig n if ica n t  in f o r m atio n   f r o m   th e  im ag e,   t h e  p er f o r m a n ce   o f   th e   m eth o d s   ar e  s h o wn   i n   T ab l e  8 ,   th e  lo west FPE  is   s at is f ied   in   o u r   p r o p o s ed   m eth o d   ( HGT 1 ) ,   wh ich   is   ac h iev ed   ( 2 6 . 3 %).   T h e   co n f u s io n   m atr ix   o f   th is   m eth o d   is   s h o wn   in   F ig u r e  9 ,   wh ic h   s h o ws g o o d   m a tch in g   b etwe en   p r ed icte d   a n d   ac tu al  class es.    T h e  p r o g r ess   o f   th e  ac cu r ac y   an d   lo s s   tr ain in g   ar e  s h o wn   in   F ig u r e s   1 0   an d   1 1   r esp ec tiv ely ,   th e  ac cu r ac y   is   r ea ch ed   to   ( 6 0 %)  in   less   th an   2   ep o ch s ,   th en   in cr ea s ed   g r ad u ally ,   wh ile  th e  lo s s   is   atten u ated   to   less   th an   1   in   2   ep o ch s   an d   th en ,   it  is   d ec r ea s ed   s lo wly .   T h e  r esu lts   o f   HGT 2   ar e  p r e s en ted   in   T ab le s   9   an d   1 0   r esp ec tiv ely ,   th er e  is   s m all  im p r o v em en t  co m p ar ed   with   m ax   an d   av er ag e  p o o lin g   m eth o d s ,   b ec au s e  th is   m eth o d   is   d ep en d ed   o n   f ea tu r e  o f   th e  im ag e  in s tead   o f   th e  im ag e  its elf   f o r   ex tr ac tio n   th e  p o o led   s ig n al.     T ab les  1 1   an d   1 2   r ep r es en t r esu lts   o f   H GT 3   m eth o d ,   wh ich   is   less   in   m o s t  p er f o r m an ce   m etr ics  ( ac c  7 2 . 4 2 % )   an d   ( FP E 2 7 . 5 8   %),   th is   d u e  to   th at,   th is   m eth o d   is   d ep en d ed   o n   th e  s tatis tics   o f   en tire   s ig n al  in s tead   o f   ea ch   p o o l  s ize  win d o w  f r o m   th e  s ig n al,   wh ich   n o t  g iv es  th e  m eth o d   h ig h   d y n am ic  in   d ea lin g   with   th e  s ig n al,   an d   th is   is   h ap p en ed   in   th e  f ir s t m eth o d   ( HGW1 ) .       T ab le  7 .   R esu lts   o f   d if f e r en t p r o p o s ed   p o o lin g   m eth o d   f o r   C I FAR 1 0   class if icatio n   M e t h o d     M a x   a v e r a g e   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 5 9   7 2 . 4 1   7 3 . 6 7   7 2 . 2   7 2 . 7       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         H a lf   Ga u s s ia n - b a s ed   w a va let  tr a n s fo r m  fo r   p o o lin g   la ye r   fo r   c o n vo lu tio n . . .   ( A q ee l M.   Ha ma d   A lh u s s a in y )   169   T ab le  8 .   Per f o r m an ce   m ea s u r e s   o f   HGT   m eth o d   f o r   C I FAR 1 0   d atab ase.   M e t h o d   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   7 3 . 6 7   7 2 . 2   7 2 . 7   S e n si t i v i t y   ( S N %)   7 3 . 6 7   7 2 . 2 7   7 2 . 7   F a l se  p o si t i v e   R a t e   F P R   ( %)   2 6 . 3   2 6 . 6   2 7 . 2 7   S p e c i f i c i t y   ( %)   7 3 . 3   7 2 . 2 9   7 2 . 7 3   ER R   ( %)   2 6 . 3 3   2 7 . 8   2 7 . 3           Fig u r e  9 .   C o n f u s io n   m atr i x   o f   HGT 1   m eth o d           Fig u r e  1 0 .   ac cu r ac y   p r o g r ess   f o r   tr ain in g   HGT 1   m eth o d           Fig u r e  1 1 .   L o s s   p r o g r ess   f o r   tr ain in g   HGT 1   m eth o d       T ab le   9 .   R esu lts   o f   HGT 2   m et h o d   f o r   C I FAR 1 0   class if icatio n   M e t h o d   M a x   a v e r a g e   H G T2   H G T2 + M a x   H G T2 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 5 9   7 2 . 4 1   7 2 . 2 1   7 2 . 4 2   7 2 . 7     Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   170   T ab le  1 0 .   Per f o r m a n ce   m ea s u r es o f   HGT 2   m eth o d   f o r   C I FAR 1 0   d atab ase   M e t h o d   H G T2   H G T2 + M a x   H G T2 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 2 1   7 2 . 4 2   7 2 . 7   S e n si t i v i t y   ( S N %)   7 2 . 2 3   7 2 . 4 2   7 2 . 7   F a l se  p o si t i v e   R a t e   F P R   ( %)   2 7 . 7 7   2 7 . 5 8   2 7 . 3   S p e c i f i c i t y   ( %)   7 2 . 2 1   7 2 . 3 8   7 2 . 6 8   ER R   ( %)   2 7 . 7 9   2 7 . 5 8   2 7 . 3       T ab le  1 1 .   R esu lts   o f   HGT 3 m e th o d   f o r   C I FAR 1 0   class if icati o n   M e t h o d   M a x   a v e r a g e   H G T3   H G T3 + M a x   H G T3 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 5 9   7 2 . 4 1   7 2 . 4 1   7 2 . 3 3   7 2 . 3 8       Ta b le  1 2 .   Per f o r m a n ce   m ea s u r es o f   HGT   3 m eth o d   f o r   C I FAR 1 0   d atab ase   M e t h o d   H G T3   H G T3 + M a x   H G T3 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 4 1   7 2 . 3 3   7 2 . 3 8   S e n si t i v i t y   ( S N %)   7 2 . 5 1   7 2 . 3 6   7 2 . 3 9   F a l se  p o si t i v e   R a t e   F P R   ( %)   2 7 . 4 9   2 7 . 6 4   2 7 . 6 2   S p e c i f i c i t y   ( %)   7 2 . 4 0   7 2 . 3 0   7 2 . 3 5   ER R   ( %)   2 8 . 5 9   2 7 . 6 7   2 7 . 6 2       4 . 3 .     Resul t   o f   E CG   s ig na l   T h i s   d at a s e t   i s   c o n t a i n e d   d a t a  w i t h   s i ze   ( 1 0 9 4 4 6 * 1 8 8 ) ,   w h i c h   r e p r e s e n t  ( 1 0 9 4 4 6 )   s i g n a l ,   e a ch   o n e   w it h   o n e   d i m e n s i o n ,   w it h   1 8 8   s a m p le s ,   t h e   t r a i n i n g   s et   w it h   s i z e   ( 8 7 5 5 4 ) ,   w h i l e   t es t   s i z e   is   ( 2 1 8 9 2 )   [ 2 5 ,   26 ].   T h e   m o d e l   i s   t r ai n e d   w i t h   s a m e   p a r a m et e r s   f o r   a l l   m e t h o d s   o f   p o o l i n g   l ay e r s ,   w h i c h   a r e   1 0   e p o c h s ,   b atc h   s i z e   1 2 8   a n d   0 . 0 1   l e a r n i n g   r a t e .  T a b l e   1 3   s h o ws   th e   r e s u l ts   o f   HG T 1   c o m p a r e d   w i t h   o t h e r   m o s t   c o m m o n   m e t h o d s ,   t h e   b e s t   r es u l ts   a r e   a c h i e v e d   w i t h   ( HG T1 )   m e th o d   ( a c c u r a c y   9 4 . 5 1 % , )   w i t h   l o w e s t   F P E   ( 4 . 4 4 ) ,   w h i l e   c o m b i n in g   t h i s   m e t h o d   w i t h   m a x   a n d   a v e r a g e   a r e   a c h i e v e d   l e s s   a c c u r a c y ,   t h is   is   h a p p e n e d     d u e   t o   t h a t   E C G   s i g n a l   is   o s ci l l a te d   s i g n a l   ,   M a x   o r   a v e r a g e   c a n   p r o d u c e   e l i m i n a t i o n   o f   m o r e   s i g n i f i c a n t   i n fo r m a t i o n ,   w h i c h   m a y   r e d u c e   t h e   o v e r a l l   a c c u r a c y .   T h e   r e s u l ts   o f   H G T 2   is   s h o w n   i n   T a b l e   1 4 ,   i t   g i v es   h i g h e s t   a c c u r ac y   ( 9 4 . 5 1 % ) .     T h e  r esu lts   o f   th ir d   p r o p o s ed   m eth o d   ( HGT 3 )   ar e  s h o wn   in   T ab le  1 5 .   I t  is   clea r   th at ,  th is   m eth o d   g iv es  th e  lo west  r esu lt  as  co m pa r ed   with   o th er   p r o p o s ed   m eth o d s   ( HGT 1   an d   HGT 2 ) ,   wh ic h   s atis f ied     ( Acc =9 2 . 3 5   %),   th e   r esu lts   ar e   d r o p p ed   b ec au s e  t h is   m eth o d   i s   d ep en d ed   o n   s tatis tics   o f   th e   en tire   s ig n al   in s tead   o f   ev er y   p o o l  s ize,   wh ich   is   v er y   d if f e r en t  b ec a u s e  E C G  s i g n al  h av e   h ig h   d if f er e n ce s   in   th eir   s am p les.  T h e   d etail  p er f o r m an ce   m etr ics  f o r   o u r   m eth o d s   ar e  d escr ib e d   in   T ab le  1 6 ,   wh ic h   is   co n clu d e d   t h at,   th e  b est  r esu lts   ar e  o b tain e d   with   ( HGT 2 )   m et h o d ,   w h ich   is   ac h iev e d   ac cu r a cy   ( 9 4 . 9 4 %)  with   E R R   ( 5 . 0 9 % ) ,   an d   FP R   ( 4 . 4 4 %)  th is   im p ro v em e n t  is   ac h iev ed   b ec au s e  th e  p o o led   s ig n al  is   d ep en d ed   o n   ex tr ac tio n   o f   th e  m o s t  s ig n if ican t   f ea tu r e  o f   th e   s ig n al.   T h e  p r o g r ess   o f   t r ain in g   f o r   ac cu r a cy   an d   lo s s   f o r   ( HGT 2 )   m et h o d   a r e  s h o wn   in     F ig u r e s  1 2   a n d   1 3   r esp ec tiv ely ,   af ter   o n e   ep o c h ,   th e   tr ai ni n g   ac cu r ac y   is   r ea ch e d   to   ap p r o x im ately   ( 9 0 %)  an d   th e  lo s s   is   d ec r ea s ed   to   less   th an   ( 0 . 4 ) .         T ab le  1 3 .   R esu lts   o f   d if f er en t  p r o p o s ed   p o o lin g   m et h o d   f o r   C I FAR 1 0   clas s if icatio n   M e t h o d   M a x   a v e r a g e   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   9 3 . 2 7   9 4 . 0 1   9 4 . 5 1   9 3 . 9 2   9 3 . 9 7       T ab le  1 4 .   R esu lts   o f   HGT 2   m eth o d   f o r   C I FAR 1 0   class if icat io n   M e t h o d   M a x   a v e r a g e   H G T2   H G T2 + M a x   H G T2 + a v e r a g e   A c c u r a c y   ( %)   9 3 . 2 7   9 4 . 0 1   9 4 . 9 4   9 4 . 5 4   9 4 . 3 0       T ab le  1 5 .   R esu lts   o f   HGT 2   m eth o d   f o r   C I FAR 1 0   class if icat io n   M e t h o d     M a x   a v e r a g e   H G T3   H G T3 + M a x   H G T3 + a v e r a g e   A c c u r a c y   ( %)   9 3 . 2 7   9 4 . 0 1   9 2 . 3 5   9 2 . 1 3   9 2 . 2 4       T ab le  1 6 .   P er f o r m a n ce   o f   th e  p r o p o s ed   m eth o d s   M e t h o d   H G T1   H G T2   H G T3   A c c u r a c y   ( %)   9 4 . 5 1   9 4 . 9 4   9 2 . 3 5   S e n si t i v i t y   ( S N %)   9 4 . 2 1   9 4 . 5 6   9 1 . 8 5   F a l se  p o si t i v e   R a t e   F P R   ( %)   5 . 7 9   4 . 4 4   8 . 1 5   S p e c i f i c i t y   ( %)   9 5 . 3 0 5   9 4 . 5 6   9 1 . 5 5   ER R   ( %)   4 . 4 9   5 . 0 9   7 . 6 5   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         H a lf   Ga u s s ia n - b a s ed   w a va let  tr a n s fo r m  fo r   p o o lin g   la ye r   fo r   c o n vo lu tio n . . .   ( A q ee l M.   Ha ma d   A lh u s s a in y )   171       Fig u r e  1 2 .   A cc u r ac y   p r o g r ess   f o r   HGT 2   m et h o d           Fig u r e  1 3 .   L o s s   p r o g r ess   f o r   H GT 2   m eth o d       5.   CO NCLU SI O N   T h e  m o s t im p o r tan t la y er   in   C NNs is   co n v o lu tio n al  la y er ,   b u t a cc o r d in g   to   th e  s ize  o f   in p u t s ,   n u m b e r   o f   u s ed   f ilter s   an d   k er n el   s ize  o f   ea ch   f ilter   in   th is   lay er ,   t h e  o u tp u t  o f   th is   lay e r   will b e  t o o   m u ch   an d   th is   m ay   r ed u ce   th e  ef f icien cy   o f   t h e  n e two r k   a n d   in c r ea s e  its   co m p lex ity .   So ,   d if f er e n t  s tu d ies  an d   r esear ch   h av e  b ee n   p er f o r m ed   to   r ed u ce   th is   p r o b lem .   I n   th is   p a p er ,   t h r ee   m et h o d s   h av e  b ee n   p r o p o s ed   b ased   o n   th e   p r in ci p le  o f   Gau s s ian   f u n ctio n ,   b y   u s in g   th e  f ac t  th at  th e  s ec o n d   h alf   o f   G au s s ian   f u n ct io n   r ep r esen ts   th e   s tatis tics   b etwe e n   m ea n   an d   m ax im u m   v alu e,   wh ich   r ep r esen ts   th e  m o s t  im p o r tan t  ch ar ac te r is tics   o f   th e  s ig n al.   So ,   th e   m ain   co n ce n tr atio n   o f   i n f o r m atio n   is   f r o m   m ea n   to   m ax ,   a n d   d ep en d in g   o n   th is   f ac t,  th e   Gau s s ian   is   r ec o n s tr u cte d   f o r   u p p e r   h alf   o f   its   f u n ctio n ,   an d   d ep en d in g   o n   th e   m o s t  s i g n if ican t  f ea tu r es.  De p en d in g   o n   th e   n ew   f u n ctio n   ( HG) ,   th e   b asic  s tatis tics   v alu es  ar e  ca lcu lated   to   b e  weig h t s   f o r   th e  o r ig in al   s ig n al  to   ca l cu late  th e  f ea tu r es    ( s elec tin g   f ea tu r e ) .   T h r ee   m e th o d   a r e  p r o p o s ed   HGT 1 , wh ich   is   u s ed   th e  v alu es  o f   b a s ic  s tatis t ics  af ter   n o r m alize d   it  as  weig h ts   to   b e  m u ltip lied   b y   o r ig in al  s ig n a l,  th e  HGT 2   is   u s ed   th e  d eter m in ed   s tatis tics   as   f ea tu r es  o f   th e   o r ig i n al  s ig n al   an d   m u ltip ly   it   with   co n s tan t  weig h ts   b ased   o n   h alf   Gau s s ian   , wh ile  t h e  HGT 3   is   wo r k ed   in   s im ilar   way   to   ( H GT 1 )   ex ce p t  th at,   it  is   d ep en d ed     o n   en tir e  s ig n al  in s tead   o f   ev er y   p o o l  s ize  f o r   ca lcu latio n   th e  b asic  s tatis tics .   T h e  p r o p o s ed   m eth o d s   ar e  ap p lied   to   th r ee   ty p es  o f   d atasets ,   wh ich   ar e  ( MN I ST   an d   C I FAR 1 0 ) ,  wh ich   ar e   two - d im en s io n   s ig n al  a n d   MI T - B I H  E C G  d ataset,   wh ich   is   one - d im en s io n   s ig n al.     Fo r   MN I ST  d ataset,   th e  b est  r esu lts   ar e  ac h iev ed   with   HGT 1 +a v er ag e ,   ( ac cu r ac y   9 9 . 9 6 %  an d   FP R   0 . 2 8 %),   wh ile  f o r   C I FAR 1 0   d ataset,   th e  b est  r esu lt  ar e  s at is f ied   wi th   HGT 1   m eth o d   ( ac cu r ac y   7 3 . 6 7 %  an d   FP R   2 6 . 3 %).   Fo r   E C G  d ataset,   th e  HGT 1   g iv es  th e   g o o d   r esu l ts   ( ac c= 9 4 . 5 1   %),   ( s en   9 4 . 2 1 %)  an d   ( FP E   5 . 7 9 %),   an d   HGT 2   g iv es  ap p r o x im atel y   b etter   r esu lts   , wh ich   ar e  ( ac c =9 5 . 9 1   %),   ( s en . 9 4 . 5 6 %)  an d   ( FP E 4 . 4 4   %),   wh ile   th e  HGT 3   is   s ati s f ied   th e  lo w est  r esu lts   ( ac c=   9 2 . 3 5 %),   ( s en . 9 1 . 8 5 %)  an d   ( FP E 8 . 1 5   %),   t h e  r esu lt  is   d r o p p e d  b ec au s e  th is   m eth o d   is   d ep en d ed   o n   th e  s tatis tics   o f   o v er all  s ig n al  in s tead   o f   s tatis tic s   o f   ev er y   p o o l  s ize  as  in   HGT 1 ,   wh ich   is   v er y   d if f e r en t   b ec au s e  E C G   s ig n al  h av e  h i g h   d if f er e n ce s   in   th eir   s am p les.   T h e  ex p e r im en tal  r esu lt sh o w  th at,   o u r   m eth o d s   ar e   ac h iev e d   g o o d   im p r o v em e n ts ,   wh ich   is   p e r f o r m ed   o r   o u t p er f o r m ed   s tan d a r d   p o o lin g   m eth o d s   s u ch   as m ax   p o o lin g   an d   a v er ag e  p o o lin g ,   an d   ca n   b e  u s ed   in   class if ic ati o n   p r o b lem .       RE F E R E NC E S     [1 ]   Ag o stin e ll i  L. ,   e t  a l. ,  “ Lea rn i n g   a c ti v a ti o n   fu n c ti o n s t o   imp r o v e   d e e p   n e u ra l  n e two r k s ,” .  ICL R ,   2 0 1 5 .   [2 ]   Kriz h e v sk y ,   S . ,  e t  a l . ,   “ Im a g e Ne t  c las sifica ti o n   with   d e e p   c o n v o lu ti o n a l   n e u ra l  n e two r k s , ”   Ad v a n c e s   in   n e u ra l   in fo rm a ti o n   p ro c e ss in g   sy ste ms ,   v o l.   2 5 ,   n o .   2 ,   Ja n u a ry   2 0 1 2 .   [3 ]   M a ll a t ,  S. ,   “ A  th e o r y   f o r  m u lt ires o lu ti o n   sig n a l  d e c o m p o si ti o n :  th e   wa v e let  re p re se n tati o n ,”   IEE E   tr a n sa c ti o n s   o n   p a tt e rn   a n a lys is a n d   ma c h i n e   i n telli g e n c e ,  v o l .   1 1 ,   n o .   7 ,   p p .   6 7 4 - 6 9 3 ,   J u ly   1 9 8 9 .   [4 ]   Y.  Bo u re a u ,   P . ,   e t  a l. ,  “ A  th e o r e ti c a l  a n a ly sis  o f  fe a tu re   p o o li n g   in   v isu a l  re c o g n it io n , ”   Pro c e e d i n g   o f  th e   2 7 th   In ter n a t io n a l  C o n fer e n c e   o n   M a c h in e   L e a rn i n g   (IC M L - 10) ,   Ju n e   2 0 1 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   172   [5 ]   K.  He ,   Zh a n g ,   Re n ,   a n d   J.  S u n ,   “ De e p   re sid u a l  lea rn in g   f o r  ima g e   re c o g n it i o n ,”   IEE E  Co n fer e n c e   o n   Co m p u ter   Vi sio n   a n d   P a tt e rn   Rec o g n it i o n ,   p p .   7 7 0 – 7 7 8 ,   Ju n e   2 0 1 6 .   [6 ]   Trav is  Wi ll iam s  a n d   Ro b e rt  Li ,   “ Ad v a n c e d   ima g e   c las sifica ti o n   u s in g   wa v e lets  a n d   c o n v o l u ti o n a l  n e u ra l  n e two r k s , ”   1 5 t h   IEE E   In ter n a ti o n a l  C o n fer e n c e   o n   M a c h in e   L e a rn i n g   a n d   A p p li c a ti o n s ,   p p .   2 3 3 – 2 3 9 ,   De c e m b e r  2 0 1 6 .     [7 ]   J.  Kim ,   e t  a l . ,   “ Ac c u ra te  ima g e   su p e r - re so lu t io n   u si n g   v e ry   d e e p   c o n v o lu ti o n a l  n e two r k s ,”   IEE E   Co n fer e n c e   o n   Co mp u ter   V isio n   a n d   Pa t ter n   Rec o g n it io n ,   p p .   1 6 4 6 – 1 6 5 4 ,   Ju n e   2 0 1 6 .   [8 ]   C.   S z e g e d y ,   e t   a l .,   “ G o in g   d e e p e r  with   c o n v o l u ti o n s , ”   2 0 1 5   IEE E  Co n fer e n c e   o n   Co m p u ter   Vi si o n   a n d   Pa tt e rn   Rec o g n it io n   (CVP R) ,   Ju n e   2 0 1 5 .   [9 ]   I.   Io f fe   a n d   S z e g e d y ,   “ Ba tch   n o r m a li z a ti o n :  Ac c e lera ti n g   d e e p   n e t wo rk   trai n in g   b y   re d u c in g   i n tern a l  c o v a riate   sh if ,”   a rXiv p re p ri n t  a rX iv:1 5 0 2 . 0 3 1 6 7 ,  F e b ru a ry   2 0 1 5 .   [1 0 ]   A.  F e rr a ,  e t  a l . ,   “ Wav e let  p o o li n g   f o r  CNN s ,”   ECCV ,  v ol .  4 ,   p p .   6 7 1 – 6 7 5 ,  2 0 1 9 .     [1 1 ]   P .   Li u ,   e t  a l . ,   “ M u lt i - lev e l  wa v e le t  c o n v o l u ti o n a l  n e u ra l  n e two rk s ,”   Co RR ,  J u ly   2 0 1 9 .   [1 2 ]   Alli so n   M .   R o ss e tt o ,   e t  a l .,   “ Im p r o v i n g   c las sifica ti o n   wit h   CNN s u sin g   Wav e let  P o o li n g   with   Ne ste ro v - Ac c e lera ted   Ad a m ,   EP iC  S e ries   in   Co m p u ti n g ,”   Pro c e e d in g s  o f  1 1 th   I n t e rn a ti o n a l  C o n fer e n c e   o n   B io i n fo rm a t ics   a n d   Co mp u t a ti o n a l  B io l o g y ,   v o l.   6 0 ,   p p .   8 4 - 9 3 ,   2 0 1 9 .   [1 3 ]   Tak u m i  K. ,   “ G a u ss ian - b a se d   p o o li n g   fo r  c o n v o l u ti o n a l  n e u ra l  n e t wo rk s , ”   3 3 rd   C o n fer e n c e   o n   Ne u ra l  In f o rm a ti o n   Pro c e ss in g   S y ste ms ,”   Ad v a n c e s in   Ne u ra l  In f o rm a ti o n   P r o c e ss in g   S y ste m s 3 2 ,   2 0 1 9 .   [1 4 ]   Da n il o   P . ,   e t  a l ,  “ Ac o u stic  imp u l siv e   n o ise   b a se d   o n   n o n - g a u ss ian   m o d e ls:  a n   e x p e rime n tal  e v a lu a t io n , ”   S e n so rs ,   v o l.   1 9 ,   n o .   1 2 ,   p p .   2 8 2 7 ,   Ju n e   2 0 1 9 .   [1 5 ]   Ja wa d   N.,   e t  a l ,  “ M a x - p o o li n g   c o n v o lu ti o n a l   n e u ra l  n e two rk s   fo r   v i sio n - b a se d   h a n d   g e stu re   re c o g n i ti o n , ”   2 0 1 1   IEE E   In ter n a t io n a l  C o n fer e n c e   o n   S ig n a l  a n d   Ima g e   Pro c e ss in g   Ap p li c a t io n s ,   N o v e m b e r  2 0 1 1 .   [1 6 ]   T.   Wi ll iam s a n d   R.   Li . ,   “ Wa v e let  p o o li n g   f o r  c o n v o lu t io n a l  n e u ra l  n e two rk s ,”   IC L R ,   2 0 1 8 .   [1 7 ]   C. - Y.  Lee ,   e t   a l ,  “ G e n e ra li z in g   p o o li n g   f u n c ti o n s   in   c o n v o lu t i o n a l   n e u ra l   n e two rk s:   M i x e d ,   g a ted ,   a n d   tree ,”   AIS T AT S ,   p p .   4 6 4 – 4 7 2 ,   2 0 1 6 .   [1 8 ]   D.  Yu ,   e t  a l . ,  “ M ix e d   p o o l in g   fo r   c o n v o lu ti o n a l  n e u ra l  n e two r k s ,”   RS KT ,   p p .   3 6 4 – 3 7 5 ,   Oc to b e r  2 0 1 4   [1 9 ]   M .   Zeiler,   e t  a l .,   “ S to c h a stic p o o li n g   f o r  re g u lariz a ti o n   o f   d e e p   c o n v o lu ti o n a l   n e u ra l   n e tw o r k , ”   ICL R ,  Ja n u a ry   2 0 1 3 .   [2 0 ]   S wie to jan sk i   a n d   Re n a ls.  " Diffe r e n ti a b le  p o o l in g   fo r  u n s u p e rv ise d   a c o u stic  m o d e l  a d a p tatio n ,”   IEE E  T ra n s a c ti o n s   o n   A u d io ,   S p e e c h   a n d   L a n g u a g e   Pro c e ss in g ,  v o l .   2 4 ,   n o .   1 0 ,   p p .   1 7 7 3 – 1 7 8 4 ,   M a rc h   2 0 1 6 .   [2 1 ]   A.  P e ws e y ,   “ Larg e - sa m p le  in fe re n c e   fo r  t h e   g e n e ra l  h a lf - n o rm a l  d i strib u ti o n ,”   Co mm u n ica t io n s  in   S t a ti stics   -   T h e o ry   a n d   M e t h o d s ,  v o l.   3 1 ,   n o . 7 ,   p p . 1 0 4 5 – 1 0 5 4 ,   Ju l y   2 0 0 2 .   [2 2 ]   Wen h a o   G . ,   “ A  g e n e ra li z a ti o n   o f  th e   sla sh   h a lf  n o rm a ld istri b u ti o n :  p ro p e rti e s a n d   in fe re n c e s ,”   J o u r n a l  o f  S ta ti st i c a l   T h e o ry   a n d   Pra c ti c e ,  v o l. 8 ,   n o .   2 ,   p p .   2 8 3 – 2 9 6 ,   M a rc h   2 0 1 4 .   [ 2 3 ]   Y a n n   L e .   C . ,   e t   a l ,  " T h e   M I N S T   d a t a b a s e   f o r   h a n d   w r i g h t   d i g i t s , ”   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / y a n n . l e c u n . c o m / e x d b / m n i s t / .  A c c e s s e d :  2005 .   [2 4 ]   Ale x   K.,   e t  a l . ,  “ Th e   CIF AR - 1 0   d a tas e t”   [On li n e ].   Av a il a b le:   h tt p s: // ww w.cs . to ro n to . e d u / ~ k riz/c ifar. h tml .   [2 5 ]   G e o rg e   B. ,   e t  a l ,  “ T h e   i m p a c t  o f  th e   M IT - BIH  Arrh y t h m ia  d a tab a se ,”   IEE E  e n g i n e e rin g   in   me d ici n e   a n d   b il o l o g y ,  v o l.   2 0 ,   n o .   3 ,   Ju n e   2 0 0 1 .   [2 6 ]   G o ld b e rg e r,   A. ,   e t   a l. ,   “ P h y sio B a n k ,   P h y sio To o lk i t,   a n d   P h y si o N e t:   Co m p o n e n ts  o f   a   n e w   re se a rc h   re so u rc e   fo r   c o m p lex   p h y si o l o g ic si g n a ls ,”   Cir c u latio n , v o l.   1 0 1 ,   n o.   2 3 ,   p p .   e 2 1 5 – e 2 2 0 ,   Ju l y   2 0 0 0 .       B I O G RAP H I E S   O F   AUTH O RS        As sist.   Pro f.   Aqee l  M.   H a m a d   Alh u ss a in y .  He   o b tain e d   h is  BS c .   Tec h   in   C o m p u ter  a n d   C o n tro l  E n g in e e rin g   fro m   U n iv e rsity   o f  T e c h n o lo g y   I ra q   2 0 0 3   a n d   M . S c .   fro m   Ba sra h   Un iv e rsity ,  Ira q   in   2 0 1 0   a n d   h e   is  P h . D.  stu d e n t  n o w  a t  Al - Na h ra in   Un iv e rsity ,  Ira q .   He   is  h a v in g   1 0   y e a rs  o f  tea c h in g   a n d   re se a rc h   e x p e rien c e   wo rk e d   a s  a   h e a d   fo r  c o m p u ter  c e n ter   i n   Th iQa r  U n iv e rsity   fo r  th re e   y e a rs.   He   is  p re se n tl y   wo rk in g   a s  As sista n t  P ro fe ss o r  in   T h iQa r  U n iv e rsity , C o ll e g e   o f  C o m p u ter an d   M a th e m a ti c s.         As sist.   Pro f .   Dr .   Am m a r   D.  J a sim .  He   o b tain e d   h is  B Sc . Tec h   in   C o m p u ter  fro m   U n iv e rsi t y   o f  Al - Na h ra in ,  I ra q   1999   a n d   M . S c   fro m   Al - Na h ra in   Un iv e rsity ,  Ira q   in   2 0 0 2   a n d   P h . D  fro m   Al - Na h ra in   Un iv e rsity ,  Ira q .   He   is  h a v in g   2 0   y e a rs  o f  tea c h in g   a n d   re se a rc h   e x p e rien c e   wo rk e d   a s a   lec tu re r  in   C o ll e g e   o f  I n fo rm a ti o n   E n g in e e rin g ,  Al - Na h ra in   Un iv e rsity .     Evaluation Warning : The document was created with Spire.PDF for Python.