T E L K O M N I K T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   1 Feb r u ar y   2 0 2 1 ,   p p .   1 6 3 ~ 1 7 2   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI 1 0 . 1 2 9 2 8 /TE L KO MN I K A. v 1 9 i1 . 1 6 3 9 8     163       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   H a lf  G a uss ia n - ba sed wa v elet tra nsf o rm for poo ling  l a y er f o co nv o lution neur a l net wo rk         Aqeel  M .   H a m a Alhu s s a iny ,   Am ma D.   J a s im     De p a rtme n o In fo rm a ti o n   E n g i n e e rin g Al - Na h ra i n   Un i v e rsity ,   Ira q       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   Ap r   1 5 ,   2 0 2 0   R ev is ed   J u l 3 ,   2 0 2 0   Acc ep ted   Au g   2 9 ,   2 0 2 0       P o o l in g   m e th o d a re   u se d   to   se le c m o st  sig n ifi c a n fe a tu re t o   b e   a g g re g a ted   to   sm a ll   re g io n .   In   t h is  p a p e r,   a n e p o o li n g   m e th o d   is  p ro p o se d   b a se d   o n   p ro b a b il it y   f u n c t io n .   De p e n d i n g   o n   th e   fa c t h a t,   m o st   i n fo rm a ti o n   is   c o n c e n trate d   fro m   m e a n   o th e   s ig n a t o   it m a x imu m   v a lu e s,  u p p e h a lf  o G a u ss ian   fu n c ti o n   is  u se d   to   d e te rm in e   we ig h ts  o th e   b a sic   sig n a l   sta ti stics ,   wh ich   is  u se d   to   d e term in e   th e   tran sfo rm   o t h e   o ri g i n a sig n a in to   m o re   c o n c ise   fo rm u la,  w h ich   c a n   re p re se n sig n a fe a tu re s,   t h is  m e th o d   n a m e d   h a lf   G a u ss ian   tran sfo rm   (HG T).   Ba se d   o n   stra te g y   o f   tran sf o rm   c o m p u tatio n ,   Th re e   m e th o d s   a re   p ro p o se d ,   t h e   first  m e th o d   (HG T1 is  u se d   b a si c   sta ti stics   a fter  n o rm a li z e d   it   a we i g h ts   t o   b e   m u lt i p li e d   b y   o ri g i n a sig n a l,   se c o n d   m e th o d   (HG T2 is   u se d   d e term in e d   sta ti stics   a fe a tu re o f   th e   o rig in a sig n a l   a n d   m u lt i p ly   it   wit h   c o n sta n we ig h ts  b a se d   o n   h a lf  G a u ss ian ,   wh il e   th e   th ird   m e th o d   (HG T3 )   is  wo r k e d   in   si m il a to   (HG T1 e x c e p t,   it   d e p e n d   o n   e n ti re   sig n a l.   T h e   p r o p o se d   m e th o d a re   a p p li e d   o n   th re e   d a tab a se s,   wh ich   a re   (M NIST ,   CIF AR1 0   a n d   M IT - BI ECG )   d a tab a se .   Th e   e x p e rime n tal  re su l ts  sh o t h a t,   o u m e th o d s   a re   a c h iev e d   g o o d   imp ro v e m e n t,   wh i c h   is  o u t p e rfo rm e d   sta n d a rd   p o o li n g   m e th o d su c h   a m a x   p o o li n g   a n d   a v e ra g e   p o o li n g .   K ey w o r d s :   C o n v o lu tio n   n eu r al  n etwo r k   Gau s s ian   HGT 1   HGT 2   HGT 3   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Aq ee l M .   Ham ad   A lh u s s ain y   Dep ar tm en t o f   I n f o r m atio n   E n g in ee r in g   Al - Nah r a in   Un iv er s it y   Al  J ad r iy ah   B r id g e,   B ag h d ad   6 4 0 7 4 ,   I r a q   E m ail: a q ee l_ alh u s s ain y @ u tq . ed u . iq       1.   I NT RO D UCT I O N     T h r ec en d ev elo p m en is   u s ed   n eu r al  n etwo r k   in   s p ir ed   s y s tem   s u ch   as  co n v o lu tio n al  n e u r al    n etwo r k   ( C NN) ,   De - n o is in g   au to   en co d er   an d   o th er   d ee p   lear n in g   n eu r al  n etwo r k   h as  d er iv ed   s ig n if ican d ev elo p m en f r o m   b u ild in g   m o r im p o r tan an d   co m p licated   n etw o r k   s tr u ctu r e,   wh ich   lead   to   m o r n o n - lin ea r   ac tiv atio n s   [ 1 - 3 ] .   Desp ite  th d ev elo p m en t   p r o g r ess   in   C NNs,  th er ar s till   s ev er al  ch allen g es  en co u n ter ed   b y   th i s   n etwo r k   s u ch   as  p r o b lem   o f   h ig h   ca p ac ity   b ec au s o f   h u g p r o ce s s in g   d ata,   wh ich   m ay   r esu lt  in   o v er   f itti n g   p r o b lem   d u to   h ig h   ca p ac ity   o f   C NN   [4 - 6 ] .   I n   o r d er   to   s o lv th ese  p r o b lem s ,   d if f er en r eg u lar izatio n   m eth o d s   wer p r o p o s ed   s u ch   as  weig h t d ec ay ,   weig h ty in g   an d   p o o lin g   tech n iq u es.  T h ce n tr al  r o le  f o r   C NN  n etwo r k   is   th f ea tu r es  p o o lin g   o p er atio n ,   h o wev er ,   p o o lin g   h av b ee n   litt le  r ev is ed   b ey o n d   s tan d ar d   m eth o d s   o f   av er ag an d   m ax   p o o lin g   [ 7 - 9 ] .   I n   th is   p ap er ,   an ew  p o o lin g   o f   f ea tu r es  m eth o d   is   p r o p o s ed   b ased   o n   p r o b ab ilit y   f u n ctio n ,   th p r o p o s ed   m eth o d   is   r ep lace d   th o u tp u o f   co n v o lu tio n al   lay er   with   d eter m in is ts   f ea tu r es  b y   u s in g   p o o lin g   o p er atio n ,   wh ich   is   ev alu ated   b ased   o n   d is tr ib u tio n   s tatis tics   f o r   ea ch   p o o lin g   win d o w,   th weig h o f   t h e s e   s t a t i s t i c s   a r e   c o m p u t e d   d e p e n d i n g   o n   n o r m a l   d i s t r i b u t i o n   o f   s t a t i s t i c s   [ 1 0 - 1 3 ] .   t h e   m a i n   c o n t r i b u t i o n s   o f   t h i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   1 Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   164   w o r k   i s   t h a t ,   t h e   b a s i c   p r o p e r t i e s   o f   t h e   s i g n a l   a r e   f i l t e r e d   b y   s e l e c t   t h e   m o s t   s i g n i f i c a n t   i n f o r m a t i o n ,   w h i l e   t h d e t a i l   o f   t h e   s i g n a l   w i l l   h a v e   l i t t l e   e f f e c t ,   s o   t h e   e l i m i n a t i o n   o f   t h e   s i g n a l   w i l l   b e   s a t i s f i e d   b y   d i s c a r d   l e s s   s i g n i f i c a n i n f o r m a t i o n   t h r o u g h   t h e   C N N s   a n d   t h i s   i s   e l i m i n a t e d   s h o r t c o m i n g   o f   m a x   a n d   a v e r a g e   p o o l i n g   m e t h o d s   [ 1 4 ,   1 5 ] .       2.   L I T E R AT U RE   SU RVE Y   T av is   W illi am   an d   R o b er li  i s   in tr o d u ce d   p o o lin g   m eth o d   b ased   o n   wav elet  tr an s f o r m ,   th is   m eth o d   was  b ased   o n   d ec o m p o s th o r ig in al  im ag in to   s ec o n d   lev el  tr an s f o r m   o f   wav elet,   th en   d elete   all  th   s u b - b an d   d etail s   o f   f ir s lev el  d ep en d in g   o n   th f ac th at  ,   ap p r o x im atio n   co ef f icie n ts   r ep r esen th b asic  in f o r m atio n   o f   th o r ig in al  d ata,   th is   ca n   r ed u ce   th f ea tu r es  o f   th o r ig in al  s ig n al  b y   d is ca r d in g   less   s ig n if ican in f o r m atio n   [ 1 6 ] .   C h en - Yu   L ee   et   a l. ,   th ey   ar e   s tu d ied   th p er f o r m an ce   o f   co m b in in g   av er ag p o o lin g   with   m ax   p o o lin g   an d   th s tr ateg y   o f   tr ee   s tr u ctu r ed   f u s io n   o f   f ilter s .   T h b asic  id ea   o f   th is   wo r k   is   u s ed   lear n in g   p r o ce s s   o f   m ix ed   r ate  b etwe en   m ax   an d   av er ag p o o lin g   m eth o d ,   th ey   ar r ef er r ed   to   th is   m eth o d   as  m ix ed   m eth o d ,   wh ile  th s ec o n d   u s ed   m eth o d   in   th is   wo r k   was  b ased   o n   g ated   m ask ,   wh ich   is   u s ed   to   f in d   m ix   o f   m ax   an d   av er ag p o o lin g ,   th ey   ar r ef er ed   to   th is   m eth o d   as g ated   m ax - av er ag m eth o d   p o o lin g   [ 1 7 ] .   Din g ju n   Yu   et   al .   th ey   ar p r o p o s e d   m eth o d   f o r   f ea tu r p o o lin g   b ased   o n   r ep lacin g   d eter m in is ts   with   s to ch asti o p er atio n ,   th is   is   ac co m p lis h ed   b y   ch o s r an d o m   v alu to   s elec th m ax   o r   av er ag p o o lin g   m eth o d ,   th b asic  b en ef it  f r o m   th is   m eth o d   is   to   av o id   o v er   f itti n g   p r o b lem .   T h ey   ar ap p lied   m ix ed   p o o lin g   b y   th r ee   d if f er en ap p r o ac h es,  wh ich   ar ap p ly   p o o lin g   f o r   all  f ea tu r es in   lay er ,   o r   b y   u s in g   m ix ed   with in   lay er ,   o r   b y   u s in g   m ix in g   b etwe en   r eg io n s   with in   lay er .   T h p r o p o s ed   m eth o d s   ar ap p lied   o n   d if f er en ty p es  o f     d atab ase  [ 1 8 ] .   M.   D.   Z eiler   an d   R o b   Feg u s   ar p r o p o s ed   to   s elec ac tiv atio n ,   th at  is   d r iv en   f r o m   m u ltid im en s io n al  d is tr ib u tio n   b y   ac tiv atio n   in   th r eg io n   o f   p o o lin g ( p o o s ize) ,   th is   is   p er f o r m ed   b y   f ir s t   co m p u tin g   th p r o b ab ilit y   f o r   ea ch   r eg io n ,   th en   th is   p r o b ab ili ty   is   n o r m alize d ,   th en   s am p le  f r o m   th ese  d is tr ib u tio n   b ased   o n   th p r o b ab ilit y   is   s elec ted   to   b th p o o lin g   f ea tu r es,  d if f er en m eth o d s   ar u s ed   to   s elec th ese  p r o b ab ilit ies,  wh ich   m ea n s   th at,   th s elec ted   elem en ts   f o r   p o o lin g   f ea tu r m ay   n o b th lar g est    v alu e   [ 1 9 ] .   T ak u m Ko b ay ash is   p r o p o s ed   f ea tu r p o o lin g   lay er   b ased   o n   d is tr ib u tio n   o f   p r o b ab ilit ies  o v e r   ac tiv atio n ,   th is   is   p er f o r m ed   b y   d eter m in th s tatis tics   o f   s tan d ar d   d ev iatio n   an d   m ea n   d ep en d in g   o n   d is tr ib u tio n   o f   Gau s s ian   f u n ctio n ,   th b as ic  id ea   o f   th is   wo r k   is   to   s u m m ar ize  th d is tr ib u tio n   o f   Gau s s ian   an d   ag g r eg ate  th ac tiv atio n   in to   two   b asic  v alu es,  wh ich   ar s tan d ar d   d ev iatio n   an d   av er ag e,   th is   m eth o d   is   ap p lied   later   to   s to ch asti p o o lin g   m eth o d   [ 1 3 ] .       3.   M E T H O DO L O G Y   I n   t h i s   p a p e r ,   w e   h a v p r o p o s e d   a   n e p o o l i n g   m et h o d s   b as e d   o n   p r o b a b i l i t y   f u n c ti o n ,   Fi g u r e   1   d e s c r i b e s   t h e   b l o c k   d i a g r a m   o f   t h e   p o o l i n g   l a y e r ,   t h e   b a s i c   c o m p o n e n t   o f   t h i s   l a y e r   is   f e a t u r e   c o m p u t a t i o n ,   w h i c h   i s   e x t r a c t e d   d e p e n d i n g   o n   a l g o r i t h m   ( 1 )   b y   c a l c u l a ti n g   t h e   b a s i c   s t a ti s t i cs ,   w h i c h   c a n   b e   u s e d   t o   c o m p u t e   t h e   w e i g h t s   o f   e a c h   e l e m e n t   a c c o r d i n g   t o   ( 1 )   a n d   ( 2 ) , w h i c h   a r e   r e p r e s e n t e d   a v e r a g e   a n d   s t a n d a r d   d e v i a ti o n   r e s p e ct i v e l y   [ 1 3 ,   2 0 ] .     = 1 (  )   ( 1 )       = 1 ( (    ) ) 2   ( 2 )           Fig u r 1 .   T h p r o p o s ed   p o o lin g   lay er   b l o ck   d ia g r am       T h s ec o n d   h alf   o f   Gau s s ian   f u n ctio n   r e p r esen t s   th s tatis ti cs  b etwe en   m ea n   an d   m ax im u m   v alu e,   wh ich   r ep r esen t s   th m o s im p o r tan ch a r ac ter is tics   o f   th s ig n al.   So ,   th Ga u s s ian   is   r ec o n s tr u cted   f o r   u p p e r   h alf   o f   its   f u n ctio n   as sh o wn   i n   F ig u r 2 ,   th en   m o s t s ig n if ican t statis tic s   ar ca lcu lated .   T h ese  s tati s tics   w ill b u s ed   later   to   d eter m in th e   f ea t u r es  an d   th eir   weig h t s   ac co r d i n g   to   th s ig n if ican o f   ea ch   o f   th em .   T h s elec ted   f ea tu r es will b d eter m in e d   as sh o wn   in   ( 3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         H a lf   Ga u s s ia n - b a s ed   w a va let  tr a n s fo r fo r   p o o lin g   la ye r   fo r   c o n vo lu tio n . . .   ( A q ee l M.   Ha ma d   A lh u s s a in y )   165   =   ( 4 = 0 µ +   2 ) ( )   ( 3 )     wh er ( )   r ep r esen th weig h o f   ea ch   elem en t,  wh ile  µ   ,   ar m ea n   an d   s tan d ar d   d ev iatio n   o f   th s ig n al  r esp ec tiv ely   [ 2 1 22] .           Fig u r 2 Gau s s ian   an d   h alf   G au s s ian   f u n ctio n       3 . 1 .     P r o po s ed  a lg o rit hm   B ased   o n   th s tr ateg y   o f   t r an s f o r m   co m p u tatio n w h av p r o p o s ed   th r ee   alg o r ith m s .   T h ese  m eth o d s   ar h alf   Gau s s ian   t r an s f o r m 1   ( HGT 1 ) ,   h alf   Gau s s ian   t r an s f o r m 2   ( HGT 2 )   a n d   h al f   Gau s s ian   t r an s f o r m 3   ( HGT 3 ) .   T h alg o r ith m s   ar d if f er en ce d   in   th s tr ateg y   o f   tr an s f o r m   co m p u tatio n .   Als o ,   th s tati s tic s   ar d eter m in ed   in   d if f e r en t w in d o s ize.   T h d etails ar d escr ib ed in   n ex t sectio n s .       3 . 1 . 1 .   H G T 1   T h is   alg o r ith m   is   u s ed   th b asic  f ea tu r es  o f   th s ig n al  ( m ea n   an d   s tan d ar d   d ev iatio n ) ,   wh ich   ar d eter m in ed   as  s h o wn   in   ( 1 )   an d   ( 2 )   r esp ec tiv ely .   At  f ir s t,  th s ize  an d   s tr id f o r   ea ch   p o o s ize  win d o an d   o th er s   p ar am eter s   ar in itialized ,   th en   m ea n   an d   s tan d ar d   d ev iatio n   ar d eter m in ed   f o r   ea ch   p o o win d o w,   th en   th u p p er   h alf   o f   th Gau s s ian   d is tr ib u tio n   f u n ctio n   is   d eter m in ed ,   d ep en d in g   o n   th ese  s tatis tics ,   b asic  elem en ts   o f   th is   f u n ctio n   ar co m p u ted ,   wh ich   ar e   ( µ       , µ   1 2   ,         µ   , µ + 1 2                    µ +   ) T h weig h ts   o f   th ese  elem en ts   ar d eter m in ed   ac co r d in g   to   Gau s s ian   f u n ctio n   s h o wn   in   ( 4 ) ,   th ese  weig h ts   ar m u ltip lied   b y   o r ig in al  s ig n al  to   co m p u te  th b asics   f ea tu r es  ( p o o led   s ig n al) .   T h d etails  d escr ip tio n   o f   th is   m eth o d   s h o wn   in   Fig u r 3 ,   wh ich   s h o ws alg o r ith m   HGT 1 .       ( ) = 1   2  2     ( µ ) 2 2 2   ( 4 )     3 . 1 . 2 .   H G T 2   I n   th is   alg o r ith m ,   th weig h ts   ar d eter m in ed   f o r   Ga u s s ian   f u n ctio n ,   th en   f o r   ea ch   p o o s ize  win d o w,   th m ea n   an d   s tan d ar d   d ev iatio n   ar d eter m in ed .   T h ese  s tatis tics   ar u s ed   to   d eter m in th b asic  elem en ts   o f   h alf   Gau s s ian   f u n ctio n ,   wh ich   ar ( ( µ       , µ   1 2 , µ , µ + 1 2          µ +   ) ) T he n ,   th d eter m in ed   elem en ts   ar m u ltip lied   b y   th co n s tan weig h ts ,   wh ich   ar d eter m in ed   at  f ir s s tep .   T h d etails  d escr ip tio n   o f   th is   alg o r ith m   ar s h o wn   in   Fig u r 4 .     3 . 1 . 3 .   H G T 3   T h is   alg o r ith m   is   s im ilar   to   alg o r ith m   I I ,   ac ce p th at,   it  is   d ete r m in ed   t h m ea n   a n d   s tan d ar d   d ev iatio n   f o r   e n tire   s ig n al  i n s tead   o f   d e ter m in ed   it  f o r   ea ch   p o o l   s ize .   At  f ir s t,  th ese  s tatis tics   ar ca lcu lated   f o r   en tir e   s ig n al,   th en   th b asic  elem en ts   o f   th n ew  Gau s s ian   f u n ctio n   ar d ete r m in e,   wh ic h   ar e   (( µ       , µ   1 2 , µ , µ + 1 2          µ +   )).   T h ese  v alu es a r u s ed   as in p u ts   to   Gau s s ian   f u n cti o n   to   d eter m in th f ea tu r es wh ich   a r m u ltip lied   b y   th e   o r ig i n al  s ig n al  to   c o m p u te  th p o o l ed   s ig n al .   T h d et ails   ar s h o wn   in   Fig u r 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   1 Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   166           Fig u r 3 .   HGT 1   al g o r ith m   Fig u r 4 .   HGT 2   al g o r ith m           Fig u r 5 .   HGT 3   a l g o r ith m       4.   E XP E R I M E N T A L   RE SUL T S AN D I SC USS I O N   T h p r o p o s ed   p o o lin g   m eth o d s   ar u s ed   C NN,   an d   a p p lied   o n   d i f f er en t   ty p es  o f   d atab ase  to   test   th e   p er f o r m an ce   o f   th p r o p o s ed   m eth o d s   as  co m p ar e d   with   o th er   m eth o d s .   T h ese  d atab as es   ar MN I ST  an d   C I FAR 1 0 ,   wh ich   ar two - d im en s io n   s ig n al  ( im a g e)   with   s ize  ( 2 8 * 2 8 )   a n d   ( 3 2 * 3 2 )   r es p ec tiv ely .   T h e   o th e r   d atab ase  was  MI T - B I E C G   d atab ase,   wh ich   is   one - d im e n s io n   s ig n al.   T h ex p er im en t s   ar ex ec u ted   b y     I n tel®co r i7 - 4 5 0 0 C PU@ 2 . 4 0 GHz   p r o ce s s o r ,   with 8 GB   o f   R AM ,   64 - b it  win d o ws  s ev en   o p er atin g   s y s tem ,   o n   Ma tlab   ( 2 0 1 9 a) .   T h r esu lt s   ar co m p ar e d   with   r esu lts   o f   s tan d ar d   m eth o d s .     4 . 1 .     M NIS T   da t a ba s re s ult s   T h is   d atab a s is   co n tain ed   6 0 0 0 0   im ag o f   g r ay   s ca le  im ag with   s ize  ( 2 8 * 2 8 ) ,   it  is   d iv id ed   in to   ( 5 0 0 0 0 )   im ag e,   wh ich   ar u s ed   f o r   tr ain in g ,   wh ile  th r em ain in g   1 0 0 0 0   im ag es   ar u s ed   f o r   test   th p r o p o s e d   m o d el  [ 2 3 ] .   T h C NN  is   tr ain ed   with   in itial  lear n in g   r ate  0 . 0 1 , 1 0   ep o ch s   an d   5 8   iter atio n   p er   ep o ch .   T ab le  1   d escr ib es  th r esu lts   as  co m p ar ed   with   s tan d ar d   m ax   an d   av er ag p o o lin g   m eth o d s   , it  is   clea r   th at  th p r o p o s e d   m eth o d   ar o u tp er f o r m ed   th ese  m eth o d ,   th b est ac cu r ac y   is   s atis f ied   with   ( HGT 1 +a v er ag e )   m eth o d ,   w h ich   is   ac h iev ed   ac cu r ac y   ( 9 9 . 7 2 %)  v er s es  ( 9 9 . 4 8 %)  an d   ( 9 9 . 4 2 %)  f o r   m ax .   an d   av er ag p o o lin g   m eth o d s   r esp ec tiv ely ,   also   th is   m eth o d   is   ac h iev ed   lo west  FP R   ( 0 . 2 8 %)  co m p ar ed   with   ( 0 . 3 4 %)  f o r   Ma x   m eth o d   as   s h o wn   in   T ab le  2 ,   wh ich   s h o ws th d if f er en t p er f o r m an ce   m etr ics f o r   ( HGT 1 )   m eth o d s .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         H a lf   Ga u s s ia n - b a s ed   w a va let  tr a n s fo r fo r   p o o lin g   la ye r   fo r   c o n vo lu tio n . . .   ( A q ee l M.   Ha ma d   A lh u s s a in y )   167   T ab le  1 .   R esu lts   o f   ( HGT 1 )   m eth o d   f o r   MN I ST  class if icatio n   M e t h o d   M a x   a v e r a g e   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   9 9 . 4 8   9 9 . 4 2   9 9 . 6 8   9 9 . 7 2   9 9 . 9 6       T ab le  2 . P er f o r m an ce   m etr ics o f   ( HGT 1 )   m eth o d s   f o r   h an d w r ite  d ig it c lass if icatio n   M e t h o d   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   9 9 . 6 8   9 9 . 7 2   9 9 . 9 6   S e n s i t i v i t y   ( S N %)   9 9 . 6 6   9 9 . 6 8   9 9 . 7 2   F a l se   p o si t i v e   R a t e   F P R   ( %)   0 . 3 4   0 . 2 8   0 . 2 8   S p e c i f i c i t y   ( %)   9 9 . 6 6   9 9 . 6 8   9 9 . 7 2   ER R   ( %)   0 . 3 2   0 . 2 8   0 . 0 4       T h r esu lts   o f   s ec o n d   m eth o d   is   d escr ib ed   in   T ab le  3 ,   wh ich   g iv es  th b est  r esu lts   b y   ( HG T 2 +M ax ) ,   an d   o th e r   m etr ics  o f   p er f o r m a n ce   ar ex p lain ed   in   T a b le  4 ,   f r o m   T a b le  4   it  is   clea r   th at  ( HGT 2 +M ax )   g iv es   lo west  FP R   ( 0 . 2 8 )   with   th h ig h est   ac cu r ac y   ( 9 9 . 7 2 ) .   T h tab l es  ar d escr ib ed   th im p r o v e m en ts   o f   o u r   m eth o d s   in   ter m s   o f   ac cu r ac y ,   s en s itiv ity   an d   p r ec is io n   with   m in im u m   f alse p o s itiv r ate  ( FP R ) .   T h ac cu r ac y   an d   lo s s   tr ain in g   p r o g r ess   f o r   ( HGT 2 + Ma x )   m eth o d   ar s h o wn   in   F ig u r e s   6   an d   7   r esp ec tiv ely ,   i is   c lear   th at ,   th e   ac cu r ac y   is   r ea c h ed   to   m o r e   th an   9 8 . 5   with   less   th an   2   ep o ch s ,   th is   is   d u to   e x tr ac tin g   b asic  f ea tu r es  o f   th e   im ag with   less   elim in atio n   as   co m p a r ed   with   m ax   a n d   av er ag p o o lin g   m eth o d s ,   also   th lo s s   is   atten u ated   to   less   th an   0 . 1 5 .   T h co n f u s io n   m atr ix   d etails  f o r   th is   m e th o d   is   d escr ib ed   in   F ig u r 8 ,   wh i ch   is   d escr ib ed   th e   h ig h   m atch in g   b etwe en   th p r ed icted   an d   ac t u al  v alu es,  s in ce   m o s o f   th class es  ar m atch ed   p er f ec tly .     T ab le  5   s h o ws  th r esu lt  o f   th i r d   m eth o d   ( HGT 3 ) ,   wh ich   is   ac h iev ed   less   r esu lts   as  co m p ar ed   with   HGT 1   an d   HGT 2   m eth o d s ,   th d etail  d escr ip tio n   o f   th ese  m eth o d s   f o r   a ll p er f o r m a n ce   m etr ics ar d escr ib ed   in   T a b le  6 .       T ab le  3 .   R esu lts   o f   ( HGT 2 )   m eth o d   f o r   MN I ST  class if icatio n   M e t h o d   M a x   a v e r a g e   H G T2   H G T2 + M a x   H G T2 + a v e r a g e   A c c u r a c y   ( %)   9 9 . 4 8   9 9 . 4 2   9 9 . 5 2   9 9 . 7 2   9 9 . 5 2       T ab le  4 . P er f o r m an ce   m etr ics o f   ( HGT 2 )   m eth o d s   f o r   h an d w r ite  d ig it c lass if icatio n   M e t h o d   H G T2   H G T2 +   M a x   H G T2 +   A v e r a g e   A c c u r a c y   ( %)   9 9 . 5 2   9 9 . 7 2   9 9 . 5 2   S e n s i t i v i t y   ( S N %)   9 9 . 5 2   9 9 . 7 2   9 9 . 5 8   F a l se   Er r o r   R a t e   F ER   ( %)   0 . 4 8   0 . 2 8   0 . 4 2   S p e c i f i c i t y   ( %)   9 9 . 5 2   9 9 . 7 2   9 9 . 5 6   ER R   ( %)   0 . 4 8   0 . 2 8   0 . 4 8           Fig u r 6 .   A cc u r ac y   tr ain i n g   p r o g r ess   f o r   ( HGT 2 +M ax )   m et h o d           Fig u r 7 .   L o s s   tr ain in g   p r o g r e s s   f o r   ( HGT 2 +M ax )   m et h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   1 Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   168   T ab le  5 .   R esu lts   o f   ( HGT 3 )   m eth o d   f o r   MN I ST  class if icatio n   M e t h o d   M a x   a v e r a g e   H G T3   HG T3 + M a x   H G T3 + a v e r a g e   A c c u r a c y   ( %)   9 9 . 4 8   9 9 . 4 2   9 9 . 0 4   9 9 . 5 2   9 9 . 9 6       T ab le  6 .   Per f o r m an ce   m ea s u r e s   f o r   HGT 3   f o r   h a n d wr ite  d ig i t c lass if icatio n   M e t h o d   H G T3   H G T3 +   M a x   H G T3 +   A v e r a g e   A c c u r a c y   ( %)   9 9 . 0 4   9 9 . 5 2   9 9 . 9 6   S e n s i t i v i t y   ( S N %)   9 9 . 3 0   9 9 . 5 2   9 9 . 9 6   F a l se   Er r o r   R a t e   F ER   ( %)   0 . 7   0 . 4 8   0 . 0 4   S p e c i f i c i t y   ( %)    9 9 . 1 2   9 9 . 5 2   9 9 . 9 6   ER R   ( %)   0 . 9 6   0 . 4 8   0 . 0 4           Fig u r 8 .   c o n f u s io n   m atr ix   o f   ( HGT 3 +M ax )   m eth o d       4 . 2 . Resul t s   CIFAR  1 0   da t a s et   T h is   d ataset  is   co n s tr u cted   f r o m   6 0 0 0 0   im a g e,   ea c h   im ag e   with   s ize  ( 3 2 * 3 2 )   R GB   co lo r   im ag e,   th m o d el  is   tr ain ed   o n   ( 5 0 0 0 0 ) ,   wh ile  th test   d ataset  was  1 0 0 0 0   im ag es   [ 2 4 ] .   I n   th is   ex p er im en t,  th e   s am p ar am eter s   ar u s ed   f o r   all  p o o lin g   m eth o d s ( th p r o p o s ed   a n d   s tan d ar d ) ,   w h ich   ar e   1 0   ep o ch ,   1 2 8   b atch   s ize   with   0 . 0 1   lear n i n g   r ate  . T h r e s u lts   o f   HGT 1   m eth o d   ar e   d es cr ib ed   in   T ab le   7 ,   it  clea r   th at  ,   o u r   m eth o d   ( HGT )   g iv es  th b est  r esu lts ,   b ec a u s co m b i n in g   th is   m eth o d   with   m ax   an d   a v er ag e   ca n   elim in at s o m s ig n if ica n in f o r m atio n   f r o m   th im ag e,   t h p er f o r m a n ce   o f   th e   m eth o d s   ar s h o wn   i n   T ab l 8 ,   th lo west FPE  is   s at is f ied   in   o u r   p r o p o s ed   m eth o d   ( HGT 1 ) ,   wh ich   is   ac h iev ed   ( 2 6 . 3 %).   T h e   co n f u s io n   m atr ix   o f   th is   m eth o d   is   s h o wn   in   F ig u r 9 ,   wh ic h   s h o ws g o o d   m a tch in g   b etwe en   p r ed icte d   a n d   ac tu al  class es.    T h p r o g r ess   o f   th ac cu r ac y   an d   lo s s   tr ain in g   ar s h o wn   in   F ig u r e s   1 0   an d   1 1   r esp ec tiv ely ,   th ac cu r ac y   is   r ea ch ed   to   ( 6 0 %)  in   less   th an   2   ep o ch s ,   th en   in cr ea s ed   g r ad u ally ,   wh ile  th lo s s   is   atten u ated   to   less   th an   1   in   2   ep o ch s   an d   th en ,   it  is   d ec r ea s ed   s lo wly .   T h r esu lts   o f   HGT 2   ar p r e s en ted   in   T ab le s   9   an d   1 0   r esp ec tiv ely ,   th er is   s m all  im p r o v em en co m p ar ed   with   m ax   an d   av er ag p o o lin g   m eth o d s ,   b ec au s th is   m eth o d   is   d ep en d ed   o n   f ea tu r o f   th im ag in s tead   o f   th im ag its elf   f o r   ex tr ac tio n   th p o o led   s ig n al.     T ab les  1 1   an d   1 2   r ep r es en t r esu lts   o f   H GT 3   m eth o d ,   wh ich   is   less   in   m o s p er f o r m an ce   m etr ics  ( ac 7 2 . 4 2 % )   an d   ( FP E 2 7 . 5 8   %),   th is   d u to   th at,   th is   m eth o d   is   d ep en d ed   o n   th s tatis tics   o f   en tire   s ig n al  in s tead   o f   ea ch   p o o s ize  win d o f r o m   th s ig n al,   wh ich   n o g iv es  th m eth o d   h ig h   d y n am ic  in   d ea lin g   with   th s ig n al,   an d   th is   is   h ap p en ed   in   th f ir s t m eth o d   ( HGW1 ) .       T ab le  7 .   R esu lts   o f   d if f e r en t p r o p o s ed   p o o lin g   m eth o d   f o r   C I FAR 1 0   class if icatio n   M e t h o d     M a x   a v e r a g e   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 5 9   7 2 . 4 1   7 3 . 6 7   7 2 . 2   7 2 . 7       Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         H a lf   Ga u s s ia n - b a s ed   w a va let  tr a n s fo r fo r   p o o lin g   la ye r   fo r   c o n vo lu tio n . . .   ( A q ee l M.   Ha ma d   A lh u s s a in y )   169   T ab le  8 .   Per f o r m an ce   m ea s u r e s   o f   HGT   m eth o d   f o r   C I FAR 1 0   d atab ase.   M e t h o d   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   7 3 . 6 7   7 2 . 2   7 2 . 7   S e n si t i v i t y   ( S N %)   7 3 . 6 7   7 2 . 2 7   7 2 . 7   F a l se  p o si t i v e   R a t e   F P R   ( %)   2 6 . 3   2 6 . 6   2 7 . 2 7   S p e c i f i c i t y   ( %)   7 3 . 3   7 2 . 2 9   7 2 . 7 3   ER R   ( %)   2 6 . 3 3   2 7 . 8   2 7 . 3           Fig u r 9 .   C o n f u s io n   m atr i x   o f   HGT 1   m eth o d           Fig u r 1 0 .   ac cu r ac y   p r o g r ess   f o r   tr ain in g   HGT 1   m eth o d           Fig u r 1 1 .   L o s s   p r o g r ess   f o r   tr ain in g   HGT 1   m eth o d       T ab le   9 .   R esu lts   o f   HGT 2   m et h o d   f o r   C I FAR 1 0   class if icatio n   M e t h o d   M a x   a v e r a g e   H G T2   H G T2 + M a x   H G T2 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 5 9   7 2 . 4 1   7 2 . 2 1   7 2 . 4 2   7 2 . 7     Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   1 Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   170   T ab le  1 0 .   Per f o r m a n ce   m ea s u r es o f   HGT 2   m eth o d   f o r   C I FAR 1 0   d atab ase   M e t h o d   H G T2   H G T2 + M a x   H G T2 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 2 1   7 2 . 4 2   7 2 . 7   S e n si t i v i t y   ( S N %)   7 2 . 2 3   7 2 . 4 2   7 2 . 7   F a l se  p o si t i v e   R a t e   F P R   ( %)   2 7 . 7 7   2 7 . 5 8   2 7 . 3   S p e c i f i c i t y   ( %)   7 2 . 2 1   7 2 . 3 8   7 2 . 6 8   ER R   ( %)   2 7 . 7 9   2 7 . 5 8   2 7 . 3       T ab le  1 1 .   R esu lts   o f   HGT 3 m e th o d   f o r   C I FAR 1 0   class if icati o n   M e t h o d   M a x   a v e r a g e   H G T3   H G T3 + M a x   H G T3 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 5 9   7 2 . 4 1   7 2 . 4 1   7 2 . 3 3   7 2 . 3 8       Ta b le  1 2 .   Per f o r m a n ce   m ea s u r es o f   HGT   3 m eth o d   f o r   C I FAR 1 0   d atab ase   M e t h o d   H G T3   H G T3 + M a x   H G T3 + a v e r a g e   A c c u r a c y   ( %)   7 2 . 4 1   7 2 . 3 3   7 2 . 3 8   S e n si t i v i t y   ( S N %)   7 2 . 5 1   7 2 . 3 6   7 2 . 3 9   F a l se  p o si t i v e   R a t e   F P R   ( %)   2 7 . 4 9   2 7 . 6 4   2 7 . 6 2   S p e c i f i c i t y   ( %)   7 2 . 4 0   7 2 . 3 0   7 2 . 3 5   ER R   ( %)   2 8 . 5 9   2 7 . 6 7   2 7 . 6 2       4 . 3 .     Resul t   o f   E CG   s ig na l   T h i s   d at a s e t   i s   c o n t a i n e d   d a t w i t h   s i ze   ( 1 0 9 4 4 6 * 1 8 8 ) ,   w h i c h   r e p r e s e n ( 1 0 9 4 4 6 )   s i g n a l ,   e a ch   o n e   w it h   o n e   d i m e n s i o n ,   w it h   1 8 8   s a m p le s ,   t h e   t r a i n i n g   s et   w it h   s i z e   ( 8 7 5 5 4 ) ,   w h i l e   t es t   s i z e   is   ( 2 1 8 9 2 )   [ 2 5 ,   26 ].   T h e   m o d e l   i s   t r ai n e d   w i t h   s a m e   p a r a m et e r s   f o r   a l l   m e t h o d s   o f   p o o l i n g   l ay e r s ,   w h i c h   a r e   1 0   e p o c h s ,   b atc h   s i z e   1 2 8   a n d   0 . 0 1   l e a r n i n g   r a t e T a b l e   1 3   s h o ws   th e   r e s u l ts   o f   HG T 1   c o m p a r e d   w i t h   o t h e r   m o s t   c o m m o n   m e t h o d s ,   t h e   b e s t   r es u l ts   a r e   a c h i e v e d   w i t h   ( HG T1 )   m e th o d   ( a c c u r a c y   9 4 . 5 1 % , )   w i t h   l o w e s t   F P E   ( 4 . 4 4 ) ,   w h i l e   c o m b i n in g   t h i s   m e t h o d   w i t h   m a x   a n d   a v e r a g e   a r e   a c h i e v e d   l e s s   a c c u r a c y ,   t h is   is   h a p p e n e d     d u e   t o   t h a t   E C G   s i g n a l   is   o s ci l l a te d   s i g n a l   ,   M a x   o r   a v e r a g e   c a n   p r o d u c e   e l i m i n a t i o n   o f   m o r e   s i g n i f i c a n t   i n fo r m a t i o n ,   w h i c h   m a y   r e d u c e   t h e   o v e r a l l   a c c u r a c y .   T h e   r e s u l ts   o f   H G T 2   is   s h o w n   i n   T a b l e   1 4 ,   i t   g i v es   h i g h e s t   a c c u r ac y   ( 9 4 . 5 1 % ) .     T h r esu lts   o f   th ir d   p r o p o s ed   m eth o d   ( HGT 3 )   ar s h o wn   in   T ab le  1 5 .   I is   clea r   th at th is   m eth o d   g iv es  th lo west  r esu lt  as  co m pa r ed   with   o th er   p r o p o s ed   m eth o d s   ( HGT 1   an d   HGT 2 ) ,   wh ic h   s atis f ied     ( Acc =9 2 . 3 5   %),   th e   r esu lts   ar e   d r o p p ed   b ec au s t h is   m eth o d   i s   d ep en d ed   o n   s tatis tics   o f   th e   en tire   s ig n al   in s tead   o f   ev er y   p o o s ize,   wh ich   is   v er y   d if f e r en b ec a u s E C s i g n al  h av e   h ig h   d if f er e n ce s   in   th eir   s am p les.  T h e   d etail  p er f o r m an ce   m etr ics  f o r   o u r   m eth o d s   ar d escr ib e d   in   T ab le  1 6 ,   wh ic h   is   co n clu d e d   t h at,   th b est  r esu lts   ar o b tain e d   with   ( HGT 2 )   m et h o d ,   w h ich   is   ac h iev e d   ac cu r a cy   ( 9 4 . 9 4 %)  with   E R R   ( 5 . 0 9 % ) ,   an d   FP R   ( 4 . 4 4 %)  th is   im p ro v em e n is   ac h iev ed   b ec au s th p o o led   s ig n al  is   d ep en d ed   o n   ex tr ac tio n   o f   th m o s s ig n if ican t   f ea tu r o f   th e   s ig n al.   T h p r o g r ess   o f   t r ain in g   f o r   ac cu r a cy   an d   lo s s   f o r   ( HGT 2 )   m et h o d   a r s h o wn   in     F ig u r e 1 2   a n d   1 3   r esp ec tiv ely ,   af ter   o n e   ep o c h ,   th e   tr ai ni n g   ac cu r ac y   is   r ea ch e d   to   ap p r o x im ately   ( 9 0 %)  an d   th lo s s   is   d ec r ea s ed   to   less   th an   ( 0 . 4 ) .         T ab le  1 3 .   R esu lts   o f   d if f er en p r o p o s ed   p o o lin g   m et h o d   f o r   C I FAR 1 0   clas s if icatio n   M e t h o d   M a x   a v e r a g e   H G T1   H G T1 + M a x   H G T1 + a v e r a g e   A c c u r a c y   ( %)   9 3 . 2 7   9 4 . 0 1   9 4 . 5 1   9 3 . 9 2   9 3 . 9 7       T ab le  1 4 .   R esu lts   o f   HGT 2   m eth o d   f o r   C I FAR 1 0   class if icat io n   M e t h o d   M a x   a v e r a g e   H G T2   H G T2 + M a x   H G T2 + a v e r a g e   A c c u r a c y   ( %)   9 3 . 2 7   9 4 . 0 1   9 4 . 9 4   9 4 . 5 4   9 4 . 3 0       T ab le  1 5 .   R esu lts   o f   HGT 2   m eth o d   f o r   C I FAR 1 0   class if icat io n   M e t h o d     M a x   a v e r a g e   H G T3   H G T3 + M a x   H G T3 + a v e r a g e   A c c u r a c y   ( %)   9 3 . 2 7   9 4 . 0 1   9 2 . 3 5   9 2 . 1 3   9 2 . 2 4       T ab le  1 6 .   P er f o r m a n ce   o f   th p r o p o s ed   m eth o d s   M e t h o d   H G T1   H G T2   H G T3   A c c u r a c y   ( %)   9 4 . 5 1   9 4 . 9 4   9 2 . 3 5   S e n si t i v i t y   ( S N %)   9 4 . 2 1   9 4 . 5 6   9 1 . 8 5   F a l se  p o si t i v e   R a t e   F P R   ( %)   5 . 7 9   4 . 4 4   8 . 1 5   S p e c i f i c i t y   ( %)   9 5 . 3 0 5   9 4 . 5 6   9 1 . 5 5   ER R   ( %)   4 . 4 9   5 . 0 9   7 . 6 5   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         H a lf   Ga u s s ia n - b a s ed   w a va let  tr a n s fo r fo r   p o o lin g   la ye r   fo r   c o n vo lu tio n . . .   ( A q ee l M.   Ha ma d   A lh u s s a in y )   171       Fig u r 1 2 .   A cc u r ac y   p r o g r ess   f o r   HGT 2   m et h o d           Fig u r 1 3 .   L o s s   p r o g r ess   f o r   H GT 2   m eth o d       5.   CO NCLU SI O N   T h m o s t im p o r tan t la y er   in   C NNs is   co n v o lu tio n al  la y er ,   b u t a cc o r d in g   to   th s ize  o f   in p u t s ,   n u m b e r   o f   u s ed   f ilter s   an d   k er n el   s ize  o f   ea ch   f ilter   in   th is   lay er ,   t h o u tp u o f   th is   lay e r   will b t o o   m u ch   an d   th is   m ay   r ed u ce   th ef f icien cy   o f   t h n e two r k   a n d   in c r ea s its   co m p lex ity .   So ,   d if f er e n s tu d ies  an d   r esear ch   h av b ee n   p er f o r m ed   to   r ed u ce   th is   p r o b lem .   I n   th is   p a p er ,   t h r ee   m et h o d s   h av b ee n   p r o p o s ed   b ased   o n   th e   p r in ci p le  o f   Gau s s ian   f u n ctio n ,   b y   u s in g   th f ac th at  th s ec o n d   h alf   o f   G au s s ian   f u n ct io n   r ep r esen ts   th e   s tatis tics   b etwe e n   m ea n   an d   m ax im u m   v alu e,   wh ich   r ep r esen ts   th m o s im p o r tan ch ar ac te r is tics   o f   th s ig n al.   So ,   th e   m ain   co n ce n tr atio n   o f   i n f o r m atio n   is   f r o m   m ea n   to   m ax ,   a n d   d ep en d in g   o n   th is   f ac t,  th e   Gau s s ian   is   r ec o n s tr u cte d   f o r   u p p e r   h alf   o f   its   f u n ctio n ,   an d   d ep en d in g   o n   th e   m o s s i g n if ican f ea tu r es.  De p en d in g   o n   th e   n ew   f u n ctio n   ( HG) ,   th e   b asic  s tatis tics   v alu es  ar ca lcu lated   to   b weig h t s   f o r   th o r ig in al   s ig n al  to   ca l cu late  th f ea tu r es    ( s elec tin g   f ea tu r e ) .   T h r ee   m e th o d   a r p r o p o s ed   HGT 1 , wh ich   is   u s ed   th v alu es  o f   b a s ic  s tatis t ics  af ter   n o r m alize d   it  as  weig h ts   to   b m u ltip lied   b y   o r ig in al  s ig n a l,  th HGT 2   is   u s ed   th d eter m in ed   s tatis tics   as   f ea tu r es  o f   th e   o r ig i n al  s ig n al   an d   m u ltip ly   it   with   co n s tan weig h ts   b ased   o n   h alf   Gau s s ian   , wh ile  t h HGT 3   is   wo r k ed   in   s im ilar   way   to   ( H GT 1 )   ex ce p th at,   it  is   d ep en d ed     o n   en tir s ig n al  in s tead   o f   ev er y   p o o s ize  f o r   ca lcu latio n   th b asic  s tatis tics .   T h p r o p o s ed   m eth o d s   ar ap p lied   to   th r ee   ty p es  o f   d atasets ,   wh ich   ar ( MN I ST   an d   C I FAR 1 0 ) wh ich   ar e   two - d im en s io n   s ig n al  a n d   MI T - B I E C d ataset,   wh ich   is   one - d im en s io n   s ig n al.     Fo r   MN I ST  d ataset,   th b est  r esu lts   ar ac h iev ed   with   HGT 1 +a v er ag e ,   ( ac cu r ac y   9 9 . 9 6 an d   FP R   0 . 2 8 %),   wh ile  f o r   C I FAR 1 0   d ataset,   th b est  r esu lt  ar s at is f ied   wi th   HGT 1   m eth o d   ( ac cu r ac y   7 3 . 6 7 an d   FP R   2 6 . 3 %).   Fo r   E C d ataset,   th HGT 1   g iv es  th e   g o o d   r esu l ts   ( ac c= 9 4 . 5 1   %),   ( s en   9 4 . 2 1 %)  an d   ( FP E   5 . 7 9 %),   an d   HGT 2   g iv es  ap p r o x im atel y   b etter   r esu lts   , wh ich   ar ( ac c =9 5 . 9 1   %),   ( s en . 9 4 . 5 6 %)  an d   ( FP E 4 . 4 4   %),   wh ile   th HGT 3   is   s ati s f ied   th lo w est  r esu lts   ( ac c=   9 2 . 3 5 %),   ( s en . 9 1 . 8 5 %)  an d   ( FP E 8 . 1 5   %),   t h r esu lt  is   d r o p p e b ec au s th is   m eth o d   is   d ep en d ed   o n   th s tatis tics   o f   o v er all  s ig n al  in s tead   o f   s tatis tic s   o f   ev er y   p o o s ize  as  in   HGT 1 ,   wh ich   is   v er y   d if f e r en t   b ec au s E C G   s ig n al  h av h i g h   d if f er e n ce s   in   th eir   s am p les.   T h ex p e r im en tal  r esu lt sh o th at,   o u r   m eth o d s   ar e   ac h iev e d   g o o d   im p r o v em e n ts ,   wh ich   is   p e r f o r m ed   o r   o u t p er f o r m ed   s tan d a r d   p o o lin g   m eth o d s   s u ch   as m ax   p o o lin g   an d   a v er ag p o o lin g ,   an d   ca n   b u s ed   in   class if ic ati o n   p r o b lem .       RE F E R E NC E S     [1 ]   Ag o stin e ll L. ,   e a l. Lea rn i n g   a c ti v a ti o n   fu n c ti o n s t o   imp r o v e   d e e p   n e u ra n e two r k s ,” ICL R ,   2 0 1 5 .   [2 ]   Kriz h e v sk y ,   S . e a l . ,   Im a g e Ne c las sifica ti o n   with   d e e p   c o n v o lu ti o n a l   n e u ra n e two r k s ,   Ad v a n c e s   in   n e u ra l   in fo rm a ti o n   p ro c e ss in g   sy ste ms ,   v o l.   2 5 ,   n o .   2 ,   Ja n u a ry   2 0 1 2 .   [3 ]   M a ll a t S. ,   th e o r y   f o m u lt ires o lu ti o n   sig n a d e c o m p o si ti o n th e   wa v e let  re p re se n tati o n ,”   IEE E   tr a n sa c ti o n s   o n   p a tt e rn   a n a lys is a n d   ma c h i n e   i n telli g e n c e v o l .   1 1 ,   n o .   7 ,   p p .   6 7 4 - 6 9 3 ,   J u ly   1 9 8 9 .   [4 ]   Y.  Bo u re a u ,   P . ,   e a l. th e o r e ti c a a n a ly sis  o fe a tu re   p o o li n g   in   v isu a re c o g n it io n ,   Pro c e e d i n g   o th e   2 7 th   In ter n a t io n a C o n fer e n c e   o n   M a c h in e   L e a rn i n g   (IC M L - 10) ,   Ju n e   2 0 1 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   1 Feb r u ar y   2 0 2 1 :   1 6 3   -   17 2   172   [5 ]   K.  He ,   Zh a n g ,   Re n ,   a n d   J.  S u n ,   De e p   re sid u a lea rn in g   f o ima g e   re c o g n it i o n ,”   IEE Co n fer e n c e   o n   Co m p u ter   Vi sio n   a n d   P a tt e rn   Rec o g n it i o n ,   p p .   7 7 0 7 7 8 ,   Ju n e   2 0 1 6 .   [6 ]   Trav is  Wi ll iam a n d   Ro b e rt  Li ,   Ad v a n c e d   ima g e   c las sifica ti o n   u s in g   wa v e lets  a n d   c o n v o l u ti o n a n e u ra n e two r k s ,   1 5 t h   IEE E   In ter n a ti o n a C o n fer e n c e   o n   M a c h in e   L e a rn i n g   a n d   A p p li c a ti o n s ,   p p .   2 3 3 2 3 9 ,   De c e m b e 2 0 1 6 .     [7 ]   J.  Kim ,   e a l . ,   Ac c u ra te  ima g e   su p e r - re so lu t io n   u si n g   v e ry   d e e p   c o n v o lu ti o n a n e two r k s ,”   IEE E   Co n fer e n c e   o n   Co mp u ter   V isio n   a n d   Pa t ter n   Rec o g n it io n ,   p p .   1 6 4 6 1 6 5 4 ,   Ju n e   2 0 1 6 .   [8 ]   C.   S z e g e d y ,   e t   a l .,   G o in g   d e e p e with   c o n v o l u ti o n s ,   2 0 1 5   IEE Co n fer e n c e   o n   Co m p u ter   Vi si o n   a n d   Pa tt e rn   Rec o g n it io n   (CVP R) ,   Ju n e   2 0 1 5 .   [9 ]   I.   Io f fe   a n d   S z e g e d y ,   Ba tch   n o r m a li z a ti o n Ac c e lera ti n g   d e e p   n e t wo rk   trai n in g   b y   re d u c in g   i n tern a c o v a riate   sh if ,”   a rXiv p re p ri n a rX iv:1 5 0 2 . 0 3 1 6 7 F e b ru a ry   2 0 1 5 .   [1 0 ]   A.  F e rr a e a l . ,   Wav e let  p o o li n g   f o CNN s ,”   ECCV v ol 4 ,   p p .   6 7 1 6 7 5 2 0 1 9 .     [1 1 ]   P .   Li u ,   e a l . ,   M u lt i - lev e wa v e le c o n v o l u ti o n a n e u ra n e two rk s ,”   Co RR J u ly   2 0 1 9 .   [1 2 ]   Alli so n   M .   R o ss e tt o ,   e a l .,   Im p r o v i n g   c las sifica ti o n   wit h   CNN s u sin g   Wav e let  P o o li n g   with   Ne ste ro v - Ac c e lera ted   Ad a m ,   EP iC  S e ries   in   Co m p u ti n g ,”   Pro c e e d in g o 1 1 th   I n t e rn a ti o n a C o n fer e n c e   o n   B io i n fo rm a t ics   a n d   Co mp u t a ti o n a B io l o g y ,   v o l.   6 0 ,   p p .   8 4 - 9 3 ,   2 0 1 9 .   [1 3 ]   Tak u m K. ,   G a u ss ian - b a se d   p o o li n g   fo c o n v o l u ti o n a n e u ra n e t wo rk s ,   3 3 rd   C o n fer e n c e   o n   Ne u ra In f o rm a ti o n   Pro c e ss in g   S y ste ms ,”   Ad v a n c e s in   Ne u ra In f o rm a ti o n   P r o c e ss in g   S y ste m s 3 2 ,   2 0 1 9 .   [1 4 ]   Da n il o   P . ,   e a l Ac o u stic  imp u l siv e   n o ise   b a se d   o n   n o n - g a u ss ian   m o d e ls:  a n   e x p e rime n tal  e v a lu a t io n ,   S e n so rs ,   v o l.   1 9 ,   n o .   1 2 ,   p p .   2 8 2 7 ,   Ju n e   2 0 1 9 .   [1 5 ]   Ja wa d   N.,   e a l M a x - p o o li n g   c o n v o lu ti o n a l   n e u ra n e two rk s   fo r   v i sio n - b a se d   h a n d   g e stu re   re c o g n i ti o n ,   2 0 1 1   IEE E   In ter n a t io n a C o n fer e n c e   o n   S ig n a a n d   Ima g e   Pro c e ss in g   Ap p li c a t io n s ,   N o v e m b e 2 0 1 1 .   [1 6 ]   T.   Wi ll iam s a n d   R.   Li . ,   Wa v e let  p o o li n g   f o c o n v o lu t io n a n e u ra n e two rk s ,”   IC L R ,   2 0 1 8 .   [1 7 ]   C. - Y.  Lee ,   e t   a l G e n e ra li z in g   p o o li n g   f u n c ti o n s   in   c o n v o lu t i o n a l   n e u ra l   n e two rk s:   M i x e d ,   g a ted ,   a n d   tree ,”   AIS T AT S ,   p p .   4 6 4 4 7 2 ,   2 0 1 6 .   [1 8 ]   D.  Yu ,   e a l . M ix e d   p o o l in g   fo r   c o n v o lu ti o n a n e u ra n e two r k s ,”   RS KT ,   p p .   3 6 4 3 7 5 ,   Oc to b e 2 0 1 4   [1 9 ]   M .   Zeiler,   e a l .,   S to c h a stic p o o li n g   f o re g u lariz a ti o n   o f   d e e p   c o n v o lu ti o n a l   n e u ra l   n e tw o r k ,   ICL R Ja n u a ry   2 0 1 3 .   [2 0 ]   S wie to jan sk i   a n d   Re n a ls.  " Diffe r e n ti a b le  p o o l in g   fo u n s u p e rv ise d   a c o u stic  m o d e a d a p tatio n ,”   IEE T ra n s a c ti o n s   o n   A u d io ,   S p e e c h   a n d   L a n g u a g e   Pro c e ss in g v o l .   2 4 ,   n o .   1 0 ,   p p .   1 7 7 3 1 7 8 4 ,   M a rc h   2 0 1 6 .   [2 1 ]   A.  P e ws e y ,   Larg e - sa m p le  in fe re n c e   fo t h e   g e n e ra h a lf - n o rm a d i strib u ti o n ,”   Co mm u n ica t io n in   S t a ti stics   -   T h e o ry   a n d   M e t h o d s v o l.   3 1 ,   n o . 7 ,   p p . 1 0 4 5 1 0 5 4 ,   Ju l y   2 0 0 2 .   [2 2 ]   Wen h a o   G . ,   g e n e ra li z a ti o n   o th e   sla sh   h a lf  n o rm a ld istri b u ti o n p ro p e rti e s a n d   in fe re n c e s ,”   J o u r n a o S ta ti st i c a l   T h e o ry   a n d   Pra c ti c e v o l. 8 ,   n o .   2 ,   p p .   2 8 3 2 9 6 ,   M a rc h   2 0 1 4 .   [ 2 3 ]   Y a n n   L e .   C . ,   e t   a l " T h e   M I N S T   d a t a b a s e   f o r   h a n d   w r i g h t   d i g i t s ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / y a n n . l e c u n . c o m / e x d b / m n i s t / A c c e s s e d 2005 .   [2 4 ]   Ale x   K.,   e a l . Th e   CIF AR - 1 0   d a tas e t”   [On li n e ].   Av a il a b le:   h tt p s: // ww w.cs . to ro n to . e d u / ~ k riz/c ifar. h tml .   [2 5 ]   G e o rg e   B. ,   e a l T h e   i m p a c o th e   M IT - BIH  Arrh y t h m ia  d a tab a se ,”   IEE e n g i n e e rin g   in   me d ici n e   a n d   b il o l o g y v o l.   2 0 ,   n o .   3 ,   Ju n e   2 0 0 1 .   [2 6 ]   G o ld b e rg e r,   A. ,   e t   a l. ,   P h y sio B a n k ,   P h y sio To o lk i t,   a n d   P h y si o N e t:   Co m p o n e n ts  o f   a   n e w   re se a rc h   re so u rc e   fo r   c o m p lex   p h y si o l o g ic si g n a ls ,”   Cir c u latio n , v o l.   1 0 1 ,   n o.   2 3 ,   p p .   e 2 1 5 e 2 2 0 ,   Ju l y   2 0 0 0 .       B I O G RAP H I E S   O F   AUTH O RS        As sist.   Pro f.   Aqee M.   H a m a d   Alh u ss a in y He   o b tain e d   h is  BS c .   Tec h   in   C o m p u ter  a n d   C o n tro E n g in e e rin g   fro m   U n iv e rsity   o T e c h n o lo g y   I ra q   2 0 0 3   a n d   M . S c .   fro m   Ba sra h   Un iv e rsity Ira q   in   2 0 1 0   a n d   h e   is  P h . D.  stu d e n n o a Al - Na h ra in   Un iv e rsity Ira q .   He   is  h a v in g   1 0   y e a rs  o tea c h in g   a n d   re se a rc h   e x p e rien c e   wo rk e d   a a   h e a d   fo c o m p u ter  c e n ter   i n   Th iQa U n iv e rsity   fo th re e   y e a rs.   He   is  p re se n tl y   wo rk in g   a As sista n P ro fe ss o in   T h iQa U n iv e rsity , C o ll e g e   o C o m p u ter an d   M a th e m a ti c s.         As sist.   Pro f .   Dr .   Am m a r   D.  J a sim He   o b tain e d   h is  B Sc . Tec h   in   C o m p u ter  fro m   U n iv e rsi t y   o Al - Na h ra in I ra q   1999   a n d   M . S c   fro m   Al - Na h ra in   Un iv e rsity Ira q   in   2 0 0 2   a n d   P h . fro m   Al - Na h ra in   Un iv e rsity Ira q .   He   is  h a v in g   2 0   y e a rs  o tea c h in g   a n d   re se a rc h   e x p e rien c e   wo rk e d   a s a   lec tu re in   C o ll e g e   o I n fo rm a ti o n   E n g in e e rin g Al - Na h ra in   Un iv e rsity .     Evaluation Warning : The document was created with Spire.PDF for Python.