I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   20 ,   N o .   3 D e c e m b e r   20 20 ,   pp .   1289 ~ 1298   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 20 .i 3 . pp 128 9 - 1298             1289       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   n o v e l   p o o l i n g   l a y e r   b a sed  o n   g a u s si a n   f u n c t i o n   w i t h   w a v e l e t   t r a n s f o r m       A q e e l   M .   H am a d   a l h u s s ai n y,   A m m ar   D .   Jas i m   D e pa r t m e n t   o f   I n f o r m a t i o a nd   C o m m uni c a t i o n   E ng i ne e r i ng ,   A l - N a hr a i n   U n i v e r s i t y ,   I r a q       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e Ap r   1,   20 20   R e v i s e M a y   4 ,   202 0   A c c e pt e J ul   1 ,   2020       C o nvo l ut i o r e p r e s e n t   ba s i c   l a y e r   i t h e   c o nv o l ut i o na l   n e ur a l   n e t w o r k,   but   i t   c a r e s u l t   i n   bi g   s i z e   o f   t he   d a t a ,   w h i c h   m a y   i nc r e a s e   t he   c o m pl e x i t y   of     t he   n e t w o r k .   D i f f e r e nt   po o l i ng   m e t ho ds   a r e   us e d   t o   pe r f o r m   do w n   s a m pl e   t he s e   da t a .   I t h i s   p a pe r ,   w e   ha v e   pr o po s e d   a   no v e l   po o l i ng   m e t ho by   us i ng   G a u s s i a n   f u n c t i o n   t o   d e t e r m i n e   t h e   w a v e l e t   f i l t e r   c o e f f i c i e n t s .   A t   f i r s t ,   t h e   ba s i c   s t a t i s t i c s   a r e   de t e r m i n e f o r   e a c po o l   s i z e   o f   t he   s i g na l ,   t he n   G a us s i a pr o ba bi l i t y   di s t r i bu t i o f unc t i o i s   de t e r m i n e d.   A c c o r di ng   t o   t h e   p r o c e dur e   o f   e xt r a c t i ng   th e   f e a t ur e s ,   t h r e e   m e t ho ds   a r e   p r o po s e d ,   t he   f i r s t   m e t h o i s   u s e d   t he   no r m a l i z e v a l u e s   o f   ba s i c   s t a t i s t i c s   a s   w a v e l e t   f i l t e r   t o   be   m ul t i p l i e by   o r i g i na l   s i g na l ,   t he   s e c o nd  m e t ho u s e d   t he   de t e r m i n e s t a t i s t i c s   a s   f e a t ur e s   o f   t he   o r i g i na l   s i g na l ,   t he n   m ul t i pl i e d   i t   w i t c o ns t a nt   w a v e l e t   f i l t e r   ba s e o n   G a us s i a n ,   w hi l e   t he   t h i r m e t ho i s   s i m i l a r   t o   f i r s t   m e t ho d,   e xc e p t   i t   d e pe n o e n t i r e   s i g na l   i n s t e a d   o f   e a c po o l   s i z e .   T h e   pr o po s e d   m e t ho ds   a r e   c om bi ne d   w i t h   o t he r   s t a nda r d   m e t ho ds   s uc a s   m a x   a nd  po o l i ng .   T he   e xpe r i m e nt s   a r e   pe r f o r m e o d i f f e r e n t   da t a s e t s a n t he   r e s ul t s   s ho w   t h a t   t h e   pr o po s e m e t ho ds   pe r f o r m   o r   o ut p e r f o r m   o t he r   m e t ho ds   a nd   c a i nc r e a s e   pe r f o r m a nc e   o f   t he   C N N .   Ke y w or d s :   CN N     G a us s i a n   G W T 1   G W T 2   G W T   C opy r i gh t   ©   20 20   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   A qe e l   M . H a m a d ,   D e pa rt m e n t   o f   In f o r m a t i o n   a n d   Co m m u n i c a t i o   E n g i n e e ri ng,   Al - N a hra i U n i v e r s i t y ,   B a gh d a d .   I ra q .   E m a i l :   a qe e l _a l h us s a i n y @ ut q. e du. i q       1.   I N TR O D U C TI O N     Co n v o l ut i o n a l   n e ur a l   n e t w o r ks   (CN N a r e   us e i n   v a r i o us   a ppl i c a t i o n s   i n   r e c e n t   y e a r s ,   s uc h   a s   re c o g ni t i o n ,   re g re s s i o n   a nd   c l a s s i f i c a t i o n .   C o nv o l u t i o n   re p re s e n t   b a s i c   l a y e i t he   c o nv o l u t i o na l   ne u ra l   n e t w o r k,   b ut   i t   c a n   r e s ul t   i n   b i s i z e   o f   t h e   da t a ,   a n t h i s   da t a   i s   i n c r e a s e w i t h   i n c r e a s i ng  o f   t h e   n um b e r   o f   f i l t e r s ,   c h a n ne l s   a n da t a   us e f o r   t r a i ni ng ,   w h i c h   m a y   i n c r e a s e   t h e   c o m pl e xi t y   o f   t h e   n e t w o r a n r e duc e   t h e   a c c ur a c y   o f     t h e   c l a s s i f i c a t i o n .   Di f f e r e n t   s t udi e s   a n r e s e a r c h e s   h a v e   b e e n   m a de   t o   i m pr o v e   t h i s   n e t w o r k.   P o o l i n l a y e r   i s   ke y   c o m po n e n t   o f   t h e   CN N ,   i t   c a n   b e   us e f o r   do w n   s a m pl i n t h e   f e a t ur e s ,   w h i c h   a r e   r e s ul t   f r o m   c o n v o l ut i o n   l a y e r   t o   i n c r e a s e   t h e   e f f i c i e n c y   a n r e d uc e   t h e   c o m pl e xi t y   o f   t h e   c o m put a t i o n   [1,   2].   D i f f e r e n t   t y pe s   o f   po o l i ng  m e t h o ds   a r e   us e d,   t h e   m o s t   f a m o us   i s   max - po o l i n g,   w h i c h   i s   t h e   m o s t   i m po r t a n t   m e t h o a l s o   a v e r a ge   po o l i ng    m e t h o i s   us e i n   s o m e   CN N s ,   t h e   t y pe   o f   po o l i n i s   de pe n de o n   t h e   da t a s e t   t y pe   (s i gn i f i c a n t   o f   t h e   v a l ue   i n   e a c h   e l e m e n t a n t h e   a ppl i c a t i o n   t h a t   i s   us e i n   i t ,   o t h e r   po o l i n m e t h o ds   a r e   pr o po s e t o   i m pr o v e     t h e   pe r f o r m a n c e   o f   t h o s e   m e t h o ds   b y   us i n s o m e   pr i o r   m o de l s   r e l a t e t o   po o l i n b a s e o n   o t h e r   f un c t i o n s ,   w h i c h   a r e   us e t o   do w n   s a m pl e   t h e   da t a   [ 3 - 5].   S o m e   i m a g e   p ro c e s s i ng   t e c hni q u e s   a re   u s e d ,   s u c a s   i m a g e   d o w s a m p l e   m e t ho d   [ 6 ]   d e t a i l   p re s e rv i n g   [7 a n o t h e r   m e t h o w a s   b a s e o n   m i xi n po o l i n w i t h   ga t e d - po o l i n [8],   w h i l e   t h e   r e c e n t   m e t h o ds   a r e   t h e   po o l i ng  de r i v e b a s e o n   e n t r o py   pr i n c i pl e   [9,   10].   A l o n w i t h   t h o s e   de t e r m i n i s t i c   m e t h o ds ,   s t o c h a s t i c   m e t h o w e r e   pr o po s e d   [10],   t h i s   m e t h o w a s   us e t o   i m pr o v e   t h e   l o c a l   po o l i n m e t h o b y   a ddi n r a n do m ne s s   t o   t h o s e   m e t h o ds ,   a l s o   s t o c h a s t i c   m e t h o c a n   b e   us e w i t h   m i xi n g   o f   m a a n a v e r a ge   m e t h o [ 11],   o t h e r   m e t h o ds   w e r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   3 D e c e m be r   2 020   :     12 89   -   12 98   1290   b a s e o n   m ul t i   l e v e l s   w a v e l e t   t r a ns f o r m   [12].   U n f o r t un a t e l y   m o s t   o f   t h e   pr e v i o us   m e t h o ds   h a v e   s h o r t c o m i ng .   T h e   m o s t   f a m o us   m a po o l i n l a y e r ,   w h i c h   i s   s e l e c t e t h e   m a xi m um   e l e m e n t   o n l y ,   c a n   de l e t e   de t a i l s   f r o m   s i gn a l   e s pe c i a l l y   w h e n   t h e r e   i s   h i gh   c o n t r a s t   b e t w e e n   t h e   e l e m e n t s   o f   t h e   s i gn a l   [9],   w h i l e   a v e r a ge   po o l i ng  m e t h o c a n   di s c a r t h e   e f f e c t   o f   t h e   de t a i l s   b y   a v e r a gi n t h e   da t a   t o   l o w e r   t h a s i gn i f i c a n t   de t a i l s   [10],   t hi s   m a y   l e a t o   o m i s s i o n   i m po r t a nt   i n f o r m a t i o f r o m   t h e   da t a   a n r e duc e   t h e   a c c ur a c y   o f   t h e   m o de l .   In   t h i s   pa pe r,   w e   h a v e   pr o po s e a   n e w   po o l i n m e t h o b a s e o n   t h e   G a us s i a n   pr o b a b i l i t y   de n s i t y   di s t r i b ut i o n   f un c t i o n   (pdf ),   w h i c h   i s   a v o i de t h e   pr o b l e m   o f   di s c a r di ng  s i gn i f i c a n t   i n f o r m a t i o n   b y   de t e r m i n e   t h e   b a s i c   s t a t i s t i c s   t o   b e   us e d   a s   pa r a m e t e rs   t o   s e l e c t   t h e   b e s t   f e a t ur e s   o f   t h e   s i gn a l   [13 - 15] .   T h e   m a i n   c o n t r i b ut i o n   o f   t h i s   m e t h o i s   t o   us e   t h e   G a us s i a n   di s t r i b ut i o n   t o   de t e r m i n e   t h e   c o e f f i c i e n t s   o f   w a v e l e t   t r a n s f o r m   a c c o r di n t o   s o m e   s t a t i s t i c s   s uc h   a s   m e a n   a n s t a n da rd  de v i a t i o n   f o r   e a c h   po o l   s i z e   , t h us   w e   c a n   o b t a i n   di f f e r e n t   c o e f f i c i e n t s   f o r   e a c h   w i n do w   de pe n di n o n   i t s   c h a r a c t e r i s t i c s   a n s i gn i f i c a n t ,   a n t h i s   e n a b l e us   t o   e xt r a c t   t h e   b e s t   f e a t ur e   o f   t h e   s i gna l .   A c c o r di n t o   t h e   pr o c e dur e   o f   e xt r a c t i n t h e   w a v e l e t   c o e f f i c i e n t s   f i l t e r ,   t h r e e   m e t h o a r e   pr o po s e d ,   t h e   f i r s t   m e t h o (G W T i s   us e t h e   n o r m a l i z e v a l ue s   o f   b a s i c   s t a t i s t i c s   a s   w e i gh t   t o   b e   m ul t i pl i e b y   o r i gi n a l   s i gna l ,   t h e   s e c o n m e t h o (G W T 2)  us e t h e   de t e r m i n e s t a t i s t i c s   a s   f e a t ur e s   o f   t h e   o r i gi n a l   s i gn a l   a n m ul t i pl y   i t   w i t h   c o n s t a n t   w e i g h t s   b a s e o n   G a us s i a n   f un c t i o n ,   w h i l e   t h e   t h i r m e t h o d   (G W T 3)  i s   w o r ke i n   a   s i m i l a r   w a y   t o   ( G W T 1 )   e x c e p t   t ha t ,   i t   d e p e nd e d   o e nt i re   s i g na l   i ns t e a d   o f   e v e ry   p o o l   s i z e   f o c a l c u l a t i o t he   b a s i c   s t a t i s t i c s .       2.   M ET H O D O L O G Y   In  t h i s   pa pe r,   w e   h a v e   p r o po s e a n e w   po o l i n g   l a y e r   b a s e o G a us s i a f un c t i o n,   w hi c h   i s   us e a s   a   m e t h o t o   de t e rm i n e   t h e   c o e ff i c i e n t s   o f   w a v e l e t   f i l t e r s .   T h e   i n p ut   s i g na l   i s   di v i de i n t o   w i n do w   (a c c o r di n g   t o   t h e   po o l   s i z e ) .   Th e   b a s i c   s t a t i s t i c s   a r e   c o m put e d,   w hi c h   a r e   (m e a n   o f   t h e   s i g na l   a nd  s t a n de r   d   de v i a t i o n by   e qua t i o n   (1   a nd  2)   r e s pe c t i v e l y ,   t h e n   G a us s i a n   p r o b a b i l i t y   de n s i t y   f un c t i o (pdf i s   de t e rm i n e   f o r   e a c h   po o l   s i z e .   F i gu r e   1   s h o w s   t h e   b l o c di a g ra m   o f   t h e   p r o po s e po o l i n g   l a y e r   [16 - 18] .   F o r   e a c h   po o l   s i z e ,   t h e   b a s i c   s t a t i s t i c s   a r e   c a l c ul a t e d ,   w h i c h   a r e   m e a n   a n s t a n da rd  de v i a t i o n ,   t h e n   f i ve   v a l ue s   a r e   de t e r m i n e a c c o r di n t o   t h e   c a l c ul a t e s t a t i s t i c s ,   w h i c h   a r e   µ        , µ      , µ , µ +          µ +    ,   t h e n   t h e s e   v a l ue s   a r e   us e a s   i n put   t o   t h e   G a us s i a n   f un c t i o n ,   w h i c h   i s   us e t o   c o m put e     t h e   G a us s i a n   a m pl i t ude s   ,   t h e s e   a m pl i t ude s   a r e   us e a s   w e i gh t s ,   w h i c h   a r e   m ul t i p l i e b y   t h e   o r i gi n a l   s i gn a l   a s   i n   (3)  t o   de t e r m i n e   t h e   po o l e s i gn a l   [19 - 21].       = 1 (  )   (1)       2 = 1 ( (    ) ) 2   (2)     = ( 2 = 2 µ +   ) ( )   (3)     a n t h e   s t ri de   v a l ue   r e pr e s e nt e do w n   s a m p l e   f a c t o r .         F i gu r e   1 .   B l o c k   di a g r a m   o f   t h e   p r o po s e poo l i n g   l a y e r   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   no v e l   pool i ng   l a y e r   bas e o ga us s i an   f un c t i on   w i t w av e l e t   t r ans f or m   ( A qe e l   M .   H am ad   a l hus s ai n y )   1291   2. 1 .   G au s s i an   p r o b ab i l i ty   d i s tr i b u ti o n   fu n c ti o n .   T h e   pr o b a b i l i t y   de n s i t y   f un c t i o n   (P D F r e pr e s e n t   n o r m a l   di s t r i b ut i o n   o f   v a r i a b l e   x   w i t h   m e a n   ( µ a nd  s t a n da r de v i a t i o n   ( ) , w h i c h   i s   de s c r i b e b y   t h e   f o l l o w i n (4,   5)   [ 22,   23]:     f ( x ) = 1   σ x 2     e ( x µ x ) 2 2   (4)     T h e   G a us s i a di s t ri b ut i o n   o f   i s   r e p r e s e n t e b y           ͠       ( µ   , σ )   (5)     i t   i s   c l e a t ha t ,   t h e r e   a r e   t w o   pa r a m e t e r s   c ha r a c t e r i z e t h e   G a us s i a n   (pdf ),   w hi c h   a r e ( µ   ,     t h a t   r e p r e s e nt     t h e   f i r s t   a n d   s e c o n o r de r   m o m e nt   r e s pe c t i v e l y   a n d   c a b e   de f i n e by :   [23,   24] :     µ =E[X ]=     ( )    (6)     = E [ µ ] =   ( µ )   ( )    (7)     M e a n   r e pr e s e n t   t h e   c e n t r o i o f   t h e   pdf   a n t h e   c o o r di n a t e   o f   t h e   m e a n   v a l ue ,   w h i l e   ( σ )   i s   t h e   di s pe r s i o n   o f   t h e   v a r i a b l e   a r o un m e a n   v a l ue .   D e pe n di n o n   t h e   v a l ue   o f   σ   t h e   v a l ue   o f   G a us s i a n   f un c t i o n   i s   de t e r m i ne d s o   t h e r e   a r e   di f f e r e n t   w e i gh t   w i l l   b e   us e a c c o r di n t o   t h e   s i gn i f i c a n t   o f   t h e   v a l ue   a s   s h o w n   i n   F i gu r e   2,   w h i c h   i s   de s c r i b e   t h r e e   G a us s i a n s   (P D F f o r   µ = a n = 1. 0,   0. 75  a n 0. 7.           F i gu r e   2 .   G a us s i a P D F   f o r   t hr e e   s i gm a   v a l ue s   ( = 1 . 0 , 0 . 75      0 . 5 )       As   s h o w n   i n   F i gur e   (2),   t h e   m e a n   v a l ue   ( µ   )h a v e   t h e   h i gh e s t   v a l ue   , w h i l e   t h e   o t h e r   e l e m e n t s   ( µ ,   µ 2 ,   µ + ,   µ + 2 h a v e   s m a l l e s t   v a l ue , s o   i t s   w e i gh t   w i l l   b e   s m a l l   de pe n di n o n   t h e   v a l ue   o f   G a us s i a n   f un c t i o n ,   s o   t h e   f e a t ur e s   w i l l   b e   s e l e c t e d   i n   m o r e   s ui t a b l e   m a n ne r   b y   gi v i n t h e   m e a n   v a l ue   t h e   h i gh e s t   w e i gh t   a n t h e   w e i gh t   i s   de c r e a s e a s   m o v i n f r o m   t h e   m e a n   a c c o r di n t o   t h e   s i gn i f i c a n c e   o f   t h e   s t a t i s t i c s ,     a s   s h o w n   i n   F i gur e   2,   (   µ + a n µ h a v e   w e i gh t   s m a l l e r   t h a n   µ   ,   a l s o   (   µ + 2 a n µ 2 )   h a v e   l o w e s t   v a l ue s ,   t h i s   c a n   i n c r e a s e   t h e   o b t a i n e i n f o r m a t i o f r o m   us i n t h e   m e a n   o n l y .   T h e   o t h e r   c o n t r i b ut i o n s   o f   t h i s   m e t h o (G W T i s   pr o po s e f e a t ur e   s e l e c t i o n   m e t h o   b a s e o n   s t a t i s t i c s   o f   e a c h   po o l   a s   de s c r i b e i n   t h e   di f f e r e n t   G a us s i a n   f un c t i o n   i n   F i gur e   2,   w h i c h   i s   de s c r i b e t h e   di f f e r e n c e s   b e t w e e n     t h e r e   di f f e r e n t   G a us s i a n   f un c t i o n   v a l ue s   a c c o r di n t o   µ        [24 - 26].         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   3 D e c e m be r   2 020   :     12 89   -   12 98   1292   2. 2 .     P r o p o s e d   al go r i th m s   (G WT)   T h r e e   di f f e r e n t   a l go r i t h m s   a r e   pr o p o s e a c c o r di n t o   t h e   pr o c e dur e   o f   e xt r a c t i n t h e   w a v e l e t   c o e f f i c i e n t s ,   w h i c h   a r e   us e t o   r e duc e   t h e   f e a t ur e s   o f   t h e   s i gn a l   t o   e n s ur e   t h a t ,   t h e   b a s i c   i n f o r m a t i o n   i s   e xt r a c t e w i t h   l i t t l e   e l i m i n a t i o n .   A l s o   t he   p ro p o s e d   m e t ho d s   a re   c o m b i ne d   w i t o t he s t a nd a r d   m e t ho d s   s u c a s   m a x   a nd   a v e ra g e   p o o l i ng .       2. 2. 1 .   G WT  a l go r i th m   T h i s   a l go r i t h m   i s   b a s e o n   c o m put a t i o n   o f   t h e   w a v e l e t   c o e f f i c i e n t s ,   b y   f i r s t   de t e r m i n e   t h e   b a s i c   s t a t i s t i c s   (m e a n   a n s t a n da r d   de v i a t i o n f o r   e a c h   po o l   s i z e   (w i n do w ),   t h e n   f i v e   v a l u es   a r e   de r i v e b a s e o n   t h e s e   s t a t i s t i c s ,   t h e n   t h e   G a us s i a n   m a gn i t u de s   f o r   t h o s e   po i n t s   w i l l   b e   de t e r m i n e b y   G a us s i a n   f un c t i o n   by  a ppl y i n (4)  t o   b e   us e a s   w e i gh t s ,   T h o r i gi n a l   s i gn a l   (po o l   w i n do w )   ar e   m ul t i pl i e b y   t h e   w e i gh t s   t de t e r m i n e   t h e   po o l e s i gn a l .   F i gur e   s h o w   t h e   f l o w c h a r t   o f   t h e   pr o po s e G W T 1a l go r i t h m .     2. 2. 2 .   G WT  a l go r i th m   In   t h i s   a l go r i t h m   ,   t h e   w e i gh t s   a r e   de t e r m i n e b a s e o n   c o n s t a n t   G a us s i a n   f un c t i o n     w i t h   µ =   a nd  = 1,   t h e n   f i v e   w e i gh t s   a r e   de t e r m i n e b y   us i n G a us s i a n   f un c t i o n   b y   ( 4),   w h i l e   t h e   s i gn a l   i s   r e pr e s e n t e b y   t h e   b a s i c   f e a t ur e s ,   w h i c h   a r e   µ        , µ      , µ , µ +          µ +      a c c o r di n t o   t h e   s t a t i s t i c s   f o r   e a c h   po o l   s i z e   (w i n do w ) ,   t h e n     t h e   po o l i n f e a t ur e s   a r e   de t e r m i n e b y   m ul t i pl i c a t i o n   o f   s i gn i f i c a n t   f e a t ur e s   w i t h   t h e   w e i gh t s   a s   s h o w n   i n   F i gur e   4.     2. 2 . 3 .   G WT   al go r i t h m     T h i s   a l go r i t h m   i s   s i m i l a r   t o   a l go r i t h m   (G W T 1)  e xc e pt   t h at,   t h e   s t a t i s t i c s   a r e   c o m put e f o r   e n t i re   s i gn a l   i n s t e a o f   e a c h   po o l   s i z e   . T h e   f e a t ur e   i s   c o m put e b y   m ul t i pl y i n t h e   o r i gi n a l   s i gn a l   w i t h   w e i gh t s   o   t h e   b a s i c   s t a t i s t i c s   o f   e n t i r e   s i gn a l   a s   de s c r i b e i n   F i gur e   5,   w h i c h   s h o w s   t h e   f l o w c h a r t   o f   t h i s   a l go r i t h m .       Algorithm I (GWT1)   Input=            ;   Output=Y pooling feature for upper layer   1.   Initialization Z:size of signal, P pool size; S :stride   2.   for i←1 to Z step S do   3.   signal determination         Xp ← signal windo   4.   for j← 1 to P do   5.   Determine  µ         Where                  = ( ) , = ( (   ) ) ,   6.   Determine the value   µ        , µ      , µ , µ +         µ +      7.   Determine the value of f(x) for the above values of x by using:   ( ) =         ( µ )    To be  h1,h2,h3,h4,and h5 respectively.   8.   Determine the pooling signal by:   Y=  (  . ( ) ;   9.   j=j+1;   10.   End loop     11.   i=i+P;   12.   End loop   13.   for i←1 to Z step S do   14.   for j←1 to P do   15.   Chose max. ,average, approximation   16.   Determine pooling as combination of any two or three above methods   Y=(max+pool)/2;   17.   End loop   18.   End loop   19.   Return Y   End algorithm   End B.W     F i gu r e   3 .   F l o w c h a r t   o f   t h e   p r o p o s e G W T 1)  a l go r i t h m           Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   no v e l   pool i ng   l a y e r   bas e o ga us s i an   f un c t i on   w i t w av e l e t   t r ans f or m   ( A qe e l   M .   H am ad   a l hus s ai n y )   1293   Algorithm   II (GWT2)   Input=            ;   Output=Y pooling feature for upper layer   Initialization Z:   size of signal, P pool size; S :   stride   Read the input signal   While (Pool_size in signal)           Do{   1.   Get window= pool_size;  Xp ← signal window   2.   Determine mean and standard deviation of the window by:     = ( ) , = ( (   ) ) ,   3.   Give x initial value x=[ - 2:1:2]   4.   Determine c onstant weight based on Gaussian function to    be:  w1,w2,w3,w4,w5   5.   Determine the value of    µ        , µ      , µ , µ +         µ +      6.   Determine the value of f(x) for the above values of x by using:   ( ) =         ( µ )    To be  h1,   h2,   h3,   h4,   and h5 respectively.   7.   Determine the pooling signal by:   Y= (  . ( ) ;   8.   j=j+1;   9.   End loop   End of algorithm     F i gu r e   4 .   F l o w c h a r t   o f   t h e   p r o po s e G W T 2)  a l go r i t h m       Alg orithm III   (GWT3)   Input=            ;   Output=Y pooling feature for upper layer   1.   Initialization Z:size of signal, P pool size; S :stride   2.   Determine  µ         3.   for i←1 to Z step S do   4.   Determine signal window          Xp ← signal window   5.   for j←1 to P do   i.   Determine                   = ( ) , = ( (   ) ) ,   ii.   Determine the value of :   µ        , µ      , µ , µ +         µ +      iii.   Determine the value of f(x) for the above values of x by using:   ( ) =         ( µ )    To be   h1,   h2,   h3,   h4,   and h5 respectively.   iv.   Determine the pooling signal by:   Y= (  . ( ) ;   v.   j=j+1 ;   6.   End loop   End algorithm     F i gu r e   5 .   F l o w c h a r t   o f   t h e   p r o po s e G W T a l go r i t hm       3.   R ES U LTS   A N D   D I S C U S S I O N   T h e   pr o po s e m e t h o ds   a r e   t r a i n e a n t e s t e w i t h   di f f e r e n t   CN N   n e t w o r ks   a n w e   us e t h r e e   t y pe s   o da t a s e t s   t o   t r a i t h e   m o de l s ,   t h e s e   da t a s e t s   a r e   E CG   da t a s e t   (w h i c h   i s   o n e   di m e n s i o n   s i gn a l ),   w h i l e   f o r   t w di m e n s i o n s   s i gn a l ,   M N IS T   a n CIF A R 10  da t a s e t s   w e r e   us e w e   a ppl y   a l l   t h e   pr o po s e m e t h o ds   t o   di f f e r e n t   c o n v o l ut i o n a l   n e ur a l   n e t w o r (CN N ).   T h e   e xpe r i m e n t s   a r e   pe r f o r m e o n   M a t   l a b   (2019a )   b y   In t e l   ®  c o r e   i 7 - 4500CP U @ 2. 40G H z   pr o c e s s o r ,   w i t h 8G B   o f   R A M ,   64b i t   w i n do w s   s e v e n   o pe r a t i n s y s t e m .   T h e   r e s ul t s   a re   de s c r i b e a s   f o l l o w i n g:         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   3 D e c e m be r   2 020   :     12 89   -   12 98   1294   3. 1 .     R e s u l ts   o o n e   d i m e n s i o n   s i gn a l   (M I T - B I H   EC G   d atas e t)   T h i s   da t a b a s e   i s   us e f o r   a n a l y s i s   a n de t e c t i o n   o f   h e a r t   a r r hy t h m i a .   M IT - B IH   da t a b a s e   i s   o n e   di m e n s i o n a l   da t a s e t ,   a n t h e i r   s i z e   i s   (109446).   T h e   da t a s e t   i s   s pl i t t e i n t o   t r a i s e t   (87554)  a n t e s t   s e t   (218 92 s i gn a l .   E a c h   s i gn a l   c o n t a i n s   (188)  s a m pl e .   In   o ur   e xpe r i m e n t s ,   t h e   m o de l   i s   t r a i n e w i t h   b a t c h   s i z e = 128,   10  e po c h s   a n 684  i t e r a t i o n .   T h e   r e s ul t s   o f   f i r s t   m e t h o (G W T 1)   a r e   c o m pa r e w i t h   m a a n a v e r a ge   po o l i ng  m e t h o ds   a s   s h o w n   i n   T a b l e   1.   T h e   b e s t   a c c ur a c y   (92. 57)  w a s   a c h i e v e d   b y   us i n (G W T 1)  m e t h o d,   w h i c h   i s   o ut pe r f o r m e a v e r a ge   m e t h o a n a l m o s t   e qua l   t o   m a po o l i n m e t h o d.   It   w a s   f ur t h e r   o b s e r v e t h a t   c o m b i n i ng  G W T m e t h o w i t h   a v e r a ge   m e t h o d   gi v e   w o r s t   r e s ul t s   b e c a us e   a v e r a ge   m e t h o d   e l i m i n a t e s   t h e   de t a i l s   o   t h e   s i gn a l ,   e s pe c i a l l y   f o r   E CG   s i gn a l ,   w h i c h   i s   c h a r a c t e ri z e b y   b e i n o s c i l l a t i n s i gn a l .   T a b l e   s h o w s   r e s ul t s   o f   t h e   s e c o n m e t h o (G W T 2),   i t   gi v e s   t h e   b e s t   r e s ul t s   (A c c ur a c y = 93. 97%) ,   w h i c h   i s   o ut pe r f o r m e m a a nd  a v e r a ge   po o l i n m e t h o ds ,   t h e   r e a s o n   f o r   t h i s     i m pr o v e m e n t   i n   a c c ur a c y   i s   t h e   a l go r i t h m s   de pe n o n   f e a t ur e s   a s   m e n t i o n e pr e v i o us l y ,   b e c a us e   E CG   i s   o s c i l l a t o r y   s i gn a l   , s o   b e s t   f e a t ur e s   a r e   s e l e c t e b a s e o n   s t a t i s t i c s   f o r   e a c h   po o l .       T a b l e   1 .   R e s ul t s   o f   G W T w i t h   o t h e r   m e t h o ds   f o r   M IT _ B IH   da t a s e t   M e t h o d     M a x   a v e ra g e   G W T 1   G W T 1 + M a x   G W T 1 + A v e ra g e   A c c u ra c y   ( % )   9 2 . 5 5   9 1 . 5 9   9 2 . 5 7   9 2 . 2 1   92       T a b l e   2 .   R e s ul t s   o f   G W T w i t h   o t h e r   m e t h o ds   f o r   M IT _B IH   da t a s e t   M e t h o d     M a x   a v e ra g e   G W T 2   G W T 2 + M a x   G W T 2 + A v e ra g e   A c c u ra c y   ( % )   9 2 . 5 5   9 1 . 5 9   9 3 . 9 7   9 3 . 2 5   9 3 . 5 1       T a b l e   e xpl a i n s   t h e   r e s ul t s   o f   t h e   t h i rd  pr o po s e m e t h o (G W T 3), w h i c h   i s   a c h i e v e t h e   l o w e s t   r e s ul t s ,   t h e   r e a s o n   i s   t o   us e   e n t i r e   s i gn a l   t o   c o m put e   t h e   w e i gh t s ,   w h i c h   i s   us e t o     s e l e c t   f e a t ur e   o f   t h e   s i gn a l   ,   t h i s   pr o duc e   c o n s t a n t   w e i gh t s ,   t h us   t h e   m e t h o l o s s e s   a da pt i v e   pr o pe r t y   . T h e   pr o gr e s s   o f   a c c ur a c y   f o r   (G W T 2)  m e t h o i s   s h o w n   i n   F i gur e   6 ,   w h i l e   t h e   pr o gr e s s   o f   l o s s   i s   s h o w n   i n   F i gur e   7 ,   a s   s h o w n   i n   f i gur e ,   t h e   l o s s   r a t e   i s   r e a c h e t o   l e s s   t h a n   0. 25  a t   t h e   f i n a l   r e s ul t .       T a b l e   3 .   R e s ul t s   o f   G W T w i t h   o t h e r   m e t h o M I T _B IH   da t a s e t   M e t h o d     M a x   a v e ra g e   G W T 3   G W T 3 + M a x   G W T 3 + A v e ra g e   A c c u ra c y   ( % )   9 2 . 5 5   9 1 . 5 9   9 2 . 5 0   9 2 . 3 7   9 2 . 1 0           F i gu r e   6 .   A c c ura c y   pr o gr e s s   f o r   (G W T 2)   m e t h o d       F i gu r e   7 .   L o s s   pr o g r e s s   f o r   (G W T 2)   m e t h o d       3. 2 .     R e s u l ts   o M N I S d atas e t   It   i s   o n e   o f   t h e   m o s t   c o m m o n   t y pe   o f   da t a b a s e ,   w h i c h   i s   us e t o   t r a i t w o - di m e n s i o n a l   m o de l ,   t hi s   da t a s e t   c o n t a i n s   (28*28)  gr a y   s c a l e   i m a ge ,   a n i t s   t o t a l   s i z e   i s   60000  i m a ge t h e   T r a i ni ng  pa r t   (50000)  i m a g e ,   w h i l e   t e s t   pa r t   10000  i m a ge .   T h e   CN N   w a s   t r a i n e w i t h   i n i t i a l   l e a r n i ng  r a t e   0. 01,   10   e po c h s   a n 58  i t e r a t i o n   pe r   e po c h .   T h e   pe r f o r m a n c e   o f   t h e   f i r s t   m e t h o i s   s h o w n   i n   T a b l e   4,   t h e   b e s t   a c c ur a c y   w a s   a c h i e v e d   b y   (G W T 1)   m e t ho d ,   w hi c i s   a c hi e v e d   ( 9 9 . 8 4 % ) .   B e c a u s e   M N I S T   d a t a b a s e   i s   g ra y s c a l e   i m a g e ,   a nd   a l m o s t   b l a c k   b a c kgr o und  i m a ge s ,   s o   m a xi m um   e l e m e n t   r e pr e s e n t s   i m po r t a nt   i n f o r m a t i o n ,   t h i s   i s   w h a t   h a ppe n e b y   m a x   po o l i n m e t h o d ,   b ut   o ur   pr o po s e m e t h o gi v e s   b e t t e r   a c c ur a c y   (99. 84%),   t h i s   i s   due   t o   a   r e duc t i o n   i n   e l i m i n a t e de t a i l s   o f     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   no v e l   pool i ng   l a y e r   bas e o ga us s i an   f un c t i on   w i t w av e l e t   t r ans f or m   ( A qe e l   M .   H am ad   a l hus s ai n y )   1295   t h e   i m a ge .   T a b l e   s h o w s   t h e   di f f e r e n t   pe r f o r m a n c e   m e t r i c s   f o r   (G W T 1)  m e t h o d,   i t   i s   a c h i e v e d   b e s t   s e n s i t i v i t y   (99. 97%)  a n l o w e s t   F P E   (0. 03%).         T a b l e   4 .   R e s ul t s   o f   (G W T 1)  f o r   M N IS T   d a t a s e t   M e t h o d     M a x   a v e ra g e   G W T 1   G W T 1 + M a x   G W T 1 + A v e ra g e   A c c u ra c y   ( % )   9 8 . 8 0   9 8 . 7 2   9 9 . 8 4   9 9 . 8 4   9 9 . 7 6       T a b l e   5 .   P e r f o r m a n c e   m e t ri c s   f o r   (G W T 1)   f o r   M N IS T   d a t a s e t   M e t h o d     G W T 1   G W T 1 + M a x   G W T 1 + A v e ra g e   A c c u ra c y   ( % )   9 9 . 8 4   9 9 . 7 2   9 9 . 7 6   S e n s i t i v i t y   ( S N % )   9 9 . 9 7   9 9 . 7 2   9 9 . 7 6   F a l s e   E rr o Ra t e   F E R   ( % )   0 . 0 3   0 . 2 8   0 . 2 4   S p e c i f i c i t y   ( %   9 9 . 5 2   9 9 . 6 8   9 9 . 7 8   E RR   ( % )   0 . 1 6   0 . 1 6   0 . 2 4       T h e   r e s ul t s   o f   s e c o n m e t h o (G W T 2)  i s   s h o w n   i n   T a b l e   6.   (G W T 1+ M a x)  i s   a c h i e v e b e s t   r e s ul t (a c c = 99. 96%)  b e c a us e   t h i s   m e t h o i s   de pe n de o n   f e a t ur e   o f   t h e   s i gn a l ,   s o   t h e   c o m b i n a t i o n   o f   i t   w i t h   M a po o l i n c a n   r e duc e   t h e   dr o ppi n o f   de t a i l s   i n f o r m a t i o t o   m i n i m um   e xt e n t   po s s i b l e   a n a c h i e v e h i gh   a c c ur a c y   a n i m pr o v e m e n t   i n   a l l   pe r f o r m a n c e   m e t r i c s   a s   s h o w n   i n   T a b l e   7,   s i n c e   i t   i s   a c h i e v e h i gh   a c c ur a c y   (99. 96 w i t h   h i gh   s e n s i t i v i t y   (99. 96%)  a n l o w e s t   F P R   (0. 04% ).   F i gur e   8   s h o w s   t h e   a c c ur a c y   pr o gr e s f o r   ( G W T 2 m e t h o d,   i t   i s   c l e a r   t h a t ,   t h e   m o de l   i s   n e e de j us t   e po c h s   t o   r e a c h   t o   m o r e   t h a n   (95%   a c c ur a c y   a n t o   m i n i m i z e   t h e   l o s s   r a t e   t o   l e s s   t h a 0. 25  a s   s h o w n   i n   F i gur e   9 ,   w h i c h   s h o w s   t h e   l o s s   c ur v e   f o r   t h e   s a m e   m e t h o d   T h e   c o n f us i o n   m a t r i x   de t a i l s   o f   th i s   m e t h o i s   de s c r i b e i n   T a b l e   8,   a s   w e   n o t e ,   t h e r e   i s   o n l y   o n e   v a l ue   i s   n o t   c o r r e c t ,   w h i l e   a l l   t h e   o t h e r   di a go n a l   e l e m e n t   o f   t h e   m a t r i a r e   250,   w h i c h   m e a n s   t h e r e   a r e   h i gh   m a t c h   b e t w e e n   t h e   t a r ge t   a n a c t ua l   c l a s s e s ,   a l s o   t h e   s pe c i f i c i t y   a n s e n s i t i v i t y   a r e   100%  f o r   a l l   c l a s s e s   e xc e pt   f o r   o n e   m i s t a k e .   T h e   r e s ul t s   o f   t h i rd  m e t h o ( G W T 3)  a r e   pr e s e n t e i n   T a b l e   9,   t h e   b e s t   a c c ur a c y   i s   a c h i e v e b y   (G W T 3+ a v e r a ge m e t h o d,   b e c a us e   t h i s   m e t h o i s   de pe n de o n   t h e   e n t i r e   s i gn a l   s t a t i s t i c s ,   a v e r a ge   m e t h o c a n   pr o v i de   t h e   b a s i c   f e a t ur e s   a n gi v e   b e t t e r   r e s ul t s   a f t e r   c o m b i n e i t   w i t h   p r o po s e G W T a s   s h o w n   i n   t h e   de t a i l   de s c r i pt i o n   r e s ul t s   i n   T a b l e   10.       T a b l e   6 .   R e s ul t s   o f   (G W T 2)  f o r   M N IS T   d a t a s e t   M e t h o d     M a x   a v e ra g e   G W T 1   G W T 1 + M a x   G W T 1 + A v e ra g e   A c c u ra c y   ( % )   9 8 . 8 0   9 8 . 7 2   9 9 . 6 4   9 9 . 9 6   9 9 . 8 0       T a b l e   7 .   P e r f o r m a n c e   m e t ri c s   f o r   (G W T 2)   f o r   M N IS T   d a t a s e t   M e t h o d     GW T2   G W T2 + M a x   G W T2 + A v e r a g e   A c c u ra c y   ( % )   9 9 . 5 2   9 9 . 9 6   9 9 . 8 0   S e n s i t i v i t y   ( S N % )   9 9 . 9 7   9 9 . 9 6   9 9 . 8 4   F a l s e   E rr o Ra t e   F E R   ( % )   0 . 0 3   0 . 0 4   0 . 1 6   S p e c i f i c i t y   ( %   9 9 . 5 2   9 9 . 8 4   9 9 . 8 0   E RR   ( % )   0 . 4 8   0 . 1 6   0 . 2 0           F i gu r e   8 .   A c c ura c y   pr o gr e s s   f o r   ( G WT2 )   m e t h o f o r   M N IS T   d a t a s e t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   3 D e c e m be r   2 020   :     12 89   -   12 98   1296       F i gu r e   9 .   L o s s   pr o g r e s s   f o r   ( G WT2 )   m e t h o f o r   M N IS T   d a t a s e t       T a b l e   8 .   Co n f us i o n   m a t r i x   o f   (G W T 2)  m e t h o f o r   M N IS T   da t a s e t   T a rg e t   Cl a s s     Cl a s s   0   Cl a s s   1   Cl a s s   2   Cl a s s   3   Cl a s s   4   Cl a s s   5   Cl a s s   6   Cl a s s   7   Cl a s s   8   Cl a s s   9   s e n s i t i v i t y   O u t p u t   Cl a s s   C l a s s   0   250   10%   0   0   0   0   0   0   0   0   0   100%   Cl a s s   1   0   250   10%   0   0   0   0   0   0   0   0   100%   Cl a s s   2   0   0   250   10%   0   0   0   0   0   0   0   100%   Cl a s s   3     0   0   0   250   10%   0   0   0   0   0   0   100%   Cl a s s   4   0   0   0   0   250   10%   0   0   0   0   0   100%   Cl a s s   5   0   0   0   0   0   250   10%   0   0   0   0   100%   Cl a s s   6   0   0   0   0   0   0   250   10%   0   0   0   100%   Cl a s s   7   0   0   0   0   0   0   0   250   10%   0   0   9 9 . 9 6 %   Cl a s s   8   0   0   0   0   1   0   0   0   250   10%   0   100%   Cl a s s   9   0   0   0   0   0   0   0   0   0   250   10%   100%     100%   100%   100%   100%   9 9 . 9 6 %   100%   100%   100%   100%   100%   100%       T a b l e   9   r e s ul t s   o f   (G W T 3)  f o r   M N IS T   da t a s e t   M e t h o d     M a x   a v e ra g e   G W T 3   G W T 3 + M a x   G W T 3 + A v e ra g e   A c c u ra c y   ( % )   9 8 . 8 0   9 8 . 7 2   9 9 . 6 0   9 9 . 6 4   9 9 . 8 0       T a b l e   10 .   P e r f o r m a n c e   m e t r i c s   f o r   (G W T 3 f o r   M N IS T   d a t a s e t   M e t h o d     G W T 3   G W T 3 + M a x   G W T 3 + A v e ra g e   A c c u ra c y   ( % )   9 9 . 6 0   9 9 . 6 4   9 9 . 8 0   S e n s i t i v i t y   ( S N % )   9 9 . 6   9 9 . 6 4   9 9 . 8 0   F a l s e   E rr o Ra t e   F E R   ( % )   0 . 0 4   0 . 0 3 6   0 . 2   S p e c i f i c i t y   ( %   9 9 . 6 0   9 9 . 9 6   9 9 . 8 0   E RR   ( % )   0 . 0 4   0 . 0 3 6   0 . 2       3. 3 .     R e s u l ts   o C I F A R   10  d atas e t   T h e   t h i r t y pe   o f   da t a b a s e   us e i n   t h i s   pa pe r   i s   CIF A R 10  da t a b a s e ,   t h e   s i z e   o f   t h i s   da t a b a s e   i s   (60000*28*2 8*3),   w h e r e   3   r e pr e s e n t s   R G B   i m a ge ,   w h i l e   (28*28)  r e pr e s e n t s   t h e   s i z e   o f   i m a ge .   T h e r e   a r e   6000 i m a ge ,   50000  o f   t h e m   a r e   us e f o r   t r a i ni ng  t h e   m o de l ,   w h i l e   t h e   r e s t   a r e   us e f o r   t e s t i n g   t h e   m o de l   a c c ur a c y .   T h e   m o de l   i s   t r a i n e w i t h   i n i t i a l   l e a r n i ng   r a t e   (0. 01),   10  e po c h ,   390  i t e r a t i o n   pe r   e po c h   a n m i n i m um   b a t c h   us e i s   128.     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   no v e l   pool i ng   l a y e r   bas e o ga us s i an   f un c t i on   w i t w av e l e t   t r ans f or m   ( A qe e l   M .   H am ad   a l hus s ai n y )   1297   T h e   r e s ul t   o f   t h e   pr o po s e m e t h o ds   G W T 1,   G W T a n G W T a r e   pr e s e n t e i n   T a b l e s   11,   12  a n d   13  r e s pe c t i v e l y .   A s   w e   n o t e ,   t h e   pr o po s e m e t h o ds   a r e   a c h i e v e t h e   b e s t   r e s ul t s ,   w h i c h   a r e   (72. 68%),   (73. 12%)  a t   G W T a n G W T r e s pe c t i v e l y ,   w h i l e   G W T gi v e s   a c c ur a c y   l e s s   t h a n   M a a n a v e r a ge   m e t h o d.   T h e   b e s t   r e s ul t   i s   a c h i e v e w i t h   G W T m e t h o , b e c a us e   t h i s   da t a b a s e   h a v e   R G B   i m a ge   w i t h   di f f e r e n t   c h a r a c t e r i s t i c s ,   w h i c h   m e a n s   t h a t   t h e r e   a r e   s o m e   i m a ge   h a v e   s pa t i a l   r e dun da nt   i n   n e i gh b o r i n g   pi xe l s ,   G W T m e t h o c a n   e xt r a c t   t h e   m o s t   s i gn i f i c a n t   f e a t ur e s   f r o m   t h e   s i gn a l   a c c o r di n t o   t h e   b a s i c   s t a t i s t i c s ,   w h i c h   r e pr e s e n t s   m o s t   i m po rt a nt   f e a t ur e s   a n gi v e s   b e s t   r e s ul t s   a s   s h o w n   i n     t h e   de t a i l   de s c r i pt i o n   o f   t h i s   m e t h o i n   T a b l e   14  , w h i c h   de s c r i b e s   c o n f us i o n   m a t r i b e t w e e n   s a t i s f i e r e s ul t   a n a c t ua l   r e s ul t .         Ta b l e   11 .   R e s ul t s   o f   (G W T 1)  m e t h o f o r   CIF A R 10  d a t a s e t   M e t h o d     M a x   a v e ra g e   G W T 1   G W T 1 + M a x   G W T 1 + A v e ra g e   A c c u ra c y   ( % )   7 2 . 5 9   7 2 . 4   7 2 . 6 8   7 2 . 1 8   7 2 . 1 2       T a b l e   1 2 .   R e s ul t s   o f   (G W T 2)   m e t h o f o r   CIF A R 10  d a t a s e t   M e t h o d     M a x   a v e ra g e   G W T 2   G W T 2 + M a x   G W T 1 2 + A v e ra g e   A c c u ra c y   ( % )   7 2 . 5 9   7 2 . 4   7 3 . 1 2   7 2 . 6 2   7 2 . 4 4       T a b l e   13 .   R e s ul t s   o f   (G W T 3)  m e t h o f o r   CIF A R 10  d a t a s e t   M e t h o d     M a x   a v e ra g e   G W T 3   G W T 3 + M a x   G W T 1 3 + A v e ra g e   A c c u ra c y   ( %)   7 2 . 5 9   7 2 . 4   7 2 . 3 5   7 2 . 2 9   7 1 . 5 7       T a b l e   14 .   Co n f us i o n   m a t r i o f   (G W T 2)  m e t h o f o r   CIF A R 10  da t a s e t   Ta r g e C l a s s     a i rp l a n e   S e n s i t i v i t y %   t ru c k   s h i p   h o u rs   fro g   dog   d e e r   cat   b i rd   a u t o m o b i l e   O u t p u t   Cl a s s   a i rp l a n e   798   8 . 0 %   25   75   25   25   17   5   19   83   39   7 1 . 8 5   a u t o m o b i l e   10   803   8 . 0 %   0 5   6   4   5   3   4   18   57   8 7 . 8   b i r d   44   1   592   5 . 9 %   78   62   62   42   40   15   4   6 3 . 0   c a t   18   11   52   561   5 . 6 %   60   161   70   42   14   9   5 5 . 1   d e e r   24   4   110   79   726    7 . 3 %   63   64   75   5   4   6 2 . 9   d o g   4   4   67   131   25   599   6 . 0 %   22   55   4   3   6 5 . 5   f r o g   9   8   56   55   40   27   770   7 . 7 %   5   7   3   7 8 . 6   h o u r s   7   2   13   25   43   32   3   731   7 . 3 %   0   2   8 5 . 2   s h i p   48   30   14   12   10   4   5   4   826   8 . 3 %   26   8 4 . 4   t ru c k   38   112   16   28   5   10   16   25   28   853   8 . 5 %   7 5 . 4   s p e c i fi t y   7 9 . 8   8 0 . 3   5 9 . 2   5 6 . 1   7 2 . 6   5 9 . 9   7 7 . 0   7 3 . 1   8 2 . 6   8 5 . 3   7 2 . 6       4.   C O N C LU S I O N   Co n v o l ut i o n   i s   t h e   b a s i c   l a y e r   of   t h e   c o n v o l ut i o n a l   n e u r a l   n e t w o r (CN N s ),   b ut   i t   c a n   r e s ul t   i h uge   da t a   i t h e i o ut put ,   w h i c m a y   i n c r e a s e   t h e   c o m pl e xi t y   o f   t h e   n e t w o r a n d   r e duc e   t h e   a c c ura c y   o f   t h e   n e t w o r k,   s o   di ff e r e n t   s t ud i e s   a n d   r e s e a r c h e s   a r e   pe r f o r m e d   t o   do w n   s a m pl e   a n d   r e duc e   t h e   s i z e   o f   t h e s e   da t a   t o   i n c r e a s e   t h e   (CN N )   e f f i c i e n c y   a n d   r o b us t n e s s ,   i t hi s   pa pe r,   a   n e w   po o l i n g   m e t h o ds   w e r e   p r o po s e b a s e o G a us s i a pr o b a b i l i t y   di s t r i b ut i o f un c t i o n   (P D F ),   t hi s   f u n c t i o i s   us e t o   de t e rm i n e   t h e   b a s i c   f e a t u r e s   o f   t h e   s i g n a l ,   t h e di f fe r e nt   s t a t i s t i c s   w i t h   d i f f e r e n t   w e i ght s   w e r e   e xt r a c t e a n us e a s   a   c o e ff i c i e n t   f o r   w a v e l e t   t ra n s f o r m   f i l t e i n   d i f f e re n t   p ro p o s e d   m e t ho d s .   A c c o rd i n g   t o   t he   p ro c e d u r e   o f   e x t r a c t i n g   w a v e l e t   c o e f f i c i e n t s   f i l t e r .   T hr e e   m e t h o ds   a r e   pr o po s e d ,   t h e   f i r s t   m e t h o (G W T 1 i s   us e t h e   n o rm a l i z e v a l ue s   o f   b a s i c   s t a t i s t i c s   a s   w e i gh t   t o   b e   m u l t i pl i e d   by   o r i gi n a l   s i g na l ,   t h e   s e c o n d   m e t h o d   (G W T 2)   us e d   t h e   de t e rm i n e d   s t a t i s t i c s   a s   f e a t u r e s   o f   t h e   o r i gi na l   s i g n a l   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   3 D e c e m be r   2 020   :     12 89   -   12 98   1298   a n d   m ul t i pl y   i t   w i t c o n s t a n t   w e i ght s   b a s e o G a us s i a f unc t i o n ,   w hi l e   t h e   t hi r d   m e t h o d   (G W T 3)   i s   w o r k   i s i m i l a w a y   t o   (G W T 1)   e xc e pt   t ha t ,   i t   de pe n de d   o e nt i r e   s i g n a l   i n s t e a d   o f   e ve r y   po o l   s i z e   f o r   c a l c ul a t i o n     t h e   b a s i c   s t a t i s t i c s .   O t h e m e t h o ds   a r e   p r o po s e by   c o m b i n e t h e   p r e v i o us   m e t h o ds   w i t o t h e s t a n d a r m e t h o ds   s uc h   a s   m a a n d   a v e r a ge   po o l i n g ,   by   f i r s t   a ppl y   G W T   m e t h o w i t h o ut   do w n   s a m p l i n g   (s t ri de = 1) ,   t h e a ppl y i n g   m a x   o r   a v e r a ge   o r   m i x i n g   o f   t h e m .   T h e   e xpe r i m e nt s   a r e   p e r f o r m e o d i f fe r e nt   d a t a   s e t s ,   w h i c a r e   t w o   di m e n s i o n s   (M N IS T   a n d   CIF A R 10)  a n d   o n e   d i m e n s i o n   s i g n a l   ( E CG   s i g na l   M IT - B IH   da t a s e t ) ,   t h e   r e s ul t s   a r e   e v a l ua t e i t e r m s   o f   a c c ur a c y ,   F P R ,   a nd  E E R F o E C G   s i g na l   M I T - B IH   da t a s e t ,   t h e   p r o po s e m e t h o a c hi e v e (A c c = 93. 97%),   w h i c i s   o ut pe r f o r m e s t a n d a r d   m e t h o ds   (M a x   (92 . 55%)   a n a v e r a ge   (91. 59%)) ,   w h i l e   f o M N IS T   da t a b a s e ,   t h e   p r o po s e m e t h o i s   a c hi e v e (A c c = 99 . 96%)   g r e a t e t ha M a x   (98 . 8%)   a n d   a v e r a ge   (98. 72%) ,   a l s o   f o r   CIF A R 10   d a t a b a s e ,   t h e   p r o po s e m e t h o i s   a c hi e v e (73. 1 2%)   m o r e   t h a m a (72. 59 %)  a n a v e r a ge   (72 . 4% ) .   A l s o   t h e   c o m b i n a t i o n s   o f   t h e   p r o po s e m e t h o w i t h   m a a nd  a v e ra ge   m e t h o a r e   a c h i e v e goo i m p r o v e m e n t   ( f o r   E CG   d a t a b a s e   G W T 2+ M a s a t i s f i e 93. 51% ,   M N IS T   da t a b a s e   G W T 2+ M a x   s a t i s f i e 99. 80%   a nd   f o r   CIF A R 1 G W T 2+ a v e ra ge   a c hi e v e 72. 62 %) .   T h e   p r o po s e m e t ho d s   a re   p e rf o r m   o r   o u t p e r f o r m   p r e v i o u s   m e t ho d s   a nd   c a n   b e   u s e d   a s   p o o l i n g   m e t ho d s   i n   c l a s s i f i c a t i o n   a p p l i c a t i o n .       R EF ER EN C ES   [ 1]   K .   H e ,   X .   Z h a ng ,   e t   a l . ,   " D e e r e s i d ua l   l e a r n i ng   f o r   i m a g e   r e c o g ni t i o n, "   2016   I E E E   C on f e r e nc e   on   C om pu t e r   V i s i on   and  P at t e r n   R e c ogn i t i on   ( C V P R ) ,   L a s   V e g a s ,   N V ,   pp .   770 - 778 ,   20 1 6.   [ 2 ]   A .   G .   H o w a r d ,   e t   a l . ,   " E f f i c i e n t   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s   f o r   m o b i l e   v i s i o n   a p p l i c a t i o n s , "   a r X i v ,   p p .   1 7 0 4 . 0 4 8 6 1 ,   2 0 1 7 .   [ 3]   M .   R i e s e nh ube r   a nd   T .   P o g g i o ,   " J us t   o ne   v i e w :   I nv a r i a nc e s   i n   i nf e r o t e m po r a l   c e l l   t un i ng ,   A dv an c e s   i n   ne ur al   i nf or m a t i on   P r oc e s s i ng   Sy s t e m s ,   p p.   21 5 - 221 ,   1 998 .   [ 4]   M .   R i e s e nhu be r   a nd  T .   P o g g i o ,   " H i e r a r c h i c a l   m o de l s   o f   o bj e c t   r e c og ni t i o i n   c o r t e x , "   Na t ur e   N e ur os c i e nc e ,   v o l .   2 ,   no .   11 ,   pp .   1019 - 10 25,   1 999 .   [ 5]   T .   S e r r e   a nd  T .   P o g g i o ,   " A   ne ur o m o r phi c   a pp r o a c t o   c o m put e r   v i s i o n, "   C om m uni c a t i ons   o f   t he   A C M ,   v o l .   53 ,     no .   10 ,   pp .   54 - 61,   2 010 .   [ 6]   T .   W i l l i a m s   a nd   R .   L i ,   " W a v e l e t   po o l i ng   f o r   c o nvo l ut i o na l   n e ur a l   n e t w o r ks ,   C on f e r e nc e   I C L R pp .   1 - 12,   2 018 .   [ 7]   F .   S a e e da n,   e t   a l . " D e t a i l - pr e s e r v i ng   po o l i ng   i n   d e e p   n e t w o r k s , "   2 018   I E E E / C V F   C on f e r e nc e   on   C om pu t e r   V i s i on   and  P at t e r n   R e c ogn i t i on ,   S a l t   L a ke   C i t y ,   U T ,   pp .   9108 - 91 16,   2 018 .   [ 8]   C. - Y .   L e e ,   P .   W .   G a l l a g he r ,   a nd   Z .   T u . ,   " G e n e r a l i z i ng   po o l i ng   f un c t i o ns   i n   c o nvo l ut i o na l   ne ur a l   n e t w o r ks :   M i x e d ,   g a t e d,   a nd   t r e e , "   I A I ST A T S ,   v o l .   51 ,   pp .   464 - 472 ,   201 6.   [ 9]   D .   Y u,   H . ,   e t   a l . ,   " M i xe d   po o l i ng   f o r   c o nv o l ut i o na l   ne u r a l   ne t w o r k s , I nt e r na t i ona l   C on f e r e nc e   o n   R ou gh   Se t s   and   K now l e dge   T e c hnol o gy v o l .   881 8,   pp .   364 - 37 5,   20 14 .   [ 1 0 ]   M .   Z e i l e r   a n d   R .   F e r g u s ,   " S t o c h a s t i c   p o o l i n g   f o r   r e g u l a r i z a t i o n   o f   d e e p   c o n v o l u t i o n a l   n e u r a l   N e t w o r k s ,"   I n   I C L R ,   2 0 1 3 .   [ 11]   T a kum i   K o ba y a s hi ,   " G a u s s i a n - B a s e d   P o o l i ng   f o r   C o nv o l ut i o na l   N e ur a l   N e t w o r k s , "   N I P P r oc e e di ng s ,   20 19.   [ 12]   P .   L i u ,   H .   Z ha ng ,   et   a l . ,   " M u l t i - l e v e l   w a v e l e t   c o nv o l ut i o na l   ne ur a l   n e t w o r ks ,   a r X i v : 1 907 . 03 128v 1 ,   20 19 .   [ 13]   T a kum i   K o ba y a s hi ,   " G l o ba l   F e a t ur e   G u i de d   L oc a l   P o o l i ng , "   201 I E E E / C V F   I n t e r na t i o nal   C on f e r e nc e   on  C om p ut e r   V i s i on   ( I C C V ) ,   S e o ul ,   K o r e a   ( S o ut h) pp.   3 365 - 337 4,   20 19 .   [ 14]   P e ng j L i u ,   et   a l . ,   " M ul t i - l e v e l   W a v e l e t   C o nv o l ut i o na l   N e u r a l   N e t w o r ks , "   ar X i v : 190 7. 0 3128 v 1 2019 .   [ 15]   S hi n   F u j i e da ,   e t   a l . ,   " W a v e l e t   c o nv o l ut i o na l   n e ur a l   ne t w o r ks   f o r   t e x t ur e   c l a s s i f i c a t i o n, "   ar X i v : 170 7. 0739 4 ,   20 17.   [ 16]   C hi r a z   B e n   C ha a ba ne e t a l ,   " W a v e l e t   c o nv o l ut i o na l   ne u r a l   ne t w o r ks   f o r   ha ndw r i t t e n   d i g i t s   r e c o g n i t i o n, "   I nt e r n at i ona l   C onf e r e nc e   on   H y b r i I n t e l l i ge nt   Sy s t e m s ,   v o l .   73 4,   pp .   305 - 31 0,   2 017.   [ 17]   A .   P e w s e y ,   " L a r g e - s a m pl e   i nf e r e nc e   f o r   t h e   g e n e r a l   ha l f - no r m a l   d i s t r i bu t i o n, "   C om m uni c a t i o ns   i n   S t a t i s t i c s - T he or y   and  M e t h o ds ,   v o l .   31 ,   no .   7,   pp .   104 5 - 1054 ,   2002 .     [ 18]   T i m o t hy   D oz a t ,   " I nc o r po r a t i ng   N e s t e r o v   M o m e nt um   i n t o   A da m , "   I C L R ,   v o l .   1 ,   pp.   2 013 - 201 6,   20 16 .   [ 19]   A l l i s o n   M   R o s s e t t o   a nd   W e nj i n   Z ho u ,   " I m pr ov i ng   C l a s s i f i c a t i o n   w i t h   C N N s   us i ng   W a v e l e t   P o o l i ng   w i t h   N e s t e r o v - A c c e l e r a t e A da m ,   E P i C   S e r i e s   i C o m put i ng ,"   P r oc e e di ngs   o f   1 1t I n t e r nat i o nal   C on f e r e nc e   on  B i o i n f or m at i c s   and  C om pu t at i o nal   B i o l ogy v o l .   6 0,   pp .   84 - 93 ,   2019 .   [ 20]   T r a v i s   W i l l i a m s ,   R o be r t   L i ,   " A E ns e m bl e   o f   C o nv o l ut i o na l   N e ur a l   N e t w o r ks   U s i ng   W a v e l e t s   f o r   I m a g e   C l a s s i f i c a t i o n, "   J o ur n al   o f   S of t w ar e   E n g i ne e r i ng   an A ppl i c at i on s ,   v o l .   11,   no .   2 ,   pp.   6 9 - 88,   20 18 .   [ 2 1 ]   S .   X i e ,   R .   G i r s h i c k ,   e t   a l . ,   " A g g r e g a t e d   r e s i d u a l   t r a n s f o r m a t i o n s   f o r   d e e p   n e u r a l   n e t w o r k s , "   C V P R ,   p p .   5 9 8 7 - 5 9 9 5 ,   2 0 1 7 .   [ 22]   A j a y   K um a r   B o y a t   a nd   B r i j e nd r a   K um a r   J o s h i ,   " A   r e v i w   pa p e r :   N oi s e   m o de l s   i n   d i g i t a l   i m a g e   p r o c e s s i ng ,   S i g na l   &   I m a g e   P r o c e s s i ng , "   A I n t e r na t i o na l   J our na l   ( SI P I J ) ,   v o l .   6,   n o.   2 ,   2015 .   [ 2 3 ]   Y a a k o v   B a r - S h a l o m ,   X .   R o n g   L i ,   E s t i m a t i o n   w i t h   A p p l i c a t i o n s   t o   T r a c k i n g   a n d   N a v i g a t i o n ,   J o h n   W i l e y   &   S o n s ,   2 0 0 1 .   [ 24]   G ua np i ng   L u,   J i ns o ng   W a nd   R o be r t   C .   Q i u,   " A na l y s i s   o t he   E m pi r i c a l   S pe c t r a l   D i s t r i b ut i o o f   L a r g e   S a m pl e   C o v a r i a n c e   M a t r i x   a n d   A p p l i c a t i o n s   f o r   L a r g e   A n t e n n a   A r r a y   P r o c e s s i n g , "   i n   I E E E   A c c e s s ,   v o l .   7 ,   p p .   3 0 1 3 5 - 3 0 1 4 1 ,   2 0 1 9 .   [ 25]   V a i bh a v   A r o r a   a nd  R a v i   K um a r ,   " P r o ba bi l i t y   D i s t r i bu t i o E s t i m a t i o o f   M us i c   S i g na l s   i T i m e   a nd   F r e que nc y   D o m a i ns , "   201 1 9t I n t e r nat i on al   C on f e r e nc e   on   D i gi t a l   S i g nal   P r oc e s s i ng ,   H o ng   K o ng ,   pp.   409 - 41 4,   20 14.   [ 26]   D a ni l o   P e na ,   C a r l o s   L i m a ,   M a t he us   D o r i a ,   L ua P e na ,   A l l a n   M a r t i a nd   V i c e n t e   S o us a ,   " A c o us t i c   I m pul s i v e   N o i s e   B a s e d   o N o n - G a us s i a M o de l s :   A E x pe r i m e n t a l   E v a l ua t i o n , "   Se n s or s ,   v o l .   1 9,   no .   12 ,   pp.   2 827 - 284 4,   20 19 .   Evaluation Warning : The document was created with Spire.PDF for Python.