I n te r n ati o n al   Jo u r n al   o El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   10 ,   N o .   2 A p r i l   2020 ,   p p.   2045 ~ 205 3   IS S N :   2088 - 8708 D O I :   10. 1 1591 / i j e c e . v 10 i 2 . pp2045 - 2053             2045       Jou r n al   h o m e pa ge ht t p: / / i j e c e . i ae s c or e . c om / i nd e x . php / IJ E CE   Im p l e m e n t a t i o n   o f   d e e p   n e u r a l   n e t w o r k s (D N N )   w i t h   b a t c h   n o r m a l i z a t i o n   f o r   b a t i k   p a t t e r n   r e c o g n i t i o n       I d N u r h ai d a 1 ,   V i n a   A yu m i 2 ,   D e v i   F i tr i an ah 3 ,   R e m m A .   M .   Z e n 4 ,   H an d r i e   N o p r i s s o n 5 ,   H o n W e i 6   1 , 2 , 3 , 5   F a c ul t y   o f   C o m put e r   S c i e nc e ,   U n i v e r s i t a s   M e r c B ua n a ,   I ndone s i a   4 S c hoo l   o f   C om put i ng ,   N a t i o na l   U ni v e r s i t y   o f   S i ng a po r e ,   S i ng a po r e   5 D e pa r t m e n t   o f   C o m put e r   S c i e nc e ,   U n i v e r s i t y   o f   R e a di ng ,   R e a di ng   R G 6A Y ,   U n i t e d   K i ng do m       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   J un   7 ,   2019   R e v i s e O c t   22,   2 019   A c c e pt e N o v   1,   2019       O ne   o f   t he   m o s t   f a m o us   c ul t ur a l   he r i t a g e s   i I ndo ne s i a   i s   ba t i k .   B a t i i s   a   s p e c i a l l y   m a de   dr a w i ng   c l o t by   w r i t i ng   M a l am   ( w a x )   o t h e   c l o t h,   t h e n   pr o c e s s e i a   c e r t a i w a y .   T he   di v e r s i t y   of   m o t i f s   bo t i I ndone s i a   a nd   t he   a l l i e c o unt r i e s   r a i s e s   ne w   r e s e a r c t o p i c s   i n   t h e   f i e l o f   i n f o r m a t i o t e c hno l o gy ,   bo t f o r   c o ns e r v a t i o n,   s t o r a g e ,   p ub l i c a t i o a nd  t he   c r e a t i o o f   ne w   ba t i m o t i f s .   I c o m put e r   s c i e nc e   r e s e a r c a r e a ,   s t ud i e s   a b o ut   B a t i k   pa t t e r ha v e   b e e n   do ne   by   r e s e a r c he r s   a n s o m e   a l g o r i t hm s   h a v e   be e s uc c e s s f ul l y   a ppl i e i B a t i p a t t e r r e c o g ni t i o n.   T hi s   s t u dy   w a s   f o c us e o n   B a t i m o t i f   r e c o g ni t i o us i ng   t e x t ur e   f us i o f e a t ur e   w h i c i s   G a bo r ,   L o g - G a bo r ,   a n G L C M ;   a nd  us i ng   P C A   f e a t u r e   r e duc t i o t o   i m pr o v e   t he   c l a s s i f i c a t i o a c c ur a c y   a nd  r e duc e   t he   c o m put a t i o na l   t i m e .   T o   i m pr o v e   t he   a c c ur a c y ,   w e   pr o p o s e a   D e e N e ur a l   N e t w o r m o de l   t o   r e c ogni s e   ba t i k   pa t t e r a nd  u s e b a t c no r m a l i s a t i o a s   a   r e g ul a r i s e s   t o   g e ne r a l i s e   t he   m o de l   a nd  t o   r e duc e   t i m e   c o m pl e xi t y .   F r o m   t he   e x pe r i m e nt s ,   t he   f e a t ur e   e xt r a c t i o n,   s e l e c t i o n,   a n r e duc t i o g a v e   be t t e r   a c c ur a c y   t ha t he   r a w   da t a s e t .   T he   f e a t u r e   s e l e c t i o a nd   r e duc t i o a l s o   r e d uc e   t i m e   c o m pl e x i t y .   T he   D N N + B N   s i g ni f i c a nt l y   i m pr o v e   t he   a c c ur a c y   o f   t he   c l a s s i f i c a t i o m o de l   f r o m   65. 36%   t o   83. 15 % .   B N   a s   a   r e g ul a r i z a t i o ha s   s uc c e s s f ul l y   m a de   t he   m o de l   m o r e   g e ne r a l ,   he nc e   i m p r o v e   t he   a c c ur a c y   o f   t he   m o de l .   T he   pa r a m e t e r s   t u ni ng   a l s o   i m p r o v e a c c ur a c y   f r o m   83. 15 %   t o   8 5. 5 7% .   Ke y w or d s :   B a t c h   n o r m a l i z a t i o n   D e e l e a rni n g   D e e n e u r a l   n e t w o r k   In do n e s i a b a t i k     Pa t t e rn  r e c o gn i t i o n   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e   A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   Ida   N u rha i da ,   F a c ul t y   of   Co m put e r   S c i e n c e ,   U n i v e r s i t a s   M e r c u   B ua n a ,   J a l a R a y a   M e r uy a   S e l a t a n o .   1,   K e m b a n ga J a ka rt a   B a r a t - 16550,   I n do n e s i a .   E m a i l :   i d a . nu rh a i da @ m e r c ub ua na . a c . i d       1.   I N TR O D U C TI O N   T e c hn o l o g y   a n g l o b a l i z a t i o h a v e   b r o ugh t   f u n da m e n t a l   c h a n ge s   i n   t h e   i n f o r m a t i o n   t e c hn o l o gy   [1] In do n e s i a   ha s   a   t a n gi b l e   a nd  i nt a ngi b l e   c ul t u ra l   h e ri t a ge .   O ne   of   t h e   m o s t   f a m o us   c ul t u ra l   h e ri t a ge s   i s   b a t i k.   Ci t i ng  t h e   de f i n i t i o n   o f   t h e   I n do n e s i a n   D i c t i o na r y   (K BB I) ,   i t   i s   e xpl a i n e t h a t   b a t i i s   a   s pe c i a l l y   m a de   dra w i n c l o t h   by   w r i t i n Mal am   (w a x)  o n   t h e   c l o t h ,   t h e n   pr o c e s s e d   i n   a   c e r t a i n   w a y   [2] .   T h e   w o r B a t i o r i gi na t e f r o m   t h e   J a v a n e s e   l a n gua ge   a n c o m po s e of   t w pa r t s ,   na m e l y   M b a t   a n T i t i k” ,   a n m e a n s   t o   m a ke   a   t i t i k   (do t )   [3] .   E a c h   r e gi o n   i n   I n do n e s i a   ha s   di f fe r e n t   b a t i m o t i f s   a n p a t t e rn   r u l e s   [4] .   T h e   di v e r s i t y   of   m o t i fs   bo t h   i n   I ndo n e s i a   a nd  t h e   a l l i e c ount r i e s   ra i s e s   n e w   r e s e a r c h   t o pi c s   i n   t h e   f i e l of  c o m put e r   s c i e n c e ,   b o t h   f o r   c o n s e r v a t i o n ,   s t o ra ge ,   pub l i c a t i o a n d   t h e   c r e a t i o n   o f   n e w   b a t i m o t i f s .     In   c o m put e r   s c i e n c e   r e s e a r c h   a r e a ,   s t ud i e s   a b o ut   B a t i pa t t e rn   ha v e   be e n   do n e   by   r e s e a r c h e r s   a n d   s o m e   a l go r i t hm s   h a v e   be e n   s uc c e s s f ul l y   a ppl i e i n   B a t i k   pa t t e rn   r e c o gn i t i o n   [5] [7] .   I n   p r e v i o us   w o r k,   S a n a b i l a   a n M a n u ru n (2009)  c o n duc t e r e s e a r c h   o n   b a t i m o t i f s   r e c o gn i t i o n   us i ng  t e m pl a t e   m a t c h i n g   a pp r o a c h   b y   a ppl y i n t h e   G e n e r a l i z e H o ugh   T ra n s f o r m   a n ke y   b l o c f r a m e s   [5] .   A t   t h e   s a m e   t i m e ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   2 A p ri l   2020   :     2 0 4 5   -   2 0 5 3   2046   R a h a di a n t i ,   M a nu r u n g ,   a n P u r e   (2009 r e s e a r c h e t h e   f i e l of   i n f o r m a t i o n   r e t ri e v a l   us i n K - m e a n   a l go r i t hm   w i t h   f e a t ur e   e xt r a c t i o n   us i n L o G a bo r   f i l t e r   a n Co l o r   H i s t o gr a m   f o r   b a t i i m a ge   c l us t e ri n g   [6] .   I n   201 2,   N urha i d a ,   M a n u r u ng,   &   A r y m urt h i   c o n duc t e r e s e a r c h   o n   b a t i i m a ge   da t a s e t   t o   c o m pa r e   pe r f o r m a n c e   of  t hr e e   m e t h o ds   s uc h   a s   Ca nn y   e dge   de t e c t i o n ,   g r e y   l e ve l   c o - oc c ur r e n c e   m a t ri c e s   (G L CM a n G a b o r   f i l t e [7] T h i s   s t udy   s h ow s   t h a t   us i n G L CM   a s   fe a t ur e s   ha s   pe r f o r m e t h e   h i g h e s t   c l a s s i f i c a t i o n   a c c ura c y .     R a n gku t i   e t   a l . ,   p r o po s e B a t i Im a ge   R e t r i e v a l   b a s e o n   s i m i l a ri t y   of   s h a pe   a n t e xt u r e   c ha r a c t e r i s t i c s   [8] a n i 2014 ,   t h e y   pr o po s e d   Co n t e nt - b a s e B a t i I m a ge   R e t ri e v a l   b a s e o n   s ha pe   a n d   t e xt u r e   f e a t u r e   a pp l y i n g   e dge   de t e c t i o n   a n w a v e l e t   t r a n s f o r m   m e t h o d   [9] .   I n   201 M i n a rn o   e t   al .   p r o po s e B a t i Im a ge   R e t r i e v a l   b a s e o n   e nh a n c e m i c r o - s t r uc t u r e   de s c r i pt o r   [10]   a nd  B a t i Im a ge   Cl a s s i f i c a t i o n   us i n co - o c c urr e n c e   m a t r i c e s   fo r   e xt r a c t i n t e xt u r e   f e a t u r e   [11] .   I n   20 15,   N u rh a i da   e t   a l .   i n t r o duc e a n   a pp r o a c t o   b a t i p a t t e rn  r e c o gn i t i o us i n g   S IF T   a s   a   f e a t u r e   e xt r a c t i o m e t h o d   [12] .   F u r t h e rm o r e ,   F a hm i   e t   al .   (i n   2016) ,   w a s   c o n duc t e t h e   B a t i k   Im a ge   R e t r i e v a l   us i n f e a t u r e   s e l e c t i o n   a n r e du c t i o n.   T hi s   r e s e a r c h   s h o w s   t ha t   t h e   s e l e c t i o n   a n r e duc t i o n   f e a t ur e   p r o c e s s   c o ul i m p r o v e   t h e   p r e c i s i o n   a n r e duc e   t h e   e xe c ut i o n   t i m e .   F r o m   t h e   e xpe r i m e n t s   s h o w s   t h a t   P CA   f e a t ur e   r e duc t i o n   c a i m p r o v e   t h e   r e t r i e v a l   p r e c i s i o n   w h i l e   S F F S   c a n   r e duc e   t h e   e xe c ut i o n   t i m e   [13] .   I n   20 17,   N u rha i da   e t   al .   de ve l o pe T e xt ur e   F us i o n   f o r   B a t i M o t i f   Re t r i e v a l   S y s t e m ,   t h e y   s y s t e m a t i c a l l y   i n v e s t i ga t e s   t h e   i m pa c t   o f   i m a ge   t e xt u r e   f e a t u r e s   o n   b a t i m o t i f   r e t ri e v a l   pe r f o r m a n c e   [14] .   B a s e o n   t h e   r e s ul t   o f   e a r l i e r   w o r [7]   a n d   [13] ,   t h i s   s t u dy   w a s   fo c us e i n   b a t i m o t i f   r e c o gn i t i o us i n g   t e xt u r e   f us i o n   f e a t u r e   w hi c i s   G a b o r ,   L o g - G a bo r ,   a nd  G L CM   a nd  us i ng  P CA   f e a t u r e   r e duc t i o n   t o   i m p r o v e   t h e   c l a s s i f i c a t i o a c c ura c y   a n d   r e duc e   t h e   c o m put a t i o na l   t i m e .       O n   t h e   o t h e r   ha n d,   r e c e n t   r e s e a r c h   [1 4]   di n o t   us e   a   de e l e a rni n a pp r o a c h.   S t udy   i n   B a t i us i ng  D e e L e a rn i ng  w a s   pe r f o r m e by   [15] ,   t h e y   pr o pos e D e e Co n v o l ut i o n a l   N e t w o r T ra n s f e r   L e a rni n f o r   B a t i Cl a s s i f i c a t i o n.   B a s e o n   [15] [18] ,   de e l e a rni n c a n   i m p r o v e   a c c ur a c y   i n   pa t t e rn   r e c o gn i t i o n .   O n e   o D e e L e a rn i ng  a pp r o a c h e s   i s   a   D e e N e ur a l   N e t w o r (D N N ).   D e e n e ura l   n e t w o r (D N N i s   a   pow e r f ul   m o de l   t h a t   c a n   pe r f o r m   h i g h   a c h i e v e m e n t   o n   p a t t e rn   r e c o gn i t i o n   [19] E v e n   t h o ug h   D N N   ha s   a   go o d   r e put a t i o n   f o r   s o l v i n a   v a ri e t y   of  pa t t e rn   r e c o gn i t i o n   t a s k,   t ra i ni n D N N   i s   qui t e   c h a l l e n gi ng   [20] S e ve r a l   r e s ul t s   ha v e   a ppe a r e t o   c ha l l e n ge   t h e   i m pl e m e n t a t i o n   o f   D N N   [20] [23]   O n e   o f   t h e   c ha l l e n ge s   i s   due   t o   D N N   t r a i n i ng  c o m pl i c a t e b e c a us e   o f   t h e   di s t r i b ut i o n   o f   e a c h   l a y e r ’s   i n pu t s   c ha n ge s   du r i n g   t h e   t r a i n i n s i n c e   t h e   pa ra m e t e r s   o f   t h e   p r e v i o us   l a y e r   a r e   c ha n ge d   [24] .   T hi s   m e t h o c a n   s l o w   d ow n   t h e   t r a i n i ng   p r o c e s s   du e   t o   r e qui r i n l o w e r   l e a rni n ra t e s   a n c a r e f ul   pa ra m e t e r   i n i t i a l i s a t i o n.   T hi s   p r o b l e m   a dd r e s s e by   n o r m a l i s i ng  t h e   l a y e r   i n pu t s   f o r   e a c t ra i ni ng  m i n i - b a t c h.   T hi s   n o r m a l i s a t i o n   m e t h o c a l l e B a t c h   N o rm a l i z a t i o (B N a l l o w s   us   t o   us e   h i g h e r   l e a r n i ng  r a t e s   a n c a r e l e s s   a b o ut   i n i t i a l i s a t i o n.   F urt h e rm o r e ,   B N   a l s o   a c t s   a s   a   r e gul a ri z e r   a n o f t e n   e l i m i na t e s   t h e   r e qui r e o D r o po ut   f o r   r e gul a ri s a t i o n   [25] .   T h i s   s t udy   pr o po s e t o   us e D e e L e a r ni n m e t h o d ,   na m e l y   D e e N e ur a l   N e t w o r t o   m a ke   c o m pa ri s o n   w i t h   t h e   p r e v i o us   s t udy   ( [7]   a n [ 13] )   a n d   u s e b a t c h   n o r m a l i s a t i o n   a s   r e gul a ri s a t i o n   i o ur   m o de l .   D N N   w i t B a t c h   N o r m a l i z a t i o n   i s   e xpe c t e t m a ke   t h e   m o de l   m o r e   ge n e ra l   s o   t h a t   i t   c a n   i m p r o v e   t h e   a c c ur a c y   of   t h e   m o de l .       2.   LI TER A TU R R EV I EW   2. 1 .     B at i k   In do n e s i a n   D i c t i o n a r y   (K BB I)  e xpl a i n s   t ha t   b a t i k   i s   a   s p e c i a l l y   m a de   d r a w i n c l o t h   by   w r i t i n g   t h e   Mal am   (w a x)  o n   t h e   c l o t h,   t h e n   p r o c e s s i n i n   a   c e rt a i n   w a y .   In   Indo n e s i a ,   e a c h   r e gi o n   h a s   c e r t a i c h a ra c t e ri s t i c s   o f   t h e   b a t i m o t i f s   a l s o   t h e   w a y   t h e   m o t i f s   a r e   o r ga ni s e d   [4] .   T h e   di s t i n c t i v e n e s s   of   b a t i k   m o t i f s   c o ul b e   a na l y s e d   f r o m   i t s   c h a ra c t e r i s t i c s   of  t e xt u r e   a n s ha p e ,   a n t h e   di s s i m i l a r   m o t i f   h a s   a   di s s i m i l a r   s ha pe   pa t t e rn .   T h e   B a t i m o t i f s   pa t t e rn   a r e   di v i de i nt o   t w o   gr o ups   n a m e l y   g e o m e t r i c   a n n o n - ge o m e t r i c   pa t t e rn .   G r o ups   o f   g e o m e t ri c   pa t t e rn   t e n t o   ha v e   e l e m e n t s   of   s y m m e t r y   t h a t   f o r m   t ri a ngl e   pa t t e rn s ,   c r o s s   l i n e s ,   r e c t a n g l e s ,   s t a r s ,   pa ra l l e l o gr a m ,   a n o t h e r   p a t t e rn s   f o r m e f r o m   t h e   o r de r   o t h e   l i n e T h e   n o n - ge o m e t r i c   p a t t e rn  i s   a   m o t i f   t ha t   ha s   i rr e gul a r   c o m po s i t i o n   o f   o r na m e nt   l i ke   a ni m a l s ,   p l a nt s ,   a nd  s o n .   T h e r e   a r e   v a r i o us   t y pe s   o f   g e o m e t ri c   b a t i pa t t e rn s ;   t h e y   a r e   Ce pl ok ,   Kaw ung,   L e r e ng ,   P ar ang ,   a n Ni t i k T h e   m o t i f   o f   Ce pl o k   ha s   r e pe t i t i v e   i n   ge o m e t r i c   o rna m e nt s   b a s e o n   s qua r e s ,   c i r c u l a s h a pe ,   s t a r ,   a nd  o t h e ge o m e t r i c   s ha pe s .   T h e   m o t i f   of   Ka w ung   kn o w n   a s   t h e   o l de s t   b a t i pa t t e r n   h a s   t h e   r e pe t i t i o n   o f   c i r c l e s   o r   e l l i pt i c a l   s h a pe s .   T h e   m o t i f   of   L e r e ng   ha s   di a go na l   pa t t e rn   l i n e s   t h a t   f i l l e w i t s m a l l   pa t t e rn s .   T h e   m o t i f   of  par ang   c o n s i s t s   of   pa r a l l e l   l i n e s   i n   di a go na l   s h a pe   f i l l e w i t h   s m a l l   o rna m e n t s .   T h e   m o t i f   of  Ni t i k   i s   m a de   w i t s m a l l   do t s   a nd  l i n e s   t h a t   i m i t a t e   t h e   o ri gi na l   w ov e n   f a b r i c   [3] .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Im pl e m e nt a t i o o f   d e e n e ur al   n e t w or k s   ( D NN)   w i t bat c n or m al i z at i on   f or   bat i k     ( Ida   Nur ha i da)   2047         Fi gu r e   1.   T h e   i n s t a n c e s   o f   b a t i k   m o t i f   [12 ]       2. 2 .     D e e p   n e u r al   n e tw o rk   D e e N e ur a l   N e t w o r i s   a   t y pe   o f   F e e d - F o r w a r N e ura l   N e t w o r t h a t   ha s   m o r e   t ha n   o n e   hi dde l a y e r   be t w e e n   t h e   i n put   l a y e r   a n t h e   o ut pu t   l a y e r .   E v e r y   h i dde n   l a y e r   j   us ua l l y   us e   a   f un c t i o n   o f   l o gi s t i c   t m a p   t h e   i n pu t   f r o m   t h e   p r e c e di ng  l a y e r   i n t o   s c a l a   w h i c i s   t h e n   s e n t   t o   t h e   n e xt   l a y e r .     = ( ) = 1 1 + ,               = +      W h e r e     i s   t h e   b i a s   o f   un i t   j ,   i   i s   a   u ni t   i n de f r o m   t h e   p r e c e di n g   l a y e r   a n    i s   t h e   w e i ght   f r o m   e v e r y   c o n n e c t i o f r o m   u ni t   j   t o   u n i t   i .   T o   c l a s s i fy   m ul t i - c l a s s ,   t h e   o ut put   u n i t   c o n v e r t e t o t a l   o f   i n put   x i   to   t h e   p r o b a b i l i t y   of   c l a s s   p j   by   us i n n o n - l i n e a s o f t m a x,     = ( ) ( )     w h e r e   k   i s   t h e   c l a s s   i nde x.   D N N   c a b e   t ra i n e d   di s c r i m i na t i v e l y   by   c o n duc t i n b a c kp ro pa ga t i o n   de r i v a t i v e s   of   a   c o s t   f un c t i o w h i c m e a s u r e   t h e   d i f fe r e n c e   o f   t h e   t a r ge t   a n d   a c t ua l   o ut put   t o   o b t a i n   t h e   r e s ul t   o f   t ra i ni n c a s e   [ 9].   W h e n   us i ng  s o f t m a o n   o ut pu t   f u n c t i o n,   na t u r a l   c o s t   f un c t i o n     i s   c r o s s - e n t r o py   be t w e e n   t a r ge t   p r o b a b i l i t y     a n d   s o f t m a o ut pu t   ,     = ,     W h e r e   t h e   p r o b a b i l i t y   of   a   t a rge t   i s   us ua l l y   t o   0,   i t   i s   t h e   s upe r v i s e i n f o r m a t i o n   p r o v i de t o   t ra i t h e   D N N   c l a s s i f i e r   [ 18]     2. 3 .     B at c h   no r m al i z ati o n   In   c o n v e n t i o n a l   de e n e t w o r ks ,   e xc e s s i ve   l e a rn i ng  ra t e s   c a c a us e   gr a di e n t s   t ha t   e xpl o de   o r   v a n i s a n ge t   s t uc i n   po o r   l o c a l   m i n i m a .   T h e   B a t c h   N o r m a l i z a t i o n   h e l ps   s o l v e   t h e s e   pr ob l e m s ,   by   n o r m a l i z i n g   t h e   a c t i v a t i o n   t hr o ug t h e   n e t w o r k,   s o   i t   p r e v e n t s   m i n o r   c ha nge s   i n   p a ra m e t e r s   f r o m   r e i n f o r c e m e n t   w h e n   d a t a   i s   p r o pa ga t e t hr o ug t h e   de e n e t w o r ks .   F u rt h e rm o r e ,   t h e   a dv a n t a ge s   o f   B a t c h   N o rm a l i z a t i o n   c a us e s   t h e   t ra i ni n m o r e   r e s i l i e nt   t o   pa r a m e t e r   s c a l e .   T y pi c a l l y ,   a   l a r ge   l e a rni n g   ra t e   c a n   e s c a l a t e   t h e   s c a l e   o f   t h e   l a y e r   pa r a m e t e r s ,   w hi c h   i s   a f t e r w a r d s   a m p l i fy i n t h e   gra di e nt   t hr o u g h o ut   b a c kp r o pa ga t i o n   a n c a us e   t h e   m o de l   e xpl o s i o n ,   t hus   s l o w i n do w n   t h e   t ra i ni ng  p r o c e s s .   S t i l l ,   w i t h   B a t c N o rm a l i z a t i o n,   b a c kpr o pa ga t i o t hr o ug h   l a y e r s   i s   n o t   a f f e c t e by   i t s   pa r a m e t e r s   s c a l e   [2 4] .   M o r e o ve r ,   t h e   B N   e v e n   a c t   a s   a   r e gul a ri s e s   w h e r e   i s o m e   c a s e s   c a n   r e m o ve   t h e   n e e f o r   D r o po ut .     Im p r o v i n t ra i n i n pe r f o r m a n c e   c a n   b e   do n e   by   f i xi n t h e   di s t r i b ut i o n   o f   t h e   i n put   l a y e r   duri n g   t h e   t r a i n i ng.   T h e   w a y   t o   f a s t e n   t h e   n e t w o r t r a i n i ng  c o n v e r g e n t   i s   by   w h i t e n i ng  i t s   i n p ut s   l a y e r ,   f o r   e xa m p l e ,   l i n e a r   t r a n s f o r m a t i o n   t o   ob t a i n   u ni t   v a r i a n c e s   a n z e r o   m e a n s ,   a nd  de c o r r e l a t e d.   H ow e v e r ,   t o   c o m pl e t e   t h e   n e t w o r l a y e r   t o   be   w h i t e n e n e e ds   e xpe n s i v e   c o m put a t i o n   p r o c e s s .   It   h a ppe n s   b e c a us e   e a c h   l a y e r   t h a t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   2 A p ri l   2020   :     2 0 4 5   -   2 0 5 3   2048   ob s e r ve s   t h e   i nput s   ge n e ra t e by   t h e   l a y e r s   be l ow   m us t   ha v e   t h e   s a m e   w h i t e n i n o f   t h e   i n put s   o f   e a c h   l a y e r .   H e n c e ,   t o   t a c kl e   t h i s   p r o b l e m   c a b e   ut i l i s e b y   B a t c N o r m a l i z a t i o n .   B a t c h   n o r m a l i s a t i o n   ut i l i s e s   t h e   c u rr e n t   m i ni - b a t c h   s t a t i s t i c   by   s t a n d a r d i s i n g   t h e   i nt e r m e di a t e   r e p r e s e n t a t i o n s   t o   a pp r o xi m a t e   t h e   l a y e r   w h i t e n i n g .   A   m i n i - b a t c h   i s   de n o t e a s   ,   i w hi c v a ri a n c e   o f   e a c h   f e a t ur e     a l o n t h e   m i ni - b a t c h   a xi s   a n d   t h e   s a m p l e   m e a n   i s   c a l c ul a t e d,   a n t h e   s i z e   o f   t h e   m i ni - b a t c h   i s   de n o t e a s   ,   a s   f o l l ow s .     ̅ = 1 , = 1     2 = 1 ( , ̅ ) 2 = 1     By   us i n t h i s   e qua t i o n,   e a c f e a t u r e   c a n   b e   f o r m ul a t e a s   f o l l ow s         ̂ = ̅ 2 +     W h e r e     i s   a   s m a l l   po s i t i v e   c o n s t a n t   t o   c o m pl e t e   num e r i c a l   s t a b i l i t y   e n ha n c e m e nt ;   h o w e ve r ,   s t a n da rdi s i ng   a c t i v a t i o n   o f   i n t e r m e di a t e   c a n   d i m i n i s h   t h e   r e p r e s e nt a t i o n   o f   t h e   l a y e r   po w e r .   T o   t a c kl e   t h i s   i s s ue ,   B N   pr o po s e s   f ur t h e r   l e a rna b l e   pa ra m e t e r s     a nd  ,   w hi c i ndi v i dua l l y   s h i f t   a n d   s c a l e   t h e   d a t a ,   po i n t i n t o   a   l a y e r   o f   t h e   f o r m .          ( ) = ̂ +       T h e   o ri gi na l   l a y e r   r e p r e s e n t a t i o c a b e   r e c ov e r e by   a   n e t w o r b y   s e t t i n g     t o   b e     a n d     t o   b e   ̅    a s   fo l l ow s .         = ( + )     W h e r e   t h e   m a t ri x   o f   w e i gh t s   i s   de n o t e a s   ,   t h e   v e c t o o f   b i a s   i s   de n o t e a s   ,   t h e   i nput   o f   t h e   l a y e r   i s   de n o t e a s     a n d   f un c t i o n   o f   a r b i t ra r y   a c t i v a t i o i s   de n o t e a s   .   M o r e o v e r ,   t h e   B N   i s   f o r m a l i s e a s   f o l l ow s :         = (  ( ) )     T h e   v e c t o r   o f   b i a s   ha s   b e e n   e l i m i na t e s i n c e   i t s   i m pa c t   i s   c a n c e l l e b y   t h e   s t a nda r d i s a t i o n.   T h e   m e t h o o b a c kpr o pa ga t i o n e e ds   t o   b e   a dj us t e t o   ge n e r a t e   g r a d i e nt s   t hr o ugh  t h e   v a ri a n c e   a nd  m e a n   c o m put a t i o n s   a s   w e l l   a f t e r   t h e   n o rm a l i s a t i o n   ha s   b e e n   t h e   p a r t   o f   t h e   n e t w o r k   [26] .       3.   R ES EA R C H   M ET H O D   T h e   p r o po s e m e t h o o f   t hi s   s t udy   c o n s i s t   o f   da t a   p r e p r o c e s s i n i n c l ud i n f e a t u r e   e xt ra c t i o n ,   f us i o n ,   a n n o r m a l i s a t i o n ;   f e a t u r e   r e duc t i o n   p r o c e s s ;   t un i ng  h y pe r pa ra m e t e r s ;   m o de l   b ui l d i n a n t e s t i n g ;   a n e v a l ua t i o n.   T h e   di a g r a m   o f   r e s e a r c h   m e t h o do l o g y   s h ow e i F i gu r e   2.   T h e   da t a s e t   t h a t   w e   us e i n   t hi s   s t udy   i s   b a t i i m a ge   da t a s e t   t h a t   c o n t a i n e b a s i c   m o t i f   t e m pl a t e   f o r m   a   c e rt a i n   c l a s s .   T h e   da t a s e t   c o n t a i n s   c l a s s ;   t h e y   a r e   Ce pl o k ,   Kaw ung,   L e r e ng ,   P ar ang ,   a nd  Ni t i k   [13 ] .   In   da t a   p r e p r o c e s s i n g,   t h e   t e xt u r e   f e a t ur e s   h a v e   b e e n   e xt ra c t e f o r   e v e r y   i m a ge ;   t h e y   a r e   G a b o r   f i l t e r s ,   l o g   G a b o r   f i l t e r s ,   G L CM ,   a n L B P .   F r o m   t h e   f o ur   fe a t ur e   v e c t o r s   t h e n   f us i o n   a n n o rm a l i s e t o   pr o duc e   o n e   f e a t u r e   v e c t o r .   T h e   f e a t u r e   r e duc t i o n   e xpe ri m e nt   i s   c o n duc t e t o   i m p r o v e   a c c ur a c y   s c o r e   a n t o   r e duc e   e xe c ut i o n   t i m e   r a t h e r   t ha us i n g   a l l   f e a t u r e s .   W e   di v i de t h e   da t a s e t   i n t o   t ra i ni n a nd  t e s t i ng  da t a   a n pe r f o r m e c r o s s - v a l i d a t i o n.   A f t e r   t ha t ,   w e   c o n duc t e d   t h e   h y pe r pa r a m e t e r s   t u ni n t o   f i n t h e   pa r a m e t e r s   v a l ue ,   a n us i n t h e s e   pa r a m e t e r s   v a l ue   i n   o u r   de e p   l e a rn i ng  m o de l .   T h e n   w e   c o n duc t   t h e   m o de l   b ui l d i n g ,   t e s t i n g ,   a n d   e v a l ua t e   t h e   m o de l .         Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Im pl e m e nt a t i o o f   d e e n e ur al   n e t w or k s   ( D NN)   w i t bat c n or m al i z at i on   f or   bat i k     ( Ida   Nur ha i da)   2049       F i g u r e   2 .     R e s e a r c m e t h o do l o g y     4.   R ES U LTS   A N D   A N A L Y S I S     4. 1 .     Ex p e r i m e n ta l   s e tu p   T h i s   s t udy   w a s   c o n duc t e i n   U b un t u   14 . 04   L T S   64 - b i t   o a   P w i t h   P r o c e s s o r   I nt e l ®  Co r e   i7 - 6500U   CP U   @   2. 50G H z   ×   4,   M e m o r y   D D R R A M   G B   a n H a r D i s 160  G B .   I n   t hi s   s t udy ,   w e   us e d   M a t l a b   t o   e xt r a c t e d,   f us i o n ,   a nd  n o r m a l i s e t h e   fo ur   t e xt u r e   f e a t ur e   (G a b o r   f i l t e r s ,   l o G a b o r   f i l t e r s ,   G L CM ,   a n L B P ).   In   o u r   e xpe r i m e n t ,   w e   di v i de t h e   da t a s e t   i n t o   t ra i ni n a n t e s t i n d a t a   a n pe r f o r m e c r o s s - v a l i da t i o n.   T h e   t ra i ni n da t a   t o o 70 of   t h e   da t a s e t   w h i l e   t h e   t e s t i n d a t a   t o o t h e   r e s t .   W e   i m pl e m e nt e e xpe r i m e nt s   us i n K e ra s   de e l e a rni n l i b r a r y   i n   P y t h o n .   T he   D e e L e a rn i ng  m e t h o t ha t   w e   i m pl e m e nt e i s   fo ur   l a y e r s   D e e N e ur a l   N e t w o r (D N N )   w i t h   B a t c N o r m a l i z a t i o n .        4. 2 .     F e atu r e   e x tr ac ti o n   an d   fu s i o n     In   t hi s   s t udy ,   w e   us e fo ur   t e xt u r e   f e a t u r e s   a s   pr o po s e [ 13] ;   t h e y   a r e   G a b o r   f i l t e r s ,   L o G a bo r   f i l t e r s ,   G L CM ,   a nd  L B P .   T h e   p r o c e s s   of   fe a t ur e   e xt ra c t i o a n d   f us i o n   s uc c e s s f ul l y   pr o duc e a   f e a t ur e   v e c t o r   w i t h   a   l e ngt h   o f   217  fo r   e a c h   i m a ge .   A f t e r   t h e   p r o c e s s   of   f e a t ur e   e xt r a c t i o n   a nd  f us i o n ,   w e   c o n duc t e d   t h e   f e a t u r e   r e duc t i o us i ng  P CA .     4. 3 .     F e atu r e s   r e d u c ti o n   In   t hi s   e xpe r i m e n t ,   w e   c o n duc t e f e a t ur e s   r e duc t i o n   us i n P CA   t o   r e duc e   t h e   c o m po n e n t   f e a t u r e s .   T o   m a ke   a n   e qu a l   c o m pa r i s o n,   w e   us e t h e   s a m e   b a t c h_s i z e   a n d   e po c h   v a l ue   t h e   b a t c h _s i z e   v a l ue   i s   32   a nd  e poc h   i s   50.   W e   us e P CA   c o m po n e n t   25 ,   50,   100 ,   150 ,   20 0,   210,   a n 217  t o   s e l e c t   t h e   be s t   c o m po n e n t   of  t h e   fe a t ur e   v e c t o r .   T a b l e   gi ve s   t h e   r e s ul t   of   f e a t ur e s   r e duc t i o n   us i n P CA .   T a b l e   s h ow s   t ha t   t h e   b e s t   a c c ur a c y   a c h i e v e d   w h e n   t h e   n u m b e r   o c o m po n e n t s   (N i s   5 0.   F r o m   t hi s   e xpe r i m e n t   o f   f e a t ur e   s e l e c t i o n   a nd  r e duc t i o n ,   w e   c a p r o duc e   t h e   n e w   fe a t u r e   v e c t o r   a n d   r e duc e   t h e   v e c t o r   f e a t ur e   t o   l e ngt h   50.   T hi s   r e s ul t   s h o w s   t h a t   w e   c a n   de c r e a s e   t h e   c o m put a t i o n a l   t i m e ,   a n gi v e s   m o r e   a c c ur a c y   r a t h e r   t ha n   us i n a l l   f e a t u r e s .   T a b l e   s h ow s   t h e   r e po r t   o c l a s s i f i c a t i o n   i n   e a c h   c l a s s   fo r   t he   N =   50.   A s   T a b l e   pr e s e n t e d,   t h e   b e s t   s c o r e   i n   pr e c i s i o n,   r e c a l l ,   a n d   f 1 - s c o r e   i s   c l a s s   1.   I t   i s   due   t o   c l a s s   h a s   m o r e   n u m b e r   o f   s a m pl e s   t ha n   o t h e r   c l a s s ,   s o   t ha t   t h e   l e a rni n i s   do n e   w e l l .           T a b l e   1 .   E v a l ua t i o n   s c o r e   o f   e xpe r i m e n t s   us i n g   P CA   f e a t ur e   r e duc t i o n   E v a l u a t i o n   s c o r e   A l l   N = 2 5   N = 5 0   N = 1 0 0   N   =   1 5 0   N   =   2 0 0   N   =   2 1 0   A c c u ra c y   0 . 8 1 8 9   0 . 7 8 8 4   0 . 8 3 1 5   0 . 8 0 1 0   0 . 8 0 3 1   0 . 8 1 6 8   0 . 8 2 2 1   F1 - S c o r e   0 . 8 1 7 1   0 . 7 8 8 4   0 . 8 2 8 8   0 . 7 9 7 1   0 . 8 0 0 8   0 . 8 1 3 1   0 . 8 1 8 8   P re c i s i o n   0 . 8 2 2 2   0 . 7 9 6 1   0 . 8 2 9 5   0 . 7 9 8 5   0 . 8 0 4 1   0 . 8 1 5 4   0 . 8 2 0 0   Re c a l l   0 . 8 1 8 9   0 . 7 8 8 4   0 . 8 3 1 5   0 . 8 0 1 0   0 . 8 0 3 1       0 . 8 1 6 8   0 . 8 2 2 1   K a p p a   0 . 7 3 6 8   0 . 6 9 5 2   0 . 7 5 6 2   0 . 7 0 8 5   0 . 7 1 2 5   0 . 7 3 3 0   0 . 7 4 2 1   T i m e   ( s )   5 8 . 3 4 5   4 8 . 9 3 3   4 9 . 2 3 6   5 2 . 4 6 4   5 5 . 3 5 0   5 8 . 2 6 5   5 8 . 0 1 8       T a b l e   2 .   E v a l ua t i o n   s c o r e   o f   e a c h   c l a s s   f o r   t h e   N = 50   Cl a s s   P re c i s i o n   Re c a l l   F1 - s c o re   s u p p o rt   1   0 . 8 8   0 . 9 1   0 . 8 9   448   2   0 . 6 8   0 . 5 4   0 . 6 0   72   3   0 . 8 0   0 . 7 2   0 . 7 6   97   4   0 . 7 7   0 . 8 7   0 . 8 2   186   5   0 . 8 4   0 . 7 6   0 . 8 0   147   a v g   0 . 8 3   0 . 8 3   0 . 8 3   950   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   2 A p ri l   2020   :     2 0 4 5   -   2 0 5 3   2050   4. 4 .     H yp e r p a r am e te r s   t u n i n g   In   t h i s   s c e na r i o   o f   t h e   e xpe r i m e nt ,   w e   us e pa r a l l e l   p r o c e s s i n t o   t u n e t h e   h y pe r p a r a m e t e r s .   A s   a   r e s ul t   o f   P CA   fe a t ur e s   r e duc t i o n,   i n   t hi s   s c e n a r i o ,   w e   us e t h e   50  f e a t ur e s   c o m po n e n t   t ha t   a c hi e v e i n   P CA   fe a t ur e s   r e duc t i o n.   T o   t un e t h e   h y pe r pa ra m e t e r s   i n   pa ra l l e l   p r o c e s s i n g,   w e   us e G r i S e a r c h   a l go r i t hm   t h a t   p r o v i de i n   t h e   G ri dS e a r c hCV   c l a s s   i S c i ki t - l e a rn.   W e   i m po r t e K e r a s C l a s s i f i e a n d   G r i dS e a r c h CV   i n   o ur   c o de ,   t o   a l l o w   us   t o   us e   S kl e a rn' s   G r i S e a r c h.   T h e   h y pe r pa ra m e t e r s   t ha t   w e   t un e t h e y   a r e :   b a t c h _s i z e ,   e poc h ,   l e a rni n r a t e ,   t r a i n i ng  o pt i m i s a t i o n   a l go r i t h m ,   n e t w o r w e i ght   i n i t i a l i s a t i o n ,   a nd  n e u r o n   a c t i v a t i o n   f un c t i o n.     1.   B a t c h   s i z e   a n d   e po c h   T h e   r e s ul t   i t u ni n g   b a t c h_s i z e   a n d   e po c h   s h o w s   i n   T a b l e   3.   T h e   r e s ul t   gi v e s   t h e   a c c u r a c y   o f   79. 13%  w i t h   s t a n d a r d   de v i a t i o n   s c o r e   i s   0 . 0116   us i n g   t h e   num b e r   of   b a t c h _s i z e   20  a n e po c h   2 00,   w h i l e   t h e   c o m put a t i o na l   t i m e   t o o 305. 10 4926   s e c o n ds .   2.   L e a rn i ng  ra t e   T h e   r e s ul t   i n   t u ni n l e a rn i ng  ra t e   p r e s e nt e i T a b l e   4.   T h e   re s ul t   s h o w s   t h e   b e s t   a c c ur a c y   i s   0. 7895   w h e n   t h e   l e a ni n g   ra t e   0 . 001 .   T h e   c o m put a t i o na l   t i m e   i n   t h i s   pr o c e s s   t oo 279. 6 03224   s e c o n ds .   3.   O pt i m i s e a l go ri t hm   T h e   r e s ul t   o f   t h e   e xpe r i m e n t   i n   t u n i ng  o pt i m i s e r   a l go ri t hm   pr e s e nt e i n   T a b l e   5.   T h i s   e xpe ri m e n t   gi v e s   t h e   be s t   a c c ur a c y   of   78. 50%  w i t h   s t a n d a r de v i a t i o n   s c o r e   0. 012  w h e n   us i ng  R M S P r o o pt i m i s e r   a l go ri t hm .   T h e   p r o c e s s i n t i m e   i n   t h i s   e xpe r i m e n t   t o o 260. 9 60422  s e c o n ds .   4.   N e t w o r w e i gh t   i ni t i a l i s a t i o n   T a b l e   pr e s e nt e t h e   r e s ul t   o f   t un i ng  n e t w o r w e i gh t   i ni t i a l i s a t i o n.   T h e   r e s ul t   s h o w s   t h a t   l e c un _u ni f o r m   a c h i e v e t h e   b e s t   a c c ur a c y   of   75. 51%  w i t h   s t a nda r de v i a t i o n   0 . 02053 a n d   t h e   c o m put a t i o na l   t i m e   t o o 302. 18 661   s e c o n ds .   5.   N e ur o a c t i v a t i o f un c t i o n   T a b l e   p r e s e n t e t h e   r e s ul t   o f   t uni n g   n e ur o n   a c t i v a t i o f un c t i o n   e xpe r i m e nt .   T h e   b e s t   r e s ul t   a c c ur a c y   i s   a c hi e v e a t   75 . 97 w h e n   us i n t h e   l i n e a f un c t i o n .   T h e   c o m put a t i o na l   t i m e   t o   p r o c e s s   t hi s   s c e n a r i o   t o o 298. 757153   s e c o n ds .       T a b l e   3 .   T h e   a c c u r a c y   s c o r e   a n d   s t a nda r d   de v i a t i o o f   b a t c h   s i z e   a nd  e po c h   t u ni n g   E p o c h /   Ba t c h _ s i z e   E p o c h   =   5 0   E p o c h   =   1 0 0   E p o c h   =   2 0 0   Bs   =   2 0   0 . 7 7 7 3 2 6   (0 . 0 0 6 0 9 3 )   0 . 7 7 4 6 1 6   (0 . 0 1 5 2 6 4 )   0 . 7 9 1 3 2 8   (0 . 0 1 1 6 5 6 )   Bs   =   32   0 . 7 5 1 1 2 9   (0 . 0 1 2 3 3 6 )   0 . 7 6 2 8 7 3   (0 . 0 0 6 1 6 0 )   0 . 7 6 6 9 3 8   (0 . 0 2 0 1 2 9 )   Bs   =   4 0   0 . 7 4 8 8 7 1   (0 . 0 1 3 6 5 5 )   0 . 7 6 3 7 7 6   (0 . 0 2 1 5 7 6 )   0 . 7 7 2 3 5 8   (0 . 0 1 3 4 1 4 )       T a b l e   4 .   T h e   a c c u r a c y   s c o r e   a n d   s t a nda r d   de v i a t i o o f   l e a rni n g   ra t e   t u n i ng   L e a r n i n g   ra t e   A c c u ra c y   0 . 0 0 1   0 . 7 8 9 5 2 1   (0 . 0 1 7 9 8 8 )   0 . 0 1   0 . 7 8 3 1 9 8   (0 . 0 1 6 7 0 6 )   0 . 1   0 . 6 2 6 4 6 8   (0 . 0 1 5 6 5 9 )       T a b l e   5 .   T h e   a c c u r a c y   s c o r e   a n d   s t a nda r d   de v i a t i o o f   o pt i m i s e r   a l go ri t hm   t u ni n g   O p t i m i s e r   A c c u ra c y   S G D   0 . 7 5 8 3 5 6   (0 . 0 0 1 6 9 0 )   RM S P r o p   0 . 7 8 5 0 0 5   (0 . 0 1 2 8 2 3 )   A d a g ra d   0 . 7 7 7 3 2 6   (0 . 0 1 4 6 0 8 )   A d a d e l t a   0 . 7 7 1 9 0 6   (0 . 0 1 0 2 8 0 )   A d a m   0 . 7 7 6 4 2 3   (0 . 0 1 5 3 3 0 )   A d a m a x   0 . 7 6 9 6 4 8   (0 . 0 0 7 9 7 8 )   N a d a m   0 . 7 7 7 3 2 6   (0 . 0 0 4 6 0 6 )       T a b l e   6 .   T h e   a c c u r a c y   s c o r e   a n d   s t a nda r d   de v i a t i o of   n e t w o r w e i ght   i n i t i a l i s a t i o n   t u ni n g   U n i t _ m o d e   A c c u ra c y   U n i fo r m   0 . 7 9 4 4 9 0   (0 . 0 2 0 5 3 0 )   l e c u n _ u n i fo r m   0 . 7 8 2 7 4 6   (0 . 0 1 5 5 0 2 )   N o r m a l   0 . 7 7 6 8 7 4   (0 . 0 2 1 2 6 2 )   Z e r o   0 . 7 6 8 7 4 4   (0 . 0 0 6 7 6 0 )   g l o ro t _ n o r m a l   0 . 7 8 2 2 9 4   (0 . 0 0 7 1 9 8 )   g l o ro t _ u n i fo r m   0 . 7 7 8 6 8 1   (0 . 0 0 7 5 3 1 )   h e _ n o rm a l   0 . 7 8 6 3 6 0   (0 . 0 0 9 5 3 9 )   h e _ u n i f o rm   0 . 7 7 8 6 8 1   (0 . 0 0 6 0 9 3 )     T a b l e   7 .   T h e   a c c u r a c y   s c o r e   a n d   s t a nda r d   de v i a t i o n   of   n e u r o a c t i v a t i o n   t u n i ng   A c t i v a t i o n   f u n c t i o n   A c c u ra c y   S o ft m a x   0 . 7 8 9 5 2 1   (0 . 0 2 2 4 1 1 )   S o ft p l u s   0 . 7 9 1 7 8 0   (0 . 0 1 7 9 8 8 )   S o ft s i g n   0 . 7 8 6 8 1 1   (0 . 0 1 6 1 9 7 )   Re l u   0 . 7 7 1 9 0 6   (0 . 0 1 5 5 0 2 )   t a n h   0 . 7 7 6 4 2 3   (0 . 0 1 5 4 8 9 )   S i g m o i d   0 . 7 7 7 7 7 8   (0 . 0 0 3 3 1 9 )   h a rd _ s i g m o i d   0 . 7 8 7 2 6 3   (0 . 0 0 2 9 2 7 )   l i n e a r   0 . 7 8 2 7 4 6   (0 . 0 1 6 7 9 1 )     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Im pl e m e nt a t i o o f   d e e n e ur al   n e t w or k s   ( D NN)   w i t bat c n or m al i z at i on   f or   bat i k     ( Ida   Nur ha i da)   2051   4. 5 .     M o d e l   b u i l d i n g,   te s t i n g,   an d   e v al u ati o n   In  t hi s   s t a ge ,   w e   b ui l a nd  e v a l ua t e o ur  m o de l   (D N N + B a t c h   N o rm a l i z a t i o n)  us i ng  B a t i d a t a s e t .   A s   a   c o m pa r i s o n ,   w e   a l s o   e v a l ua t e   D N N   w i t h o ut   B N   us i n g   B a t i da t a s e t .   T a b l e   gi v e s   t h e   c o m pa r i s o n   of  e v a l ua t i o n   s c o r e   o f   D N N   a n D N N + B N .   T h e   e v a l ua t i o n   s c o r e   s h o w s   t h a t   D N N + B N   s i g ni f i c a n t l y   i m pr o v e   t h e   a c c ur a c y   of   t h e   c l a s s i f i c a t i o n   m o de l   f r o m   65 . 36%   t o   8 3 . 15% B N   a s   a   r e gu l a ri s a t i o n   ha s   s uc c e s s f ul l y   ma de   t h e   m o de l   m o r e   ge n e r a l ,   h e n c e   i m p r o v e   t h e   a c c ura c y   of   t h e   m o de l .   W e   a l s o   i m pl e m e n t e a l l   pa r a m e t e r s   v a l ue   t ha t   g a v e   b e s t   a c c ur a c y   f r o m   t h e   e xpe r i m e nt   a b ov e ,   t h e y   a r e ;   b a t c h_s i z e   =   20 ,   e po c h   =   200,   l e a rn i ng_ r a t e   =   0. 001 ,   o pt i m i z e r   =   R M S pr o p,   n e t w o r w e i ght   i n i t i a l i z a t i o n   =   U n i f o r m ,   a n n e u r o n   a c t i v a t i o f un c t i o =   S o f t pl us   t o   o ur  D N N   m o de l   w i t h   b a t c n o rm a l i z a t i o n .   T a b l e   s h o w s   t h e   e v a l ua t i o n   s c o r e   b e t w e e n   D N N + B N   Be fo r e   t u n i n g   pa ra m e t e r s   a n D N N + B N   A f t e r   t uni n pa ra m e t e r s .   T a b l e   10  s h o w e t h a t   us i n g   t h e   t u n e pa ra m e t e r s ,   t h e   a c c u r a c y   s c o r e   i s   i n c r e a s e f r o m   83. 15 t o   85. 5 7%.   T h e   e v a l ua t i o n   s c o r e   i n   e a c c l a s s   i s   p r e s e n t e i T a b l e   9,   a n d   t h e   c o n f us i o n   m a t r i x   s h o w e i F i g u r e   3 .       T a b l e   8 .   T h e   c o m pa r i s o n   o f   e v a l ua t i o s c o r e   b e t w e e n   D N N   a n d   D N N + B a t c N o r m a l i z a t i o n   E v a l u a t i o n   S c o r e   DNN   D N N + BN   A c c u ra c y   0 . 6 5 3 6 8   0 . 8 3 1 5 7   F1 - S c o r e   0 . 6 2 5 6 8   0 . 8 2 8 8 1   P re c i s i o n   0 . 6 1 0 7 6   0 . 8 2 9 5 5   Re c a l l   0 . 6 5 3 6 8   0 . 8 3 1 5 7   K a p p a   0 . 4 7 4 3 9   0 . 7 5 6 2 9   T i m e   ( s e c o n d s )   1 1 5 . 9 5 4 3   4 9 . 2 3 6 7       T a b l e   9 .   T h e   c o m pa r i s o n   o f   e v a l ua t i o s c o r e   b e fo r e   t u n i n g   p a r a m e t e r s   a nd  a f t e r   t u ni n g   p a ra m e t e r s   E v a l u a t i o n   S c o r e   D N N + BN   B e f o re   t u n i n g   p a ra m e t e r s   (N = 5 0 ))   D N N + BN   A f t e t u n i n g   p a ra m e t e r s   (N = 5 0 )   A c c u ra c y   0 . 8 3 1 5 7   0 . 8 5 5 7 8   F1 - S c o r e   0 . 8 2 8 8 1   0 . 8 5 3 4 8   P re c i s i o n   0 . 8 2 9 5 5   0 . 8 5 2 9 8   Re c a l l   0 . 8 3 1 5 7   0 . 8 5 5 7 8   K a p p a   0 . 7 5 6 2 9   0 . 7 9 0 7 4   T i m e   ( s e c o n d s )   4 9 . 2 3 6 7   2 5 0 . 2 5 5       T a b l e   10 E a c c l a s s   e v a l ua t i o n   s c o r e   f o r   t h e   m o de l   Cl a s s   p r e c i s i o n   re c a l l   f1 - s c o r e   s u p p o rt   1   0 . 8 8   0 . 9 4   0 . 9 1   448   2   0 . 6 8   0 . 5 8   0 . 6 3   72   3   0 . 8 4   0 . 8 0   0 . 8 2   97   4   0 . 8 5   0 . 8 5   0 . 8 2   186   5   0 . 8 5   0 . 7 8   0 . 8 5   147   a v g   /   t o t a l   0 . 8 5   0 . 8 6   0 . 8 5   950           F i gu r e   3 .   Co n f us i o n   m a t r i x   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   2 A p ri l   2020   :     2 0 4 5   -   2 0 5 3   2052   5.   C O N C LU S I O N     F r o m   t h e   e xpe r i m e n t s   i n   t hi s   s t udy ,   t h e   r e s ul t s   s h o w e t h a t   t h e   f e a t ur e   e xt ra c t i o n,   s e l e c t i o n ,   a n d   r e duc t i o n   ga v e   be t t e r   a c c u r a c y   t h a n   t h e   r a w   da t a s e t .   T h e   f e a t u r e   s e l e c t i o n   a n r e duc t i o n   a l s o   r e duc e   t i m e   c o m pl e xi t y .   T h e   D N N + B N   s i gn i f i c a n t l y   i m p r o ve   t h e   a c c ura c y   of   t h e   c l a s s i f i c a t i o n   m o de l   f r o m   65 . 36%   t 83 . 15 % BN ,   a s   a   r e gul a ri s a t i o n ,   h a s   s uc c e s s f ul l y   m a de   t h e   m o de l   m o r e   ge n e r a l ,   h e n c e   i m p r o v e   t h e   a c c ura c y   of   t h e   m o de l T h e   pa r a m e t e r s   a r e   t u ni n i m p r o v e d   a c c ur a c y   f r o m   83. 15%  t o   85. 57 % .   P a ra m e t e r s   v a l ue   t h a t   ga v e   be s t   a c c ur a c y   a r e :   b a t c h _s i z e   =   20 ,   e po c h   =   2 00,   l e a rni n g _ r a t e   =   0. 0 01,   o pt i m i z e r   =   R M S p r o p,   n e t w o r w e i ght   i n i t i a l i z a t i o n   =   U ni f o r m ,   a n n e u r o n   a c t i v a t i o f un c t i o n   =   S o f t pl us .       A C K N O WL ED G E M EN TS     T h e   r e s e a r c h   f un d   i s   s uppo r t e d   by   P e ne l i t i an  T e r apa U nggul an  P e r gur ua T i nggi   g ra nt   f r o m   M i n i s t r y   of   R e s e a r c T e c hn o l o gy   a n H i gh e r   E duc a t i o n,   R e pu b l i c   In do n e s i a ,   2019 .   W e   a c k n o w l e dge   t h e   s uppo rt   a n t h e   e n c o ur a ge m e nt   f o r   f i n a l i z i n g   m a n us c r i p t   by   Cul t ura l   a nd  E duc a t i o A t t a c h é ,   t h e   E m b a s s y   of   t h e   R e pub l i c   In do n e s i a ,   L o n do n,   U n i t e d   K i n g do m ,   2019         R EF ER EN C ES   [ 1]   A .   W a r dha n i ,   S .   S a b a na ,   a n I .   A dr i a t i ,   T h e   S h i f t   f r o m   P r i n t e t o   D i g i t a l   M a g a z i n e   a nd  I t s   I m pa c t   t o   W o m e n   R e a de r   i n   J a ka r t a ,   P r oc e d i a   -   So c .   B e hav .   Sc i . ,   v o l .   18 4,   pp .   310     314,   2 015 .   [ 2]   H .   A l w i ,   H .   L a po l i w a ,   S .   D a r m o w i d j o j o ,   a n A .   M o e l i o no ,   " T a t a   B a h a s a   B a k B a ha s a   I ndo ne s i a - I ndo ne s i a n   S t a n da r G r a m m a r , "   3r e d .   J a k a r t a :   B a l a i   P us t a ka ,   2003 .   [ 3]   J .   H e l s i ng ,   " B a t i t h e   T r a d i t i o na l   F a b r i c   o f   I n do ne s i a , "   A m a z o ne   M e d,   20 17 .   [ 4]   A .   W ul a nda r i ,   " B a t i N us a n t a r a   ( M a k na   F i l o s o f i ,   C a r a   P e m bua t a &   I ndus t r i   B a t i k) - B a t i N u s a n t a r a   ( T he   M e a n i ng   o f   P hi l o s o ph y ,   H o w   t o   M a nuf a c t u r e   &   M a nuf a c t u r e   B a t i k ) , "   Y o gy a ka r t a :   A ndi   Y o gy a ka r t a ,   201 1.   [ 5]   H .   R .   S a n a b i l a   a nd  M .   M a n ur u ng ,   R e c o g ni t i o o f   B a t i M o t i f s   us i ng   t he   G e ne r a l i z e H o ug T r a ns f o r m ,   i n   P r oc e e di ngs   of   t he   I n t e r nat i on al   C on f e r e nc e   on  A dv anc e C om put e r   Sc i e nc e   and  I nf o r m at i on  S y s t e m s ,   ( I C A C SI S) pp.   1 6 20 09 .   [ 6]   L .   R a ha d i a n t i ,   R .   M a nur ung ,   a nd  A .   M u r ni ,   C l u s t e r i ng   B a t i k   I m a g e s   ba s e o L o g - G a bo r   a nd  C o l o ur   H i s t o g r a m   F e a t ur e s ,   i P r oc e e d i ng s   of   t he   I n t e r nat i o nal   C on f e r e nc e   on  A dv a nc e C om put e r   Sc i e nc e   and  I nf o r m a t i o Sy s t e m s   ( I C A C SI S) ,   20 09 .   [ 7]   I .   N ur ha i da ,   R .   M a n ur u ng ,   a nd  A .   M .   A r y m ur t hy ,   P e r f o r m a nc e   C o m pa r i s o A na l y s i s   F e a t ur e s   E xt r a c t i o M e t ho ds   f o r   B a t i R e c og ni t i o n ,   i 20 12  I nt e r n at i on al   C onf e r e nc e   on  A d v an c e C om put e r   S c i e nc e   an I n f o r m at i on   Sy s t e m s   ( I C A C SI S) pp .   978 979 201 2 .   [ 8]   A .   H .   R a ng kut i ,   R .   B .   B a h a w e r e s ,   a n A .   H a r j o ko ,   B a t i I m a ge   R e t r i e v a l   B a s e o S i m i l a r i t y   o f   S ha pe   a nd   T e xt ur e   C ha r a c t e r i s t i c s ,   i I n t e r na t i o nal   C on f e r e nc e   on  A d v an c e C om put e r   S c i e nc e   a nd  I nf or m a t i on  Sy s t e m s   ( I C A C SI S) pp .   978 979 201 2 .   [ 9]   H .   R a ng kut i ,   A .   H a r j o ko ,   a nd  A .   E .   P u t r o ,   C o nt e nt   B a s e B a t i I m a g e   R e t r i e v a l ,   J .   C om pu t .   Sc i . ,   v o l .   10,   no .   6 ,   pp.   92 5 93 4,   J u n.   20 14 .   [ 10]   A .   E .   M i n a r no ,   Y .   M un a r ko ,   F .   B i m a nt o r o ,   A .   K ur ni a w a r dha ni ,   a nd  N .   S uc i a t i ,   B a t i k   i m a g e   r e t r i e v a l   ba s e o n   e nha nc e m i c r o - s t r uc t u r e   d e s c r i pt o r ,   i 201 A s i a - P ac i f i c   C o nf e r e nc e   on  C om put e r   A i de Sy s t e m   E ngi ne e r i n ( A P C A SE ) ,   B al i ,   201 4,   v o l .   1,   pp .   65 70.   [ 11]   A .   E .   M i na r no ,   Y .   M una r ko ,   A .   K ur n i a w a r d ha n i ,   F .   B i m a n t o r o ,   a n N .   S uc i a t i ,   T e x t ur e   F e a t u r e   E xt r a c t i o U s i ng   Co - O c c ur r e nc e   M a t r i c e s   o f   S ub - B a nd  I m a g e   F o r   B a t i I m a g e   C l a s s i f i c a t i o n,   i n   2nd   I n t e r na t i ona l   C on f e r e nc e   on  I nf or m a t i on  and   C om m un i c at i on   T e c hn ol o gy   ( I C oI C T ) ,   2014 .   [ 12]   I .   N ur ha i da ,   A .   N ov i y a nt o ,   M .   M a nu r ung ,   a n A .   M .   A r y m ur t hi ,   A ut o m a t i c   I nd o ne s i a n’ s   B a t i P a t t e r n   R e c og ni t i o us i ng   S I F T   A ppr o a c h,   P r oc e di C om put .   Sc i . ,   v o l .   5 9 ,   pp.   5 67 5 76,   2 015 .   [ 13]   H .   F a hm i ,   R .   A .   M .   Z e n,   H .   R .   S a na bi l a ,   I .   N ur ha i da ,   a nd  A .   M .   A r y m ur t h y ,   F e a t u r e   S e l e c t i o a nd  R e duc t i o f o r   B a t i I m a g e   R e t r i e v a l ,   i P r oc e e di ngs   o f   t he   F i f t I nt e r n at i on al   C onf e r e nc e   on  N e t w or k ,   C om m uni c a t i o and   C om put i ng   ( I C N C C ) ,   201 6.   [ 14]   I .   N ur ha i d a ,   H .   W e i ,   R .   A .   M .   Z e n ,   R .   M a nu r ung ,   a nd  A .   M .   A r y m ur t hy ,   T e xt u r e   F us i o f o r   B a t i M o t i f   R e t r i e v a l   S y s t e m ,   I n t .   J .   E l e c t r .   C om p ut .   E ng . ,   v o l .   6,   no .   6 ,   p p.   31 74 3 187 ,   2016 .   [ 15]   Y .   G ul t o m ,   A .   M .   A r y m ur t h y ,   a nd  R .   J .   M a s i ko m e ,   B a t i C l a s s i f i c a t i o u s i ng   D e e C o nv o l ut i o na l   N e t w o r k   T r a n s f e r   L e a r n i ng ,   J .   I l m K om pu t .   da I n f . ,   v o l .   11 ,   no .   2,   p .   59 ,   2 018.   [ 16]   M .   N a j a f a ba di ,   F .   V i l l a nu s t r e ,   T .   K ho s hg o f t a a r ,   N .   S e l i y a ,   R .   W a l d,   a n E .   M u ha r e m a g i c ,   D e e p   L e a r n i ng   A ppl i c a t i o ns   a nd   C ha l l e ng e s   i n   B i g   D a t a   A na l y t i c s ,   J .   B i D at a ,   v o l .   2 ,   no .   1,   20 15.   [ 17]   Y .   L i ,   H .   Z ha ng ,   X .   X u e ,   Y .   J i a ng ,   a nd  Q .   S h e n ,   D e e L e a r n i n g   f o r   R e m o t e   S e n s i ng   I m a g e   C l a s s i f i c a t i o n:   A   S ur v e y ,   W I R E s   D a t a   M i n .   K now l .   D i s c o v . ,   v o l .   12 64,   no .   8 ,   pp.   1 17,   20 18.   [ 18]   I .   S ut s ke v e r ,   J .   M a r t e ns ,   G .   D a hl ,   a n G .   H i n t o n,   O t h e   I m p o r t a nc e   o f   I ni t i a l i z a t i o a nd  M o m e nt um   i D e e p   L e a r ni ng ,   i n   P r oc e e di ngs   o f   t he   3 0t I n t e r nat i on al   C on f e r e nc e   on   M ac hi ne   L e ar ni ng ,   2 013 ,   pp .   1 139 114 7.   [ 19]   A .   K r i z he v s ky ,   I .   S ut s ke v e r ,   a n G .   E .   H i n t o n,   I m a g e N e t   C l a s s i f i c a t i o w i t D e e C o nv o l ut i o na l   N e ur a l   N e t w o r ks ,   i A dv a nc e s   i n   N e ur a l   I n f or m a t i on   P r oc e s s i ng   Sy s t e m s   25  ( N I P 2 012) ,   20 12 ,   p p.   1 9.     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Im pl e m e nt a t i o o f   d e e n e ur al   n e t w or k s   ( D NN)   w i t bat c n or m al i z at i on   f or   bat i k     ( Ida   Nur ha i da)   2053   [ 20]   J .   L a m o s - S w e e ne y ,   D e e L e a r ni ng   U s i ng   G e ne t i c   A l go r i t hm s ,   R o c he s t e r   I ns t i t ut e   o f   T e c hno l o gy ,   R o c he s t e r ,   2012 .   [ 21]   L .   M .   R .   R e r e ,   M .   I .   F a na ny ,   a nd  A .   M .   A r y m u r t hy ,   S i m ul a t e A nne a l i ng   A l go r i t hm   f o r   D e e L e a r ni ng ,   P r oc e di C om put .   Sc i . ,   v o l .   7 2,   pp .   137 144 ,   201 5.   [ 22]   V .   A y um i ,   L .   M .   R .   R e r e ,   M .   I .   F a n a ny ,   a nd  A .   M .   A r y m ur t hy ,   O pt i m i z a t i o o f   C o n v o l ut i o na l   N e ur a l   N e t w o r us i ng   M i c r o c a no ni c a l   A nne a l i ng   A l go r i t hm ,   i 2 016  I n t e r na t i o n al   C o nf e r e nc e   on  A dv an c e C om pu t e r   S c i e nc e   and  I n f or m at i on   Sy s t e m s   ( I C A C S I S) ,   201 6,   pp .   506 511 .   [ 23]   G .   E .   H i nt o a nd   R .   R .   S a l a k hut di no v ,   R e duc i ng   t he   D i m e ns i o na l i t y   o f   D a t a   w i t h   N e u r a l   N e t w o r ks ,   Sc i .   J . ,   v o l .   313 ,   no .   5 786 ,   pp .   5 04 5 07 ,   2 006 .   [ 24]   S .   I o f f e   a nd  C .   S z e g e dy ,   B a t c N o r m a l i z a t i o n:   A c c e l e r a t i ng   D e e N e t w o r k   T r a i n i ng   by   R e duc i ng   I nt e r n a l   C ov a r i a t e   S hi f t ,   i P r oc e e di ngs   of   t he   32nd  I n t e r nat i o nal   C onf e r e nc e   on  I nt e r n at i on al   C o nf e r e nc e   on  M ac h i ne   L e ar ni n ( I C M L ) ,   20 14,   p p.   44 8 45 6.   [ 25]   I .   H .   I ka s a r i ,   V .   A y um i ,   M .   I .   F a na ny ,   a nd  S .   M u l y o no ,   M ul t i pl e   r e g ul a r i z a t i o ns   de e l e a r ni ng   f o r   pa ddy   g r o w t h   s t a g e s   c l a s s i f i c a t i o f r o m   L A N D S A T - 8,   i I n t e r na t i ona l   C on f e r e nc e   on  A dv a nc e C om pu t e r   Sc i e nc e   and   I nf or m a t i on  Sy s t e m s   ( I C A C SI S) ,   2016 ,   pp .   512 517 .   [ 26]   C .   L a ur e nt ,   G .   P e r e y r a ,   P .   B r a k e l ,   Y .   Z ha ng ,   a n Y .   B e ng i o ,   B a t c h   no r m a l i z e r e c ur r e n t   ne u r a l   n e t w o r k s ,   i 2016   I E E E   I n t e r na t i o na l   C o nf e r e nc e   on   A c ous t i c s ,   Spe e c a nd   Si gna l   P r oc e s s i ng   ( I C A SSP ) ,   20 16 ,   pp.   2 657 2661 .     Evaluation Warning : The document was created with Spire.PDF for Python.