I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in a n d   Com p u t e r   S c ience   Vo l .   3 8 ,   N o .   2 M a y   20 2 5 ,   pp.   1 367 ~ 1 375   I S S N:  2 502 - 4 7 52 ,   DO I 10 . 11591/i j e e cs .v 3 8 . i 2 . pp 1 367 - 1 375             1367     Jou r n al  h o m e page ht tp: // ij e e cs . iaes c or e . c om   D is c r e t e   w a ve le t  t r an sf o r m  a n d  c on v ol u t io n al   n e u r al  n e t w or k   b ase d  h a n d w r itt e n   S an s k r it   c h ar ac t e r  r e c ogn ition       S h r ad d h V.   S h e l k e ,   Din e s h   M .   Chan d wadk ar ,   S u n it a   P .   Ugal e ,   Rup al V.   Chot h e   D e pa r tm e nt   of   E le c t r o ni c s  a nd  T e l e c o mm uni c a ti o n E ngi n e e r in g, K K . W a gh I ns ti tu te   of  E ngi n e e r in E duc a ti o n a nd R e s e a r c h   S a v it r ib a P hul e  P un e  U ni v e r s it y , P un e , I ndi a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve J u l   18 202 4   R e vi s e A ug   28 ,   202 4   A c c e pt e N o v   24 ,   202 4       San s k ri t   i s   o n o f   t h an ci e n t   l an g u a g e s   fro m   w h i c h   t h e   m a j o r i t y   o p r e s en t   I n d i a n   l an g u a g e s   are   d e v el o p e d .   A l t h o u g h   t h e   n at i o n al   m i s s i o n   fo r   m an u s c r i p t s   (N MM)  i s   d i g i t i z i n g   h a n d w ri t t en   Sa n s k ri t   m an u s c r i p t s ,   t h e r ar s t i l l   l o t   o p ap e rs   t h at   n ee d   t o   b e   d i g i t i z ed .   R ec o g n i t i o n   o h a n d w ri t t e n   s c ri p t   i s   a   c h a l l en g i n g   t as k   d u e   t o   i n d i v i d u al   d i ff e r e n ce s   i n   w ri t i n g   s t y l e s   a n d   h o w   t h o s v ari at i o n s   a l t e r   o v e t i me.   T h e   Sa n s k ri t   l a n g u ag e   i s   w r i t t e n   i n   D ev an a g ari   s c ri p t .   A   n o v e l   ap p ro ach   u s i n g   d i s c r e t w a v e l e t   t ran s fo r (D W T an d   c o n v o l u t i o n al   n at u ral   n e t w o r k   (CN N i s   p ro p o s e d   i n   t h i s   p ap e r.   D ev an a g ari   h an d w r i t t e n   ch ara c t e d at as e t   w h i c h   i n c l u d e s   2 0 0 0   h an d w ri t t en   i m ag e s   o f   3 6   c l as s e s   (2 0 0 0 * 3 6 = 7 2 0 0 0 )   i s   u s e d   i n   t h i s   re s e ar ch .   F i n e - t u n e d   G o o g L eN e t   m o d el   i m p l eme n t ed   h e re  g a v e   o p t i m u m   v al u e s   o e p o ch s   an d   l e ar n i n g   rat e   o 1 5   an d   0 . 0 1   re s p ec t i v el y .   Cl as s i fi c at i o n   acc u ra cy   o b t ai n e d   b y   p ro p o s e d   D W T     C N N   mo d el   i s   9 8 . 9 7 %   w i t h   a   l o s s   o 0 . 0 9 8 .   Fi n e - t u n ed   G o o g L eN e t   m o d e l   ach i ev e s   9 9 . 6 8 %   acc u ra cy   w i t h   a   0 . 0 6 3 5   l o s s .   Re s u l t s   o b t ai n ed   ar e   a l s o   co m p ared   w i t h   e x i s t i n g   ap p ro ach e s   an d   fo u n d   s u p e r i o r .   K e y w o r d s :   C o n v o l ut i o n a l   n a t ur a l   n e t wo r k   G oo g L e N et   D i s c r e t e   wa v e l e t   t r a n s f o r m   Na t i o n a l   m i s s i o n   f o r   m a n u s c r i pt s   S a n s kr i t   m a n u s c r i pt s   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   S h r a dd h a   V.   S h e l k e     De pa r t m e n t   o f   E l e c t r o ni c s   a n d   T e l e c o m m u ni c a t i o n   E n g i ne e r i ng,   K .   K .   W a g h   I n s t i t ut e   o f   E n g i ne e r i n E duc a t i o n   a n R e s e a r c h S a vi t r i ba i   P h u l e   P un e   U ni ve r s i t y   P un e ,   I n d i a   E m a i l s vs h e l ke @ kkwa g h . e du. i n         1.   I NT RODU C T I ON   An c i e n t   S a ns kr i t   t e x t s   i n c l ude   a n   a b u n d a n c e   o f   kn o w l e dge   o n   H i ndu   m y t h o l o g y ,   c u l t ur e ,   s c i e n c e ,   m a t h e m a t i c s   a n I n d i a n   hi s t o r y .   A r o un 300  m il li o n   i n d i v i dua l s   u s e   S a n s kr i t   s c r i pt   gl o b a ll y   [ 1] .   T h e r e   i s   a   l o t   o f   r e s e a r c h   be i n do ne   i n   t h e   f i e l o f   r e c o g ni z i ng  h a n dwr i t t e n   t e x t   [ 2] .   T h e r e   a r e   n u m e r o us   o f f i c i a l a n gua ge s   i n   I n d i a   t h a t   a r e   wr i t t e n   i n   De va n a ga r i   s c r i pt ,   s uc h   a s   H i n d i ,   M a r a t hi ,   S i n d hi ,   Ne p a l i ,   S a ns kr i t ,   a n d   K o n ka ni .   A   w i de   r a n g e   o f   a l go r i t hm s   ha v e   b e e n   c r e a t e f o r   r e c o gni t i o n   o f   s c r i pt s   wr i t t e n   i n   s e v e r a l   I n d i a l a n gua ge s ,   i n c l ud i ng  H i n d i ,   B a n g l a ,   T e l ugu,   a nd  Gur m uk hi .   B ut   s t i ll   t h e r e   h a s   b e e n   n o e n o u gh   s t ud y   c o n duc t e o n   de v e l o p i n a n   e f f i c i e n t   S a n s kr i t   s c r i pt   r e c o gni t i o n   s y s t e m ,   h e nc e   e m p h a s i z i ng  t h e   n e e to   c o n s t r uc t   o n e   [ 3] .   A   h u m a n   c a n   e a s il y   u n de r s t a n c o n t e n t s   wr i t t e n   o n   pa pe r ,   b ut  a   m a c hi ne   f i nds   i t   c h a ll e n g i ng  t r e c o gni z e   h a n dwr i t t e n   t e x t   due   to   v e r i t y   o f   wr i t i n s t y l e s .   F o r   h a n dwr i t t e n   t e x t   i de n t i f i c a t i o n ,   t h e   r e s e a r c h e r s   h a v e   us e a   v a r i e t y   o f   m a c hi ne   l e a r ni ng,   de e l e a r ni ng  t e c hni qu e s   [ 4] .   T h e   i ni t i a l   a n c r uc i a l   s t e i n   a n   o p t i c a l   c h a r a c t e r   r e c o gn i t i o n   s y s t e m   i s   f e a t ur e   e x t r a c t i o n   f r o m   t h e   i n put   i m a ge   f o l l o w i ng  pr e pr o c e s s i ng  a n n o i s e   r e duc t i o n .   T h e   c l a s s if i e r   i s   t h e n   t r a i n e by  f e e d i ng  t h e   e x t r a c t e d   f e a t ur e s   to  s e v e r a l   c l a s s if i e r s .   I n   t h e   t e s t i n a n v a li da t i o n   ph a s e ,   t h e   o u t pu o f   t h e   c l a s s if i e r   i s   ve r i f i e by   t e s t i n i t s   pe r f o r m a n c e   o n   n e da t a   [ 5] .   T h e   i ni t i a l   s t a ge s   o f   a   c o n v o l ut i o na l   ne ur a l   n e t wo r k   ( C NN )   b a s e m e t h o i nv o l v e   a pp lyi ng  v a r i o us   e dge   de t e c t i o n   f il t e r s   t o   i n put   i m a ge s   i n   o r de r   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   2 M a y   20 2 5 :   1 367 - 1 375   1368   e x t r a c t   f e a t ur e   m a ps .   T h e   i nput   i m a ge   i s   c o nv o l v e w i t h   f il t e r s   t o   e x t r a c t   f e a t ur e s ,   whi c h   a r e   t h e n   a pp l i e t t h e   f u ll y   c o nn e c t e l a y e r   a f t e r   poo l i ng  o pe r a t i o n .   T i m pr o v e   a   m o de l 's   pe r f o r m a n c e ,   s e v e r a l   c o nv o l ut i o n a l ,   poo l i ng,   a n f u ll y   c o nn e c t e l a y e r s   a r e   us e d.   Af t e r   a pp l yi ng  a c t i va t i o n   f u n c t i o n s   f o r   m u l t i c l a s s   c l a s s if i c a t i o n ,   s uc h   a s   r e c t i f i e l i ne a r   uni t s   ( R e L U)   a n S o f t M a x ,   c l a s s i f i e o ut pu i s   ge n e r a t e d   [ 6] .   S a n s kr i t   s c r i pt   i s   d i s t i n gu i s he by   t h e   h e a de r   l i ne ,   o r   s hi r o l e k h a ,   t h a a ppe a r s   a b o v e   e a c h   c h a r a c t e r .   C o m pa r e t ot h e r   s c r i pt s   l i ke   E n g li s h ,   m o r e   c o n s o n a n t s   a n v o we l s   a n d i f f e r e n t   c o m bi n a t i o n s   o f   c o m po un l e t t e r s   a n c o nj u nc t   c o n s o n a n t s   m a ke s   S a n s kr i t   s c r i pt   r e c o gni t i o n   a   c h a ll e n g i ng  t a s k.   T h e r e   a r e   16   v o we l s   a n 39  c o n s o n a n t s   i n   S a n s kr i t   wr i t i n g.   C o n s o n a n t s   c a n   s o m e t i m e s   h a v e   i de n t i c a l   s h a pe s   w i t h   j u s t   mi n o r   v a r i a t i o n s ,   s uc h   a s   dot s ,   s l a n t i n l i ne s ,   a n c ur v e s   [ 7]   a s   s h o wn   i n   F i gur e   1.         F i gur e   1.   C o n s o n a n t s   w i t h   s im il a r   s h a pe   w i t h   m i n o r   v a r i a t i o n s       On e   o f   t h e   c h a ll e n g e   i n   r e c o gni t i o n   i s   d i f f e r e n t   h a n dwr i t i n s t y l e   o f   d i f f e r e n t   pe o pl e   w hi c h   c ha n ge s   o v e r   a ge .   O t h e r   i m po r t a n pa r a m e t e r s   to  b e   c o n s i d e r e whi l e   de ve l o p i n r e c o gni t i o n   s y s t e m   a r e   c ur s i ve   s t y le   o f   wr i t i n g,   s l o pe ,   t hi c k ne s s ,   a v e r a ge   s i z e   o f   l e t ter s ,   s pa c i n b e t we e n   l e t t e r s   a n i n put   i m a ge   qu a l i t y   [ 8]   A   s y s t e m   to  r e c o gni z e   h a n dwr i t t e n   De v a na ga r i   c ha r a c t e r s   i s   pr o p o s e by   De o r e   a n P r a vi n   [ 9]   wh e r e   a u t h o r s   h a v e   im p l e m e n t e t w o   s t a ge   a ppr o a c h   us i n V GG 16  to   r e c o gni z e   D e v a n a ga r i   h a n dwr i t t e n   c ha r a c t e r s .   R M S pr o a n A da m   o pt i mi z e r s   a r e   us e whi c h   r e s u l t e i n   go o a c c ur a c y   w i t h   R M S pr o wi t h   f a s t e r   c o n v e r ge n c e   t h a n   A da m .   I n   or de r   to   p r e v e n t   o v e r   f i t t i n g,   a ppr o a c h e s   us e h e r e   a r e   da t a   a ugm e n t a t i o n   a n d   i nc l us i o n   o f   0. dr o p o u t.   R e s u l t s   a r e   o b t a i n e by   c h a n g i ng  n u m be r   o f   e po c h s .   M o de l   i s   a l s o   t r a i n e b y   u s i ng   VG 19  whi c h   g i ve s   l e s s   a c c ur a c y   a n n e e ds   m o r e   s t or a ge   s pa c e   t h a n   t h a n   VG G16,   whi c h   a r c hi ve s   in  c l a s s if i c a t i o n   a c c ur a c y   o f   96. 55% .   An   a ppr o a c h   u s i ng  C NN   t o   r e c o gni z e   h a n d wr i tt e n   De v a n a ga r i   c h a r a c t e r s   i s   im p l e m e n t e   by   B h a r dwa j   [ 10] .   M o de l   A   a n M o de l   B   d i f f e r   i n   n u m be r   o f   c o nv o l ut i o n a l   l a y e r s ,   f u ll y   c o nn e c t e l a y e r s .   I b o t h   m o de l s   R e L U   a c t i v a t i o n   f u nc t i o n   a n l o c a l   r e s po n s e   n o r m a li z a t i o n   i s   us e d.   W i t h   a   m o m e n t um   o f   0. 9,   s to c h a s t i c   gr a d i e n t   de s c e n t   ( S GD )   i s   us e to  a c c o m p li s h   t h e   b a c kpr o pa ga t i o n   o n   f e e d - f o r wa r d   n e t s .   M o de l   A   i s   a bl e   to  gi v e   c l a s s if i c a t i o n   r a t e   o f   0. 98471.   A ut h o r s   f o un i m pr o v e m e n t   i n   c l a s s i f i c a t i o n   a c c ur a c y   up  to  0. 981326  by   i nc l u s i o n   o f   dr o p o u t   l a y e r   a n e x t e n d i ng  da t a s e t .   An e j a   a n An e j a   [ 11]    h a v e   pr o p o s e a n   a ppr o a c h   us i ng  tr a n s f e r   l e a r ni n to   c l a s s i f y   De v a n a ga r i   c h a r a c t e r s .   F i n e   t uni n a n C o nv Ne t   f o r   f i x e f e a t ur e   e x t r a c to r   a r e   t e c hni que s   us e d.   I n   c a s e   o f   f i xe f e a t ur e   e x t r a c to r   a b r   o b t a i n e f r o m   we i g h t s   o f   c o n v o l ut i o n a l   l a y e r s   w hi c h   a r e   f r o z e n   a n we i g h t   v e c t or s   o f   f u l ly  c o n n e c t e l a y e r s   a r e   upda t e d.   R e s u l t s   s h o ws   t h a i nc e pt i o n   V3  m o de l   r e s u l t e i n   hi g he s t   a c c ur a c y   o f   99% .   Vgg11  h a v e   hi g h e r   c o m put a t i o n a l   c o s t   t h a n   i nc e p t i o n   V3  w i t h   99%   a c c ur a c y   w i t h   a v e r a ge   t i m e   o f   5. m in  pe r   e po c h .   C l a s s if i a c t i o n   a c c ur a c y   o f   De n s e Ne t   20 a n De ns e Ne t   121  i s   89%   a n 90%   r e s pe c t i v e ly .   L o m t e   a n Do y e   [ 12]   h a v e   pr o p o s e d   a n   e f f e c t i v e   m e t h o f o r   c a l li ng  up  De v a na ga r i   t e x a n d   c a l li gr a p hy   r e c o gni t i o n   t h a t   c o m bi ne s   w a v e l e t ,   c o n to u r ,   a n s uppo r t   v e c to r   m a c hi ne   u s i n c o r r e l a t i o f u n c t i o n s   I C F   a n AC F   r e s u l t e a c c ur a c y   o f   98. 98  % .   Vi n a   e al .   [ 13]   i m p l e m e n t e m o d i f i e C NN   a l o n w i t h   Al e xne t   to  r e c o gni z e   h a n dwr i t t e n   Ve d i c   S a n s kr i t   t e x t .   T h r e e   C NN   m o de l s   w i t h   3,   a n 1 C ON l a y e r s   r e s pe c t i v e ly   a r e   pr o p o s e d.   I i s   o b s e r ve th a t   c o m bi n i ng  t h e   A da m   o p t i mi z e r   w i t h   R e L U   a ll o ws   f o r   f a s t e r   pr o c e s s i n by   i nc r e a s i ng  t h e   tr a i ni ng  r a t e   a n pr e v e n t i n o v e r f i t t i n o f   t h e   m o de l .   M o de l   M f o un b e s t   wi t h   a c c ur a c y   o f   97. 42%   f o r   Ve d i c   S a n s kr i t .   A ut h o r s   h a v e   a l s o   pr o p o s e d   a   n o v e l   s y s t e m   to  r e c o gni z e   ge s t ur e - b a s e t e x t   wr i t t e n   i n   De v a n a ga r i .   T wo   C NN   m o de l s   w i t h   a n l a y e r s   a r e   us e t o   r e c o g ni z e   h a n d   t i ge s t ur e   c h a r a c t e r   wi t h   a c c ur a c y   o f   97. %   a n 98. 4%   r e s pe c t i v e ly   [ 14] .   M a n o c h a   a n T e wa r i   [ 15]   pr o p o s e a   s y s t e m   us in C NN   f o r   f e a t ur e   e x t r a c t i o n   a n s uppo r v e c t or   m a c hi ne ,   r a n do m   f o r e s t ,   de c i s i o n   t r e e ,   m u l t i l a y e r   pe r c e ptr o n s   a n K - Ne a r e s t   n e i g hb o r   a n e x t r e m e   b o o s gr a d i e n t   f o r   c l a s s i f i c a t i o n   o f   DH C da t a s e t .   T r a i ni ng  a n t e s t i n da t a s e t   i s   s p li t t e i n   c a s e s   o f   70: 30,   75:25   a n 80:20.   H i g h e s t   c l a s s i f i c a t i o n   a c c ur a c y   i s   o b t a i n e a s   99%   by   u s i ng  C NN   a n S VM - R B F .   I n   pr e vi o us   wo r s e v e r a l   f e a t ur e   e x tr a c t i o n   m e t h o ds   a n c l a s s i f i e r s   a r e   us e i n   a   m a c hi ne   l e a r ni ng - b a s e s t r a t e gy   f o r   r e c o gni z i n h a n dwr i t t e n   De v a na ga r i   c ha r a c t e r s   t h r o ugh   a n a l y z i ng  t h e i r   pe r f o r m a n c e   [ 16] I n   t hi s   wo r a   n o v e l   a ppr o a c h   us i ng  d i s c r e t e   wa ve l e t   t r a n s f o r m   ( DW T )   a n C NN   i s   e m p l o y e to   r e c o gni z e   h a n dwr i t t e n   c h a r a c t e r s .   T h e   f i ne - t un e Go o gL e Ne t   m o de l   u n de r go e s   m u l t i p l e   t r a i ni ng  c y c l e s   t o   d e t e r m i ne   t h e   o p t i m u m   e po c h   a n l e a r ni ng  r a t e .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       Dis c r e te  w av e let  tr ans f or and  c onv olut ional   ne ur al  ne t w or k   bas e   ( Shr addha  V .   She lke )   1369   2.   M E T HO D   A r c hi t e c t ur e   o f   pr o p o s e s y s t e m   i s   s h o w n   i F i g ur e   2.   S a n kr i t   i s   wr i t t e n   us i ng  De v a n a ga r i   s c r i pt ,   da t a s e i n c l ud i ng  92, 000   h a n d wr i t t e n   i m a ge s   pr e pa r e by   A c ha r y a   e al.   [ 17 ]   a r e   us e i n   t hi s   e xpe r i m e n t .   Da t a s e i n c l ude s   2 , 000  h a n dwr i t t e n   i m a g e s   o f   46  d i f f e r e n t   c l a s s e s   o f   36  c o n s o n a n t s   a n 10  n u m e r a l s .   72, 000   im a ge s   o f   36   c l a s s e s   a r e   us e i n   t hi s   e x p e r i m e n t .   T h e   i m a ge   da t a   s tor e   o f   a l l   72, 000  i m a ge s   i s   c r e a t e d.   T h e   pr e pr o c e s s i ng  s t e i nv o l v e s   n o i s e   r e m o v a l   a n d   r e s i z i n o f   t h e   i m a g e .   F ur t h e r   di s c r e t e   wa v e l e t   tr a n s f or m   i a p pl i e d   f or   f e a tu r e   e x t r a c ti on   w h i c h   i s   th e n   a p pl i e d   to   C N N   m od e l   to   g e n e r a te   c l a s s i f i c a t i on   r e s ul ts .           F i gur e   2.   DW T   C NN   b a s e s y s t e m   a r c hi t e c t ur e       2. 1.     Dis c r e t e   wave l e t   t r an s f o r m   A   t e c hni que   f o r   e x tr a c t i n f e a t ur e s   t h a t   di vi d e s   a i n put   s i g n a l   i n t o   s e v e r a l   s u b   b a n ds   by   a pp lyi ng  a   d i s c r e t e   wa v e l e t   tr a n s f o r m   to  t h e   i n put   i m a ge .   Ana l y z i ng  s i g n a l   da t a   i n   b o t h   t h e   t i m e   a n f r e qu e n c d o m a i ns   i s   o n e   o f   t h e   b e s t   f e a t ur e s   o f   D W T   [ 18] .   F i gur e   de s c r i b e   w a v e l e t   de c o m po s i t i o n   o f   t h e   i n put   c h a r a c t e r   im a ge   i n   f o ur   s ub   b a n ds .   c A   i s   a ppr o xi m a t i o n   c oe f f i c i e n t   whi c h   i s   l o f r e que n c y   s u b   b a n d.   An th r e e   hi g f r e qu e n c y   s u b   ba n ds   i n c l ude   h o r i z o n t a l   de t a i l   c o e f f i c i e n t   ( c H) ,   v e r t i c a l   de t a i l   c o e f f i c i e n t   ( c V) ,   a n d i a go n a de t a i l   c o e f f i c i e n t   ( c D)   [ 19] .   Af t e r   pr e pr o c e s s i n a n i n put   i m a g e   ( I )   i s   a pp l i e to   di s c r e t e   wa v e l e t   tr a n s f o r m   ge n e r a t e s   I = {c A , c V, c H, c D}.   T h e   de t a i l   c o e f f i c i e n t s   o b t a i ne f r o m   a pp l yi ng  DW T   to  a n   i n put   i m a ge   o f   d i m e n s i o ns   128x 128  a r e   o f   s i z e   64 × 64,   a n t h e   r e s u l t i n a ppr o xi m a t i o n   c o e f f i c i e n t   c A   un de r go e s   C NN   pr o c e s s i n g.           F i gur e   3 .   F e a tur e   e x t r a c t i o n   pr oc e s s   by   DW T       2. 2.     CN a r c h it e c t u r e   T r a di t i o n a ll y ,   a n   a r t i f i c i a l   n e ur a l   ne t wor ( A NN )   i s   m a de   up  o f   m a ny   d e n s e   l a y e r s   o f   n e ur o n s ,   o f t e r e f e r r e d   to   a s   f u ll y   c o nn e c t e l a y e r s .   Us i ng  t h e s e   f u ll y   c o nn e c t e l a y e r s   r e s u l t s   i a n   e x t r e m e ly   l a r ge   tot a l   n u m be r   o f   pa r a m e t e r s   [ 6] .   Us i n m u l t i p l e   c o nv o l ut i o n a l   a n po o l i ng  l a y e r s   i C NN   a ll o w s   us   t o   r e duc e   t h e   n u m be r   o f   pa r a m e t e r s   b e c a us e   t h e s e   l a y e r s   o nl y   r e qu i r e   a   s m a ll   n u m be r   o f   pa r a m e t e r s .   T h e   f e a t ur e   pa tt e r n s   o f   t h e   i n put   da t a s e t   a r e   s to r e i n   f e a t ur e   m a p s   t h a t   a r e   ge n e r a t e a s   a   r e s u l t   o f   c o nv o l ut i o n a l   a n d   poo l i ng   l a y e r s   [ 5] .   F i gur e   s h o ws   t h e   s t r u c t ur e   o f   t h e   pr o p o s e C NN   m o de l .   C o n v o l ut i o n a l   l a y e r   i n   C NN   c o n s i s t s   o f   a ppl yi n c o n v o l ut i o n a l   o pe r a t i o n   us i ng  a   f i l t e r   a n t h e a dd i n bi a s   t o u t pu t   a n pa s s i n i t   to   n o nl i ne a r   a c t i va t i o n   f u n c t i o n   l i ke   R e L U.   F o r   m u l t i p l e   f il t e r s   bi a s   a dde w i ll   b e   d i f f e r e n t   to   ge n e r a t e   m u l t i p l e   o ut pu ts   o f   c o n v o l ut i o n a l   l a y e r s .       (      )   =           3     (1 )       ( )   =           3       (2 )       (     )   =   (       + 1 )     (       +   1 )       (3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   2 M a y   20 2 5 :   1 367 - 1 375   1370   I n   ( 1 ) - ( 3 )   i n d i c a t e s   di m e ns i o n s   o f   i n put   i m a g e ,   f il t e r   a n f e a t ur e   m a o b t a i n e a f t e r   c o n v o l ut i o n a o pe r a t i o n .   W h e n   a n   im a ge   o f   s i z e   n × n × i s   c o nvo l v e w i t h   f il t e r   o f   s i z e   f × f × 3 × u,   wh e r e   i nd i c a t e s   R GB   im a ge   a n i n d i c a t e s   n u m be r   o f   f il t e r s ,   t h e n   s i z e   o f   f e a t ur e   m a o b t a i n e a f t e r   c o n v o l ut i o n a l   l a y e r   i s   ( n - f + 1)   × (n - f + 1) × u.   P oo l i n o pe r a t i o n   i s   pe r f o r m e a f t e r   c o n v o l ut i o n a l   o pe r a t i o n .   F un c t i o n   o f   poo l i ng  l a y e r   i s   to  r e duc e   di m e ns i o n s   o f   i nput   i m a ge   by   pr e s e r vi ng   f e a t ur e s   i n   i t .   I n   m a x   poo l i ng  o pe r a t i o n   m a xim u m   v a l u e   f e a t ur e   i s   s e l e c t e f r o m   g i ve n   f il t e r   w i n do w,   a n t h e n   m o v e w i t h   a   s t r i d e   o f   s   o v e r   t h e   c o nv o l v e im a ge .   I f   f i l t e r   s i z e   o f   m a x po o l i n o pe r a t i o n   i s   m   x   m   a n s t r i de   o f   t h e n   f e a t ur e   m a o b t a i n e a t   t h e   o u t pu t   w i ll   ha v e   s i z e   o f   ( m /2) × ( m /2) .   T h e r e   a r e   m u l t i p l e   s uc h   l a y e r s   c o n ne c t e o n e   a f t e r   t h e   ot h e r   [ 5 ] .   P r o p o s e C NN   m o de l   c o n s i s t s   o f   c o n v o l ut i o na l   l a y e r s   w i t h   R e L a c t i va t i o n   f u n c t i o n   a n f o ur   m a x   po o l i ng  l a y e r s .   A c t i v a t i o n   s i z e   o b t a i n e a t   f i r s t   a n s e c o n c o n v o l ut i o n a l   l a y e r s   i s   ( 62,   62,   32) .   M a x po o l i ng  o pe r a t i o n   i s   do n e   w i t h   s t r i de   o f   a n pa dd i n i s   s e t   a s   v a l i d.   T hi r a n f o ur t h   c o n v o l ut i o n a l   l a y e r s   h a v e   o ut pu o f   ( 19,   19 ,   32 )   wh e r e a s   f i f t a n s i x t h   c o nv o l ut i o n a l   l a y e r   w i t h   ( 8,   8,   64 )   a n s e v e n t h   a n e i g h t h   c o nv o l ut i o n a l   l a y e r   h a v e   s i z e   o f   ( 3,   3,   64) .   B e f o r e   a ppl yi ng  f u ll y   c o nn e c t e l a y e r   o u t pu o f   l a s t   C ON l a y e r   i s   f l a t t e n   i n   o n e   d i m e n s i o n a l   v e c t o r .   M u l t i p l e   f u ll y   c o nne c t e l a y e r s   c a n   b e   a dde b ut   a dd i n m u l t i p l e   f u ll y   c o nn e c t e l a y e r s   i nc r e a s e s   a m o u n t   o f   pa r a m e t e r s   to   b e   de a l t   w i t h   [ 4] .   A c t i v a t i o n   f u n c t i o n s   li ke   t h e   S o f t M a x   f o r   m u l t i c l a s s   c l a s s i f i c a t i o n   a n t h e   s i g m o i f o r   bi n a r c l a s s if i c a t i o n   a r e   i n c l ude i n   t he   l a s t   l a y e r .   S o f t M a x   a c t i v a t i o n   f u n c t i o n   i s   us e i n   pr o p o s e m o de l .   S o f t M a x   ac ti v a t i on   f un c t i on   i s   u s e d   f or   m ul t i c l a s s   c l a s s i f i c a t i on   wh e r e   ou tp u t   i s   p r ob a b i l i t y   th a i n p u b e l on g s   to   th a t   c l a s s .             F i gur e   4.   S tr uc t u r e   o f   C NN   m o de l       M a t h e m a t i c a l   m o d e l i ng  o f   S o f t M a x   f u n c t i o n   i s   g i v e n   i n   ( 4 ) ,   W h e r e   P ( y = i )   i s   o ut pu pr o b a bil i t y .   Z i   i s   r a c l a s s   s c o r e     P (y = i )   =     = 1   (4 )     Nu m b e r   o f   n e ur o n s   i n   l a s t   f u ll y   c o nn e c t e l a y e r   s h o u l b e   e qua l   t n u m b e r   o f   c l a s s e s   whi c h   g i v e s   pr e d i c t e v a l ue s   o f   c a t e go r i e s .   A s   t h e r e   a r e   36  d i s ti nc t   o u t pu t s   l a s t   l a y e r   c o n t a i n s   36  n e ur o n s .   C o s t   f un c t i o n   is   c a l c u l a t e f r o m   pr e d i c t e v a l ue s   w hi c h   s i g nif a m o un t   o f   e r r o r   t h a t   m o de l   i s   ge tt i n w hil e   m a k i ng  pr e d i c t i o n s .   F o r   bi n a r y   c l a s s i f i c a t i o n   bi na r y   c r o s s   e n t r o py   c o s t   f unc t i o n   c a n   b e   us e a n f o r   m u l t i c l a s s   c l a s s if i c a t i o n   c a t e gor i c a l   c r o s s   e n t r o py   c o s f u n c t i o n   c a n   b e   us e d.   T e n h a n c e   t h e   m o de l 's   a c c ur a c y ,   i t   i s   n e c e s s a r y   t m i n im i z e   t h e   c o s t   f un c t i o n   t h r o ugh   t r a i ni ng  w i t h   b a c kpr o pa ga t i o n   a l go r i t hm s ,   s uc h   a s   s t o c h a s t i c   gr a d i e n t   de s c e n t   ( S GD )   or   a da p t i v e   m o m e n t   e s t i mat i o n   ( A da m )   [ 2] .     2. 3.     GoogL e Ne t   ar c h it e c t u r e   P r e tr a i n e d Go o gL e Ne m o de l   a l s o   c a l l e a s   I n c e pt i o n - v i s   a l s o   us e to   i n   t hi s   pa pe r .   I n   t h e   t r a n s f e r   l e a r ni ng  a ppr o a c h ,   a   pr e t r a i n e c l a s s if i c a t i o n   m o de l   i s   us e r a t h e r   o f   c r e a t i n a   n e de e l e a r ni n m o de l   w i t ma ny   c o nv o l ut i o na l   a n f u ll y   c o nn e c t e l a y e r s   [ 20] ,   [ 21] .   F or   tr a n s f e r   l e a r ni ng,   t h e   M A T L A B   de e p   n e t wor k   de s i g n e r   too l b o x   i s   us e a n t h e   G oo gL e Ne m o de l   i s   c h o s e n   s i nc e   i t   h a s   pr o duc e d   b e tt e r   r e s u l t s   t h a Al e xn e t   o n   t h e   DH C da t a s e t.     Goo gL e Ne t ,   t h e   2014  I L S VR C   c h a m p i o n ,   gr e a t l y   r e duc e i t s   e r r o r   r a t e   t h a n   ot h e r   m o de l s .   I n put  im a ge   o f   s i z e   224 × 224  w i t h   R GB   c h a nn e l s   i s   a pp li e a s   a n   i nput   to  t h e   m o de l .   O n e   o f   t h e   ke y   c o m p o n e n t s   o f   t hi s   m o de l   i s   i t s   1 × c o n v o l ut i o n ,   whi c h   s i g nif ica n t l y   l o we r s   t h e   n u m be r   we i g h t s   a n pa r a m e t e r   bi a s e s ,   c r e a t i n a   de e pe r   a r c hi t e c t ur e .   T h e   7 × 7   f e a t ur e   m a i s   a v e r a ge i n t o   a   1 × to  r e duc e   t h e   n u m be r   o f   tr a i n a bl e   pa r a m e t e r s   [ 22] .   W h e n   g l o b a l   a ve r a ge   poo l i ng  i s   us e d,   a c c ur a c y   i nc r e a s e s   by   0. 6% .   T o   h a n d l e   o bj e c t s   m o r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       Dis c r e te  w av e let  tr ans f or and  c onv olut ional   ne ur al  ne t w or k   bas e   ( Shr addha  V .   She lke )   1371   e f f e c t i v e ly   a t   d i f f e r e n t   s c a l e s   1 × 1,   3 × 3,   a n 5 × p a r a l l e l   3 × m a x   po o l i ng  a n c o nv o l ut i o n   a r e   e x e c ut e d.   T o b t a i n   o u t pu o f   i n c e pt i o n   m o du l e ,   t h e s e   m o du l e s   a r e   s t a c ke d.   I n c e pt i o n   m o du l e   d e s i g n e i n   M A T L A B   De e p   Ne t w o r k   de s i g n e r   i s   s h o wn   i n   F i gur e   5.   A uxil i a r y   c l a s s if i e r   b r a nc h e s ,   i n c l ud i ng  a v e r a ge   po o l i n g,   c o n v o l ut i o w i t h   128  f il t e r s ,   a n S o f t M a x   a c t i v a t i o n   f u n c t i o n,   a r e   a dde to  t h e   i ni t i a l   m o de l s .   T h e   v a ni s h i ng  gr a d i e n t   pr o bl e m   i s   s o l ve d   w i t h   l a y e r s   [ 23]   A   22  l a y e r s   de e a r c hi t e c t ur e   i s   c o m put a t i o n a l   e f f ic i e n t   a s   i t   c a n   r un   o n   de vi c e s   w i t h   l o c o m put a t i o n a l   c o s t.   Out pu o f   i nc e pt i o n   ( 4a )   a n ( 4d)   i s   c o nn e c t e to   two   a uxi l i a r y   c l a s s if i e r s .   W i t h   f o l l o w i ng  pr o pe r t i e s :     An   a v e r a ge   po o l i n l a y e r ,   5 × f il t e r   a n s t r i de   o f   3 .     1x C o nv o l ut i o n a l   l a y e r   h a vi ng  128  f il t e r s   a n a c t i v a t i o n   f u n c t i o n   us e i s   R e L U .     A   F u ll y   C o nn e c t e o u t pu l a y e r   w i t h   1025  o u t pu t s   a n a c t i v a t i o n   f u n c t i o n   us e i s   R e L U .     Dr o p o u r a t i o   0. 7   i s   s e t   whi l e   dr o p o u t   r e gu l a r i z a t i o n .     S o f t M a x   c l a s s if i e r   w i t h   1 , 000  c l a s s e s   o ut pu t.   T h e   m o de l   e m p l o y s   R e L a s   t h e   a c t i v a t i o n   f u n c t i o n   f o r   e v e r y   c o nv o l ut i o n .   R e L i s   o n e   o f   t h e   m o s t   c o m m o nly   e m p l o y e a c t i v a t i o n   f u n c t i o n   i s   C NN s .   Ou t pu t   o f   R e L i s   wh e n   t h e r e   i s   n e ga t i v e   i nput   a n f o r   a ny   po s i t i ve   v a l ue   o f   i n put   o u t pu i s   s a m e   a s   i n p ut.   B a s i c a ll y   i t   i s   us e to  c a n c e l   a ll   n e ga t i v e   o u t p ut s   [ 20] M a t h e m a t i c a ll y   R e L i s   r e pr e s e n t e by   ( 5 )   A d v a n t a ge   o f   us i ng  R e L i s   i t   c a n   h e l t o v e r c o m e   va ni s hi n g   gr a d i e n t   pr o bl e m   [ 24] .     ( ) =      ( 0 , )   (5 )     ( )   =   0      0       ( )   =          > 0             F i gur e   5.   G oo gL e Ne t   i nc e pt i o n   m o du l e   de s i g n e in   M A T L AB   de e n e t wo r k   de s i g n e r   too l       2. 4.     S t oc h as t ic  gr ad ient   d e s c e n t   wit h   m om e n t u m   ( S GDM )   Dur i n b a c pr o pa ga t i o n   i n   o r de r   to  f i ne   t un e   pa r a m e t e r s   o f   ne t wor k   o p t i mi z e r s   a r e   i m p l e m e n t e d.   M a i n   o bj e c t i v e   o f   o p t i mi z e r s   i s   to   f i n g l o ba l   mi n im a   i n   o r de r   to  m i n im i z e   l o s s   f u n c t i o n .   I n   s to c h a s t i c   gr a d i e n t   de s c e n t   w i t h   m o m e n t u m   e x po n e n t i a ll y   we i g h t e m o vi ng  a v e r a ge   i s   c a l c u l a t e by   ( 6 ) ,   wh e r e     i s   hy pe r - pa r a m e t e r   r a n g i n f r o m   to  1.   E qua t i o n   s ho ws   t h a v e l o c i t y   V t   de pe n ds   o n   β .   T h e   e x pe r i m e nt  a tt e m pt   to  o b t a i n   a n   a v e r a ge   o f   m o r e   hi s t o r i c a l   d a t a   t h e   gr e a t e r   t h e   v a l ue   o f   β ,   a n vi c e   v e r s a .        =         1   +   ( 1     )     ( 6)         [ 0 , 1 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   2 M a y   20 2 5 :   1 367 - 1 375   1372   W hil e   c a l c u l a t i n g l o b a l   mi n im a   c h a n ge s   i n   gr a d ien t   a r e   i n d i c a t e by   v e l o c i t y   i n   S GD M   g i ve n   by   ( 7) ,   wh e r e       i s   w ei g h t .       + 1   =     (7 )         =       1   +            W h e n   β   i s   s e t   to   0,   i t   c a us e s   a   de c a y ,   h o we v e r   w he n   i t   i s   e qua l   t o   1,   t h e r e   i s   n o   de c a y .   Us ua ll y ,   o nl 0. 5,   0 . 9,   or   0. 99  a r e   us e f o r   β .   S i n c e   S GD M   i nv o l ve s   m o m e n t u m ,   i n   c o n t r a s t   to  S GD ,   a n c a n   e s c a pe   l o c a l   mi n im a   a n a t t a i n   g l o ba l   mi n im a ,   i t   i s   a   b e t t e r   o p t i o n   t h a n   S GD   f o r   o p t i mi z a t i o n   [ 25] .       3.   RE S UL T S   AN DI S CU S S I ON   3. 1.     Re s u l t s   ob t ain e d   f or   DWT - CN m od e l   M A T L A B   de e n e t wo r de s i g ne r   i s   us e f o r   i m p le m e n t a t i o n .   T h e   im a ge   da t a   s t or e   o f   72000  i m a ge s   f r o m   t h e   DH C da t a s e t   i s   c r e a t e d,   a ppr o xi m a t i o c o e f f i c i e n t   ( c A )   o b t a i n e a f t e r   d i s c r e t e   wa v e l e t   tr a ns f o r m   a r e   a pp l i e to   C NN   m o de l .   Da t a s to r e   i m a ge s   a r e   s p l i t   a t   r a n do m   80:20,   w i t h   80%   o f   t h e   i m a ge s   us e f o r   t r a i ni ng  a n 20%   f o r   t e s t i n g.   T h e   m o de l   i s   i m p le m e n t e o n   a n   i C P U.   L e a r ni n r a t e   i s   s e to  0 . 001  a n m o de l   i s   t r a i n e f o r   10,   15  a n 20  e po c h s ,   o p t i m i z e r   us e i s   S GD M .   T a bl e   s h o ws   r e s u l t s   o b t a i n e f o r   DW T     C NN   m o de l .       T a bl e   1.   T h e   r e s u l t s   o f   c l a s s i f i c a t i o n   a c c ur a c y   f o r   DW T - C NN   m o de l   E poc h   %   T r a in in a c c u r a c y   %   T e s ti ng  a c c ur a c y   L o s s   10   86.47   87.89   0.232   15   98.99   98.95   0.085   20   98.14   94.38   0.045       I i s   o b s e r v e t h a t   b e s t   c l a s s i f i c a t i o n   a c c ur a c y   i s   o b t a i n e f o r   15  e po c h s .   T e s t i n a c c ur a c y   i s   r e duc e d   f o r   20  e p o c h s   due   to   o v e r f i t t i n g.   F ur t h e r   m o de l   i s   t r a i n e f o r   l e a r ni ng  r a t e s   o f   0. 001,   0. 01   a n 0. 015  by   ke e p i n n u m be r   o f   e po c h   a s   15.   R e s u l t s   a r e   s h o wn  i n   T a bl e   2.       T a bl e   2.   L e a r ni ng  r a t e   a n a l y s i s   f o r   DW T - C NN   m o de l   L e a r ni ng  r a te   0.001   0.01   0.015   %   T r a in in a c c u r a c y   98.99   99.15   88.34   %   T e s ti ng  a c c ur a c y   98.95   98.97   74.38   L o s s   0.085   0.098   0.045       R e s u l t s   s h o ws   t h a t   m a xim u m   t e s t i n a c c ur a c y   o f   98. 97%   i s   o b t a i n e f o r   l e a r ni ng  r a t e   o f   0. 01.   A c c ur a c y   de c r e a s e s   i f   l e a r ni ng  r a t e   i nc r e a s e s   to  0. 015  b e c a us e   a   hi g h e r   l e a r ni n r a t e   c a us e s   t h e   m o de l   t l e a r n   r a p i d ly ,   whi c h   a f f e c t s   n e t wor pe r f o r m a n c e .   I t   i s   a l s o   o b s e r v e t h a t   tr a i ni ng  t i m e   de c r e a s e s   a s   l e a r ni ng   r a t e   i nc r e a s e s   b e c a us e   n e t wo r ks   l e a r n   qu i c k ly .     3. 2.     Re s u l t s   ob t ain e d   f or   GoogL e Ne t   m od e l     T h e Go o gL e Ne m o de l   a c c e pt s   R GB   I n put  i m a ge   o f   s i z e   224  x   224,   ' C o l o r P r e pr o c e s s i n g ' ,   ' gr a y 2r gb'  pr o pe r t y   i s   s e t   whil e   c r e a t i n im a ge   d a t a s to r e .   T h e   S GD M   o pt i m i z e r   w i t h   a   l e a r ni ng  r a t e   o f   0. 001  i s   us e t a n a ly z e   t h e   m o de l   o ve r   10,   15,   a n 20  e po c h s .   T h e   tr a i n e m o de l   i s   t h e n   e x po r t e to   t h e   wo r ks pa c e ,   a n 20%   o f   da t a   po i n t s   f r o m   t h e   im a ge   da t a s t or e   a r e   us e f o r   t e s t i n pur po s e s .   T a bl e   d i s p l a y s   t h e   r e s u l t s   o b t a i n e d   a f t e r   t r a i ni ng  a n t e s t i n t h e   m o de l   f o r   v a r i a bl e   e p o c h s .       T a bl e   3.   T h e   r e s u l t s   o f   c l a s s i f i c a t i o n   a c c ur a c y   f o r   f i ne - t un e Goo gL e Ne t   m o de l   e p oc h   %   T r a in in a c c u r a c y   %   T e s ti ng  a c c ur a c y   L o s s   10   96.97   98.34   0.1589   15   99.78   99.65   0.0875   20   99.89   98.66   0.0646     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       Dis c r e te  w av e let  tr ans f or and  c onv olut ional   ne ur al  ne t w or k   bas e   ( Shr addha  V .   She lke )   1373   R e s u l t s   s h o t h a a s   t h e   n u m be r   o f   e po c h s   i nc r e a s e s ,   t r a i ni ng  a c c ur a c y   a l s o   i n c r e a s e s   a s   t h e   m o de l   l e a r n s   m o r e   f r o m   t r a i ni ng  da t a .   I a l s o   r e s u l t s   i n   a n   i nc r e a s e   i n   a v e r a ge   t i m e   pe r   e po c h .   I t   i s   o b s e r v e t h a t r a i ni ng  m o de l   f o r   15   e po c h s   r e s u l t e i n   a   m a xi m u m   t e s t i n a c c ur a c y   o f   99. 65%   wi t h   a   l o s s   o f   0. 0875 .   L e a r ni n r a t e   a n a ly s i s   o f   m o de l   i s   s h o wn   i n   T a bl e   4.       T a bl e   4.   L e a r ni ng  r a t e   a n a l y s i s   f o r   Goo gL e Ne t   m o de l   L e a r ni ng  r a te   0.001   0.01   0.015   %   T r a in in a c c u r a c y   99.78 %   99.81 %   99.52 %   %   T e s ti ng  a c c ur a c y   99.65 %   99.68 %   98.87 %   L o s s   0.0875   0.0635   0.0884       T h e   b e s t   c l a s s if i c a t i o n   a c c ur a c y   o f   99. 68%   i s   o b t a i ne f o r   l e a r ni ng  r a t e   o f   0. 01  wi t h   l o s s   o f   0. 0875.   C o nf us i o n   m a t r i x   i n c l ude s   400  i m a ge s   o f   36  c l a s s e s   e a c h   a r e   us e f o r   t e s t i n pur po s e .   I de m o n s t r a t e s   t h e   c o nf us i o n   o f   s i mi l a r   c ha r a c t e r s   wi t h   l i t t l e   v a r i a t i o n s .   I c a n   b e   o b s e r v e f o r   c o nf us i o n   m a t r i x   t h a out  o f   400  s a m p l e s   o f   c h a r a c t e r   ,   15  s a m p l e s   a r e   pr e d i c t e a s   ”  a n r e m a i n i ng  385  s a m p l e s   a r e   c o r r e c t l y   pr e d i c t e a s   .   S i mi l a r ly   o ut  o f   400  s a m p l e   o f   c h a r a c t e r   ,   s a m p l e s   a r e   i n c o r r e c t l y   pr e d i c t e a s   ,   i s   c l a s s if i e a s   ,   s a m p l e   a s   ,   s a m p l e   a s   ”  a n s a m p l e   a s   ”  w i t h   r e m a i n i ng  393  c ha r a c t e r s   a r e   c o r r e c t l y   c l a s s if i e a s   ”.     3. 3.     Val id at ion   of   r e s u l t s   T a bl e   g i ve s   c o m pa r i s o n   o f   pr o p o s e m o de l   w i t ot h e r   m e t h o do l o g i e s .   T h e   f i nd i ng s   s h o t h a t   t h e   pr o p o s e DW T - C NN   a l go r i t hm   o ut pe r f o r m e ot h e r   t e c h ni que s   de s c r i be i t h e   l i t e r a t ur e   wi t h   a n   a c c ur a c y   o f   98. 97% .     Us i n DW T   a l l o w s   t h e   e x t r a c t i o n   o f   tex t ur a l   e l e m e n t s   f r o m   a n   i m a ge ,   s uc h   a s   i t s   s tr u c t ur e   o r   pa tt e r n s .   A dd i t i o na l ly ,   t h e   a c c ur a c y   r e a c h e t o   99 . 68%   wh e n   c o m bi ne w i t h   a   f i ne - t un e Go o gL e Ne t   m o de l .   T h e   22 - l a y e r   de e de s i g n   o f   Go o gL e Ne c o n t r i b u t e s   f o r   i t s   e nha n c e pe r f o r m a n c e .   B y   a ll o w i ng  t h e   us e   o f   d i f f e r e n t   f il t e r   s i z e s ,   t h e   i n c e pt i o n   m o du l e   i m pr o v e s   Goo gL e Ne t ' s   e f f i c i e nc y .         T a bl e   5.   C o m pa r i s o n   o f   r e s u l t s   o b t a i ne f o r   DH C da t a s e t   A ut ho r   Y e a r   A lg o r i th m   P e r c e nt a ge   a c c ur a c y   A c ha r y a   e al .   [ 17]   2015   D e e c o n vo lu ti o na n e ur a n e tw o r k   98.47   A ne ja   a nd A ne ja   [ 11]   2019   T r a ns f e r   le a r n in of  D C N N  A le x N e t,   D e ns e N e , V gg, i nc e pt i o nV 3   H ig h e s a c c ur a c y   A le x n e t:  98   M a no c ha   a nd  T e w a r i   [ 15]   2021   D e e l e a r ni ng C N N  +  S V M , K N N , M L P   92   V in a   e al .   [ 13]   2022   D e e p C N N  m o d e ls  w it h 3,8,12 C O N V  l a y e r s   98.94   S he lk e   e al .   [ 16]   2023   H y br id  D W T - D C T , S V M   H O G , S V M   83.09   97.10   P r o p o s e d A lg o r it h m   2024   P r o p o s e d D W T - C N N  m o d e l   98.97   F in e - tu ne G oo g L e N e m o d e l   99.68%       4.   CONC L USI ON   Ha n dwr i t t e n   S a ns kr i t   m a n u s c r i pt s   m us t   b e   di g i t i z e i n   o r de r   to  b e   pr e s e r v e f o r   f ut ur e   ge n e r a t i o n s .   I n   t hi s   pa pe r   a n   a ppr o a c h   us i ng  D W T   f o r   f e a t ur e   e x tr a c t i o n   a n c o nv o l ut i o n a l   ne ur a l   n e t wo r k   f o r   c l a s s if i c a t i o n   o f   h a n dwr i t t e n   c ha r a c t e r s   i s   i m p l e men t e d.   F i n e - t un e Goo gL e Ne m o de l   i s   a l s o   i m p le m e n t e h e r e .   DH C da t a s e t   i nc l ude s   72000  h a n d wr i t t e n   i m a ge s   i s   a v a il a bl e   f r e e ly   f o r   r e s e a r c h   i s   us e f o r   thi s   s t ud y .   A ppr o xim a t i o n   c o e f f i c i e n t   o b t a i ne a f t e r   a ppl yin DW T   o n   i n put   i m a ge s   i s   f e to  C NN   f o r   i m pr o vi ng   f e a t ur e   l e a r ni ng  c a p a c i t y .   Af t e r   tr a i ni n b o t h   t h e   m o de l s   by   v a r yi ng  hy pe r   pa r a m e t e r s ,   o p t i m u m   va l ue s   o f   l e a r ni ng  r a t e   a n e po c h s   i s   o b t a i n e a s   0. 01  a n 1 r e s pe c t i ve l y .   R e s u l t s   s h o ws   t h a t   DW T - C NN   m o de l   g i ve s   t r a i ni n a c c ur a c y   o f   99. 15%   a n t e s t i n a c c ur a c o f   98. 97%   wi t h   t h e   l o s s   o f   0. 098.   F i n e - t un e Goo gL e Ne m o de l   h a s   s i g nif i c a n t l y   i nc r e a s e a c c ur a c y   t o   99 . 81%   whi l e   t r a i ni ng  a n 99. 68%   whi l e   t e s t i n w i t h   l o s s   o f   0. 0635.   A dd i t i o n a ll y ,   t h e   i n c e pt i o n   m o du l e   a ll o ws   s e v e r a l   f il t e r   s i z e s   t o   b e   us e s i m u l t a ne o us l y .   Ho we v e r ,   a   c h a ll e n g e   w i t h   Goo gL e Ne i s   t h a t h e   m o de l   r e qu i r e s   m o r e   t i m e   to  t r a i n   due   to  i t s   de e l a y e r e de s i gn .     T h e   i nc r e a s i n n u m be r   o f   e po c h s   a n l e a r ni ng  r a t e   r e s u l t e i n   o v e r f i t t i n o f   a   m o de l   w hi c h   c a n   b e   r e duc e b i nc r e a s i n dr o o u t   r e gu l a r i z a t i o n .   Us i ng  t h e   S G DM   o p t i mi z e r ,   w hi c h   pr o vi de s   b e t t e r   ge n e r a l i z a t i o n   t h a ot h e r   o p t i mi z e r s   de s p i t e   b e i ng  s l o w e r   t h a n   o t h e r s ,   i m pr o v e s   t h e   o v e r a l l   pe r f o r m a n c e   o f   a   m o de l .   T h e   Goo gL e Ne t   m o de l ' s   e f f e c t i ve n e s s   c o m e s   f r o m   t he   us e   o f   t h e   i n c e pt i o n   m o du l e ,   whi c h   m a i n t a i ns   pr e c i s i o whil e   l o we r i n pr o c e s s i ng  c o m p l e xi t y .   T h e   c o nf us i o n   m a t r i x   s h o ws   t h a t   t h e r e   i s   c o nf us i o n   b e t we e n   c h a r a c t e r s   ”  a n ”,   ”  a n ”,   ”  a n .   C o m pa r i s o n   o f   r e s u l t s   s h o ws   t h a pr o p o s e D W T - C NN   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m S c i Vo l .   3 8 ,   N o .   2 M a y   20 2 5 :   1 367 - 1 375   1374   m o de l   o u t pe r f o r m e t h a n   o t h e r   m o de l s .   H y b r i D W T   a n hi s t o gr a m   o f   o r i e n t e gr a d i e n t s   ( HO G)   c a n   b e   us e d   f o r   r e c o gni t i o n   o f   h a n d wr i t t e n   S a n s kr i t   wo r ds .   Al t h o ugh   Go o gL e Ne pe r f o r m e b e t t e r ,   t h e   DW T - C NN   m o de l   i s   a   go o d   a l t e r n a t i v e   t h a t   r e qui r e s   l o we r   c o m pu t a t i o n a l   c o s t .       RE F E R E NC E S   [ 1]   R J a y a d e v a n,  S .   R K o lh e P M P a ti l,   a nd  U .   P a l,   O f f li ne   r e c o gni ti o n   of   D e v a na ga r s c r ip t:   A   s ur ve y ,”   I E E E   T r ans ac ti ons   on  Sy s te m s M an  and  C y be r n e ti c s   P ar C :   A ppl ic at io ns   and  R e v ie w s vo l.   41,  n o 6,  pp.  782 796,  N ov 2011,  do i:   10.1109/ T S M C C .2010.2095841.   [ 2]   D T M a ne   a nd  U V K ul ka r ni V is ua li z in g   a nd  U nde r s ta ndi ng  C us to mi z e C o n vo lu ti o na N e ur a N e tw o r k   f or   R e c o gni ti on  of   H a ndw r it t e n M a r a th N ume r a ls ,”   P r oc e di a C om put e r  Sc ie nc e vo l.  132, pp. 1123 1137, 2018, d o i 10.1016/ j. pr oc s .2018.05.027.   [ 3]   A M o udgi l,   S S in gh,  V G a ut a m,  S R a ni a nd  S H S ha h,  H a ndw r it t e de v a na ga r ma nus c r ip c ha r a c t e r s   r e c o gni ti o u s in g   c a ps ne t,   I nt e r nat io nal   J our nal   of   C ogni ti v e   C om put in in   E ngi ne e r in g vo l.   4,  pp.  47 54,   J un.  2023 do i:   10.1016/j .i jc c e .2023.02.001.   [ 4]   P P N a ir A . J a me s P S im o n,  a nd  P . V B ha gy a s r e e M a la y a la H a ndw r it te C ha r a c t e r   R e c o gni ti o us in C N N   A r c hi te c tu r e ,”   I ndone s ia J our nal   o f   E le c tr ic al   E ngi ne e r in and   I nf or m at ic s v o l.   11,  no 3,  pp.  764 777,  S e p.  2023,  do i:   10.52549/i je e i. v 11i 3.4829.   [ 5]   S S in gh,  A S ha r ma a nd   V K C ha uh a n,  O nl in e   ha ndw r it te G ur mukhi   w or r e c o gni t i o us in f in e - tu n e D e e C o n vo lu ti o na l   N e ur a N e tw o r o n   of f l in e   f e a tu r e s ,”   M ac hi ne   L e ar ni ng  w it h   A ppl ic at io ns vo l.   5,   p.  100 037,  S e p.   2021,  do i:   10.1016/j .ml w a .2021.100037.   [ 6]   S . D . P a nde   e al . , “ D ig it iz a ti o of  ha ndw r it t e n D e v a na ga r te x t  us in g C N N  t r a ns f e r  l e a r ni ng    A  b e tt e r   c us t o m e r  s e r v ic e  s upp or t,   N e ur os c ie nc e  I n f or m at ic s , v o l.  2, n o . 3, p. 100016, S e p. 2022, d o i:  10.1 016/ j. n e u r i. 2021.100016.   [ 7]   R G h o s h,  C V a ms hi a nd  P K u ma r R N N   ba s e o n li ne   ha ndw r it te n   w or r e c o gni ti o in   D e v a na ga r a nd  B e nga li   s c r ip ts   us in ho r i z o nt a z o ni ng,”   P at te r n R e c ogni ti on vo l.  92, pp. 203 218,  A ug. 2019, do i:  10.1016/j .pa t c o g.2019.03.0 30.   [ 8]   R S a r khe l,   N D a s A D a s M K undu,  a nd  M N a s ip ur i,   A   mul ti - s c a l e   de e qua tr e e   ba s e f e a tu r e   e x tr a c ti o me th o f o r   th e   r e c o gni ti o of   is o la t e ha ndw r it t e c ha r a c t e r s   of   p o pu la r   in di c   s c r ip ts ,”   P at te r R e c ogni ti on vo l.   71,  pp.  78 93,  N ov 201 7,  do i:   10.1016/j .pa tc o g.2017.05.022.   [ 9]   S . P . D e or e  a nd A . P r a v in , “ D e v a na ga r H a ndw r it t e n C ha r a c t e r   R e c o gni t i o n us in f in e - tu n e d D e e p C o n vo lu ti o na N e ur a N e tw o r k   o tr i v ia da ta s e t,   Sadhana  -   A c ade m y   P r oc e e di ngs   in   E ngi ne e r in Sc ie nc e s vo l.   45,   n o 1 ,   p.  243,   D e c .   2020,  do i:   10.1007/s 12046 - 020 - 01484 - 1.   [ 10]   A B ha r dw a j,   A A c c ur a te   a nd  F in e - tu n e D e e p - L e a r ni ng  M o d e f o r   H a ndw r it t e D e v a na ga r C ha r a c te r   R e c o gni ti o n,”   vo l.   20,  no . 6, pp. 6717 6736, 2022.   [ 11]   N A ne ja   a nd  S A n e ja T r a ns f e r   L e a r ni ng  u s in C N N   f o r   H a ndw r it t e D e v a na ga r C ha r a c t e r   R e c o gni ti o n,”   1s I E E E   I nt e r nat io nal   C onf e r e nc e   on  A dv anc e s   in   I nf or m at io T e c hnol ogy I C A I T   2019  -   P r oc e e di ngs pp.  293 296,  2019,  do i:   10.1109/I C A I T 47043.2019.8987286.   [ 12]   V M L o mt e   a nd  D .   D D oy e D e v a na ga r T e x t   a nd  C a ll ig r a ph y   R e c o gni ti o n   U s in I C F   &   A C F ,”   C om put e r   I nt e gr at e M anuf ac tu r in g Sy s te m s , v o l.  29, n o . 1, pp. 88 114, 2023, d o i:  1 0.24297/j .c im s .2023.1.7.   [ 13]   M . V in a , M . L omt e ,  a nd D . D . D oy e , “ H a ndw r it t e n V e di c   S a ns kr it   T e x t  R e c o gni ti o n U s in g D e e L e a r n in g,”   J our nal  of  A lg e br ai c   St at is ti c s , v ol . 13, n o . 3, pp. 2190 2198, 2022, [ O nl in e ] . A v a il a bl e ht tp s :/ /p ubl is h o a .c om   [ 14]   V M L o mt e   a nd  D D oy e G e s tu r e   ba s e D e v a na ga r T e x R e c o gni ti o us in D e e L e a r ni ng,”   H ar bi G ongy e   D ax ue   X ue bao/ J our na of  H a r bi n I ns ti tu te  of  T e c hnol ogy , v o l.  54, n o 6, pp. 239 247, 2022.   [ 15]   S K .   M a noc ha   a nd  P T e w a r i,   D e v a na ga r H a ndw r it t e C ha r a c te r   R e c o gni t i o us in C N N   a s   F e a tu r e   E x tr a c t o r ,”   in   2 021  I nt e r nat io nal   C onf e r e nc e   on  Sm ar G e n e r at io C om put in g,  C o m m uni c at io and  N e tw or k in g,  SM A R T   G E N C O N   2021 O c t.   2 021,   pp. 1 5. do i:  10.1109/ S M A R T G E N C O N 51891.2021.9645786.   [ 16]   S V S he lk e ,   D M C ha ndw a dka r S P U ga le a nd  R V C ho th e C ombi ni ng  M ul ti pl e   F e a tu r e   E x tr a c ti o a nd  C la s s if i c a ti o M e th o ds   t o   S tu d y   P e r f or ma nc e   of   H a ndw r i tt e S a ns kr it   C ha r a c te r   R e c o gni ti o n,”   in   2023  7 th   I nt e r nat io nal   C onf e r e n c e   on   C om put in g,  C om m uni c at io n,  C ont r ol   and   A ut om at i on,  I C C U B E A   2023 A ug.  2023,  pp.  1 6.  do i:   10.1109/I C C U B E A 58933.2023.10391986.   [ 17]   S A c ha r y a A K P a nt a nd  P K G y a w a li D e e l e a r ni ng  b a s e la r ge   s c a l e   ha ndw r it t e D e v a na ga r c ha r a c t e r   r e c o gni t i o n,   in   2015  9t I nt e r nat io nal   C on f e r e nc e   on   Sof tw ar e ,   K now le dge I n f or m at io M anage m e nt   and  A ppl ic at io ns   ( SK I M A ) D e c 2015,  pp.  1 6. do i:   10.1109/ S K I M A .2015.7400041.   [ 18]   M . W ul a nda r i,  R . C ha i,  B .  B a s a r i,  a nd D .   G una w a n, “ H y br id  F e a tu r e   E x tr a c t o r  U s in g D is c r e t e  W a v e le t   T r a ns f or m a nd  H is t o g r a of   O r i e nt e G r a di e n o C o n vol ut i o na l - N e ur a l - N e tw o r k - B a s e P a lm   V e in   R e c o gni ti o n,”   Se ns or s v o l.   24,   no 2,  p.  341,  J a n.   2024, do i:  10.3390/s 24020341.   [ 19]   S S he lk e H a ndw r it t e C ha r a c t e r   R e c o gni ti o us in W a v e le T r a ns f o r f or   F e a tu r e   E x t r a c ti o n,”   I nt e r nat io nal   J our nal   o M ul ti di s c ip li nar y  E duc at io nal  R e s e ar c h ( I J M E R ) vo l.  3, n o . M a r c h 2014, pp. 3 7,   2016.   [ 20]   N A z a w i,   H a ndw r it te di gi ts   r e c o gni ti o us in tr a ns f e r   l e a r n in g,”   C om put e r s   and   E le c tr ic al   E ngi ne e r in g v o l.   106,  p.  108604,   M a r . 2023, do i:  10.1016/j . c o mp e l e c e ng.2023.108604.   [ 21]   P P N a ir A . J a me s P S im o n,  a nd  P . V B ha gy a s r e e M a la y a la H a ndw r it te C ha r a c t e r   R e c o gni ti o us in C N N   A r c hi te c tu r e ,”   I ndone s ia J our nal   o f   E le c tr ic al   E ngi ne e r in and   I nf or m at ic s v o l.   11,  no 3,  pp.  764 777,  S e p.  2023,  do i:   10.52549/i je e i. v 11i 3.4829.   [ 22]   C S z e ge d y   e t   al . G o in D e e p e r   w it C o n vo lu ti o ns ,”   i P r o c e e di ngs   o f   th e   I E E E   c onf e r e nc e   on  c om put e r   v is io and  pat te r n   r e c ogni ti on , 2015, pp. 1 9. do i:  10.48550/ar X i v .1409.4842.   [ 23]   Z Z h o ng,  L J in a nd  Z X ie H ig p e r f or ma nc e   of f li ne   h a ndw r it te C hi ne s e   c ha r a c t e r   r e c o gni ti o us in G oo g L e N e a nd  di r e c t i o na f e a tu r e   ma ps ,”   in   P r oc e e di ngs   o f   th e   I nt e r nat io nal   C onf e r e nc e   on  D oc um e nt   A nal y s i s   and  R e c ogni ti on,  I C D A R A ug.  2015, vo l.  2015 - N ove mb e r , pp. 846 850. d o i:  10.1109 /I C D A R .2015.7333881.   [ 24]   M M is hr a ,   T C ho udhur y a nd  T S a r ka r D e v a na ga r H a ndw r it t e C ha r a c t e r   R e c o gni ti o n,”   2021  I E E E   I ndi C ou nc il   I nt e r nat io nal  Subs e c ti ons  C on f e r e nc e , I N D I SC O N  2021 , 2021,  do i:  10.1109/ I N D I S C O N 53343.2021.9582192.   [ 25]   L L iu   a nd  X L u o A   N e w   A c c e l e r a te S t o c ha s ti c   G r a di e n t   M e th o w it M o m e nt um,”   in   P r oc e e di ngs   o f   M ac hi ne   L e ar ni ng   R e s e ar c h , 2020, pp. 1 10. [ O nl in e ] . A v a il a bl e ht tp :/ /a r x i v . o r g/ a bs /2 006.00423 .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2 5 0 2 - 4 7 52       Dis c r e te  w av e let  tr ans f or and  c onv olut ional   ne ur al  ne t w or k   bas e   ( Shr addha  V .   She lke )   1375   B I OG RA P HI E S   OF   AU T HO RS       Sh ra dd h a   V .   Sh e l k         i s   w o r k i n g   as   an   A s s i s t an t   Pro fe s s o i n   E l ec t ro n i c s   an d   T e l ec o mmu n i c at i o n   E n g i n ee ri n g   D e p art me n t   o K .   K .   W ag h   In s t i t u t e   o f   E n g i n ee r i n g   E d u c at i o n   an d   r e s e ar c h ,   N as h i k ,   Mah aras h t ra  s i n ce  l as t   1 3   y e ars .   Sh i s   p e ru s i n g   h e P h .   D .   i n   E l ec t ro n i c s   an d   T e l eco mm u n i c at i o n   fro Sav i t ri b ai   Ph u l e   P u n U n i v e rs i t y .   S h e   c a n   b c o n t ac t e d   at   em a i l :   s v s h el k e @ k k w ag h . ed u . i n .         D i n es h   M .   C h a n dw a dk a r           i s   p ro fe s s o an d   h e a d   o E   T D e p art me n t   at   K .   K .   W ag h   I n s t i t u t o E n g i n ee ri n g   E d u c at i o n   &   R e s e ar c h ,   N as h i k ,   In d i a.   H i s   ar e o i n t e r e s t   i n c l u d e s   S i g n al   Pr o ce s s i n g ,   Po w er  E l ec t ro n i c s ,   Mech at ro n i c s ,   a n d   A u t o mo t i v E l ec t ro n i c s .   H h o l d s   Ph . D .   d eg r ee   an d   h e   h as   p u b l i s h ed   Mo r e   t h an   5 0   re s e ar ch   p ap e rs   i n   r e p u t ed   J o u r n al s .   H i s   w o rk i n g   as   B o ard   o f   St u d i e s   mem b e r   o f   E l ec t ro n i c s   an d   T el ec o mmu n i c at i o n   E n g i n ee ri n g   fo Pu n e   U n i v e rs i t y .   H e   c a n   b c o n t ac t ed   at   em ai l :   d mch an d w a d k ar @ k k w a g h . e d u . i n .         Suni ta   P .   U g a l         i s   w o r k i n g   as   Pr o f e s s o i n   E l ec t ro n i c s   an d   T e l eco mm u n i c at i o n   E n g i n ee r i n g   D e p art men t   o K .   K .   W ag h   I n s t i t u t e   o E n g i n ee r i n g   E d u c at i o n   an d   R e s e ar ch ,   N as h i k ,   Mah aras h t ra  s i n ce   l as t   2 8   y e ars .   S h e   h o l d s   P h . D .   d eg r ee   an d   h e s p ec i a l   fi el d s   o i n t e r e s t   i n cl u d e   Fi b e O p t i c s   Co mmu n i c at i o n ,   O p t i c al   S en s o rs ,   A u t o m at i o n   a n d   V L S t e ch n o l o g y .   S h e   c a n   b c o n t ac t e d   at   em ai l :   s p u g al e@ k k w a g h . e d u . i n .         R u pa l i   V .   C h o th e           i s   w o rk i n g   as   a n   A s s i s t an t   Pro fe s s o i n   E l ec t ro n i c s   a n d   T e l ec o mmu n i c at i o n   E n g i n ee ri n g   D e p art me n t   o K .   K .   W ag h   In s t i t u t e   o f   E n g i n ee r i n g   E d u c at i o n   an d   R e s e arch ,   N as h i k ,   Mah aras h t ra  s i n ce  l a s t   1 6   y e ars .   S h e   i s   p u rs u i n g   P h . D .   i n   E l ec t ro n i c s   an d   T e l eco mm u n i c at i o n   fro Sav i t ri b ai   Ph u l e   P u n U n i v e rs i t y .   S h e   c a n   b c o n t ac t e d   at   em a i l :   r v c h o t h e @ k k w a g h . e d u . i n .     Evaluation Warning : The document was created with Spire.PDF for Python.