I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 J a n u a r y   202 1 pp .   1 74 ~ 17 8   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 174 - 178             174       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A r a b i c   h a n d w r i t t e n   d i g i t r e c o g n i t i o n   b a sed  o n   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s w i t h   r e sn e t - 3 4   m o d e l       R as oo l   H as an   F i n jan A l i   S al i m   R as h e e d A h m e d   A b d u l s ah i b   H as h i m ,   M u s tafa  M u r td h a   D e pa r t m e n t   o f   M e d i a   T e c hno l o gy   E ng i ne e r i ng ,   C o l l e g e   o f   E ng i n e e r i ng ,   U n i v e r s i t y   o f   I nf o r m a t i o T e c hno l o gy   a nd  C o m m uni c a t i o ns ,   B a g hd a d,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   F e b   2 5 ,   2 020   R e v i s e J ul   4,   2020   A c c e pt e A ug  4 ,   20 20       H a ndw r i t t e di g i t s   r e c o g ni t i o ha s   a t t r a c t e t he   a t t e n t i o o f   r e s e a r c he r s   i n   pa t t e r r e c o g ni t i o f i e l ds ,   d ue   t o   i t s   i m po r t a nc e   i n   m a ny   a ppl i c a t i o ns   i publ i c   r e a l   l i f e ,   s uc a s   r e a b a nk  c he c ks   a nd  f o r m a l   do c um e nt s   w hi c i s   a   c o nt i nuo us   c ha l l e ng e   i t he   l a s t   y e a r s .   F o r   t h i s   m o t i v a t i o n,   t he   r e s e a r c he r s   c r e a t e s e v e r a l   a l g o r i t hm s   i r e c o g ni t i o o f   di f f e r e nt   hum a l a ng ua g e s ,   bu t   t he   pr o bl e m   o f   t he   A r a bi c   l a ng ua g e   i s   s t i l l   w i d e s p r e a d.   C o nc e r n i ng   i t s   i m po r t a nc e   i m a ny   A r a a nd  I s l a m i c   c o unt r i e s ,   b e c a u s e   t h e   pe o pl e   o f   t he s e   c o unt r i e s   s pe a t hi s   l a ng ua g e ,   H o w e v e r ,   t he r e   i s   s t i l l   a   l i t t l e   w o r t o   r e c o g ni z e   pa t t e r n s   o f   l e t t e r s   a n d i g i t s .   I t h i s   pa p e r ,   a   ne w   m e t ho i s   pr o po s e t h a t   us e p r e - t r a i ne c o nv o l ut i o na l   ne u r a l   ne t w o r ks   w i t h   r e s ne t - 34  m o de l   w ha t   i s   k no w a s   t r a n s f e r   l e a r n i ng   f o r   r e c og ni z i ng   di g i t s   i t he   a r a bi c   l a ng ua g e   t h a t   pr o v i de s   us   a   hi g a c c ur a c y   w he t h i s   t y pe   of   n e t w o r i s   a ppl i e d.   T hi s   w o r us e s   a   f a m o us   a r a b i c   ha n dw r i t t e n   di g i t s   da t a s e t   t ha t   c a l l e d   M A D B a s e   t h a t   c o nt a i ns   60 000  t r a i n i ng   a nd  10 00  t e s t i ng   s a m pl e s   t h a t   i l a t e r   s t e ps   w a s   c o nv e r t e t o   g r a y s c a l e   s a m p l e s   f o r   c o nv e ni e nt   h a nd l i ng   dur i ng   t he   t r a i n i ng   pr o c e s s .   T hi s   p r o po s e m e t ho r e c o r de t he   h i g he s t   a c c ur a c y   c om pa r e d   t o   pr e v i o us   m e t ho ds ,   w h i c i s   99 . 6 % .   Ke y w or d s :   Co n v o l ut i o n a l   n e u ra l   n e t w o r ks   D e e l e a rni n g   H a n dw r i t t e n   di g i t s   r e c o gn i t i o n   R e s n e t   m o de l   T r a n s f e r   l e a rni n g   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   R a s oo l   H a s a n   F i n j a n   U n i v e r s i t y   of   In f o r m a t i o n   T e c hn o l o g y   a nd  Co m m u ni c a t i o n s   Co l l e ge   of   E n gi n e e r i n g ,   B a g hda d ,   I r a q   E m a i l :   r a s o o l . ha s a n@ uo i t c . e du . i q       1.   I N TR O D U C TI O N     R e c o gn i t i o n   i s   a n   i m po rt a nt   a r e a   o m a c h i n e   l e a rni n t ha t   h a s   c o n t r i b ut e t o   t h e   a r e a s   of   f a c i a l   r e c o gn i t i o n,   i m a ge   r e c o gn i t i o n,   c ha r a c t e r   r e c o gn i t i o n ,   di g i t   re c o gn i t i o n,   e t c .   h a ndw r i t t e n   d i gi t   r e c o gn i t i o n   [1 ha s   b e e n   r e c e i v i n a   pe r c e pt i b l e   i n t e r e s t   f r o m   r e s e a r c h e r s   ove r   t h e   pa s t   y e a r s .   It   i s   t h e   a c t i v e   t oo l   t h a t   us e i c o m m e r c i a l   i m po rt a n c e   i n   f i e l ds   s uc h   a s   c h e c r e a di n g ,   c o l l e c t   da t a   f r o m   fo r m s ,   a nd  t e xt b oo di gi t i z a t i o n.   T h e r e f o r e ,   t hi s   f i e l h a s   b e c o m e   a n   e f f e c t i v e   e l e m e n t   i n   m a n y   a ppl i c a t i o n s   i pu b l i c   l i f e .   A ra b i c   i s   t h e   s i x t off i c i a l   l a n gu a ge ,   a do pt e by   t h e   U n i t e N a t i o n s   [2] ,   i t   i s   o ne   of   t h e   l a ngua ge s   w i de l y   us e a l l   o v e r   t h e   w o r l d   a n t h e r e   a r e   m o r e   t h a n   290  m i l l i o n   A r a b i c   s pe a ke r s   a c r o s s   t h e   w o r l d .   S i n c e   t h e   g r e a t e r   pa rt   o t h e   pa s t   w o r c o n c e n t r a t e a b o ut   de pe n di n o n   L a t i n   l a n g ua ge s ,   H ow e ve r ,   t h e   A ra b i c   l a n gu a ge   di n o t   r e c e i ve   m uc h   i n t e r e s t   i r e s e a r c h   i n   t h i s   f i e l d,   t h a t   l e a ds   t o   c r e a t i ng  m o r e   c ha l l e n ge   f o r   us .   O n e   o f   t h e   m o s t   i m po r t a nt   t hi n gs   t h a t   w e   n o t e   i n   t h e   A ra b i c   l a n gu a ge ,   t h e   w o r d s   a r e   w r i t t e n   f ro m   ri g h t   t o   l e f t   w h i l e   t h e   d i gi t s   a r e   w ri t t e n   f r o m   l e f t   t o   ri g ht ,   F i gu r e   s h o w s   t e n   num b e r s   o f   c l a s s e s   i n   t h e   A ra b i c   fo r m .   T o   a dd r e s s   a   p r o b l e m   of   r e c o gn i z i n A ra b i c   di gi t s ,   m a n y   t e c h ni que s   h a v e   b e e n   us e fo r   t hi s   t a s k   a n t h e   m o s t   e ff e c t i v e   o n e   i s   de e l e a rni n g   [3] ,   de e l e a rni n m e t h o ds   ha v e   o ut pe r fo r m e s t a t e - of - t h e - a r t   a l t e rna t i v e s   i n   s pe e c h   r e c o gn i t i o n ,   o b j e c t   de t e c t i o n ,   f a c e   r e c ogni t i o n   a nd  E s pe c i a l l y   i n   t h e   f i e l of   i de n t i fy i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A r abi c   h andw r i t t e di g i t s   r e c o gni t i on   bas e o c on v ol u t i o na l   n e ur al   n e t w or k s   w i t h   ( R as ool   H as an   F i nj an )   175   di f fe r e nt   i nt e rn a t i o na l   l a n gu a ge s ,   i t   ha s   p r o v e n   i t s   e f f e c t i ve n e s s   i v a ri o us   l a ngua ge s ,   i n c l ud i n g   R o m a ni a [4],   t h e   w o r ki n s t a nda r ds   o f   de e l e a rn i ng  m e t h o i s   h o w   t o   e xt r a c t   t h e   f e a t ur e s   f r o m   l a rge   s c a l e   da t a s e t s   s t a r t i n f r o m   t h e   f i r s t   l a y e r   a n t ra n s f o r m   t h e   r e p r e s e n t a t i o n   t hr o ug h   h i d de n   l a y e r s   a nd  l i t t l e   by   l i t t l e   t h e s e   t r a n s f o r m a t i o n s   b e c o m e   a   m o r e   a b s t ra c t   a n d   m o r e   c o m pl e m o de l .           F i gu r e   1 .   T e n u m b e r s   d i gi t s   i n   t h e   A r a b i c   l a n g ua ge       P r e s e n t l y ,   o n e   of   t h e   m o s t   n o t e w o r t h y   m e t h o ds   of   de e l e a r ni n a l go ri t hm s   i s   c o n v o l ut i o na l   n e u ra l   n e t w o r ks   (CN N s [5 6] .   CN N s   a r e   s i m i l a r   t o   a r t i f i c i a l   n e u ra l   n e t w o r ks   (A N N s t h e y   c o n s i s t   o f   n e ur o n s   t ha t   r e c e i v e   a n   i n p ut   f r o m   t h e   p r e v i o us   l a y e r   a n c o m put e s   t h e   o ut put   b y   n o n - l i n e a r   f un c t i o n   s uc h   a s   t h e   s i g m o i f un c t i o [7] ,   b ut   t h e   e n o r m o us   d i f fe r e n c e   i s   t h a t   CN N s   a r e   us e i n   t h e   c o m put e v i s i o n   f i e l ds   s uc h   a s   i m a ge   c l a s s i f i c a t i o n   [8] ,   f o r   t h e   r e a s o n   t ha t   i t   n e e ds   fe w e r   pa ra m e t e r s   du ri n t h e   t ra i ni n t h e   m o de l   a n t h e r e f o r e   i t s   M a ke s   l e s s   t i m e   c o n s u m pt i o n.     1. 1 .       R e l at e d   w o r k s   T h e   m e t h o p r o po s e i n   [9]   t o   r e c o gn i z e   A r a b i c   n u m e ra l s   u s e s   a   m ul t i - l a y e r   pe r c e pt r o n   (M L P a s   a   c l a s s i f i e r ,   w h e r e   a   s e t   of   88  fe a t u r e s   i s   us e d.   T h e   f e a t ur e   s e t   i n c l ude s   72  s ha do w   f e a t ur e s   a n 16  o c t a nt   f e a t ur e s .   T hi s   pr o po s e m e t h o us e s   a   da t a s e t   a s   a   CM A T E R D B   3. 3. t h a t   c o n t a i n s   a   3000  h a ndw r i t t e n   s a m pl e ,   a l l   o f   t h e s e   s a m p l e s   a r e   s c a l e d   t o   t h e   s i z e   o f   32 x 32  p i xe l s .   F o r   r e gul a t ra i ni n s t e i m a ge   i s   c o n v e r t e i n   g ra y s c a l e   fo r m ,   t h e   a r c hi t e c t u r e   o f   t h i s   a l go r i t hm   i s   c o m po s e of   a   s i ngl e   i n p ut   l a y e r ,   a   s i n g l e   hi dde n   l a y e r ,   a n a   s i n gl e   o ut put   l a y e r   [ 10].   T h e   m o t i v a t i o n   t o   ut i l i z e   a   s i n gl e   h i dde n   l a y e r   b e c a us e   i t   i s   s uff i c i e n t   t o   c l a s s i fy   t h e   gi v e da t a s e t .   F o t h e   n o n - l i n e a r i t y   fun c t i o n,   t h e   a u t h o us e a   s i g m o i f un c t i o n   a f t e e a c h   l a y e r   a n us e s   a   b a c k - p r o pa ga t i o a l go ri t hm   [ 11]  f o r   t r a i ni n g   t h e   c l a s s i f i e r.   T h e   n e u r o n s   n u m b e r   w a s   c h a nge i a c c o r da n c e   w i t 54   t ha t   r e c o r ds   a a c c ur a c y   of   93. 8%   i r e c o gn i t i o A r a b i c   n u m e r a l s .   T h e   m e t h o i n t r o duc e i [12]   s ugge s t e a i m p r o v e m e t ho t ha t   us e t h e   s a m e   d a t a s e t   a s   [6] ,   b ut   t h i s   t i m e   t h e   CN N s   us e f o r   di gi t   r e c o gni z i n p r o b l e m s ,   t he   i m a ge s   a r e   n o rm a l i z e t o   b e c o m e   a n   a c c e pt e d   fo r m   f o r   CN N s   c o n di t i o n s .   T h e   m o de l   us e i n   t h i s   a do pt e m e t h o c o n s i s t s   o f   t w o   c o n v o l ut i o n   l a y e r s   w i t ke rn e l s   s i z e   of   5 x a n 3 x   r e s pe c t i v e l y ,   n e xt   t h e   poo l i ng  l a y e r   pr e s e n t e t h a t   t a ke s   t h e   m a xi m u m   v a l ue   w i t h   a   po o l   s i z e   of   2 x   2.   T h e   f ul l y   c o n n e c t e l a y e r   c o n s i s t s   of   128  n e ur o n s   a n t h e   f i n a l   l a y e r   t h a t   r e pr e s e nt s   o ut put   c o n t a i n s   1 n e u r o n s   f o r   e a c h   di gi t   c l a s s .   R e L U   f un c t i o n   [13 i s   us e a s   a a c t i v a t i o f un c t i o n   a n d   c a t e go r i c a l   c r o s s - e n t r o py   [14]  t o   de t e r m i n e   t h e   e r r o r   a c c r ue s   t hr o ug h   t h e   b a c k - pr o pa g a t i o n   s t a ge ,   a nd  f i n a l l y ,   t h e   S of t m a f un c t i o n   [15]  i s   us e t o   ge t   t h e   c o n c l us i v e   o ut c om e   f r o m   t h e   o ut put   l a y e r .   T h e   a c c ur a c y   a c h i e v e d   by   t h i s   m o de l   i s   97. 4%   o ve r   t h e   v a l i d a t i o da t a s e t .   A n o t h e w o r i s   i nt r o duc e i n   t h i s   f i e l f o r   r e c o gn i z i n A ra b i c   di gi t s   [16] ,   t w o   c h a n ge s   a r e   m a de   o t h e   m e t h o t ha t   de s c r i b e i n   [6]  t o   i m p r o v e   t h e   a c c ur a c y ,   t h e   da t a   a ug m e nt a t i o n   s t r a t e g y   [17]   w h i c h   i s   i n c r e a s i ng  t h e   n u m b e r   o f   i m a ge s   w a s   a dde t o   t h e   gi v e n   da t a s e t   t o   s o l ve   t h e   p r o b l e m   of   ov e r f i t t i n g .   A n t h e t h e   a c t i v a t i o n   f u n c t i o n   i s   c ha n ge f r o m   R e L U   t E L U   [1 8]  t o   pr o v i de   m o r e   r o b us t n e s s   t o   t h e   v a ni s hi n g   gra di e nt   pr o b l e m .   T h e   m o de l   of   t h i s   m e t h o i s   c o m po s e of  fo ur   c o n vo l ut i o n   l a y e r s ,   e a c h   l a y e r   f o l l ow e b y   E L U   a s   a n   a c t i v a t i o n   f un c t i o n   w i t h   t h e   ke rn e l s   o f   s i z e   3 x 3.   a   po o l i n l a y e r   (m a x - po o l w a s   a dde w i t h   s i z e   2 x 2.   N e xt   s t e p ,   t h e   p r o c e s s e i m a ge s   a r e   f l a t t e n e a n w i l l   b e   t h e   i nput   f o r   t h e   f ul l y   c o n n e c t e l a y e r s ,   a n d   f i n a l l y ,   t h e   l a s t   l a y e r   ( o ut put c o n t a i n s   10  n e u r o n s   t h a t   r e p re s e n t   10  c l a s s e s   fo r   c l a s s i fy i n t h e   10  di gi t s .   T o   de t e r m i n e   t h e   f i n a l   r e s ul t ,   t h e   s o f t m a f un c t i o n   w a s   us e t o   c o m put e   t h e   p r o b a b i l i t y   fo r   e a c h   c l a s s   t h a t   r e p r e s e n t s   a   d i gi t   [8] .   F o r   r e duc i n g   t h e   e f fe c t   of   ove r f i t t i ng,   t h e   a ut h o r s   s ug ge s t   us i n a   d r o po ut   r a t e   25%  f o r   e a c h   c o n v o l ut i o n   a nd  f ul l y   c o n n e c t e l a y e r s ,   i t   m e a n s   t h a t   a f t e r   o n e   e po c h   25%  o f   n e ur o n s   a r e   d r o ppe a n m a ke   t h e i r   w e i ght s   z e r o   t o   m a ke   i t   i n e f fe c t i ve   i n   t h e   n e t w o r k.   T hi s   pr o po s e m e t h o ga v e   a c c ur a c y   99 . 4%,   w h i c i s   c o n s i de r e d   a   b e t t e r e s ul t   t ha n   p r e v i o us   w o r ks .       2.   TH E   P R O P O S ED   M ET H O D   T o   de a l   w i t h   H a n d   W ri t t e n   di g i t s   r e c o gn i t i o n   p r o b l e m s ,   t he   m o de l   c a n   b e   b ui l t   f r o m   s c ra t c h   a nd  s t a r t i n g   t h e   r e c o gn i t i o o pe r a t i o n,   b ut   i t h i s   w a y ,   w e   s h a l l   ge t   i nt o   t r o ub l e   a n d   a r e   c o n s um i ng  m o r e   t i m e   duri n t h e   t ra i ni n p r o c e s s ,   e s pe c i a l l y   i t h e   da t a s e t   i s   v e r y   l a r ge   a n d   t h e   t ra i ni n p r o c e s s   m a y   t a ke   da y s   a n Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     174   -   178   176   pe rh a ps   w e e ks   w i t h   h i g c o m put i n g   c a pa b i l i t i e s .   T h e   m o de rn   a pp r o a c n o w a da y s   i t   us e s   a   r e m a r k a b l e   t e c hn i q ue   c a l l e t r a n s f e r   l e a rni n [19 20]   w h i c h   i s   a   po pul a r   m e t h o i n   c o m put e r   v i s i o n   a n N L P   f i e l ds   b e c a us e   i t   e n a b l e s   us   t b ui l a   hi g h - a c c ura c y   m o d e l   w i t h   l i t t l e   t r a i n i ng  t i m e .   T h e r e   a r e   v a ri o us   s t r a t e gi e s   i w o r ki n g   w i t t ra n s f e r   l e a rn i ng  a n o n e   o f   t h e s e   s t ra t e gi e s   i s   f i n e - t u ni n [ 21 22]   w h i c h   i s   m e a n s   t a ki ng  w e i ght s   o f   t h e   p r e - t ra i n e d   m o de l   a nd  us e   i t   a s   i ni t i a l i z a t i o f o r   a   n e w   m o de l   t ha t   w e   w a n t   t o   t ra i o n   da t a   f r o m   t h e   s a m e   do m a i n   f o r   e xa m p l e   i m a ge s ,   i t   us e t o   s pe e up  t h e   t ra i ni n p r o c e s s   a nd  o v e r c o m e   s m a l l   da t a s e t   s i z e   p r o b l e m s .           F i gu r e   2 .   (R i g ht a   r e s i dua l   n e t w o r w i t 34   l a y e r s ,   ( l e f t a   pl a i n e t w o r w i t h   3 l a y e r s   f r o m   t h e   o r i gi na l   pa pe [2 3]       C o ns e q ue nt l y ,   m o s t   l a y e rs   f ro m   a   p re - t r a i ne d   m o d e l   a re   u s e f u l   i c o nf i g u ri ng   a   ne w   m o de l   b e c a u s e   m o s t   c o m p u t e v i s i o p ro b l e m s   i n v o l v e   s i m i l a l o w - l e v e l   v i s u a l   p a t t e rns .   T he   p ro p o s e m e t ho d   i t h i s   p a p e t o   t ra i n i ng   o u m o d e l   i s   t he   R e s N e t s   m o de l   [23] .   O ne   o f   t he   p ro b l e m s   R e s N e t s   s o l v e   i s   t he   v a ni s hi ng   g r a d i e nt .   T hi s   p ro b l e m   o c c u rs   w he t he   ne t w o rk   i s   v e r y   d e e p ,   t he   g ra d i e nt s   w he re   t he   l o s s   f u nc t i o i s   c a l c u l a t e d   g o   d i re c t l y   t o   z e ro .   N o   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A r abi c   h andw r i t t e di g i t s   r e c o gni t i on   bas e o c on v ol u t i o na l   n e ur al   n e t w or k s   w i t h   ( R as ool   H as an   F i nj an )   177   l e a r ni ng   i s   e x e c u t e d   b e c a u s e   t he   w e i g ht s   no t   u p d a t i ng   i t s   v a l u e s .   B y   u s i ng   t he   R e s N e t s   m o d e l ,   t he   g ra d i e n t s   c a a c ro s s   d i re c t l y   t hro u g h   t he   s ho r t c u t   c o nne c t i o ns   t o   t he   re a f ro m   p re v i o u s   l a y e rs   t o   i ni t i a l   f i l t e rs ,   s o   w i l l   re u s e   m o s t   o f   t he   p re - t ra i ne d   R e s ne t   m o d e l   l a y e rs   a nd   j u s t   re p l a c e   t he   f i n a l   l a y e t h a t   u s e   t o   m a k e   p re d i c t i o ns .   A s   s h o w n   i n   F i g u r e   2 ,   o n   t h e   ri g ht   s i de ,   w e   c a s e e   t h e   R e s N e t s   m o de l   b a s e o n   t h e   p l a i n e t w o r k ,   w hi c h   i s   s h o w n   i t h e   l e f t   o f   t he   f i gu re .   E a c c o l o r e b l o c k   o f   l a y e r s   r e p r e s e nt s   a   s e ri e s   o f   c o n v o l u t i o n s   o f   a   s i m i l a d i m e ns i o n.   A l l   o f   t he   l a y e r s   ha v e   t h e   s a m e   p a t t e rn,   t h e y   c o n s i s t   o f   3 x3   c o n v o l u t i o w i t f i xe d   f e a t u re   m a d i m e ns i o ns   6 4 ,   1 28 ,   25 6 ,   51 r e s pe c t i v e l y ,   t he   d i m e ns i o ns   t ha t   p re s e nt e a s   a   s o l i l i ne   r e m a i n   t he   s a m e   s i z e   w h e t h e   i npu t   f l o w   a c r o s s   e v e r y   c o n v o l u t i o l a y e r.   T he   do t t e l i n e s   w hi c p r e s e nt   t h e   c ha n ge   i di m e ns i o n s   o f   t h e   i npu t   v o l u m e .   W e   no t i c e t ha t   r e duc t i o n   i t h e i di m e ns i o n   d ue   t o   c o n v o l u t i o n   o pe ra t i o n,   t hi s   r e d uc t i o b e t w e e n   l a y e r s   o c c u rs   b y   t h e   s i z e   o f   s t ri de   f r o m   t o   2,   o t he   f i rs t   c o n v o l u t i o n   f o e a c l a y e r.   E v e r y   l a y e r   o f   a   R e s N e t   i s   c o m po s e o f   s e v e ra l   b l o c ks ,   t hi s   i s   b e c a u s e   w h e R e s N e t   go   de e pe r,   t h e y   r e g u l a rl y   do   i t   b y   e xp a nd i ng   t he   nu m b e o f   t a s ks   i n s i de   a   b l o c k ,   b u t   t he   nu m b e o f   t h e   t o t a l   l a y e rs   c o nt i nue s   a s   b e f o r e .   T h e   c o r e   i de a   b e h i n t h e   s h o rt c ut   c o nn e c t i o n s   i s   t h e   w a y   t h a t   o ur   n e t w o r h a s   s ki l a y e r s   t h a t   i l l us t r a t e i n   F i gu r e   3,   t h e r e f o r e ,   fo r   i n s t a n c e ,   t h e   t w o   c o n vo l ut i o n   l a y e r s   i t   t a ke s   a s   i nput   b un c h   o f   f e a t ur e   m a ps     a n d   t h e   o ut put   i t   w i l l   p r e s e n t   a s   ( ) .   T o   pe r f o r m   t h e   o ut put   o f   t hi s   b l o c k,   t h e   i n p ut     i s   c o pi e t ou t put   ( ) ,   s o   w e   ha v e   t o   s ki p   t w o   l a y e r s   i t h e   n e t w o r k,   s o   t he   o ut put   b e c o m e s   ( ) = ( ) + .   w i t t h i s   c o n c e pt ,   i n s t e a d   o f   l e a rni n g   ( )   w e   w o ul l e a rn  t h e   r e s i d ua l   ( )   i t s   e qu a t i o w i l l   b e c o m e   ( ) = ( ) ,   t h e r e fo r e   i t h e   w o r s t   s c e n a ri o ,   i f   t h e   w e i g h t s   a r e   n o t   u p da t e d,   e v e r y   v a l ue   b e c o m e s   a   s m a l l   o z e r o ,   t h e r e f o r e   a t   l e a s t   t h e     w i l l   b e   l e a rn e d .           F i gu r e   3 .   T h e   s h o rt c ut   c o nn e c t i o n s   i t h e   r e s i du a l   n e t w o r k       3.   EX P ER I M EN A N D   R ES U LTS   A s   m e n t i o n e b e fo r e ,   T h e   M A D B a s e   A r a b i c   h a n dw r i t t e n   di gi t   da t a s e t   i s   us e i n   o ur   m e t h o t r e c o gn i z e   A ra b i c   di gi t s ,   I t   c o n t a i n s   60 000  t r a i n i ng  a n d   1000  t e s t i n i m a ge s .   E a c i m a ge   i s   a   n u m b e r   b e t w e e n   0 - a n i t s   s i z e   i s   28 x 28  p i xe l   R G B .   In   t h e   s a m e   w a y   t h a t   us e i n   [ 6],   t h e   i m a ge s   a r e   i n v e r t e b e fo r e   t h e y   e n t e r   a s   i n p ut   t o   t h e   f i r s t   l a y e r   i n   o ur  m o de l ,   A nd  t h e r e f or e ,   t h e   r e s ul t   o f   t h e   di gi t s   a ppe a r s   i t h e   w h i t e   fo r e gr o u n o t h e   b a c kd r o of   t h e   b l a c b a c kgr o u n d .   T h e   r e a s o n   i s   t o   us e   t h i s   m e t h o t h a t   t h e   b l a c b a c kgr o un d   m a ke s   t h e   e dge   de t e c t i o n   m o r e   s t ra i g h t f o r w a r i n   di gi t s   r e c o gn i t i o n   p r o b l e m s ,   n o w   w e   c o m e   t t h e   t ra i ni n p r o c e s s   a n w e   w i l l   us e   o ur   s ugge s t e m o de l   t o   a c h i e v e   h i g h e r   a c c u r a c y   w i t h   t i m e - s a v i n a n d   duri n t ra i ni n s t a ge   us i n o n e   c y c l e   po l i c y   [24]  t o   g e t   f a s t e r   t ra i ni n p r o c e s s e s ,   t h e n   t h e   m o de l   e v a l ua t e o n   t e s t   da t a   t ha t   g a t h e r e f r o m   t h e   da t a s e t .   T h e   w o r e n v i r o n m e n t   i w h i c h   t h e   m o de l   w a s   t ra i n e i n   t h e   f a s t a i   f r a m e w o r [25]   a n d   py t h o n   us e a s   a   p r o g r a m m i n g   l a n g ua ge .   A f t e 20   c y c l e s ,   o ur   m o de l   a c h i e v e a n   a c c ur a c y   99. 6,   t hi s   r e s ul t   c o n s i de r e t h e   b e s t   r e s ul t   o b t a i n e s o   f a r   a s   s h o w n   i T a b l e   w h i c h   t h e   p r o po s e d   m e t h o w a s   c o m pa r e w i t h   t h e   r e s t   o f   t h e   p r e v i o us   m e t h o ds .       T a b l e   1 .   Co m p a r i s o o f   a c c ur a c y   be t w e e n   t h e   p r o po s e m e t ho a n p r e v i o us   m e t h o ds   M e t h o d   A c c u ra c y   H a n d w ri t t e n   A ra b i c   n u m e ra l   r e c o g n i t i o n   u s i n g   a   m u l t i - l a y e p e r c e p t ro n   [9 ].   9 3 . 8 %   H a n d w ri t t e n   A ra b i c   n u m e ra l   r e c o g n i t i o n   u s i n g   d e e p   l e a r n i n g   n e u ra l   n e t w o r k s   [1 2 ].   9 7 . 4 %   A n   E ffi c i e n t   R e c o g n i t i o n   M e t h o d   fo H a n d w ri t t e n   A ra b i c   N u m e ra l s   U s i n g   CN N   w i t h   D a t a   A u g m e n t a t i o n   a n d   D r o p o u t   [1 6 ].   9 9 . 4 %   P ro p o s e d   m e t h o d   9 9 . 6 %   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     174   -   178   178   4.   C O N C LU S I O N   A N D   F U TU R W O R K   A ra b i c   H a n dw r i t t e n   D i g i t s   R e c o gn i t i o n   i s   A n   i m po r t a n t   a n s c a l a b l e   a r e a   a t   t h i s   m o m e nt .   It s   a ppl i c a t i o n s   a r e   v e r y   i m po r t a n t ,   e s pe c i a l l y   i n   t h e   A ra b   c o un t r i e s .   T hi s   w o r i s   b a s e o n   pr e - t ra i n e d   Co n v o l ut i o n a l   n e u r a l   n e t w o r ks   us i n g   t h e   R e s N e t - 34  M o de l   a n o b t a i n e a   h i g h e r   a c c ura c y   w i t h   99 . 6% ,   a n d   t h a t   i s   do n e   b y   t e s t i n o n   M A D B a s e   A r a b i c   h a ndw r i t t e n   di gi t   d a t a s e t   w h i c c o n t a i n s   6 0000   t ra i ni n a n d   1000  t e s t i ng  i m a ge s .   T h e   f ut u r e   w o r i s   f oc us e o n   a n o t h e r   pr e - t ra i n e m o de l   s uc h   a s   V G G ,   I n c e pt i o n   e t c .   t t r y   t o   i m p r o v e   t h e   r e s ul t   o f   r e c o gn i t i o A r a b i c   ha n dw r i t t e d i gi t s .       R EF ER EN C ES   [ 1]   C. - L .   L i u,   K .   N a ka s h i m a ,   H .   S a ko ,   a nd  H .   F u j i s a w a ,   H a ndw r i t t e di g i t   r e c o g ni t i o n:   be nc hm a r ki ng   o f   s t a t e - of - t he - a r t   t e c hni que s ,   P at t e r n   R e c ogn i t . ,   v o l .   36 ,   no .   10 ,   pp .   227 1 22 85,   2003 .   [ 2]   A .   R a f a l o v i t c a nd  R .   D a l e ,   U n i t e N a t i o ns   g e ne r a l   a s s e m bl y   r e s o l ut i o ns :   A   s i x - l a ng ua g e   pa r a l l e l   c o r pus ,   i n   P r oc e e di ngs   o f   t he   M T   S um m i t v o l .   1 2,   pp .   292 - 29 9 20 09 .   [ 3]   Y .   L e C un ,   Y .   B e ng i o ,   a nd   G .   H i n t o n,   D e e l e a r n i ng ,   N a t ur e ,   v o l .   521 ,   no .   7553 ,   pp .   436 - 444 ,   201 5.   [ 4]   M .   M .   S a uf i ,   M .   A .   Z a m a nh ur i ,   N .   M o ha m m a d,   a nd  Z .   I br a hi m ,   D e e l e a r ni ng   f o r   r o m a ha ndw r i t t e c ha r a c t e r   r e c o g ni t i o n,   I n done s i an  J ou r na l   of   E l e c t r i c a l   E n gi ne e r i ng  a nd  C om put e r   Sc i e nc e ,   v o l .   1 2,   no .   2.   pp .   4 55 - 460 ,   2018 .   do i :   10. 115 91 / i j e e c s . v 12. i 2 . pp4 55 - 460 .   [ 5]   K .   O S he a   a nd   R .   N a s h ,   A i n t r o duc t i o t o   c o nv o l ut i o na l   ne ur a l   n e t w o r ks ,   a r X i v   P r e pr .   a r X i v 151 1. 0845 8 ,   20 15 .   [ 6]   T .   W i a t o w s ki   a nd  H .   B ö l c s ke i ,   A   m a t he m a t i c a l   t he o r y   of   de e c o nvo l ut i o na l   n e ur a l   n e t w o r k s   f o r   f e a t ur e   e xt r a c t i o n,   I E E E   T r an s .   I nf .   T he or y ,   v o l .   64 ,   no .   3,   pp .   184 5 18 66 ,   201 7.   [ 7]   J .   H a a nd  C .   M o r a g a ,   T he   i nf l ue nc e   o f   t he   s i g m o i f unc t i o pa r a m e t e r s   o t he   s pe e o f   ba c kpr o pa g a t i o l e a r n i ng ,   i I n t e r nat i o nal   W or k s h op   on   A r t i f i c i al   N e ur a l   N e t w or k s ,   pp .   195 201 ,   1995 .   [ 8]   N .   F a t i h a hS a h i d a n ,   A .   K h a i r i   J u h a ,   N .   M o h a m m a d ,   a n Z .   I br a h i m ,   F l o w e r   a nd  l e a f   r e c o g n i t i o f o r   p l a n t   i de n t i f i c a t i o n   us i ng   c o nv o l u t i o n a l   n e u r a l   ne t w o r k ,   I nd o ne s .   J .   E l e c t r .   E n g .   C om p u t .   S c i . ,   v o l .   16 ,   p p .   7 3 7 7 43 ,   2 01 9 .   [ 9]   N .   D a s ,   A .   F .   M o l l a h ,   S .   S a ha ,   a nd  S .   S .   H a qu e ,   H a ndw r i t t e A r a bi c   N um e r a l   R e c o g ni t i o us i ng   a   M ul t i   L a y e r   P e r c e p t r o n,   P r oc e d i ng   N at i o nal   C o nf e r e nc e   on   R e c e nt   T r e nds   i n   I nf or m at i on   S y s t e m s ,   pp .   200 203 ,   2006 .   [ 10]   A .   S e l w a l   a nd  I .   R a oo f ,   A   M ul t i - l a y e r   pe r c e p t r o ba s e i nt e l l i g e n t   t hy r o i di s e a s e   pr e d i c t i o s y s t e m ,   I ndone s i an   J our nal   o f   E l e c t r i c a l   E ng i ne e r i ng  and  C om put e r   Sc i e nc e ,   v o l .   17,   no .   1.   pp .   524 - 533 ,   201 9 .   do i :   10. 1 1591 / i j e e c s . v 17 . i 1 . p p524 - 53 2.   [ 11]   J .   L i ,   J .   C he ng ,   J .   S hi ,   a nd   F .   H u a ng ,   B r i e f   i nt r o duc t i o o f   ba c p r o pa g a t i o ( B P )   ne u r a l   n e t w o r k   a l g o r i t hm   a nd   i t s   i m pr o v e m e nt ,   i A dv an c e s   i n   c om p ut e r   s c i e nc e   an i n f or m at i on   e ngi ne e r i n g,   Sp r i nge r ,   pp .   553 558 ,   201 2 .   [ 12]   A .   A s h i q uz z a m a a n A .   K .   T us h a r ,   H a n dw r i t t e A r a b i c   nu m e r a l   r e c o g n i t i o u s i ng   de e l e a r n i ng   n e u r a l   ne t w o r k s ,   i n   2 0 17   I E E E   I n t e r na t i o n a l   C on f e r e n c e   on   I m a g i ng ,   V i s i o n   &   P a t t e r n   R e c og n i t i on   ( i c I V P R ) ,   p p .   1 4 ,   2 01 7 .     [ 13]   A .   F .   A g a r a p,   D e e l e a r n i ng   u s i ng   r e c t i f i e l i ne a r   un i t s   ( r e l u ) ,   ar X i v   P r e pr .   ar X i v 1 803 . 08 375 ,   201 9 .   [ 14]   D .   M .   K l i ne   a nd  V .   L .   B e r a r di ,   R e v i s i t i ng   s qua r e d - e r r o r   a n c r o s s - e nt r o p y   f unc t i o ns   f o r   t r a i n i ng   ne ur a l   n e t w o r k   c l a s s i f i e r s ,   N e ur a l   C om put .   A pp l . ,   v o l .   1 4,   no .   4,   p p.   31 0 - 318 ,   2 00 5.   [ 15]   W .   L i u,   Y .   W e n ,   Z .   Y u,   a nd  M .   Y a ng ,   L a r g e - m a r g i s o f t m a l o s s   f o r   c o n vo l ut i o na l   ne ur a l   ne t w o r k s ,   i I C M L v o l .   2,   no .   3,   p p .   7 2016 .   [ 16]   A .   A s hi quz z a m a n,   A .   K .   T us ha r ,   A .   R a hm a n,   a nd  F .   M o hs i n,   A e f f i c i e nt   r e c o g ni t i o m e t ho f o r   ha ndw r i t t e a r a b i c   num e r a l s   us i ng   c nn  w i t da t a   a ug m e nt a t i o a nd   dr o po ut ,   i D at a   M anage m e nt ,   A na l y t i c s   and  I nn ov a t i on,   Spr i nge r ,   p p.   29 9 30 9 ,   20 19 .   [ 17]   S .   C .   W o ng ,   A .   G a t t ,   V .   S t a m a t e s c u,   a n M .   D .   M c D o nne l l ,   U nd e r s t a n di ng   da t a   a ug m e nt a t i o f o r   c l a s s i f i c a t i o n:   w he t o   w a r p? ,   i n   201 i nt e r na t i ona l   c on f e r e nc e   on  di gi t a l   i m age   c om pu t i n g:   t e c hn i que s   a nd  a pp l i c at i on s   ( D I C T A ) ,   pp .   1 - 6 ,   20 16 .   [ 18]   D .   P e da m o nt i ,   C o m pa r i s o o f   no n - l i ne a r   a c t i v a t i o f unc t i o ns   f o r   de e ne ur a l   ne t w o r ks   o M N I S T   c l a s s i f i c a t i o t a s k,   a r X i v   P r e pr .   ar X i v 1 804 . 027 63 ,   2 018 .   [ 19]   S .   J .   P a a n Q .   Y a ng ,   A   s u r v e y   o t r a ns f e r   l e a r ni ng ,   I E E E   T r an s .   K n ow l .   D a t E n g. ,   v o l .   22 ,   no .   10,   pp .   13 45 - 1359 ,   20 10 .   [ 20]   L .   Y a ng ,   S .   H a n ne k e ,   a nd  J .   C a r bo ne l l ,   A   t he o r y   o f   t r a ns f e r   l e a r n i ng   w i t a p pl i c a t i o ns   t o   a c t i v e   l e a r ni ng ,   M ac h.   L e ar n. ,   v o l .   90 ,   no .   2 ,   pp .   161 - 189 ,   201 3.   [ 21]   A.   K .   R e y e s ,   J .   C .   C a i c e do ,   a n J .   E .   C a m a r g o ,   F i n e - t un i ng   D e e C o nvo l ut i o na l   N e t w o r ks   f o r   P l a n t   R e c o g ni t i o n,   C L E F   ( W or k i ng   N o t e s ) ,   v o l .   139 1,   pp .   467 - 47 5,   20 15 .   [ 22]   G .   R o s a ,   J .   P a pa ,   A .   M a r a n a ,   W .   S c he i r e r ,   a nd  D .   C o x,   F i n e - t un i n g   c o n vo l ut i o na l   ne u r a l   ne t w o r ks   us i ng   ha r m o ny   s e a r c h,   i I be r oam e r i c a C o ngr e s s   o P at t e r R e c o gn i t i on ,   pp .   6 8 3 690 ,   201 5 .   [ 23]   K .   H e ,   X .   Z ha ng ,   S .   R e n ,   a nd  J .   S un,   D e e r e s i dua l   l e a r ni ng   f o r   i m a g e   r e c og ni t i o n,   i P r oc e e di ngs   of   t he   I E E E   c onf e r e nc e   o c om pu t e r   v i s i on  and   pa t t e r n   r e c o gn i t i on ,   pp .   7 70 77 8 ,   201 6 .   [ 24]   L .   N .   S m i t h ,   A   d i s c i p l i ne a pp r o a c t o   ne u r a l   n e t w o r hy pe r - pa r a m e t e r s :   P a r t   1 - l e a r ni ng   r a t e ,   ba t c s i z e ,   m o m e nt um ,   a nd   w e i g ht   de c a y ,   ar X i v   P r e pr .   ar X i v 180 3. 0 9820 ,   201 8.   [ 25]   J .   H o w a r d   a nd   S .   G ug g e r ,   F a s t a i :   A   L a y e r e A P I   f o r   D e e L e a r ni n g ,   I nf o r m a t i o n ,   v o l .   11,   no .   2 ,   p p .   1 08,   2 020 .       Evaluation Warning : The document was created with Spire.PDF for Python.