I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 ,  J a n u a r y   202 1 ,  pp .   1 74 ~ 17 8   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 174 - 178             174       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   A r a b i c   h a n d w r i t t e n   d i g i t s  r e c o g n i t i o n   b a sed  o n   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s w i t h   r e sn e t - 3 4   m o d e l       R as oo l   H as an   F i n jan ,  A l i   S al i m   R as h e e d ,  A h m e d   A b d u l s ah i b   H as h i m ,   M u s tafa  M u r td h a   D e pa r t m e n t   o f   M e d i a   T e c hno l o gy   E ng i ne e r i ng ,   C o l l e g e   o f   E ng i n e e r i ng ,   U n i v e r s i t y   o f   I nf o r m a t i o n  T e c hno l o gy   a nd  C o m m uni c a t i o ns ,   B a g hd a d,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   F e b   2 5 ,   2 020   R e v i s e d  J ul   4,   2020   A c c e pt e d  A ug  4 ,   20 20       H a ndw r i t t e n  di g i t s   r e c o g ni t i o n  ha s   a t t r a c t e d  t he   a t t e n t i o n  o f   r e s e a r c he r s   i n   pa t t e r n  r e c o g ni t i o n  f i e l ds ,   d ue   t o   i t s   i m po r t a nc e   i n   m a ny   a ppl i c a t i o ns   i n  publ i c   r e a l   l i f e ,   s uc h  a s   r e a d  b a nk  c he c ks   a nd  f o r m a l   do c um e nt s   w hi c h  i s   a   c o nt i nuo us   c ha l l e ng e   i n  t he   l a s t   y e a r s .   F o r   t h i s   m o t i v a t i o n,   t he   r e s e a r c he r s   c r e a t e d  s e v e r a l   a l g o r i t hm s   i n  r e c o g ni t i o n  o f   di f f e r e nt   hum a n  l a ng ua g e s ,   bu t   t he   pr o bl e m   o f   t he   A r a bi c   l a ng ua g e   i s   s t i l l   w i d e s p r e a d.   C o nc e r n i ng   i t s   i m po r t a nc e   i n  m a ny   A r a b  a nd  I s l a m i c   c o unt r i e s ,   b e c a u s e   t h e   pe o pl e   o f   t he s e   c o unt r i e s   s pe a k  t hi s   l a ng ua g e ,   H o w e v e r ,   t he r e   i s   s t i l l   a   l i t t l e   w o r k  t o   r e c o g ni z e   pa t t e r n s   o f   l e t t e r s   a n d  d i g i t s .   I n  t h i s   pa p e r ,   a   ne w   m e t ho d  i s   pr o po s e d  t h a t   us e d  p r e - t r a i ne d  c o nv o l ut i o na l   ne u r a l   ne t w o r ks   w i t h   r e s ne t - 34  m o de l   w ha t   i s   k no w n  a s   t r a n s f e r   l e a r n i ng   f o r   r e c og ni z i ng   di g i t s   i n  t he   a r a bi c   l a ng ua g e   t h a t   pr o v i de s   us   a   hi g h  a c c ur a c y   w he n  t h i s   t y pe   of   n e t w o r k  i s   a ppl i e d.   T hi s   w o r k  us e s   a   f a m o us   a r a b i c   ha n dw r i t t e n   di g i t s   da t a s e t   t ha t   c a l l e d   M A D B a s e   t h a t   c o nt a i ns   60 000  t r a i n i ng   a nd  10 00  t e s t i ng   s a m pl e s   t h a t   i n  l a t e r   s t e ps   w a s   c o nv e r t e d  t o   g r a y s c a l e   s a m p l e s   f o r   c o nv e ni e nt   h a nd l i ng   dur i ng   t he   t r a i n i ng   pr o c e s s .   T hi s   p r o po s e d  m e t ho d  r e c o r de d  t he   h i g he s t   a c c ur a c y   c om pa r e d   t o   pr e v i o us   m e t ho ds ,   w h i c h  i s   99 . 6 % .   Ke y w or d s :   Co n v o l ut i o n a l   n e u ra l   n e t w o r ks   D e e p  l e a rni n g   H a n dw r i t t e n   di g i t s   r e c o gn i t i o n   R e s n e t   m o de l   T r a n s f e r   l e a rni n g   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   R a s oo l   H a s a n   F i n j a n   U n i v e r s i t y   of   In f o r m a t i o n   T e c hn o l o g y   a nd  Co m m u ni c a t i o n s   Co l l e ge   of   E n gi n e e r i n g ,   B a g hda d ,   I r a q   E m a i l :   r a s o o l . ha s a n@ uo i t c . e du . i q       1.   I N TR O D U C TI O N     R e c o gn i t i o n   i s   a n   i m po rt a nt   a r e a   o f  m a c h i n e   l e a rni n g  t ha t   h a s   c o n t r i b ut e d  t o   t h e   a r e a s   of   f a c i a l   r e c o gn i t i o n,   i m a ge   r e c o gn i t i o n,   c ha r a c t e r   r e c o gn i t i o n ,   di g i t   re c o gn i t i o n,   e t c .   h a ndw r i t t e n   d i gi t   r e c o gn i t i o n   [1 ]  ha s   b e e n   r e c e i v i n g  a   pe r c e pt i b l e   i n t e r e s t   f r o m   r e s e a r c h e r s   ove r   t h e   pa s t   y e a r s .   It   i s   t h e   a c t i v e   t oo l   t h a t   us e d  i n  c o m m e r c i a l   i m po rt a n c e   i n   f i e l ds   s uc h   a s   c h e c k  r e a di n g ,   c o l l e c t   da t a   f r o m   fo r m s ,   a nd  t e xt b oo k  di gi t i z a t i o n.   T h e r e f o r e ,   t hi s   f i e l d  h a s   b e c o m e   a n   e f f e c t i v e   e l e m e n t   i n   m a n y   a ppl i c a t i o n s   i n  pu b l i c   l i f e .   A ra b i c   i s   t h e   s i x t h  off i c i a l   l a n gu a ge ,   a do pt e d  by   t h e   U n i t e d  N a t i o n s   [2] ,   i t   i s   o ne   of   t h e   l a ngua ge s   w i de l y   us e d  a l l   o v e r   t h e   w o r l d   a n d  t h e r e   a r e   m o r e   t h a n   290  m i l l i o n   A r a b i c   s pe a ke r s   a c r o s s   t h e   w o r l d .   S i n c e   t h e   g r e a t e r   pa rt   o f  t h e   pa s t   w o r k  c o n c e n t r a t e d  a b o ut   de pe n di n g  o n   L a t i n   l a n g ua ge s ,   H ow e ve r ,   t h e   A ra b i c   l a n gu a ge   di d  n o t   r e c e i ve   m uc h   i n t e r e s t   i n  r e s e a r c h   i n   t h i s   f i e l d,   t h a t   l e a ds   t o   c r e a t i ng  m o r e   c ha l l e n ge   f o r   us .   O n e   o f   t h e   m o s t   i m po r t a nt   t hi n gs   t h a t   w e   n o t e   i n   t h e   A ra b i c   l a n gu a ge ,   t h e   w o r d s   a r e   w r i t t e n   f ro m   ri g h t   t o   l e f t   w h i l e   t h e   d i gi t s   a r e   w ri t t e n   f r o m   l e f t   t o   ri g ht ,   F i gu r e   1  s h o w s   t e n   num b e r s   o f   c l a s s e s   i n   t h e   A ra b i c   fo r m .   T o   a dd r e s s   a   p r o b l e m   of   r e c o gn i z i n g  A ra b i c   di gi t s ,   m a n y   t e c h ni que s   h a v e   b e e n   us e d  fo r   t hi s   t a s k   a n d  t h e   m o s t   e ff e c t i v e   o n e   i s   de e p  l e a rni n g   [3] ,   de e p  l e a rni n g  m e t h o ds   ha v e   o ut pe r fo r m e d  s t a t e - of - t h e - a r t   a l t e rna t i v e s   i n   s pe e c h   r e c o gn i t i o n ,   o b j e c t   de t e c t i o n ,   f a c e   r e c ogni t i o n   a nd  E s pe c i a l l y   i n   t h e   f i e l d  of   i de n t i fy i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A r abi c   h andw r i t t e n  di g i t s   r e c o gni t i on   bas e d  o n  c on v ol u t i o na l   n e ur al   n e t w or k s   w i t h …   ( R as ool   H as an   F i nj an )   175   di f fe r e nt   i nt e rn a t i o na l   l a n gu a ge s ,   i t   ha s   p r o v e n   i t s   e f f e c t i ve n e s s   i n  v a ri o us   l a ngua ge s ,   i n c l ud i n g   R o m a ni a n  [4],   t h e   w o r ki n g  s t a nda r ds   o f   de e p  l e a rn i ng  m e t h o d  i s   h o w   t o   e xt r a c t   t h e   f e a t ur e s   f r o m   l a rge   s c a l e   da t a s e t s   s t a r t i n g  f r o m   t h e   f i r s t   l a y e r   a n d  t ra n s f o r m   t h e   r e p r e s e n t a t i o n   t hr o ug h   h i d de n   l a y e r s   a nd  l i t t l e   by   l i t t l e   t h e s e   t r a n s f o r m a t i o n s   b e c o m e   a   m o r e   a b s t ra c t   a n d   m o r e   c o m pl e x  m o de l .           F i gu r e   1 .   T e n  n u m b e r s   d i gi t s   i n   t h e   A r a b i c   l a n g ua ge       P r e s e n t l y ,   o n e   of   t h e   m o s t   n o t e w o r t h y   m e t h o ds   of   de e p  l e a r ni n g  a l go ri t hm s   i s   c o n v o l ut i o na l   n e u ra l   n e t w o r ks   (CN N s )  [5 ,  6] .   CN N s   a r e   s i m i l a r   t o   a r t i f i c i a l   n e u ra l   n e t w o r ks   (A N N s )  t h e y   c o n s i s t   o f   n e ur o n s   t ha t   r e c e i v e   a n   i n p ut   f r o m   t h e   p r e v i o us   l a y e r   a n d  c o m put e s   t h e   o ut put   b y   n o n - l i n e a r   f un c t i o n   s uc h   a s   t h e   s i g m o i d  f un c t i o n  [7] ,   b ut   t h e   e n o r m o us   d i f fe r e n c e   i s   t h a t   CN N s   a r e   us e d  i n   t h e   c o m put e r  v i s i o n   f i e l ds   s uc h   a s   i m a ge   c l a s s i f i c a t i o n   [8] ,   f o r   t h e   r e a s o n   t ha t   i t   n e e ds   fe w e r   pa ra m e t e r s   du ri n g  t h e   t ra i ni n g  t h e   m o de l   a n d  t h e r e f o r e   i t s   M a ke s   l e s s   t i m e   c o n s u m pt i o n.     1. 1 .       R e l at e d   w o r k s   T h e   m e t h o d  p r o po s e d  i n   [9]   t o   r e c o gn i z e   A r a b i c   n u m e ra l s   u s e s   a   m ul t i - l a y e r   pe r c e pt r o n   (M L P )  a s   a   c l a s s i f i e r ,   w h e r e   a   s e t   of   88  fe a t u r e s   i s   us e d.   T h e   f e a t ur e   s e t   i n c l ude s   72  s ha do w   f e a t ur e s   a n d  16  o c t a nt   f e a t ur e s .   T hi s   pr o po s e d  m e t h o d  us e s   a   da t a s e t   a s   a   CM A T E R D B   3. 3. 1  t h a t   c o n t a i n s   a   3000  h a ndw r i t t e n   s a m pl e ,   a l l   o f   t h e s e   s a m p l e s   a r e   s c a l e d   t o   t h e   s i z e   o f   32 x 32  p i xe l s .   F o r   r e gul a r  t ra i ni n g  s t e p  i m a ge   i s   c o n v e r t e d  i n   g ra y s c a l e   fo r m ,   t h e   a r c hi t e c t u r e   o f   t h i s   a l go r i t hm   i s   c o m po s e d  of   a   s i ngl e   i n p ut   l a y e r ,   a   s i n g l e   hi dde n   l a y e r ,   a n d  a   s i n gl e   o ut put   l a y e r   [ 10].   T h e   m o t i v a t i o n   t o   ut i l i z e   a   s i n gl e   h i dde n   l a y e r   b e c a us e   i t   i s   s uff i c i e n t   t o   c l a s s i fy   t h e   gi v e n  da t a s e t .   F o r  t h e   n o n - l i n e a r i t y   fun c t i o n,   t h e   a u t h o r  us e d  a   s i g m o i d  f un c t i o n   a f t e r  e a c h   l a y e r   a n d  us e s   a   b a c k - p r o pa ga t i o n  a l go ri t hm   [ 11]  f o r   t r a i ni n g   t h e   c l a s s i f i e r.   T h e   n e u r o n s   n u m b e r   w a s   c h a nge d  i n  a c c o r da n c e   w i t h  54   t ha t   r e c o r ds   a n  a c c ur a c y   of   93. 8%   i n  r e c o gn i t i o n  A r a b i c   n u m e r a l s .   T h e   m e t h o d  i n t r o duc e d  i n  [12]   s ugge s t e d  a n  i m p r o v e d  m e t ho d  t ha t   us e d  t h e   s a m e   d a t a s e t   a s   [6] ,   b ut   t h i s   t i m e   t h e   CN N s   us e d  f o r   di gi t   r e c o gni z i n g  p r o b l e m s ,   t he   i m a ge s   a r e   n o rm a l i z e d  t o   b e c o m e   a n   a c c e pt e d   fo r m   f o r   CN N s   c o n di t i o n s .   T h e   m o de l   us e d  i n   t h i s   a do pt e d  m e t h o d  c o n s i s t s   o f   t w o   c o n v o l ut i o n   l a y e r s   w i t h  ke rn e l s   s i z e   of   5 x 5  a n d  3 x   3  r e s pe c t i v e l y ,   n e xt   t h e   poo l i ng  l a y e r   pr e s e n t e d  t h a t   t a ke s   t h e   m a xi m u m   v a l ue   w i t h   a   po o l   s i z e   of   2 x   2.   T h e   f ul l y   c o n n e c t e d  l a y e r   c o n s i s t s   of   128  n e ur o n s   a n d  t h e   f i n a l   l a y e r   t h a t   r e pr e s e nt s   o ut put   c o n t a i n s   1 0  n e u r o n s   f o r   e a c h   di gi t   c l a s s .   R e L U   f un c t i o n   [13 ]  i s   us e d  a s   a n  a c t i v a t i o n  f un c t i o n   a n d   c a t e go r i c a l   c r o s s - e n t r o py   [14]  t o   de t e r m i n e   t h e   e r r o r   a c c r ue s   t hr o ug h   t h e   b a c k - pr o pa g a t i o n   s t a ge ,   a nd  f i n a l l y ,   t h e   S of t m a x  f un c t i o n   [15]  i s   us e d  t o   ge t   t h e   c o n c l us i v e   o ut c om e   f r o m   t h e   o ut put   l a y e r .   T h e   a c c ur a c y   a c h i e v e d   by   t h i s   m o de l   i s   97. 4%   o ve r   t h e   v a l i d a t i o n  da t a s e t .   A n o t h e r  w o r k  i s   i nt r o duc e d  i n   t h i s   f i e l d  f o r   r e c o gn i z i n g  A ra b i c   di gi t s   [16] ,   t w o   c h a n ge s   a r e   m a de   o n  t h e   m e t h o d  t ha t   de s c r i b e d  i n   [6]  t o   i m p r o v e   t h e   a c c ur a c y ,   t h e   da t a   a ug m e nt a t i o n   s t r a t e g y   [17]   w h i c h   i s   i n c r e a s i ng  t h e   n u m b e r   o f   i m a ge s   w a s   a dde d  t o   t h e   gi v e n   da t a s e t   t o   s o l ve   t h e   p r o b l e m   of   ov e r f i t t i n g .   A n d  t h e n  t h e   a c t i v a t i o n   f u n c t i o n   i s   c ha n ge d  f r o m   R e L U   t o  E L U   [1 8]  t o   pr o v i de   m o r e   r o b us t n e s s   t o   t h e   v a ni s hi n g   gra di e nt   pr o b l e m .   T h e   m o de l   of   t h i s   m e t h o d  i s   c o m po s e d  of  fo ur   c o n vo l ut i o n   l a y e r s ,   e a c h   l a y e r   f o l l ow e d  b y   E L U   a s   a n   a c t i v a t i o n   f un c t i o n   w i t h   t h e   ke rn e l s   o f   s i z e   3 x 3.   a   po o l i n g  l a y e r   (m a x - po o l )  w a s   a dde d  w i t h   s i z e   2 x 2.   N e xt   s t e p ,   t h e   p r o c e s s e d  i m a ge s   a r e   f l a t t e n e d  a n d  w i l l   b e   t h e   i nput   f o r   t h e   f ul l y   c o n n e c t e d  l a y e r s ,   a n d   f i n a l l y ,   t h e   l a s t   l a y e r   ( o ut put )  c o n t a i n s   10  n e u r o n s   t h a t   r e p re s e n t   10  c l a s s e s   fo r   c l a s s i fy i n g  t h e   10  di gi t s .   T o   de t e r m i n e   t h e   f i n a l   r e s ul t ,   t h e   s o f t m a x  f un c t i o n   w a s   us e d  t o   c o m put e   t h e   p r o b a b i l i t y   fo r   e a c h   c l a s s   t h a t   r e p r e s e n t s   a   d i gi t   [8] .   F o r   r e duc i n g   t h e   e f fe c t   of   ove r f i t t i ng,   t h e   a ut h o r s   s ug ge s t   us i n g  a   d r o po ut   r a t e   25%  f o r   e a c h   c o n v o l ut i o n   a nd  f ul l y   c o n n e c t e d  l a y e r s ,   i t   m e a n s   t h a t   a f t e r   o n e   e po c h   25%  o f   n e ur o n s   a r e   d r o ppe d  a n d  m a ke   t h e i r   w e i ght s   z e r o   t o   m a ke   i t   i n e f fe c t i ve   i n   t h e   n e t w o r k.   T hi s   pr o po s e d  m e t h o d  ga v e   a c c ur a c y   99 . 4%,   w h i c h  i s   c o n s i de r e d   a   b e t t e r  r e s ul t   t ha n   p r e v i o us   w o r ks .       2.   TH E   P R O P O S ED   M ET H O D   T o   de a l   w i t h   H a n d   W ri t t e n   di g i t s   r e c o gn i t i o n   p r o b l e m s ,   t he   m o de l   c a n   b e   b ui l t   f r o m   s c ra t c h   a nd  s t a r t i n g   t h e   r e c o gn i t i o n  o pe r a t i o n,   b ut   i n  t h i s   w a y ,   w e   s h a l l   ge t   i nt o   t r o ub l e   a n d   a r e   c o n s um i ng  m o r e   t i m e   duri n g  t h e   t ra i ni n g  p r o c e s s ,   e s pe c i a l l y   i f  t h e   da t a s e t   i s   v e r y   l a r ge   a n d   t h e   t ra i ni n g  p r o c e s s   m a y   t a ke   da y s   a n d  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021   :     174   -   178   176   pe rh a ps   w e e ks   w i t h   h i g h  c o m put i n g   c a pa b i l i t i e s .   T h e   m o de rn   a pp r o a c h  n o w a da y s   i t   us e s   a   r e m a r k a b l e   t e c hn i q ue   c a l l e d  t r a n s f e r   l e a rni n g  [19 ,  20]   w h i c h   i s   a   po pul a r   m e t h o d  i n   c o m put e r   v i s i o n   a n d  N L P   f i e l ds   b e c a us e   i t   e n a b l e s   us   t o  b ui l d  a   hi g h - a c c ura c y   m o d e l   w i t h   l i t t l e   t r a i n i ng  t i m e .   T h e r e   a r e   v a ri o us   s t r a t e gi e s   i n  w o r ki n g   w i t h  t ra n s f e r   l e a rn i ng  a n d  o n e   o f   t h e s e   s t ra t e gi e s   i s   f i n e - t u ni n g  [ 21 ,  22]   w h i c h   i s   m e a n s   t a ki ng  w e i ght s   o f   t h e   p r e - t ra i n e d   m o de l   a nd  us e   i t   a s   i ni t i a l i z a t i o n  f o r   a   n e w   m o de l   t ha t   w e   w a n t   t o   t ra i n  o n   da t a   f r o m   t h e   s a m e   do m a i n   f o r   e xa m p l e   i m a ge s ,   i t   us e d  t o   s pe e d  up  t h e   t ra i ni n g  p r o c e s s   a nd  o v e r c o m e   s m a l l   da t a s e t   s i z e   p r o b l e m s .           F i gu r e   2 .   (R i g ht )  a   r e s i dua l   n e t w o r k  w i t h  34   l a y e r s ,   ( l e f t )  a   pl a i n  n e t w o r k  w i t h   3 4  l a y e r s   f r o m   t h e   o r i gi na l   pa pe r  [2 3]       C o ns e q ue nt l y ,   m o s t   l a y e rs   f ro m   a   p re - t r a i ne d   m o d e l   a re   u s e f u l   i n  c o nf i g u ri ng   a   ne w   m o de l   b e c a u s e   m o s t   c o m p u t e r  v i s i o n  p ro b l e m s   i n v o l v e   s i m i l a r  l o w - l e v e l   v i s u a l   p a t t e rns .   T he   p ro p o s e d  m e t ho d   i n  t h i s   p a p e r  t o   t ra i n i ng   o u r  m o d e l   i s   t he   R e s N e t s   m o de l   [23] .   O ne   o f   t he   p ro b l e m s   R e s N e t s   s o l v e   i s   t he   v a ni s hi ng   g r a d i e nt .   T hi s   p ro b l e m   o c c u rs   w he n  t he   ne t w o rk   i s   v e r y   d e e p ,   t he   g ra d i e nt s   w he re   t he   l o s s   f u nc t i o n  i s   c a l c u l a t e d   g o   d i re c t l y   t o   z e ro .   N o   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       A r abi c   h andw r i t t e n  di g i t s   r e c o gni t i on   bas e d  o n  c on v ol u t i o na l   n e ur al   n e t w or k s   w i t h …   ( R as ool   H as an   F i nj an )   177   l e a r ni ng   i s   e x e c u t e d   b e c a u s e   t he   w e i g ht s   no t   u p d a t i ng   i t s   v a l u e s .   B y   u s i ng   t he   R e s N e t s   m o d e l ,   t he   g ra d i e n t s   c a n  a c ro s s   d i re c t l y   t hro u g h   t he   s ho r t c u t   c o nne c t i o ns   t o   t he   re a r  f ro m   p re v i o u s   l a y e rs   t o   i ni t i a l   f i l t e rs ,   s o   w i l l   re u s e   m o s t   o f   t he   p re - t ra i ne d   R e s ne t   m o d e l   l a y e rs   a nd   j u s t   re p l a c e   t he   f i n a l   l a y e r  t h a t   u s e   t o   m a k e   p re d i c t i o ns .   A s   s h o w n   i n   F i g u r e   2 ,   o n   t h e   ri g ht   s i de ,   w e   c a n  s e e   t h e   R e s N e t s   m o de l   b a s e d  o n   t h e   p l a i n  n e t w o r k ,   w hi c h   i s   s h o w n   i n  t h e   l e f t   o f   t he   f i gu re .   E a c h  c o l o r e d  b l o c k   o f   l a y e r s   r e p r e s e nt s   a   s e ri e s   o f   c o n v o l u t i o n s   o f   a   s i m i l a r  d i m e ns i o n.   A l l   o f   t he   l a y e r s   ha v e   t h e   s a m e   p a t t e rn,   t h e y   c o n s i s t   o f   3 x3   c o n v o l u t i o n  w i t h  f i xe d   f e a t u re   m a p  d i m e ns i o ns   6 4 ,   1 28 ,   25 6 ,   51 2  r e s pe c t i v e l y ,   t he   d i m e ns i o ns   t ha t   p re s e nt e d  a s   a   s o l i d  l i ne   r e m a i n   t he   s a m e   s i z e   w h e n  t h e   i npu t   f l o w   a c r o s s   e v e r y   2  c o n v o l u t i o n  l a y e r.   T he   do t t e d  l i n e s   w hi c h  p r e s e nt   t h e   c ha n ge   i n  di m e ns i o n s   o f   t h e   i npu t   v o l u m e .   W e   no t i c e d  t ha t   r e duc t i o n   i n  t h e i r  di m e ns i o n   d ue   t o   c o n v o l u t i o n   o pe ra t i o n,   t hi s   r e d uc t i o n  b e t w e e n   l a y e r s   o c c u rs   b y   t h e   s i z e   o f   s t ri de   f r o m   1  t o   2,   o n  t he   f i rs t   c o n v o l u t i o n   f o r  e a c h  l a y e r.   E v e r y   l a y e r   o f   a   R e s N e t   i s   c o m po s e d  o f   s e v e ra l   b l o c ks ,   t hi s   i s   b e c a u s e   w h e n  R e s N e t   go   de e pe r,   t h e y   r e g u l a rl y   do   i t   b y   e xp a nd i ng   t he   nu m b e r  o f   t a s ks   i n s i de   a   b l o c k ,   b u t   t he   nu m b e r  o f   t h e   t o t a l   l a y e rs   c o nt i nue s   a s   b e f o r e .   T h e   c o r e   i de a   b e h i n d  t h e   s h o rt c ut   c o nn e c t i o n s   i s   t h e   w a y   t h a t   o ur   n e t w o r k  h a s   s ki p  l a y e r s   t h a t   i l l us t r a t e d  i n   F i gu r e   3,   t h e r e f o r e ,   fo r   i n s t a n c e ,   t h e   t w o   c o n vo l ut i o n   l a y e r s   i t   t a ke s   a s   i nput   b un c h   o f   f e a t ur e   m a ps     a n d   t h e   o ut put   i t   w i l l   p r e s e n t   a s   ( ) .   T o   pe r f o r m   t h e   o ut put   o f   t hi s   b l o c k,   t h e   i n p ut     i s   c o pi e d  t o  ou t put   ( ) ,   s o   w e   ha v e   t o   s ki p   t w o   l a y e r s   i n  t h e   n e t w o r k,   s o   t he   o ut put   b e c o m e s   ( ) = ( ) + .   w i t h  t h i s   c o n c e pt ,   i n s t e a d   o f   l e a rni n g   ( )   w e   w o ul d  l e a rn  t h e   r e s i d ua l   ( )   i t s   e qu a t i o n  w i l l   b e c o m e   ( ) = ( ) − ,   t h e r e fo r e   i n  t h e   w o r s t   s c e n a ri o ,   i f   t h e   w e i g h t s   a r e   n o t   u p da t e d,   e v e r y   v a l ue   b e c o m e s   a   s m a l l   o r  z e r o ,   t h e r e f o r e   a t   l e a s t   t h e     w i l l   b e   l e a rn e d .           F i gu r e   3 .   T h e   s h o rt c ut   c o nn e c t i o n s   i n  t h e   r e s i du a l   n e t w o r k       3.   EX P ER I M EN T  A N D   R ES U LTS   A s   m e n t i o n e d  b e fo r e ,   T h e   M A D B a s e   A r a b i c   h a n dw r i t t e n   di gi t   da t a s e t   i s   us e d  i n   o ur   m e t h o d  t o  r e c o gn i z e   A ra b i c   di gi t s ,   I t   c o n t a i n s   60 000  t r a i n i ng  a n d   1000  t e s t i n g  i m a ge s .   E a c h  i m a ge   i s   a   n u m b e r   b e t w e e n   0 - 9  a n d  i t s   s i z e   i s   28 x 28  p i xe l   R G B .   In   t h e   s a m e   w a y   t h a t   us e d  i n   [ 6],   t h e   i m a ge s   a r e   i n v e r t e d  b e fo r e   t h e y   e n t e r   a s   i n p ut   t o   t h e   f i r s t   l a y e r   i n   o ur  m o de l ,   A nd  t h e r e f or e ,   t h e   r e s ul t   o f   t h e   di gi t s   a ppe a r s   i n  t h e   w h i t e   fo r e gr o u n d  o n  t h e   b a c kd r o p  of   t h e   b l a c k  b a c kgr o u n d .   T h e   r e a s o n   i s   t o   us e   t h i s   m e t h o d  t h a t   t h e   b l a c k  b a c kgr o un d   m a ke s   t h e   e dge   de t e c t i o n   m o r e   s t ra i g h t f o r w a r d  i n   di gi t s   r e c o gn i t i o n   p r o b l e m s ,   n o w   w e   c o m e   t o  t h e   t ra i ni n g  p r o c e s s   a n d  w e   w i l l   us e   o ur   s ugge s t e d  m o de l   t o   a c h i e v e   h i g h e r   a c c u r a c y   w i t h   t i m e - s a v i n g  a n d   duri n g  t ra i ni n g  s t a ge   us i n g  o n e   c y c l e   po l i c y   [24]  t o   g e t   f a s t e r   t ra i ni n g  p r o c e s s e s ,   t h e n   t h e   m o de l   e v a l ua t e d  o n   t e s t   da t a   t ha t   g a t h e r e d  f r o m   t h e   da t a s e t .   T h e   w o r k  e n v i r o n m e n t   i n  w h i c h   t h e   m o de l   w a s   t ra i n e d  i n   t h e   f a s t a i   f r a m e w o r k  [25]   a n d   py t h o n   us e d  a s   a   p r o g r a m m i n g   l a n g ua ge .   A f t e r  20   c y c l e s ,   o ur   m o de l   a c h i e v e d  a n   a c c ur a c y   99. 6,   t hi s   r e s ul t   c o n s i de r e d  t h e   b e s t   r e s ul t   o b t a i n e d  s o   f a r   a s   s h o w n   i n  T a b l e   1  w h i c h   t h e   p r o po s e d   m e t h o d  w a s   c o m pa r e d  w i t h   t h e   r e s t   o f   t h e   p r e v i o us   m e t h o ds .       T a b l e   1 .   Co m p a r i s o n  o f   a c c ur a c y   be t w e e n   t h e   p r o po s e d  m e t ho d  a n d  p r e v i o us   m e t h o ds   M e t h o d   A c c u ra c y   “ H a n d w ri t t e n   A ra b i c   n u m e ra l   r e c o g n i t i o n   u s i n g   a   m u l t i - l a y e r  p e r c e p t ro n ”   [9 ].   9 3 . 8 %   “ H a n d w ri t t e n   A ra b i c   n u m e ra l   r e c o g n i t i o n   u s i n g   d e e p   l e a r n i n g   n e u ra l   n e t w o r k s ”   [1 2 ].   9 7 . 4 %   “ A n   E ffi c i e n t   R e c o g n i t i o n   M e t h o d   fo r  H a n d w ri t t e n   A ra b i c   N u m e ra l s   U s i n g   CN N   w i t h   D a t a   A u g m e n t a t i o n   a n d   D r o p o u t ”   [1 6 ].   9 9 . 4 %   P ro p o s e d   m e t h o d   9 9 . 6 %   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021   :     174   -   178   178   4.   C O N C LU S I O N   A N D   F U TU R E  W O R K   A ra b i c   H a n dw r i t t e n   D i g i t s   R e c o gn i t i o n   i s   A n   i m po r t a n t   a n d  s c a l a b l e   a r e a   a t   t h i s   m o m e nt .   It s   a ppl i c a t i o n s   a r e   v e r y   i m po r t a n t ,   e s pe c i a l l y   i n   t h e   A ra b   c o un t r i e s .   T hi s   w o r k  i s   b a s e d  o n   pr e - t ra i n e d   Co n v o l ut i o n a l   n e u r a l   n e t w o r ks   us i n g   t h e   R e s N e t - 34  M o de l   a n d  o b t a i n e d  a   h i g h e r   a c c ura c y   w i t h   99 . 6% ,   a n d   t h a t   i s   do n e   b y   t e s t i n g  o n   M A D B a s e   A r a b i c   h a ndw r i t t e n   di gi t   d a t a s e t   w h i c h  c o n t a i n s   6 0000   t ra i ni n g  a n d   1000  t e s t i ng  i m a ge s .   T h e   f ut u r e   w o r k  i s   f oc us e d  o n   a n o t h e r   pr e - t ra i n e d  m o de l   s uc h   a s   V G G ,   I n c e pt i o n   e t c .   t o  t r y   t o   i m p r o v e   t h e   r e s ul t   o f   r e c o gn i t i o n  A r a b i c   ha n dw r i t t e n  d i gi t s .       R EF ER EN C ES   [ 1]   C. - L .   L i u,   K .   N a ka s h i m a ,   H .   S a ko ,   a nd  H .   F u j i s a w a ,   “ H a ndw r i t t e n  di g i t   r e c o g ni t i o n:   be nc hm a r ki ng   o f   s t a t e - of - t he - a r t   t e c hni que s , ”   P at t e r n   R e c ogn i t . ,   v o l .   36 ,   no .   10 ,   pp .   227 1 – 22 85,   2003 .   [ 2]   A .   R a f a l o v i t c h  a nd  R .   D a l e ,   “ U n i t e d  N a t i o ns   g e ne r a l   a s s e m bl y   r e s o l ut i o ns :   A   s i x - l a ng ua g e   pa r a l l e l   c o r pus , ”   i n   P r oc e e di ngs   o f   t he   M T   S um m i t ,  v o l .   1 2,   pp .   292 - 29 9 ,  20 09 .   [ 3]   Y .   L e C un ,   Y .   B e ng i o ,   a nd   G .   H i n t o n,   “ D e e p  l e a r n i ng , ”   N a t ur e ,   v o l .   521 ,   no .   7553 ,   pp .   436 - 444 ,   201 5.   [ 4]   M .   M .   S a uf i ,   M .   A .   Z a m a nh ur i ,   N .   M o ha m m a d,   a nd  Z .   I br a hi m ,   “ D e e p  l e a r ni ng   f o r   r o m a n  ha ndw r i t t e n  c ha r a c t e r   r e c o g ni t i o n, ”   I n done s i an  J ou r na l   of   E l e c t r i c a l   E n gi ne e r i ng  a nd  C om put e r   Sc i e nc e ,   v o l .   1 2,   no .   2.   pp .   4 55 - 460 ,   2018 .   do i :   10. 115 91 / i j e e c s . v 12. i 2 . pp4 55 - 460 .   [ 5]   K .   O ’ S he a   a nd   R .   N a s h ,   “ A n  i n t r o duc t i o n  t o   c o nv o l ut i o na l   ne ur a l   n e t w o r ks , ”   a r X i v   P r e pr .   a r X i v 151 1. 0845 8 ,   20 15 .   [ 6]   T .   W i a t o w s ki   a nd  H .   B ö l c s ke i ,   “ A   m a t he m a t i c a l   t he o r y   of   de e p  c o nvo l ut i o na l   n e ur a l   n e t w o r k s   f o r   f e a t ur e   e xt r a c t i o n, ”   I E E E   T r an s .   I nf .   T he or y ,   v o l .   64 ,   no .   3,   pp .   184 5 – 18 66 ,   201 7.   [ 7]   J .   H a n  a nd  C .   M o r a g a ,   “ T he   i nf l ue nc e   o f   t he   s i g m o i d  f unc t i o n  pa r a m e t e r s   o n  t he   s pe e d  o f   ba c kpr o pa g a t i o n  l e a r n i ng , ”   i n  I n t e r nat i o nal   W or k s h op   on   A r t i f i c i al   N e ur a l   N e t w or k s ,   pp .   195 – 201 ,   1995 .   [ 8]   N .   F a t i h a hS a h i d a n ,   A .   K h a i r i   J u h a ,   N .   M o h a m m a d ,   a n d  Z .   I br a h i m ,   “ F l o w e r   a nd  l e a f   r e c o g n i t i o n  f o r   p l a n t   i de n t i f i c a t i o n   us i ng   c o nv o l u t i o n a l   n e u r a l   ne t w o r k , ”   I nd o ne s .   J .   E l e c t r .   E n g .   C om p u t .   S c i . ,   v o l .   16 ,   p p .   7 3 7 – 7 43 ,   2 01 9 .   [ 9]   N .   D a s ,   A .   F .   M o l l a h ,   S .   S a ha ,   a nd  S .   S .   H a qu e ,   “ H a ndw r i t t e n  A r a bi c   N um e r a l   R e c o g ni t i o n  us i ng   a   M ul t i   L a y e r   P e r c e p t r o n, ”   P r oc e d i ng   N at i o nal   C o nf e r e nc e   on   R e c e nt   T r e nds   i n   I nf or m at i on   S y s t e m s ,   pp .   200 – 203 ,   2006 .   [ 10]   A .   S e l w a l   a nd  I .   R a oo f ,   “ A   M ul t i - l a y e r   pe r c e p t r o n  ba s e d  i nt e l l i g e n t   t hy r o i d  di s e a s e   pr e d i c t i o n  s y s t e m , ”   I ndone s i an   J our nal   o f   E l e c t r i c a l   E ng i ne e r i ng  and  C om put e r   Sc i e nc e ,   v o l .   17,   no .   1.   pp .   524 - 533 ,   201 9 .   do i :   10. 1 1591 / i j e e c s . v 17 . i 1 . p p524 - 53 2.   [ 11]   J .   L i ,   J .   C he ng ,   J .   S hi ,   a nd   F .   H u a ng ,   “ B r i e f   i nt r o duc t i o n  o f   ba c k  p r o pa g a t i o n  ( B P )   ne u r a l   n e t w o r k   a l g o r i t hm   a nd   i t s   i m pr o v e m e nt , ”   i n  A dv an c e s   i n   c om p ut e r   s c i e nc e   an d  i n f or m at i on   e ngi ne e r i n g,   Sp r i nge r ,   pp .   553 – 558 ,   201 2 .   [ 12]   A .   A s h i q uz z a m a n  a n d  A .   K .   T us h a r ,   “ H a n dw r i t t e n  A r a b i c   nu m e r a l   r e c o g n i t i o n  u s i ng   de e p  l e a r n i ng   n e u r a l   ne t w o r k s , ”   i n   2 0 17   I E E E   I n t e r na t i o n a l   C on f e r e n c e   on   I m a g i ng ,   V i s i o n   &   P a t t e r n   R e c og n i t i on   ( i c I V P R ) ,   p p .   1 – 4 ,   2 01 7 .     [ 13]   A .   F .   A g a r a p,   “ D e e p  l e a r n i ng   u s i ng   r e c t i f i e d  l i ne a r   un i t s   ( r e l u ) , ”   ar X i v   P r e pr .   ar X i v 1 803 . 08 375 ,   201 9 .   [ 14]   D .   M .   K l i ne   a nd  V .   L .   B e r a r di ,   “ R e v i s i t i ng   s qua r e d - e r r o r   a n d  c r o s s - e nt r o p y   f unc t i o ns   f o r   t r a i n i ng   ne ur a l   n e t w o r k   c l a s s i f i e r s , ”   N e ur a l   C om put .   A pp l . ,   v o l .   1 4,   no .   4,   p p.   31 0 - 318 ,   2 00 5.   [ 15]   W .   L i u,   Y .   W e n ,   Z .   Y u,   a nd  M .   Y a ng ,   “ L a r g e - m a r g i n  s o f t m a x  l o s s   f o r   c o n vo l ut i o na l   ne ur a l   ne t w o r k s , ”   i n  I C M L ,  v o l .   2,   no .   3,   p p .   7 ,  2016 .   [ 16]   A .   A s hi quz z a m a n,   A .   K .   T us ha r ,   A .   R a hm a n,   a nd  F .   M o hs i n,   “ A n  e f f i c i e nt   r e c o g ni t i o n  m e t ho d  f o r   ha ndw r i t t e n  a r a b i c   num e r a l s   us i ng   c nn  w i t h  da t a   a ug m e nt a t i o n  a nd   dr o po ut , ”   i n  D at a   M anage m e nt ,   A na l y t i c s   and  I nn ov a t i on,   Spr i nge r ,   p p.   29 9 – 30 9 ,   20 19 .   [ 17]   S .   C .   W o ng ,   A .   G a t t ,   V .   S t a m a t e s c u,   a n d  M .   D .   M c D o nne l l ,   “ U nd e r s t a n di ng   da t a   a ug m e nt a t i o n  f o r   c l a s s i f i c a t i o n:   w he n  t o   w a r p? , ”   i n   201 6  i nt e r na t i ona l   c on f e r e nc e   on  di gi t a l   i m age   c om pu t i n g:   t e c hn i que s   a nd  a pp l i c at i on s   ( D I C T A ) ,   pp .   1 - 6 ,   20 16 .   [ 18]   D .   P e da m o nt i ,   “ C o m pa r i s o n  o f   no n - l i ne a r   a c t i v a t i o n  f unc t i o ns   f o r   de e p  ne ur a l   ne t w o r ks   o n  M N I S T   c l a s s i f i c a t i o n  t a s k, ”   a r X i v   P r e pr .   ar X i v 1 804 . 027 63 ,   2 018 .   [ 19]   S .   J .   P a n  a n d  Q .   Y a ng ,   “ A   s u r v e y   o n  t r a ns f e r   l e a r ni ng , ”   I E E E   T r an s .   K n ow l .   D a t a  E n g. ,   v o l .   22 ,   no .   10,   pp .   13 45 - 1359 ,   20 10 .   [ 20]   L .   Y a ng ,   S .   H a n ne k e ,   a nd  J .   C a r bo ne l l ,   “ A   t he o r y   o f   t r a ns f e r   l e a r n i ng   w i t h  a p pl i c a t i o ns   t o   a c t i v e   l e a r ni ng , ”   M ac h.   L e ar n. ,   v o l .   90 ,   no .   2 ,   pp .   161 - 189 ,   201 3.   [ 21]   A.   K .   R e y e s ,   J .   C .   C a i c e do ,   a n d  J .   E .   C a m a r g o ,   “ F i n e - t un i ng   D e e p  C o nvo l ut i o na l   N e t w o r ks   f o r   P l a n t   R e c o g ni t i o n, ”   C L E F   ( W or k i ng   N o t e s ) ,   v o l .   139 1,   pp .   467 - 47 5,   20 15 .   [ 22]   G .   R o s a ,   J .   P a pa ,   A .   M a r a n a ,   W .   S c he i r e r ,   a nd  D .   C o x,   “ F i n e - t un i n g   c o n vo l ut i o na l   ne u r a l   ne t w o r ks   us i ng   ha r m o ny   s e a r c h, ”   i n  I be r oam e r i c a n  C o ngr e s s   o n  P at t e r n  R e c o gn i t i on ,   pp .   6 8 3 – 690 ,   201 5 .   [ 23]   K .   H e ,   X .   Z ha ng ,   S .   R e n ,   a nd  J .   S un,   “ D e e p  r e s i dua l   l e a r ni ng   f o r   i m a g e   r e c og ni t i o n, ”   i n  P r oc e e di ngs   of   t he   I E E E   c onf e r e nc e   o n  c om pu t e r   v i s i on  and   pa t t e r n   r e c o gn i t i on ,   pp .   7 70 – 77 8 ,   201 6 .   [ 24]   L .   N .   S m i t h ,   “ A   d i s c i p l i ne d  a pp r o a c h  t o   ne u r a l   n e t w o r k  hy pe r - pa r a m e t e r s :   P a r t   1 - l e a r ni ng   r a t e ,   ba t c h  s i z e ,   m o m e nt um ,   a nd   w e i g ht   de c a y , ”   ar X i v   P r e pr .   ar X i v 180 3. 0 9820 ,   201 8.   [ 25]   J .   H o w a r d   a nd   S .   G ug g e r ,   “ F a s t a i :   A   L a y e r e d  A P I   f o r   D e e p  L e a r ni n g , ”   I nf o r m a t i o n ,   v o l .   11,   no .   2 ,   p p .   1 08,   2 020 .       Evaluation Warning : The document was created with Spire.PDF for Python.