I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   10 ,   No .   2 May   201 8 ,   p p .   5 6 2 ~5 6 8   I SS N:  2502 - 4752 DOI : 1 0 . 1 1 5 9 1 / i j ee cs . v 1 0 . i2 . p p 562 - 5 6 8          562       J o ur na l ho m ep a g e h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / ijeec s   Dev elo p m e nt  o f  E ng lish Handw ritt en Recog nition  U sing   Deep N eura l N et w o rk       T eddy   Su ry a   G un a w a n* 1 ,   Ah m a d F a k hrur  Ra zi  M o hd   No o r 2 ,   M ira   K a rt i w i 3   1 , De p a rtm e n o f   El e c tri c a a n d   C o m p u ter E n g in e e rin g ,   K u ll iy y a h   o f   En g in e e rin g ,   M a lay sia   De p a rtm e n o f   In f o r m a ti o n   S y st e m s,  Ku ll iy y a h   o f   ICT ,   In tern a ti o n a Isla m ic Un iv e rsit y   M a la y sia ,   M a la y sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   N ov   13 ,   2 0 1 7   R ev i s ed   J an   2 6 ,   2 0 1 8   A cc ep ted   F eb   15 ,   2 0 1 8       Du e   to   th e   a d v a n c e d   in   G P U an d   CP U,  i n   re c e n y e a rs,  De e p   Ne u ra Ne tw o r k   (DN N)  b e c o m e p o p u lar  to   b e   u ti li z e d   b o th   a f e a tu re   e x tra c ti o n   a n d   c las si f ier.  T h is  p a p e a ims   to   d e v e lo p   o f f li n e   h a n d w rit ten   re c o g n it i o n   sy ste m   u sin g   DN N.  F irst,   tw o   p o p u lar   En g li sh   d ig it a n d   letters   d a tab a se ,   i. e .   M NIST   a n d   EM NIST ,   w e re   se l e c ted   to   p ro v i d e   d a tas e f o tra in in g   a n d   tes ti n g   p h a se   o f   DN N.  A lt o g e th e r,   th e re   a re   1 0   d ig it [ 0 - 9 ]   a n d   5 2   letters   [ a - z ,   A - Z] .   T h e   p ro p o se d   DN u s e d   sta c k e d   t w o   a u to e n c o d e lay e r a n d   o n e   so f t m a x   la y e r.   Re c o g n it io n   a c c u r a c y   f o En g li sh   d ig it a n d   letters   is  9 7 . 7 %   a n d   8 8 . 8 % ,   re sp e c ti v e ly .   P e rf o rm a n c e   c o m p a riso n   w it h   o th e r   stru c tu re   o f   n e u ra n e tw o rk re v e a led   th a th e   w e i g h ted   a v e ra g e   r e c o g n it io n   ra t e   f o r   p a tt e rn n e t,   f e e d f o rwa rd n e t,   a n d   p ro p o se d   DN w e re   8 0 . 3 % ,   6 8 . 3 % ,   a n d   9 0 . 4 % ,   re sp e c ti v e l y .   It  sh o w th a o u p r o p o se d   sy ste m   is  a b le  to   re c o g n ize   h a n d w rit ten   E n g li sh   d ig it s a n d   let ters   w it h   h ig h   a c c u ra c y .     K ey w o r d s :   Dee p   n eu r al  n e t w o r k   E MN I ST   Han d w r itte n   r ec o g n it io n   MN I ST   Neu r al  n et w o r k   Co p y rig h ©   2 0 1 8   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   T ed d y   S u r y G u n a w an ,   De p a rtme n o f   El e c tri c a a n d   Co m p u ter E n g in e e rin g ,     Ku ll iy y a h   o f   En g in e e rin g ,   M a la y sia . .   E m ail:  ts g u n a w a n @iiu m . e d u . m y       1.   I NT RO D UCT I O N     Han d w r iti n g s   ar th m o s co m m o n   s ta n d ar d   an d   r eg u l ar   m ed i u m   t h at  h u m a n   b ein g s   u s in   co m m u n icati n g .   I is   a ls o   a n   ef f ec tiv e   an d   e f f icie n w a y   to   r ec o r d   in f o r m atio n   e v en   w it h   th i n tr o d u ctio n   o f   n e w   tec h n o lo g ies,  li k s w i f tk e y   k e y b o ar d ,   s o u n d   co m m a n d ,   etc.   Gen er all y ,   h a n d w r iti n g   r e co g n itio n   s y s te m   i s   m ec h a n i s m   t h at  u s ed   to   r ec o g n ize  h u m a n   h a n d w r itte n   in   an y   la n g u a g es  eit h er   f r o m   s ca n n ed   h a n d w r itte n   i m a g o r   r ea tim h an d w r iti n g   u s in g   s t y l u s   p en   o n   elec tr o n ic  d ev ice  w h ic h   also   ca n   b ca lled   as  o f f li n an d   o n lin e   h a n d w r iti n g   r esp ec ti v e l y   [ 1 ] .   B esid es,  t h e   ap p licatio n   o f   th is   s y s te m   ca n   b ca t eg o r ized   in to   th r ee   w h ic h   ar n u m er al,   c h ar ac ter   an d   cu r s i v w o r d .   I is   w id el y   u s ed   in   n u m er o u s   ap p licatio n s   s u c h   as  lan g u ag e   tr an s latio n ,   b an k   c h eq u e s   an d   k e y w o r d   s p o ttin g   [ 2 ,   3 ] .           Fig u r 1 .   A   T y p ical  Ha n d w r itt en   R ec o g n it io n   S y s te m   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dev elo p men t o f E n g lis h   Ha n d w r itten   R ec o g n itio n   Usi n g   Dee p . . .     ( Ted d y   s u r ya   Gu n a w a n )   563   As  s h o w n   in   Fi g u r 1 ,   th co m m o n   p r o ce s s es  o f   h a n d w r iti n g   r ec o g n itio n   s y s te m   ar im a g ac q u is itio n ,   p r ep r o ce s s in g ,   s e g m e n tat io n ,   f ea tu r e x tr ac tio n   an d   cla s s i f icatio n   [ 2 ] .   I m ag ac q u is itio n   is   th e   f ir s s tep   to   g e an   i m a g f o r m   o f   h a n d w r itte n   th at  w i ll  ac as  in p u to   p r ep r o ce s s in g   b y   u s i n g   s ca n n er .   T h p r ep r o ce s s in g   s tep   i s   to   r e m o v n o is o r   d is to r tio n s   o f   th s c an n ed   i m a g w h ich   u s ab le  f o r   f u r t h er   p r o ce s s   [ 3 ,   4] .   On o f   th p r o ce s s   in   p r ep r o ce s s in g   i s   th r e s h o ld i n g   w h ic h   co n v er t sca n n ed   i m a g i n to   b in ar y   i m a g e.   Nex t ,   s eg m e n tatio n   i s   u s ed   to   d iv id ea ch   w o r d   in to   s u b - i m a g e s   w h er th is   s tag is   v er y   i m p o r ta n s tep   p ar ticu lar l y   f o r   co n ti n u o u s   h a n d w r iti n g   in   o r d er   to   ex tr ac t f ea t u r es  f r o m   ea ch   i m a g o f   ch ar ac ter   w h ic h   w ill b p er f o r m   i n   f ea t u r ex tr ac tio n   p r o ce s s   [ 1 ]   T h en   p r o ce ed s   w ith   f ea t u r ex tr ac tio n   w h er it  w ill  e x tr ac ev er y   c h ar ac ter is tic  o f   th f ea tu r es  i n   ea ch   i m a g e.   T h is   f ea t u r is   v er y   u s e f u f o r   class i f icatio n   in   th last   s tep .   T h er ar e   m an y   clas s i f icatio n   tech n i q u es   s u ch   as  K - Nea r es Neig h b o u r   ( KNN) ,   Ne u r al  Net w o r k   an d   Su p p o r Vec to r   Ma ch i n ( SVM )   w h er t h ese   clas s i f ier s   h a v e   d if f er en t   ap p r o ac h   to   r ec o g n ize  t h i m a g [ 4 ] Ge n er all y ,   m o s r e s ea r ch er   ev alu a te  th p er f o r m a n ce   o f   t h s y s te m   b ased   o n   clas s i f icatio n   ac cu r ac y   [ 5 ,   6 ]   A lt h o u g h   m a n y   p ap er   h as   b ee n   co n d u cted   o n   o f f li n h an d w r itte n   r ec o g n it io n ,   b u t h u s o f   Dee p   Neu r al  Ne t w o r k   ( DNN)   is   s til in   th ea r l y   s ta g e.   T h er ef o r e,   th o b j ec tiv o f   th is   p ap er   is   to   d ev elo p   o f f lin e   h an d w r itte n   r ec o g n i tio n   u s i n g   DNN.   W e   w ill   u s t w o   p o p u lar   d atab ase,   in c lu d i n g   MN I S T   [ 7 ]   an d   E MN I ST   [ 8 ]   d u to   th clea n   d ata  p r o v id ed .   T h u s ,   t h al g o r ith m s   t h at  w i ll  b u s ed   i n   t h is   p r o j e ct  s tar w i th   f ea t u r e   ex tr ac tio n   w h er w w ill  u s i m a g p ix el  as  f ea t u r in p u t o   class if ier   [ 9 ]   as  DNN  w ill  h an d le  b o th   f ea t u r ex tr ac tio n   a n d   clas s i f ier .   Fi n all y ,   w w i ll  ev a lu ate  th p er f o r m an ce   o f   t h is   p r o p o s ed   p r o j ec b ased   o n   co n f u s io n   m atr i x   to   f i n d   th cl ass i f icatio n   ac cu r ac y .       2.   DE S I G O F   P RO P O SE H ANDWR I T T E R E CO G N I T I O SY ST E M   Fig u r 2   s h o w s   th p r o p o s ed   h an d w r itte n   r ec o g n itio n   s y s te m .   T h p r o ce s s in g   s tep   in cl u d es  i m ag e   th r es h o ld in g ,   ch ar ac ter   t h i n n in g   u s in g   m o r p h o lo g ical  o p er atio n ,   s lan co r r ec tio n ,   an d   f in al l y   i m a g e   s eg m e n tatio n .   T h p ix el  v al u e   f r o m   i m a g s e g m e n tat io n   w il b tr ea ted   as  th in co m i n g   in p u to   th DNN,   in   w h ic h   b o th   f ea t u r ex tr ac tio n   an d   class i f icat io n   w ill b co n d u cted .           Fig u r 2 .   P r o p o s ed   Han d w r itt en   R ec o g n it io n   S y s te m       2 . 1     F ea t ure  E x t ra ct io n a nd   Cla s s if ier  Us ing   Dee p Ne ura l N e t w o rk   ( DNN)   I n   th i s   p r o j ec t,  w o n l y   u s ed   th p i x el  v a lu o f   ea ch   s e g m en ted   i m a g es   as  f ea t u r in p u to   Dee p   Neu r al  Net w o r k   ( DNN) .   T h i m ag e   s ize  f r o m   d ataset  ar 2 8 - by - 2 8   p ix els   in   g r a y s ca le  w h i ch   m ea n s   o n d i g i t   in   o n e   i m ag e.   W h en   w ar wo r k in g   w it h   i m a g es,  t h f ea t u r es  w u s is   t h r a w   p i x el  v al u es.  Si n ce   t h i m a g h as  2 8 x 2 8   p ix els  a s   ill u s tr ated   in   Fi g u r 3   th u s   it  eq u al  to   7 8 4   p ix els,  s o   w h a v 7 8 4   in p u f ea tu r es  f o r   ea ch   i m a g e.   I n   2 0 0 6 ,   d ee p   b elief   n et w o r k   w as  i n tr o d u ce d   b y   [ 1 0 ]   w h i ch   f o r m s   D NN  m o d el  co m p o s ed   o f   R estricte d   B o ltz m an n   Ma c h i n es  ( R B M ) .   I is   tr ain ed   i n   u n s u p er v i s ed   f a s h io n ,   o n e   la y er   at  ti m f r o m   th e   lo w es to   th h i g h est  la y er .   An o th er   v ar iatio n ,   i.e .   d ee p   f ee d - f o r w ar d   n et w o r k s ,   w er e f f ec tiv el y   tr ai n ed   u s in g   th s a m e   id ea   b y   f ir s p r e - t r ain in g   ea c h   la y er   a s   R B M,   th e n   f i n e - tu n i n g   b y   b ac k p r o p ag atio n   [ 1 1 ] No w ad a y s ,   ANNs  w it h   d ee p   s tr u ct u r ar tr ain ed   o n   p o w e r f u GP m ac h i n es,  o v er co m in g   b o th   r eso u r ce s   an d   tr ain i n g   t i m li m i ts .     Oth er   t y p e s   o f   DNN  i n cl u d es   r ec u r r en n e u r al  n et w o r k s   ( R NN)   an d   co n v e n tio n a n e u r al   n et w o r k s   ( C NN) .   An   R N is   s i m ilar   to   an   A NN  ex ce p t h at  it  allo w s   s elf - co n n ec ted   h id d en   la y er   th at  as s o ciate s   w it h   ti m d ela y .   A   C NN  is   s i m il ar   to   an   o r d in ar y   f ee d f o r w ar d   n eu r al  n et w o r k   as  th o u tp u t   o f   ea ch   la y er   is   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  10 ,   No .   2 Ma y   2 0 1 8   :   5 6 2     5 6 8   564   co m b i n atio n   o f   th in p u t,  w eig h t   m atr i x ,   an d   th b ias  v ec to r   f o llo w ed   b y   n o n - li n ea r   tr an s f o r m at io n .   Ho w e v er ,   C NN  h as   lo ca co n n ec t iv i t y ,   in   w h ic h   C NN   u s e s   s o m s m all  f il ter s ,   s lid e s   it   ac r o s s   a ll  s u b - r eg io n s   o f   th e   in p u m atr i x   a n d   ag g r eg a tes  al r es u lts .   Me an s   th at,   it  ta k es   ad v a n ta g e s   o f   t h co n v o lu tio n   o p er atio n   b et w ee n   t h f ilter s   a n d   th i n p u t.  A   C NN  is   n o r m a ll y   co n s is ted   o f   s e v er al  t y p e s   o f   la y er s ,   i n cl u d in g   co n v o lu tio n al  la y er ,   p o o lin g   la y er ,   an d   f u ll y - co n n ec ted   la y er .           Fig u r 3 .   E x a m p le  o f   P ix el  Va lu o f   a n   Im a g as  Fe at u r In p u t to   DNN       2 . 2   Select ed   H a nd w rit t en  I m a g e   Da t a ba s es   T h d atab ase   u s ed   f o r   th is   r es ea r ch   h av t w o   ca teg o r ies  w h i ch   ar d ig it  an d   alp h ab et.   Dig it  d atab ase   is   f r o m   th MN I ST   d atab ase  o f   h a n d w r i tten   d i g its   w h er t h is   d atab ase  co n ta in s   6 0 0 0 0   e x a m p le s   o f   tr ai n in g   s et  an d   1 0 0 0 0   ex a m p les   o f   te s s et  [ 4 ] .   T h d ig it s   ar all  u n i f o r m   s ize  a n d   ar ce n tr ed   in   t h i m a g e.   E ac h   i m a g is   ce n tr ed   in   2 8 x 2 8   i m ag b y   co m p u ti n g   t h ce n tr e   o f   m a s s   o f   th p i x els,  a n d   tr an s lat in g   t h i m ag s o   th at  t h ce n tr o f   m a s s   i s   at  th ce n tr o f   th i m ag e.   E ac h   i m ag i s   b in ar y   i m ag o f   h an d w r i tten   d i g it  an d   co n s is ts   o f   3 0 , 0 0 0   p atter n s   f r o m   t w o   d atab ase s ,   o n e   f r o m   C e n s u s   B u r ea u   e m p lo y ee s   a n d   t h o th er   f r o m   h i g h - s ch o o s t u d en t s ,   f r o m   ab o u 2 5 0   d if f er en w r iter s   i n   to tal.   T h test   s et  co n s is ts   o f   5 , 0 0 0   p atter n s   f r o m   ea c h   d atab ase.   T h d atasets   ar lab elled   to   en ab le  ea s y   v er i f icati o n .   T h s a m p le   o f   tr ai n i n g   i m ag f o r   MN I ST   as    s h o w n   in   F ig u r e   4.   Ho w e v er ,   w e   o n l y   u s ed   o n e   t y p o f   d ataset s   f r o m   t h l i s w h ich   is   E MI NST   L etter s   f o r   th is   p r o p o s ed   p r o j ec t.   T h E MN I ST   L etter s   d ataset  m er g es  b alan ce d   s et  o f   t h u p p er ca s an d   lo w er ca s o f   h an d w r itte n   letter s   in to   s i n g l 2 6 - class   tas k .   T h tr ain i n g   s a m p le  f o r   o u r   p r o p o s ed   p r o j ec t is 1 2 4 8 0 0   an d   test   s a m p le   is   2 0 8 0 0 .   So m o f   tr ai n in g   i m a g es sa m p le  ar s h o w n   in   Fi g u r 5 .               Fig u r 4 .   MN I ST   T r ain in g   I m ag Sa m p le s   Fig u r 5 .   E MN I ST   T r ain in g   I m ag Sa m p le s       I n   ad d itio n ,   letter   d atab ase  u s ed   f o r   th i s   p r o j ec is   f r o m   E x t en d ed   Mo d if ied   NI ST   ( E MN I ST ) .   B o th   E MN I ST   an d   MN I S T   w a s   d er iv ed   f r o m   NI ST   Sp ec ial  Data b ase  1 9   [ 8 ] .   T h co n v er s io n   o f   i m a g es  f r o m   t h e   o r ig in al  u s ed   t h s a m m et h o d o lo g y   as  i n   [ 4 ] .   T h er ar s i x   d if f er en s p lit s   p r o v id ed   in   t h is   d atase t.  A   s h o r t   s u m m ar y   o f   t h d ataset  i s   p r o v id ed   as f o llo w s :     E MN I ST   B y C las s : 8 1 4 , 2 5 5   ch ar ac ter s .   6 2   u n b ala n ce d   class e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dev elo p men t o f E n g lis h   Ha n d w r itten   R ec o g n itio n   Usi n g   Dee p . . .     ( Ted d y   s u r ya   Gu n a w a n )   565     E MN I ST   B y Me r g e:  8 1 4 , 2 5 5   c h ar ac ter s .   4 7   u n b alan ce d   clas s es.     E MN I ST   B alan ce d :   1 3 1 , 6 0 0   ch ar ac ter s .   4 7   b alan ce d   class e s .     E MN I ST   L etter s : 1 4 5 , 6 0 0   ch ar ac ter s .   2 6   b alan ce d   class es.     E MN I ST   Dig its : 2 8 0 , 0 0 0   ch ar ac ter s .   1 0   b alan ce d   class es.     E MN I ST   MN I S T : 7 0 , 0 0 0   ch ar ac ter s .   1 0   b alan ce d   class es.       3.   I M P L E M E NT AT I O O F   D E E P   N E URA L   NE T WO RK   I n   t h is   p r o p o s ed   p r o j ec t,  Dee p   Neu r al   Net w o r k   ( DNN)   i s   u s ed   as  f ea tu r e   ex tr ac tio n   a n d   cl ass i f ier   o f   th h a n d w r itte n   s y s te m .   W co n d u cted   tr ain i n g   an d   test i n g   p h as o f   DNN  o n   th d i f f er e n t   s a m p les.     3 . 1   T ra ini ng   P ha s o f   t he  D NN   Dee p   Neu r al  Net w o r k   ( DNN)   is   n et w o r k   th a co n s i s o f   m an y   h id d en   la y er s   w i th   d if f er e n n u m b er   o f   n e u r o n   i n   ea ch   la y er .   Fo r   th is   r esear c h ,   s tac k ed   au to en co d er s   f o r   h an d w r iti n g   r ec o g n itio n   is   u s ed   to   tr ai n   m u ltip le  la y er s .   T h n u m b er   h id d en   la y er   u s ed   is   th r ee ,   in c l u d in g   t w o   h id d en   la y er s   an d   o n s o f t m a x   la y er   in   w h ic h   t h ese  t h r ee   la y er s   w i ll  b s tack ed   to g e th er   i n   o r d er   to   f o r m   d ee p   n et w o r k .   T h f ir s an d   s ec o n d   la y er   w il b tr ain ed   w it h o u u s i n g   lab el  f r o m   tr ai n i n g   d ata  w h ic h   m ea n s   u n s u p er v i s ed   f as h io n   [ 1 2 ] .   So f tm a x   la y er   d if f e r   f r o m   h id d en   la y er   in   wh ich   w tr ai n ed   th i s   la y er   w it h   s u p er v is ed   f a s h io n   u s in g   la b els  f r o m   tr ain in g   d ataset.     T h is   au to e n co d er   u s e s   r e g u lar izer s   to   lear n   a   s p ar s r ep r esen tatio n   i n   t h f i r s la y er .   L 2 W eig h tR e g u lar izatio n   co n tr o ls   th i m p ac o f   a n   L 2   r eg u la r izer   f o r   th w ei g h t s   o f   th n e t w o r k   ( a n d   n o th b iases ) .   Sp ar s it y R e g u lar izat io n   co n tr o ls   t h i m p ac o f   s p ar s it y   r eg u lar izer ,   w h ic h   att e m p ts   to   en f o r ce   a   co n s tr ain o n   t h s p ar s i t y   o f   t h o u tp u f r o m   t h h id d en   la y er .   No te  t h at,   t h i s   i s   d i f f er e n f r o m   ap p l y i n g   a   s p ar s it y   r eg u lar izer   to   th w ei g h t s .   Sp ar s it y   P r o p o r tio n   is   p ar am eter   o f   t h s p ar s it y   r e g u lar izer .   I co n tr o ls   th s p ar s it y   o f   th o u tp u f r o m   th h id d en   la y er .   A   lo w   v alu f o r   Sp ar s it y P r o p o r tio n   u s u all y   lead s   to   ea ch   n eu r o n   in   t h h id d en   la y er   s p e cializin g   b y   o n l y   g i v i n g   a   h i g h   o u tp u f o r   s m all  n u m b er   o f   tr ain in g   e x a m p le s .   Fo r   ex a m p le,   if   Sp ar s it y P r o p o r tio n   is   s et  to   0 . 1 ,   th is   is   eq u i v alen to   s a y i n g   t h at  ea ch   n e u r o n   in   t h h id d en   la y er   s h o u ld   h av a n   a v er ag o u tp u o f   0 . 1   o v er   t h tr ain i n g   ex a m p le s .   T h is   v a lu m u s b b et w ee n   0   an d   1 .   T h id ea v alu v ar ies  d ep en d in g   o n   t h n a tu r o f   th p r o b le m .   T h co n f ig u r atio n   u s ed   f o r   d ig its   an d   let ter s   th at  a f f ec t t h p er f o r m a n ce   o f   o u r   test   ar illu s tr ated   in   T ab le  1 .       T ab le  1 .   C o n f ig u r atio n   o f   DN N   C l a ss   N u mb e r   o f   c h a r a c t e r   N u mb e r   o f   h i d d e n   l a y e r   N u mb e r   o f   n o d e i n   i n p u t   l a y e r   N u mb e r   o f   n e u r o n i n   1 st   h i d d e n   l a y e r   N u mb e r   o f   n e u r o n i n   2 nd   h i d d e n   l a y e r   N u mb e r   o f   n e u r o n i n   3 rd   h i d d e n   l a y e r   D i g i t s   10   3   7 8 4   3 0 0   50   10   L e t t e r s   26   3   7 8 4   3 0 0   50   27       W u s ed   s m aller   n u m b er   o f   n eu r o n s   i n   f ir s h id d en   la y er   co m p ar ed   to   in p u o f   th DN N.   Sin ce   o u r   d ig its   i m a g s a m p le  w ill  h a v 7 8 4 - by - 6 0 0 0 0   w h ile  le tter s   i m ag s a m p le  co n s i s o f   7 8 4 - by - 1 2 4 8 0 0   as  in p u to   DNN,   w e   s et   n u m b er   o f   n e u r o n s   f o r   f ir s t   h id d en   la y er   i s   3 0 0 .   Seco n d   la y er   w ill   h a v e   1 0 0   w h ile   1 0   o r   2 7   f o r   s o f t m ax   la y er .   L es s   n u m b er   o f   n e u r o n s   w i ll  m ak t h e   au to en co d er   lear n s   s m al ler   an d   co m p r ess ed   r ep r esen tatio n   o f   t h i n p u o f   ev er y   la y er .   I n   th is   tr ai n in g   p r o ce s s ,   th in p u o f   ea c h   la y er   w ill  u s e x tr a ct   f ea t u r f r o m   p r ev io u s   en co d er   as tr ain i n g   d ata  to   tr ain   t h la y er .             Fig u r 6 .   Stack ed   L a y er s   o f   D NN       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  10 ,   No .   2 Ma y   2 0 1 8   :   5 6 2     5 6 8   566   Af ter   tr ai n ed   t h r ee   s ep ar ate  l a y er s   o f   D NN,   w w i ll  s ta ck   t h o s t h r ee   la y er s   to g et h er   to   f o r m   a   d ee p   n et w o r k ,   as  s h o w n   i n   Fi g u r 6 .   Fu r t h er m o r e,   w co m p u te  th r es u lts   w i th   te s ti n g   d ataset  u s in g   t h f u ll   d ee p   n et w o r k   f o r m ed .   I n   o r d er   to   in cr ea s th p er f o r m a n c o f   d ee p   n et w o r k ,   w t u n th d ee p   n et w o r k   b y   r etr ain in g   it  u s i n g   tr ain i n g   d ataset  in   s u p er v i s ed   f a s h io n   w h i ch   m ea n s   i n cl u d in g   tr ai n in g   la b el  d ata.       3 . 2   T esting   P ha s o f   t he  DNN   T esti n g   is   t h last   p ar o f   h an d w r iti n g   r ec o g n it io n   in   o r d er   to   ev alu ate  t h DNN.   T o   test   th e   n et w o r k ,   w n ee d   to   h av te s d ataset  a lo n g   w i th   te s lab el  o f   i m a g es .   W ith   th f u ll  d ee p   n et w o r k   f o r m ed   an d   tr ai n ed ,   w e   test   th e   n e t w o r k   u s i n g   te s d ataset.   B ased   o n   t h test ,   w co m p u te  t h r e s u l ts   o f   t h s y s te m   s u c h   a s   r ec o g n itio n   ac cu r ac y ,   p er f o r m an ce   a n d   p er ce n tag er r o r .   R es u lts   o f   h a n d w r i tin g   r ec o g n itio n   s y s te m   u s in g   DNN  d iv id ed   in to   t w o   s in c d if f er en in   d atab ase.   On e   f o r   d ig it  r ec o g n itio n   an d   t h o th er   f o r   letter   r ec o g n itio n .   Ou r   test   p er f o r m a n ce   is   b ased   o n   th co n f u s io n   m atr i x .       4.   RE SU L T S AN D I SCU SS I O N   I n   th i s   s ec tio n ,   t h ex p er i m e n tal  s et u p   alo n g   w it h   th tes t in g   o f   th tr ai n ed   DNN  o n   t h s elec ted   d ataset  w ill b elab o r ated .     4 . 1   E x peri m e nta l Set up   A ll   ex p er i m en t   w ill  b co n d u cted   u s i n g   L en o v o   G5 0 0 s   lap to p   w ith   th f o llo w i n g   s p e cif icatio n s ,   I n tel  P en ti u m   2 0 2 0 M,   8   G B   R A M,   W i n d o w s   1 0   P r o   o p er atin g   s y s te m s .   T h s o f t w ar u s ed   f o r   t h i s   ex p er i m e n is   M A T L A B   R 2 0 1 7 a.   T h is   v er s io n   w a s   s u p p o r ted   w it h   Neu r al  Net w o r k   T o o l b o x   1 0 . 0   w h er t h to o lb o x   is   v er y   i m p o r tan a n d   u s e f u f o r   t h is   p r o j ec t.  B esid es,  R 2 0 1 7 also   eq u ip p ed   w i t h   I m a g P r o ce s s in g   1 0 . 0   an d   C o m p u ter   Vis io n   T o o lb o x   7 . 3 .   T h g o al  o f   b o th   to o lb o x es  is   to   s i m p li f y   all  p r o ce s s es  f o r   p r ep r o ce s s in g ,   f ea t u r ex tr ac t i o n ,   as  w e ll a s   DNN.     4 . 2   DNN  T esti ng   P er f o r m a nce  o n Dig it s   a nd   L et t er s   Cla s s es   Usi n g   co n f u s io n   m a tr ix ,   w e   o b tain ed   th e   p er f o r m a n ce   m etr ics  o f   h a n d w r iti n g   r ec o g n i tio n   u s i n g   DNN  as s h o w n   in   T ab le  2 .   I w a s   f o u n d   t h at  t h r ec o g n itio n   r ate  f o r   d ig its   i s   h ig h er   th a n   l etter s .   T h is   co u ld   b e   d u to   s m aller   n u m b er   o f   d ig i ts   ( 1 0 )   co m p ar ed   to   letter s   ( 5 2 ) .   T h w ei g h ted   a v er ag o f   t h r ec o g n i tio n   r ate   w il l b ar o u n d   9 3 . 4 %.       T ab le  2 .   P er f o r m a n ce   E v al u ati o n   o f   th T r ain ed   DNN  o n   T esti n g   Data s et   C l a ss   A c c u r a c y   P e r f o r man c e   P e r c e n t a g e   o f   e r r o r   Ex e c u t i o n   T i me   D i g i t s   9 8 . 5 %   0 . 0 1 0 9   1 . 5 %   3 . 3 9 5 7 6 9   ( s)   L e t t e r s   8 8 . 8 %   0 . 0 3 1 3   1 1 . 2 %   7 . 7 4 0 5 3 4   ( s)       4 . 3   Co m pa riso n w it h o t her  ANN  s t ruct ures   I n   th i s   s ec t io n ,   w p r esen ted   th p er f o r m a n ce   e v alu a tio n   o f   d if f er en ANN  s tr u ct u r es,   in cl u d in g   p atter n et,   f ee d f o r w ar d n et,   an d   p r o p o s ed   DNN.   T h p atter n et  an d   f ee d f o r w ar d n et  w er co n f i g u r ed   w it h   1   h id d en   la y er   an d   1 0   n u m b er   o f   n eu r o n s   in   t h h id d en   la y e r .   T h w e ig h av er a g o f   th r ec o g n itio n   r ate  is   ca lcu lated   to   ta k in to   ac co u n t   d if f er e n n u m b er   o f   Di g its   ( 1 0 )   an d   L e tter s   ( 5 2 ) .   T ab le  3   s h o w s   t h e   p er f o r m a n ce   co m p ar is o n   o f   t h r ee   ANN  s tr u ct u r es,  in   w h i ch   it  ca n   b s ee n   th a o u r   p r o p o s ed   alg o r ith m   p er f o r m s   b etter   co m p ar ed   to   t h o th er   A NN  s tr u ct u r e.       T ab le  3 .   R ec o g n itio n   R ate  o f   T h r ee   A NN  Stru c tu r es   A N N   st r u c t u r e   C l a ss   A c c u r a c y   W e i g h t e d   A v e r a g e   p a t t e r n n e t   D i g i t s   9 2 . 2 %   8 0 . 3 %   L e t t e r s   7 7 . 9 %   f e e d f o r w a r d n e t   D i g i t s   8 4 . 7 %   6 8 . 3 %   L e t t e r s   6 5 . 2 %   P r o p o se d   D N N   D i g i t s   9 8 . 5 %   9 0 . 4 %   L e t t e r s   8 8 . 8 %           Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dev elo p men t o f E n g lis h   Ha n d w r itten   R ec o g n itio n   Usi n g   Dee p . . .     ( Ted d y   s u r ya   Gu n a w a n )   567   5.   CO NCLU SI O NS A ND  F UT URE WO RK S   I n   t h is   p r o j ec t,  th h a n d w r it i n g   r ec o g n itio n   s y s te m   is   p r o p o s ed   b y   u s in g   i m a g p i x els   as  f ea t u r e   in p u a n d   DNN  as  f ea t u r ex t r ac tio n   an d   class i f ier .   T h s eg m en ted   i m a g s ize  is   2 8   b y   2 8   p ix els  p r o d u cin g   7 8 4   f ea tu r i n p u t.   T h DNN   s tr u ct u r i s   s tack ed   a u to e n co d er s   w ith   3 0 0   an d   5 0   n e u r o n s   a n d   s o f t m a x   la y er   w it h   1 0   n e u r o n s .   B o th   MN I ST   an d   E MN I ST   h an d w r itte n   i m ag d atab ase  w er u s ed   in   th p er f o r m an ce   ev alu a tio n .   T h w ei g h ted   r ec o g n i tio n   r ate  f o r   b o th   d ig it s   an d   letter s   class es  f o r   o u r   p r o p o s ed   DNN,   p atter n et,   an d   f ee d f o r w ar d   w er 9 0 . 4 %,  8 0 . 3 %,  an d   6 8 . 3 %.  Fu tu r w o r k s   in cl u d d if f er en f ea t u r ex tr ac tio n   m et h o d s ,   d if f er e n t d ee p   n eu r al  n et w o r k   co n f i g u r atio n ,   an d   d if f er e n t d atab ase.       ACNO WL E D G M E NT   T h au th o r s   w o u ld   li k to   e x p r ess   th eir   g r atit u d to   t h M ala y s ia n   Mi n i s tr y   o f   Hi g h er   E d u ca tio n   ( MO HE ) ,   w h ic h   h a s   p r o v id ed   f u n d in g   f o r   th r e s ea r ch   t h r o u g h   th Fu n d a m en ta R e s e ar ch   Gr an Sch e m e,   FR GS1 5 - 194 - 0435.       RE F E R E NC E S   [1 ]   A .   P riy a ,   S .   M ish ra ,   S .   Ra j,   S .   M a n d a l,   S .   Da tt a ,   " On li n e   a n d   o ff l in e   c h a r a c ter   re c o g n it i o n :   su rv e y , "   in   Co m m u n ica ti o n   a n d   S ig n a P ro c e ss in g   (ICCS P ),   2 0 1 6   I n tern a ti o n a l   Co n f e re n c e   o n ,   p p .   0 9 6 7 - 0 9 7 0 ,   2 0 1 6 .   [2 ]   N.  S h a rm a ,   T .   P a tn a ik ,   B.   Ku m a r,   " Re c o g n it io n   f o Ha n d w rit te n   En g li sh   L e tt e rs:  A , "   In ter n a ti o n a J o u rn a o f   En g i n e e rin g   a n d   I n n o v a ti v e   T e c h n o l o g y   ( IJ EIT ) ,   v o l.   2 ,   2 0 1 3 .   [3 ]   U. - V .   M a rti ,   H.  Bu n k e ,   " T h e   I AM - d a tab a se a n   En g li sh   se n ten c e   d a tab a se   f o o ff li n e   h a n d w rit in g   re c o g n it io n , "   In ter n a t io n a J o u rn a o n   Do c u me n A n a lys is a n d   Rec o g n it i o n ,   v o l.   5 ,   p p .   3 9 - 4 6 ,   2 0 0 2 .   [4 ]   Y.  L e Cu n ,   L .   Bo tt o u ,   Y.  Be n g io ,   P .   Ha f f n e r,   " Gr a d ien t - b a se d   lea rn i n g   a p p li e d   to   d o c u me n t   re c o g n it i o n , "   P r o c e e d in g s o f   th e   IEE E,   v o l.   8 6 ,   p p .   2 2 7 8 - 2 3 2 4 ,   1 9 9 8 .   [5 ]   D.  Cireş a n ,   U.  M e ier,  " M u lt i - c o lu mn   d e e p   n e u r a n e tw o rk fo o ff l in e   h a n d writt e n   C h in e se   c h a ra c ter   c la ss if ica ti o n , "   i n   Ne u ra Ne tw o rk s (IJCN N),  2 0 1 5   In ter n a ti o n a Jo in C o n f e re n c e   o n ,   p p .   1 - 6 ,   2 0 1 5 .   [ 6]   A .   Yu a n ,   G .   Ba i,   L .   Jia o ,   Y.  Li u ,   " Offl i n e   h a n d writ ten   E n g li s h   c h a ra c ter   re c o g n it io n   b a se d   o n   c o n v o l u ti o n a l   n e u ra n e two rk , "   in   D o c u m e n An a ly sis  S y ste m (D A S ),   2 0 1 2   1 0 t h   IA P In tern a ti o n a W o rk sh o p   o n ,   p p .   1 2 5 - 1 2 9 ,   2 0 1 2 .   [7 ]   Y.  LeCu n ,   C.   Co rtes ,   C.   J.  C.   Bu rg e s,  " T h e   M NIST   Da tab a s e   o f   Ha n d w rit ten   Dig it s,"   Re tri e v e d   o n 1 0   De c e m b e 2 0 1 7 .   [8 ]   P .   J.  G ro th e r,   K.  K.  Ha n a o k a ,   " NIST   S p e c ial  Da tab a s e   1 9 Ha n d p rin ted   F o rm a n d   Ch a ra c ters     Da tab a se , "   2016.   [9 ]   C.   Ka e n sa r,   " c o mp a r a ti v e   stu d y   o n   h a n d writi n g   d i g it   re c o g n it i o n   c la ss if ier   u sin g   n e u r a n e tw o rk ,   su p p o rt  v e c to r   ma c h in e   a n d   k - n e a re st  n e i g h b o r, "   i n   T h e   9 th   In tern a ti o n a l   Co n f e r e n c e   o n   Co m p u ti n g   a n d   In f o rm a t io n T e c h n o l o g y   (IC2 IT 2 0 1 3 ),   p p .   1 5 5 - 1 6 3 ,   2 0 1 3 .   [1 0 ]   G .   E.   Hin to n ,   S .   Os in d e ro ,   Y. - W .   T e h ,   " A   fa st  lea rn in g   a lg o rit h m   f o d e e p   b e li e n e ts,"   N e u ra c o mp u ta ti o n ,   v o l .   1 8 ,   p p .   1 5 2 7 - 1 5 5 4 ,   2 0 0 6 .   [1 1 ]   G .   E.   Hin to n ,   R .   R.   S a lak h u td in o v ,   " Re d u c in g   th e   d im e n sio n a li ty   o f   d a ta  w it h   n e u ra n e tw o rk s,"   sc ien c e ,   v o l.   3 1 3 ,   p p .   5 0 4 - 5 0 7 ,   2 0 0 6 .   [1 2 ]   S .   Na re jo ,   E.   P a se ro ,   F .   Ku lso o m ,   " EE G   Ba s e d   E y e   S tate   Cla ss i f ica ti o n   u sin g   De e p   Be li e f   Ne t wo rk   a n d   S tac k e d   A u to En c o d e r, "   In ter n a ti o n a J o u rn a o El e c trica a n d   Co mp u ter   En g i n e e rin g   ( IJ ECE ) ,   v o l.   6 ,     p p .   3 1 3 1 ,   2 0 1 6 .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  10 ,   No .   2 Ma y   2 0 1 8   :   5 6 2     5 6 8   568     B I O G RAP H I E S O F   AUTH O RS        Te d d y   S u r y a   G u n a w a n   re c e iv e d   h is  BEn g   d e g re e   in   El e c tri c a En g in e e rin g   w it h   c u m   lau d e   a wa rd   f ro m   In stit u T e k n o lo g Ba n d u n g   (IT B),   In d o n e sia   in   1 9 9 8 .   He   o b tain e d   h is  M . En g   d e g re e   in   2 0 0 1   f ro m   th e   S c h o o o f   Co m p u ter  En g in e e rin g   a Na n y a n g   Tec h n o lo g ica Un iv e rsity ,   S in g a p o re ,   a n d   P h D   d e g re e   in   2 0 0 7   f ro m   th e   S c h o o o f   El e c tri c a En g in e e rin g   a n d   T e le c o m m u n ica ti o n s,  T h e   Un iv e r sity   o Ne S o u th   W a les ,   A u stra li a .   His  re s e a rc h   in te re sts  a re   in   sp e e c h   a n d   a u d io   p ro c e ss in g ,   b io m e d ica sig n a p ro c e ss in g   a n d   i n stru m e n tatio n ,   im a g e   a n d   v id e o   p ro c e ss in g ,   a n d   p a ra ll e c o m p u ti n g .   He   is  c u rre n tl y   a n   IEE S e n io M e m b e (sin c e   2 0 1 2 ) ,   w a c h a irma n   o f   IEE I n stru m e n tatio n   a n d   M e a su re m e n S o c iety     M a la y sia   S e c ti o n   (2 0 1 3   a n d   2 0 1 4 ) ,   A s so c iate   P r o f e ss o (sin c e   2 0 1 2 ) ,   He a d   o f   De p a rtm e n (2 0 1 5 - 2 0 1 6 a De p a rtm e n o f   El e c tri c a a n d   Co m p u ter  En g in e e rin g ,   a n d   He a d   o f   P ro g ra m m e   Ac c re d it a t io n   a n d   Qu a li ty   As su ra n c e   f o F a c u lt y   o f   En g in e e rin g   (sin c e   2 0 1 7 ),   I n tern a ti o n a Isla m ic  Un iv e r sity   M a la y sia .   He   is  Ch a rtere d   En g in e e (IE T ,   UK a n d   I n sin y u P r o f e sio n a M a d y a   (P II,   I n d o n e si a sin c e   2 0 1 6 .     Ahm a d   Fa k h r u r   Ra z M o h d   N o o r   h a c o m p lete d   h is  B. En g .   (Ho n s)  d e g re e   in   Co m m u n ica ti o n   En g in e e rin g   f ro m   In tern a ti o n a Is lam i c   Un iv e rsit y   M a la y sia   (IIUM in   2 0 1 8 .   His res e a rc h   in tere sts   a re   in   sig n a p ro c e ss in g   a n d   a r ti f icia in telli g e n c e   a n d   a ff e c ti v e   c o m p u ti n g .   Cu rre n tl y ,   h e   is  w o rk in g   a s e n g in e e a In tel,   P e n a n g .     M ira   K a r ti w i   c o m p lete d   h e st u d ies   a th e   Un iv e rsit y   o f   W o ll o n g o n g ,   A u stra li a   re su lt in g   in   t h e   f o ll o w in g   d e g re e b e in g   c o n f e rr e d Ba c h e lo o f   Co m m e r c e   in   Bu sin e ss   In f o rm a ti o n   S y st e m s,   M a ste in   In f o r m a ti o n   S y ste m s   in   2 0 0 1   a n d   h e Do c to o f   P h i lo so p h y   in   2 0 0 9 .   S h e   is  c u rre n tl y   a n   A s so c iate   P r o f e ss o in   De p a rt m e n o f   In f o rm a ti o n   S y ste m s,   Ku li y y a h   o f   In f o rm a ti o n   a n d   Co m m u n ica ti o n   T e c h n o lo g y ,   In tern a ti o n a Isla m ic  Un iv e rsit y   M a la y sia .   He r e se a r c h   in tere sts   in c lu d e   e lec tro n ic co m m e rc e ,   d a ta m in in g ,   e - h e a lt h   a n d   m o b il e   a p p li c a ti o n s d e v e lo p m e n t.     Evaluation Warning : The document was created with Spire.PDF for Python.