I AE S  I nte rna t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   9 ,   No .   2 ,  J u n e   2020 ,   p p .   27 6 ~ 28 3   I SS N:  2252 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 9 .i 2 . p p 27 6 - 28 3           276       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Vietna m ese  ha nd w rit ten  cha ra ct er  rec o g nition us ing   co nv o lutiona l neural netw o rk       T ruo ng   Q ua ng   Vinh ,  L e  H o a i D uy ,  Ng uy en  T ha nh   Nha n   F a c u lt y   o f   El e c tri c a l  a n d   El e c tro n ics   En g in e e rin g ,  Ho   C h i  M in h   Cit y   Un iv e rsit y   o f   T e c h n o lo g y   (HC M UT ),   V ietn a m   Na ti o n a l  Un iv e rsity   –   Ho   Ch i  M i n h ,  V iet n a m       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 2 ,   2 0 19   R ev i s ed   Feb   10 ,   2 0 20   A cc ep ted   A pr   2 7 ,   2 0 20       Ha n d w rit in g   re c o g n it io n   is  o n e   o f   th e   c o re   a p p li c a ti o n s  o f   c o m p u ter  v isio n   f o r  re a l - w o rd   p ro b lem s  a n d   it   h a s  b e e n   g a in in g   m o re   in tere st  b e c a u se   o f   th e   p ro g re ss io n   i n   t h is  f ield .   T h is   p a p e r  p re se n ts  a n   e f f i c ien t  m o d e l  f o r   V ietn a m e se   h a n d w rit ten   c h a ra c ter  re c o g n it io n   b y   Co n v o lu ti o n a l  Ne u ra l   Ne tw o rk s  (CNN s)  –   a   k in d   o f   d e e p   n e u ra l  n e tw o rk   m o d e l  w h ich   c a n   a c h iev e   h ig h   p e rf o rm a n c e   o n   h a rd   re c o g n it io n   tas k s.  T h e   p ro p o se d   a rc h it e c tu re   o f   th e   CNN   n e t w o rk   f o r  V ietn a m e se   h a n d w rit ten   c h a ra c ter  re c o g n it io n   c o n sists   o f  f iv e   h id d e n   lay e r s  in   w h ich   th e   f irst  3   la y e rs   a re   c o n v o lu ti o n a l  lay e rs  a n d   th e   las t  2   la y e rs  a re   f u ll y - c o n n e c ted   lay e rs.  O v e r f it ti n g   p ro b le m   is  a lso   m in i m ize d   b y   u sin g   d ro p o u t  tec h n i q u e s  w it h   th e   re a so n a b le  d r o p   ra te.  T h e   e x p e ri m e n tal  re su lt s  sh o w   th a t   o u r   m o d e l  a c h iev e s  a p p ro x ima tel y   9 7 %   a c c u ra c y .   K ey w o r d s :   Han d w r iti n g   r ec o g n itio n   C o n v o lu tio n al  Ne u r al  Net w o r k     Ov er f itti n g   p r o b le m     Vietn a m ese  h a n d w r it in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   T r u o n g   Qu a n g   V in h ,     Facu lt y   o f   E lectr ical  a n d   E lect r o n ics E n g i n ee r in g ,   Ho   C h i M i n h   C it y   U n iv er s it y   o f   T ec h n o lo g y   ( H C MU T ) ,   Vietn a m   Natio n al  U n i v er s it y   –   Ho   C h i M i n h ,     2 6 8   L y   T h u o n g   Kiet,   d is tr ict  1 0 ,   Ho   C h i M in h   cit y ,   Viet n a m .   E m ail: tq v in h @ h c m u t.e d u . v n       1.   I NT RO D UCT I O N   Han d w r itte n   ch ar ac ter   r ec o g n itio n   h as  r ec en tl y   b ec o m e  o n e   o f   th e  m o s t  ch al len g i n g   r ese ar ch   ar ea s   w h e n   it  co m es  to   p atter n   r ec o g n itio n   an d   i m a g e  clas s i f ica tio n   [1 - 3] .   T h e  p u r p o s e  o f   h an d w r i tten   c h ar ac ter   r ec o g n itio n   is   to   cr ea te  th e  a b ilit y   o f   co m p u ter   to   id en ti f y   an d   in ter p r et  in tell ig ib le  h a n d w r itte n .   Ge n er all y ,   th er e  ar e  t w o   ap p r o ac h es  -   O n li n e  Han d w r itte n   r ec o g n itio n   [4 - 5 ]   w h ic h   u s es  m o v e m e n t  o f   th e  p en   as  i n p u t   d ata   an d   Of f li n e  Ha n d w r i tten   R ec o g n itio n   [6 - 7 ]   w h ic h   u s es  o n l y   i n f o r m atio n   o f   i n p u t  s ca n n ed   i m a g es.   T h er e   ar e   m an y   d i f f icu l ties   o f   h a n d w r iti n g   r ec o g n itio n   d u e  to   t h e   f ac t  t h at  ea c h   p er s o n   h as  a  u n iq u e   w r it in g   s t y le   an d   p e o p le  o f ten   w r ite  s o   q u i ck l y   t h at  m ak e s   t h eir   c h ar ac t er ’ s   s h ap e   u n clea r   an d   r ar el y   s tan d ar d ized   [8 - 9] .   Ma n y   r esear c h er s   a n d   s cien t is ts   h a v e  co n ce n tr ated   o n   n e w   t ec h n iq u es  a n d   m et h o d s   th a t  wo u ld   ad d r ess   th ese   p r o b lem s   w it h   a  h ig h er   r ate  o f   ac cu r ac y .   So m e  co m p etit i o n s   w er e  o p en ed   to   f i n d   th e   b est  alg o r it h m   f o r   h an d w r iti n g   r ec o g n i tio n   w it h   t h e  d ed icate d   d a taset [ 1 0 - 1 1 ] .     I n   t h e  p ast  f e w   d ec ad es,  m a n y   b r ea k th r o u g h s   h a v e  b ee n   m a d e  in   m ac h in e   lear n i n g ,   esp ec iall y   Dee p   L ea r n i n g .   T h is   r es u lted   i n   t h e   cr ea tio n   o f   v ar io u s   al g o r ith m s   th at   h a v e  s h o w n   t h eir   i m p r o v ed   ef f icie n c y   i n   m an y   i m p o r tan t  ar ea s   s u c h   a s   co m p u ter   v is io n ,   n at u r al  la n g u a g e  p r o ce s s in g ,   a n d   b ig   d ata.   Ma n y   m ac h i n e   lear n in g   alg o r it h m s   in c lu d i n g   Su p p o r t  Vec to r   Ma ch in es  ( S VM )   [ 1 2 ] ,   Naiv e  B ay es  C la s s if ica tio n   [ 1 3 ] ,   an d   d ee p   lear n in g   al g o r ith m s   s u ch   as  C o n v o lu t io n al  Ne u r al  Net w o r k s   ( C NN s )   [ 1 4 ] ,   R ec u r r en t  Ne u r al  Net w o r k s   ( R NNs)  [ 1 5 ] ,   co m b i n ed   w it h   t h e  d ev elo p m e n t  b e y o n d   th e  co m p u ti n g   s p ee d   o f   h ar d w ar e  d e v ices   h a v e  cr ea ted   m o d el s   th at  ca n   o u tp er f o r m   h u m a n   p er f o r m a n ce   in   m an y   co m p u ter   v is io n   tas k s ,   esp e ciall y   clas s i f icatio n   task s   s u ch   a s   h a n d w r i tin g   r ec o g n i tio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       V ietn a mese  h a n d w r itten   ch a r a cter reco g n itio n   u s in g   co n vo lu tio n a l n eu r a l  n etw o r k   ( T r u o n g   Qu a n g   V in h )   277   Ma n y   r e s ea r ch es  o n   h a n d w r itt en   ch ar ac ter   r ec o g n itio n   f o r   E n g l is h ,   J ap an ese,   an d   C h i n ese   lan g u a g e   h av e  b ee n   p u b lis h ed   [ 1 6 - 1 8 ] .   Ho w ev er ,   t h er e  ar e  f e w   o f   s tu d ie s   o n   Viet n a m e s e  h a n d w r iti n g   r ec o g n i tio n .   Vietn a m ese   alp h ab et  i s   b ased   o n   t h e  L ati n   s cr ip t  w i th   t h e   a d d itio n   o f   n in e   ac ce n t   m ar k s   t o   cr ea te  ad d itio n al   s o u n d s ,   an d   f i v e  s tr o k es  to   ex p r ess   th e  to n e  o f   w o r d s .   T h er ef o r e,   it  is   a  ch allen g e  f o r   r esear ch er s   to   d ev elo p   alg o r ith m s   to   r ec o g n ize  Vie tn a m ese  h an d w r itte n   ch ar ac ter s .   So m e  a u t h o r s   p r esen ted   Vietn a m e s e  h a n d w r iti n g   r ec o g n itio n   m et h o d s   u s i n g   s u p p o r t v ec to r   m ac h i n e  ( SVM)   with   f ea tu r e  e x tr ac tio n   m et h o d s   [ 1 9 - 2 0 ] .   Ho w ev er ,   th e  p er f o r m a n ce   d ep en d s   o n   t h e  r o b u s tn e s s   o f   f ea t u r e  ex tr a ctio n   m et h o d s   an d   th u s   th e  ac cu r ac y   is   d ec r ea s ed   w h e n   th e  h a n d w r i tten   c h ar ac ter s   ar e  n atu r al  an d   u n co n s tr ai n ed .   So m e  m o d els  o f   d ee p   lea r n in g   s u ch   as  C N N,   R NN,   a n d   B id ir ec tio n al  L o n g   Sh o r t - T er m   Me m o r y   h av e  b ee n   ap p lied   to   i m p r o v e  t h e  r ec o g n itio n   ac c u r ac y   r ate  [ 2 1 - 2 2 ] .   Nev er th eless ,   ac ce n t  m ar k s   an d   s tr o k es  i n   Vi etn a m ese  lan g u ag e  m ak e  it  d i f f icu l t  to   r ec o g n ize  h an d w r iti n g   co r r ec tl y .   I n   th i s   p ap er ,   Vietn a m ese  h a n d w r itte n   ch ar ac ter   d ataset  f o r   tr ain i n g   a  s u p er v i s ed   m o d el  an d   a  C NN  ar ch itect u r e  f o r   Vietn a m ese  h an d w r i tten   c h ar ac ter   r ec o g n iti o n   ar e  p r esen ted .   A   tech n iq u e  ca lled   d r o p o u t  is   ap p lied   to   p r ev en t  o u r   m o d el  f r o m   o v er f itti n g ,   to   g u ar an te e   th e  g e n er aliza tio n   p r o p er ty   an d   to   i m p r o v e  it s   p er f o r m a n ce .   T h is   tech n iq u e  in cl u d es   a  u n it ’ s   te m p o r ar y   r e m o v al   f r o m   t h e  n et w o r k .   T h is   r e m o v ed   u n it  i s   s elec ted   in   a  r an d o m   w a y   o n l y   d u r i n g   t h e  tr ain in g   s ta g e.   T h e  g o al  o f   o u r   w o r k   i s   to   cr ea te  a  Vietn a m ese   h an d w r itte n   c h ar ac ter   d ataset  co n tain i n g   2 9   Vietn a m ese  c h ar ac ter s   an d   to   b u ild   a  d ee p   l ea r n in g   m o d el  t h at   ca n   ac h ie v e  a  h i g h   d eg r ee   o f   a cc u r ac y   f o r   Vietn a m ese  h an d w r itte n   c h ar ac ter   r ec o g n itio n .   T h e  r e s t  o f   th e  p ap er   is   co m p o s ed   as  f o llo w s .   I n   s ec tio n   I I ,   th e  o v er v ie w   o f   th e  C NN  m o d el  an d   th e   p r o p o s ed   C NN  ar ch i tectu r e  f o r   Vietn a m ese  h a n d w r it ten   c h ar ac ter   r ec o g n i tio n   ar e  p r ese n ted .   I n   s ec tio n   I I I ,   th e  ex p er i m en tal  r esu l ts   ar e  s h o w n   in   d etail.   Fi n all y ,   in   t h e  la s t sectio n ,   t h e  co n cl u s io n   is   g i v en .       2.   RE S E ARCH   M E T H O D   I n   th is   s ec t io n ,   th e  o v er v ie w   ar ch itec tu r e  o f   o u r   o f f l i n e  Vietn a m e s e  h an d w r it te n   ch ar ac ter   r ec o g n itio n   s y s te m   b ased   o n   C o n v o lu tio n al  n eu r al  n et w o r k   is   p r esen ted .  B esid es,  a  b r ief l y   d is c u s s io n   o f   t h e  f u n d a m en ta l  f ea t u r es  o f   C N N  an d   a  d r o p o u t  tech n iq u e  w h ic h   co m b in e s   f u ll y - co n n ec ted   lay er s   to   p r ev en t   o v er f itti n g   p h e n o m e n o n   f o r   th e  p r o p o s e   m o d el   ar e  d escr ib e d .     2 . 1 .   Co nv o lutio na l neura l net w o rks   ( CNNs)   C NN  i s   t h e  cu r r e n t  s ta te - of - th e - ar t  m o d el  ar c h itect u r e  f o r   i m ag e   clas s i f icatio n   tas k s   [ 2 3 ] .   I t  h as  b ee n   e m p lo y ed   to   s o l v e  a  v ar iet y   o f   tas k s   in cl u d i n g   i m a g e  r ec o g n itio n   p r o b le m s ,   n at u r al  la n g u a g e  p r o ce s s i n g   ch alle n g e s   b y   ta k i n g   ad v an ta g e  o f   th e  w a y   t h e  i n p u t  i m a g es   s en s ib l y   co n s tr ai n   th e  ar c h ite ct u r e.   C NN s   lear n s   f ea t u r es  o f   i m a g es  o n   s u b - r eg i o n s   i n s tead   o f   s ca lin g   f u ll  i m a g es.  I n   p ar tic u lar ,   C NN s   ar r an g e  la y er s   an d   t h eir   n eu r o n s   i n   3   d i m e n s io n alitie s :   w id th ,   h ei g h t a n d   d ep th .   C N Ns p as s es  th e   i m ag e s   w h ic h   c o n tain s   t h e  r a w   p ix e l   d ata  th r o u g h   a  s er ie s   o f   f ilter s   to   ex tr ac t  an d   lear n   h ig h er - le v el  f ea t u r es,  w h ich   ca n   b e  u s e d   f o r   class if icat io n   p h ase  o f   th e  m o d el.   C NN  is   b u ilt  f r o m   th r ee   co m p o n e n ts .   C o n v o lu tio n al  la y er s   ( C o n v   la y er s )   ar e  th e  m aj o r   b u ild in g   b lo ck   o f   a  C o n v o lu ti o n al  Net w o r k   w h ic h   m ak e   u s e  o f   a   s p ec i f ic  a m o u n t  o f   co n v o lu tio n   f ilter s   f o r   th e  i m a g e.   Fo r   ea c h   s u b - r e g io n ,   C o n v   la y er s   p er f o r m   co n v o lu tio n   o p er atio n   o f   th e   s u b - r eg io n   co n s id er ed   as  a   m atr i x   o f   p ix el   v alu e s   a n d   t h e   f il ter   co n s id er ed   as  a   m atr i x   o f   r ea l  n u m b er s   to   p r o d u ce   a  s in g le   v al u e  in   th e   o u tp u t  f ea tu r e  m ap .   C o n v o lu tio n   la y er s   k ee p   th e  s p atial  r elatio n s h ip   b et w ee n   p ix el s   b y   lear n i n g   i m a g e   f ea t u r es  u s in g   s u b - r e g io n   o f   in p u t  d ata.   An   ex tr a  o p er a tio n   ca lled   R e L U  h a s   b ee n   u s ed   af ter   ev er y   C o n v o lu tio n   la y er .   R e L U   ac t s   as  a   n o n - li n ea r   a cti v atio n   f u n ct io n   i n tr o d u ci n g   n o n - li n ea r it y   i n to   t h e  m o d el,   w h ic h   is   r ea ll y   co m m o n   i n   r ea l - w o r ld   d ata.   P o o lin g   la y er s   i n v o lv e  d o w n - s a m p li n g   t h e  i m ag e  d ata  e x tr ac ted   b y   t h e  co n v o l u tio n al   la y er s   to   r ed u ce   th e  d i m en s io n   o f   ea c h   f ea t u r e  m ap   b u t  s till   r etai n s   th e  m o s t  i m p o r tan t  i n f o r m atio n   s o   as  to   m i n i m iz e   p r o ce s s in g   ti m e.   A   co m m o n l y   u s ed   p o o lin g   a lg o r it h m   is   k n o w n   as  m a x   p o o lin g ,   w h ic h   d ef in es  s u b - r eg io n s   o f   f ea t u r e  m ap   b y   p ick i n g   o u t t h e   lar g est ele m en t a n d   g et tin g   r i d   o f   o th er   ele m en ts .   Den s e  ( f u ll y   co n n ec t ed )   la y e r s   ar e  tr ad itio n al  Mu lti - la y er   P er ce p tr o n ,   w h ic h   clas s i f y   t h e  f ea t u r es   ex tr ac ted   b y   t h e  co n v o l u tio n a l  la y er s   an d   ar e  d o w n - s a m p le d   b y   th e  p o o lin g   la y er s .   I n   a  d en s e  la y er ,   ev er y   n o d e  in   t h e  la y er   i s   co n n ec te d   to   ev er y   n o d e  in   th e  p r ec e d in g   la y er .   Fo r   class i f ica tio n   task ,   a n   ac ti v atio n   f u n ctio n   ca lled   s o f t m a x   r eg r es s io n   is   u s ed   m o s t o f te n .   T y p icall y ,   a  C NN   co n s is t s   o f   co n v o l u tio n al  la y er s ,   ea ch   o f   w h ich   is   f o llo w ed   b y   a   p o o lin g   la y er .   T h ey   ar e  ca lled   co n v o lu tio n al  m o d u les  a n d   r esp o n s ib l e  f o r   p er f o r m in g   f ea tu r e  e x tr ac tio n .   T h e  last   co n v o lu tio n al  m o d u le  p r o ce ed s   af ter   o n e  o r   m o r e  d en s e  la y e r s   th at  p er f o r m s   clas s if icatio n   task .     2 . 2 .   Dro po ut  t ec hn iqu e   A   lar g e  n e u r al  n et w o r k   co n t ain s   m u ltip le  n o n - li n ea r   h id d en   la y er s   ca n   h a v e  a  v er y   e x p r ess i v e  p er f o r m a n ce   o n   tr ain in g   s et  b u t  ac h ie v e  a  b ad   r esu lt  o n   test   s et  [ 2 4 - 2 5 ] .   T h is   is   o v er f itti n g   p h en o m e n o n .   T h i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   27 6   –   28 3   278   is   t h e  ca s e  w h e n   s a m p li n g   n o is e  is   b r o u g h t a b o u t b y   t h e  lac k   o f   tr ai n in g   d ata  f o r   a  co m p le x   m o d el.   Dr o p o u t is   a  tech n ical  s o l u tio n   to   th i s   p r o b lem .   T h is   d r o p   u n its   ( h id d en   an d   v is ib le)   f r o m   t h e  n e u r al  n et w o r k   d u r i n g   tr ain i n g .   T h e  n u m b er   o f   d r o p p ed   u n i ts   w ill  b e  d eter m in ed   b y   p r o b ab ilit y   p   ( d r o p o u t  r ate) .   Su c h   d r o p p ed   u n it s   ar e  ch o s en   r an d o m l y .     2 . 3 .   ReLU a ct iv a t io n f un ct io n   R eL U  ( R ec ti f ied   L i n ea r   U n i t)   f u n ctio n   i s   a  n o n - li n ea r   f u n ct io n .   T o d ay ,   m an y   r esear ch er s   a n d   s cien t is t s   u s e  R e L U  f u n ctio n   to   in tr o d u ce   n o n - li n ea r   p r o p er t y   in to   d ee p   n eu r al  n et w o r k   m o d el  i n s tead   o f   u s i n g   o th er   ac tiv atio n   f u n ctio n s .   R eL U  f u n ctio n   m a k es  th e  tr ain i n g   o f   t h e  m o d el  f aster   th a n   r e g u lar   ac ti v atio n   f u n ctio n s   s u c h   as  s i g m o id   an d   tan h   f u n ctio n s ,   b ec au s e  it  d o es   n o t  co m p u te  e x p o n en t ials   an d   d iv is io n s .   T h e  f o r m u la  o f   R e L U  is   f ( x )   =  m a x ( 0 ,   x ) .     2 . 4 .   T he   CNN  a rc hite ct ure  f o r  Viet na m e s e  ha nd w rit t en   cha ra ct er   re co g nitio n:   T h e  p r o p o s ed   C NN  ar c h itect u r e  is   s h o w n   i n   Fi g u r e  1 .   I t   c o n tain s   f i v e  h id d en   la y er s   w i t h   w ei g h ts .   T h e  f ir s t  th r ee   ar e  co n v o l u tio n al  la y er s   an d   th e  r e m ai n in g   t wo   ar e  f u ll y - co n n ec ted   la y er s .   E ac h   co n v o l u tio n a l   la y er   is   f o llo w ed   b y   o n e  R e L U  ac tiv atio n   f u n ctio n   an d   o n e  m ax   p o o lin g   la y er   w it h   a  f ilte r   o f   s ize  2   x   2   an d   a   s tr id e  o f   2   p ix els.  A ls o ,   th e  f ir s t f u ll y - co n n ec ted   la y er   is   f o ll o w ed   b y   o n e  d r o p o u t la y er .   T h e  f ir s t  co n v o l u tio n al  la y er   a p p lies   3 2   k er n els  o f   s ize  1 1   x   1 1   ( ex tr ac tin g   1 1   x   1 1   s u b - r eg io n )   w i th   a  s tr id e  o f   2   p i x els.   I t ta k es a   1 0 0   x   1 0 0   im a g e  a s   a n   i n p u t.  T h e  s ec o n d   co n v o lu tio n al  la y e r   u s e s   o u tp u ts   o f   t h e   f ir s t  co n v o l u tio n a l  la y er   as  a n   in p u t,  a n d   f il ter s   it  w i th   6 4   k er n els  o f   s ize  5   x   5   w it h   a  s tr id e  o f   2   p ix els.  T h e   th ir d   co n v o l u tio n al  la y er   h as   1 2 8   k er n els  o f   s ize  3   x   3   w h ich   ar e  co n n ec ted   to   th e  o u t p u ts   o f   t h e  s ec o n d   co n v o lu tio n al   la y er .   T h e  f ir s t   f u ll y - co n n ec ted   la y er s   ( d en s e  la y er )   h av e   1 0 2 4   n eu r o n s .   T h ey   ar e  co m b i n ed   w it h   d r o p o u t  r eg u lar izat io n   r ate  o f   0 . 4   ( 4 0 %  o f   n eu r o n s   w il l  b e  d r o p p e d   d u r in g   tr ain i n g ) .   T h e  la s t  f u l l y - co n n ec ted   la y er s   ( d en s e  la y er )   h av e  2 9   n e u r o n s   eq u al  to   th e  n u m b er   o f   clas s .   T h e  o u tp u t   la y er   is   a  s o f t m ax   la y er   w h ic h   ta k es   th e   o u tp u t  o f   las t  f u ll y - co n n ec ted   la y er s   as  an   i n p u t   an d   w i ll  r et u r n   t h e  r a w   v a lu e s   f o r   o u r   p r ed ictio n s .   T h ese  v alu e s   ar e   th e  p r o b ab ilit y   v al u es t h at  r ep r esen t t h e  p r o b ab ilit y   o f   ea ch   c lass ' s   s a m p le.           Fig u r e  1 .   An   ill u s tr atio n   o f   th e   ar ch itectu r e  o f   o u r   C NN       T h e  ar ch itect u r e  is   t h e  co m b in at io n   o f   t w o   b lo ck s :  Featu r e  E x tr ac tio n   b lo ck   a n d   Feat u r e  C las s i f icatio n   b lo ck .   T h e  Fe atu r e  E x tr ac tio n   tak e s   an   o r i g in a l  i m ag e  a s   an   i n p u t  a n d   ex tr ac t  ab s tr ac ti v e  f ea t u r e  b y   u s i n g   C o n v o l u tio n a l  la y er .   T h e  Featu r e  C las s if ica tio n   tak e s   th e  o u tp u t  o f   t h e  Fe atu r e  E x tr ac tio n   a s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       V ietn a mese  h a n d w r itten   ch a r a cter reco g n itio n   u s in g   co n vo lu tio n a l n eu r a l  n etw o r k   ( T r u o n g   Qu a n g   V in h )   279   an   in p u t  an d   f ee d s   th e s e  f ea t u r es  in to   a  d ee p   n eu r al  n et w o r k   to   p e r f o r m   t h e  class if ica tio n   t ask .   I n   th e  Feat u r e   C las s i f icatio n   b lo ck ,   d r o p o u t  u n it  is   u s ed   to   p r ev en t  o v er f it tin g   p h e n o m e n o n ,   an d   th u s   i m p r o v e  t h e  p er f o r m a n ce   o f   t h e  m o d el.       3.   E XP E R I M E NT A L   RE SUL T S   I n   th i s   s ec tio n ,   th e  p r o ce s s   to   co llect  th e  i m a g es  o f   Viet n a m ese  h an d w r itte n   c h ar ac ter s   t o   b u ild   th e  d ataset  is   d escr ib ed .   Nex t,  t h e  tr ain i n g   p r o ce s s   an d   th e  test i n g   r es u lts   ar e  p r esen ted .   Fin all y ,   th e  d e m o   ap p licatio n   w h ic h   ca n   r ec o g n i ze   Vietn a m ese  h an d w r itte n   c h ar ac ter s   is   s h o w n .     3 . 1 .   Da t a s et   Un til   r ec en tl y ,   d atase ts   o f   la b eled   i m ag e s   o f   Viet n a m ese   h a n d w r i tten   ch ar ac ter s   h a v e   n o t  b ee n   p u b lis h ed .   T h e  2 9   Vietn a m e s e  ch ar ac ter s   w a s   co n s tr u cted   f r o m   2 3   L ati n   alp h ab et  a n d   6   u n iq u e  c h ar ac ter s .   T h er ef o r e,   w e  h a v e  co llected   s ix   Vietn a m e s e  s p ec ial  c h ar ac ter   ex a m p le s   w r itte n   b y   5 0 0   d if f er en t  p er s o n s   co m b i n e  w i th   m o d if ied   ex a m p les  o f   2 3   L at in   a lp h ab et  i n   NI ST   Sp ec ial  Data b ase  1 9   w h ich   co n tai n s   b i n ar y   i m a g es  o f   h an d w r itte n   c h ar a cter s   to   cr ea te  Viet n a m ese  h an d w r i tten   ch ar ac ter   d ataset   f o r   th e  p u r p o s e  o f   tr ain i n g   a n d   test in g   a  s u p er v i s ed   lear n in g   m o d el  f o r   class if i ca tio n   tas k .   T h e  s i x   Viet n a m e s e  s p ec ial  c h ar ac ter   s et  is   co m p o s ed   o f   1 5 , 0 0 0   p a tter n s   t h at  w as  co llected   b y   t w o   m e th o d s .   T h e  f ir s t  m et h o d   is   th at  an   a n d r o id   ap p licatio n   is   d e v elo p ed   to   co llect  h a n d w r iti n g   i m a g es   o n   m o b ile  d ev ice.   T h e  ap p licatio n   allo w s   u s er s   w r ite   a  letter   o n   s cr ee n   a n d   th e n   s e n d   th is   i m a g e  o f   letter   to   o u r   s er v er .   A lt h o u g h   th is   m et h o d   is   v er y   f a s t  f o r   co llectin g   a n d   p r o ce s s in g   d at a  b ec au s e  i t  is   d o n e  a u to m at i ca ll y ,   t h e  f ac t  t h at   it  i s   q u i te  d if f ic u lt   to   r ea ch   a   s u f f icie n t  n u m b er   o f   u s er s   en s u r i n g   t h e  d iv er s it y   o f   d ata  s o u r ce s .   T h er ef o r e ,   th e  s ec o n d   m et h o d   w h ich   u s es   h an d w r iti n g   o n   co llected   p ap e r s   o f   HC M UT   s tu d en t s   is   p r o ce ed ed .   T h e  s tu d en ts   w r o te   ch ar ac ter s   o n   g r id   p ap er .   T h en ,   w e  s ca n n ed   th o s e  p ap er s   an d   s ep ar ated   th em   in to   s in g le  ch ar ac ter   i m ag e s .   T h e  o r ig in al  b lack   an d   w h i te  i m ag e s   w er e   s ize - n o r m al i ze d   an d   ce n ter ed   in   a  1 0 0 x 1 0 0   b o x .   T h is   m et h od   tak es  a  lo t  o f   e f f o r t  to   p r o ce s s   d ata  m a n u a ll y ,   b u t  it   en s u r es   th e   d iv er s i t y   o f   w r i t er s .   B y   co m b i n i n g   th e s e  t w o   m et h o d s ,   w e  h a v e  ac h iev ed   t w o   cr iter ia:  to   co llect  d ata  q u ick l y   a n d   m a k e  s u r e  th e  v ar iet y   o f   d ata  s o u r ce s .   Ou r   f i n al  Viet n a m ese  h an d w r itte n   c h ar ac ter   d ataset  co n tai n s   7 2 , 5 0 0   lab elled   im a g es  o f   2 9   Vietn a m ese  h an d w r itte n   ch ar ac ter s   th at  w as  co n s tr u cted   f r o m   5 7 , 5 0 0   p atter n s   o f   NI ST  Data s et  an d   1 5 , 0 0 0   p atter n s   o f   o u r   s ix   Viet n a m e s e  u n iq u e  ch ar ac ter .   I t  w as  d i v id ed   in to   th r ee   s et s :  5 8 , 0 0 0   e x a m p le s   i n   tr ain i n g   s et,   7 , 2 5 0   ex am p les i n   v a lid ati o n   s et,   an d   7 , 2 5 0   ex am p le s   in   test i n g   s e t .   I n   o r d er   to   co llect  d ata  co n v en ien tl y ,   w e  d ev elo p   an   An d r o id   m o b ile  ap p licatio n   ca lled   Ho d y   P ain t   f o r   co llectin g   d ata  f r o m   i n ter n et  u s er s   as  s h o w n   in   F ig u r e   2 .   User s   ca n   d r aw   a  ch ar ac t er   o n   th e  p ain tin g   w i n d o w ,   s e n d   an   i m a g e  o f   t h is   ch ar ac ter   to   o u r   d atab ase  b y   u p lo ad   b u tto n ,   p r ess   c lear   b u tto n ,   a n d   r ep ea t  th ese  s tep s   ab o v e  f o r   n e w   let te r s .             Fig u r e  2.   Mo b ile  ap p licatio n   f o r   co llectin g   d ata       Fig u r e  3 a  s h o w s   s o m e  i m ag e   s a m p les  o f   u n iq u e  Viet n a m e s e  ch ar ac ter s   th at  w er e  co llected   b y   o u r   t w o   m e th o d s   an d   Fi g u r e  3 b   s h o w s   s o m e  s a m p le s   o f   2 3   L atin   alp h ab ets  t h at  w er e  p ick ed   f r o m   NI ST   Sp ec ial  Data b ase  1 9 .   Gen er ally ,   d ata  in   tr ain i n g   s et,   v alid atio n   s e t,  an d   test   s et  s h o u ld   f o ll o w   t h e  s a m e  p r o b ab ilit y   d is tr ib u tio n   [ 2 6 ] .   T h er ef o r e,   w h e n   b u ild i n g   o u r   d ata s et  f o r   m ac h in e   lear n i n g   o r   d ee p   lear n in g   s y s te m ,   we   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   27 6   –   28 3   280   h av e   p er f o r m ed   a  p r ep r o ce s s i n g   in c lu d i n g   zo o m i n g ,   r es izin g ,   an d   b i n ar izin g   o n   2 3   L at in   alp h ab ets  t h at  co m e   f r o m   NI ST   Sp ec ial  Da tab ase  1 9   to   m a k e  all  i m ag e s   in   o u r   d ataset  h a v e  t h e  s a m e  d is tr ib u tio n .         ( a)   U n iq u e  Viet n a m e s e  ch ar ac ter s     ( b )   L atin   alp h ab et  c h ar ac ter s     Fig u r e  3 .   E x a m p les o f   Viet n a m ese  c h ar ac ter s   in   o u r   d ataset       3 . 2 .     T ra ini ng   pro ce s s   T h e  tr ain in g   p r o ce s s   w as   d o n e  b y   th e   Go o g le  C o llab o r ato r y   s er v er .   Fo r   b o th   tr ain in g   p h ase  a n d   test i n g   p h a s e,   w e  ch o s e  c ate g o r ical  c r o s s - e n tr o p y   f u n c tio n   t o   b e   a  lo s s   f u n ctio n   f o r   o u r   C NN  ar ch itectu r e.   I t  is   a  s o f t m ax   ac tiv a tio n   p l u s   a   c r o s s - e n tr o p y   lo s s .   T h is   f u n c tio n   ta k es  t h e  m ea s u r e m e n t s   o f   h o w   clo s e l y   t h e   m o d el 's  p r ed ictio n s   m atc h   t h e   tar g et   clas s es   in   p er f o r m i n g   m u lti - clas s   cla s s i f icat io n   o p er atio n .   T h e  p r o p o s ed   m o d el   w as   tr ai n ed   b y   u s i n g   m in i - b atch   g r ad ie n t  d esce n t   as   o p tim izatio n   al g o r ith m .   I t   is   a   v ar ia n t  o f   g r ad ien t  d escen t  al g o r ith m .  T h e  m i n i - b atch   g r ad ie n t  d esce n t   i s   c h o s en   b ec a u s e  it  p r o v id e s   a   co m p u tat io n all y   m o r e   ef f icien t  p r o ce s s   th a n   s to ch a s t ic  g r ad ien t  d esce n t.   I n   t h is   wo r k ,   m in i - b atc h   g r ad ie n t  d esc en t   w as  co n f i g u r ed   w it h   a  b atch   s ize  o f   1 2 8   an d   lear n in g   r ate  o f   0 . 0 0 1   as  th e  o p ti m izatio n   alg o r ith m .   An   eq u al  lear n in g   r ate  w a s   e m p lo y ed   f o r   all  la y er s .   T h e  n et w o r k   w a s   tr ai n ed   f o r   7 0 , 0 0 0   s tep s   eq u i v alen t  to   1 5 5   ep o ch s   t h r o u g h   5 8 , 0 0 0   ex a m p le s   o f   2 9   ch ar ac ter s   in   th e  tr ain i n g   s et.   I n   ad d itio n   to   lo s s   m etr ic,   th e  ac c u r ac y   m etr ic  w as  u s ed   to   ev alu a te  tr ain i n g   p r o ce s s .     3 . 3 .    T esting   r esu lt s   T h e  ac cu r ac y   m etr ic  is   u til ize d   to   ev alu ate  th e  m o d el  p er f o r m an ce   o n   o u r   Viet n a m e s e  h a n d w r i tten   ch ar ac ter   d ataset.   T h e  ac c u r a c y   m etr ic  is   d e f i n ed   as   th e   r atio   b et w ee n   t h e   n u m b er   o f   co r r ec t  p r ed icted   s a m p les   a n d   t h e  to tal   s a m p le s .   T h e  p r o p o s ed   m o d el  ac h ie v ed   an   ac c u r ac y   9 7 . 2 %  o n   te s t  s e t  ( to p - 1   te s t  s et   er r o r   r ate  o f   2 . 8 %)  af ter   tr ain i n g   6 9 , 0 1 0   s tep s .   Fig u r e  4   s h o w s   th e  ac c u r ac y   g r ap h   o f   o u r   m o d el  o n   t h e  te s t  s et   an d   Fig u r e  5   p r esen ts   t h e  tr ain in g   a n d   v alid atio n   lo s s .             Fig u r e  4 .   T h e  ac cu r ac y   o f   o u r   m o d el  o n   te s t set a s   a  f u n c tio n   o f   iter atio n     s t e p   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       V ietn a mese  h a n d w r itten   ch a r a cter reco g n itio n   u s in g   co n vo lu tio n a l n eu r a l  n etw o r k   ( T r u o n g   Qu a n g   V in h )   281       Fig u r e  5 .   T r ain in g   ( ─ )   an d   v al id atio n   ( ─ )  lo s s   o f   o u r   m o d el  as a   f u n ctio n   o f   iter atio n       I n   o r d er   t o   co m p ar e  o u r   alg o r ith m   w it h   o th er   m o d els,  t w o   m e th o d s   o f   [ 1 9 - 2 0 ]   w er e  u s ed   f o r   r ef er en ce s .   T h e  p r o p o s ed   m et h o d   in   [ 1 9 ]   tr ies  to   s e g m en t   th e  ac ce n ted   c h ar ac ter s   i n to   t w o   p ar ts :   th e   r o o t  ch ar ac ter   an d   t h e  ac ce n t.  T h en ,   th e   SVM  m o d el  i s   ap p lied   t o   class i f y   t h e  Viet n a m ese  c h ar ac ter s .   I n   s o m e   ca s es,  t h is   m eth o d   m ee ts   p r o b lem   in   w h ich   t h e  c h ar ac ter   is   n o t  w r itte n   i n   o n e  co n n ec ted   co m p o n e n t .  T h er ef o r e,   th e  s e g m en ta tio n   p r o ce s s   ca n   b e  f ai led .   T h e  m et h o d   o f   th e  a u t h o r s   i n   [ 2 0 ]   u s e s   co n to u r   a n d   p r o j ec t   h is to g r a m   f ea tu r e s   w ith   S VM   class i f icatio n   to   r ec o g n ize  h a n d w r itte n   ch ar ac ter s .   Ho w ev er ,   th o s e  f ea t u r es  ar e  n o t  en o u g h   to   ch ar ac ter ize  Vi etn a m ese  h an d w r itte n   ch ar ac t er s   w i th   u n co n s tr ai n ed   ac ce n t s   an d   s tr o k e s .   Ou r   C NN  m o d el  ca n   s o lv e  t h e  p r o b lem   o f   n at u r al  a n d   u n c o n s tr ain ed   Viet n a m ese  ch ar a cter s .   T h e  f ea tu r e   ex tr ac tio n   b lo ck   b y   3   co n v o lu tio n al  la y er s   ca n   lear n   h i g h er - lev el  f ea t u r es,  a n d   t h en   t h e  f e atu r e  cla s s i f icatio n   b lo ck   w h ic h   ar e  b u ilt  b y   2   f u l l y   co n n ec ted   la y er s   w it h   d r o p o u t  tech n iq u e s   ca n   p r ev e n t  o v er f i tti n g   is s u e  a n d   th u s   p r o v id e  t h e  b est   p er f o r m an ce   o f   h a n d w r iti n g   r ec o g n i ti o n .   A s   a   r esu lt,  t h e  co m p ar is o n   w h ic h   is   d escr ib ed   in   T ab le  1   s h o w s   t h at  t h e  p r o p o s ed   m e th o d   o u tp er f o r m s   t w o   o th er   m et h o d s .       T ab le  1 .   T h e  co m p ar is o n   b et wee n   th e  p r o p o s ed   m et h o d   an d   o th er s     D e   C a o   T r a n   [ 1 9 ]   T h a c h   T r a n   V a n   e t   a l .   [ 2 0 ]   T h e   p r o p o se d   M o d e l   A c c e n t e d   c h a r a c t e r   se g me n t a t i o n   +   S V M   c l a ssi f i c a t i o n   C o n t o u r   a n d   p r o j e c t   h i s t o g r a m - b a se d   f e a t u r e   e x t r a c t i o n   +   S V M   C N N   ( 3   c o n v o l u t i o n a l   l a y e r s +   2   f u l l y   c o n n e c t e d   l a y e r s)   D a t a se t   U N I P EN   +   I R O N O F F   +   se l f - c o l l e c t e d   V i e t n a me se   c h a r a c t e r s  ( 3 9 , 8 0 0   sam p l e s)   S e l f - c o l l e c t e d   V i e t n a me se   c h a r a c t e r s   ( 2 7 , 0 0 0   sam p l e s)   N I S T   d a t a se t   +   se l f - c o l l e c t e d   V i e t n a me se   c h a r a c t e r s (7 2 , 5 0 0   samp l e s)   A c c u r a c y   9 1 . 3 %   9 3 . 2 3 %   9 7 . 2 %       3 . 4 .     Dem o   a pp lica t io n f o r  Viet na m e s e  ha nd w rit t en   cha ra ct er   re co g nitio n   I n   o r d er   to   d em o n s tr ate  a  r e al  ap p licatio n   f o r   Viet n a m es e  h an d w r itte n   c h ar ac ter   r ec o g n i tio n ,   w e   d esig n ed   a  d esk to p   s o f t w ar e  b y   Qt  to o l k it  b ased   o n   o u r   p r etr ain ed   C NN  m o d el.   T h e  ap p licatio n   ca n   t a k e  an   in p u t   as   an   i m ag e   o f   a  V ietn a m ese   ch ar ac ter   th at   w as   d r aw n   d ir ec tl y   i n to   p ai n ti n g   w i n d o w   o f   t h e  ap p   o r   s elec ted   f r o m   an   ex i s ti n g   i m a g e  an d   t h e n   p r o d u ce   a  d ig ita l   ch ar ac ter   o f   t h i s   ch ar ac ter   i n   in p u t   i m ag e.   T h e  ap p licatio n   h as  t w o   m o d es:  p r ed ict  d ir e ctly   i m ag e  f r o m   p a in ti n g   w i n d o w   ( o n li n e  m o d e)   an d   p r ed ict  f r o m   ex ter n al   i m ag e   ( o f f li n e  m o d e) .   Fo r   o n li n e  m o d e,   th e   ap p licatio n   ca p t u r es  p ai n ti n g   w i n d o w   a n d   m ak e s   p r ed ictio n   b ased   o n   th is   ca p tu r ed   i m ag e.   User s   also   ca n   c h an g e  b r u s h   w ei g h t a n d   p ain ti n g   w i n d o w   s ize  i n   th i s   m o d e.   Fo r   o f f l in e  m o d e,   u s e r s   ca n   s elec t  a n   i m a g e  t h at  c o n tain s   a  c h ar ac ter   n ee d   to   r ec o g n ize  b y   Op en   b u tto n .   T h e  r esu lt  w in d o w   s h o w s   t w o   in f o r m at io n   o f   p r ed ictio n :  to p   5   s co r e   o f   p r e d ictio n   in   d etail  m o d e  an d   th e  h ig h es t sco r e  as t h e  f i n al  r esu lt  in   R es u lt o p tio n .   Th i s   ap p licatio n   ca n   r u n   o n   b o th   W i n d o w s   O S a n d   L i n u x   OS.  Fig u r e  6   s h o w s   t h e  UI   o f   Vietn a m ese  h an d w r itte n   ch ar ac ter   r ec o g n itio n   ap p licatio n .   T h e  d em o   v id eo   o f   th e  p r o p o s ed   m et h o d   h as b ee n   u p lo ad ed   to   Yo u T u b e  at  h ttp s :// y o u tu . b e/NY8 GI q I h 6 6 0 .       s t e p   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   2 ,  J u n e   20 20 :   27 6   –   28 3   282       Fig u r e  6 .   Vietn a m ese  h an d w r i tten   ch ar ac ter   r ec o g n itio n   ap p l icatio n       4.   CO NCLU SI O N   I n   th i s   p ap er ,   w e  p r esen ted   an   ef f icie n t  C NN  ar ch i tectu r e  f o r   Vietn a m ese  h an d w r it te n   ch ar ac ter   r ec o g n itio n .   Ou r   C NN  m o d el   is   b u ilt  w it h   3   co n v o l u tio n al   la y er s   a n d   2   f u l l y   co n n ec ted   la y er s .   A   d r o p o u t   tech n iq u e  i s   co m b i n ed   w i th   t h e  f u ll y   co n n ec ted   la y er s   to   p r ev en t   o v er f itti n g   p h e n o m e n o n .   T h e  e x p er i m en ts   o n   a  h an d w r it in g   d atab ase   s h o w   t h at   o u r   m o d el   ca n   ac h ie v e   ap p r o x i m a tel y   9 7 %  ac c u r ac y .   Mo r eo v er ,   a  Qt   ap p licatio n   f o r   Vietn a m e s e  h an d w r i tten   c h ar ac ter   r ec o g n it io n   w a s   d esig n ed   to   d em o n s tr ate  th e  p r o p o s ed   C NN  ar ch i tectu r e.       RE F E R E NC E S   [1 ]   A .   & .   M .   S .   & .   R.   S .   & .   M .   S .   & .   D.  S .   P riy a ,   " On li n e   a n d   o f f li n e   c h a ra c ter  re c o g n it io n :  A   su rv e y ”,   In ter n a ti o n a l   Co n fer e n c e   o n   Co mm u n ica t io n   a n d   S ig n a l  Pro c e ss in g   ( ICCS P) ,   2 0 1 6 .     [2 ]   M .   S .   a .   N.  S a h u ,   “ A   S u rv e y   o n   Ha n d w rit ten   Ch a ra c ter  Re c o g n it io n   (HCR)  T e c h n iq u e s  f o r  En g li sh   A lp h a b e ts ”,   Ad v a n c e s i n   Vi si o n   C o mp u ti n g :  A n   In ter n a ti o n a l  J o u rn a l  ( AV C),   v o l.   3 ,   M a rc h   2 0 1 6 .     [3 ]   Zo u h a ira  No u b ig h ,   M o n ji   Kh e r a ll a h ,   “ A   su rv e y   o n   h a n d w rit in g   re c o g n it io n   b a se d   o n   t h e   traje c to ry   re c o v e r y   tec h n iq u e ” ,   2 0 1 7   1 st   I n ter n a ti o n a l   W o rk sh o p   o n   Ara b ic S c rip t  An a l y sis a n d   Rec o g n it i o n   ( AS AR ) ,   2 0 1 7 .   [4 ]   S .   Esp a ñ a - Bo q u e ra ,   M . J.  Ca stro - Bled a ,   J.  G o rb e - M o y a ,   F .   Za m o ra - M a rti n e z ,   “ Im p ro v in g   O ff li n e   H a n d w rit ten   T e x t   Re c o g n it io n   w it h   H y b rid   HMM / A N N  M o d e ls ” ,  IEE E  T ra n sa c ti o n s  o n   Pa tt e rn   A n a lys is  a n d   M a c h in e   In telli g e n c e ,  v o l.   3 3 ,   n o .   4 ,   p p .   7 6 7   -   7 7 9 ,   2 0 1 1 .   [5 ]   Ya n w e i   Wan g   ;  X iao q in g   Din g   ;  Ch a n g so n g   L iu ,   “ T o p ic  Lan g u a g e   M o d e l  A d a p ti o n   f o r  Re c o g n it io n   o f   Ho m o lo g o u s  Off li n e   Ha n d w rit ten   Ch i n e se   T e x t  I m a g e ” ,  IEE E  S i g n a l  Pro c e ss in g   L e tt e rs ,   v o l.   2 1 ,   n o . 5 ,   p p .   5 5 0   -   5 5 3 ,   2 0 1 4 .   [6 ]   Da n iel  Ke y s e rs,  T h o m a s  De se l a e rs,  He n r y   A .   Ro w le y ,   L i - L u n   W a n g ,   V icto r  Ca rb u n e ,   “ M u lt i - L a n g u a g e   O n li n e   Ha n d w rit in g   Re c o g n it io n ” ,  IEE E   T ra n sa c ti o n s  o n   Pa tt e rn   A n a lys i s  a n d   M a c h i n e   In telli g e n c e ,   v o l.   3 9 ,   n o .   6 ,   p p .   1 1 8 0   -   1 1 9 4 ,   2 0 1 7 .   [7 ]   Zec h e n g   X ie ,   Zen g h u i  S u n ,   L ian w e n   Jin ,   Ha o   Ni ,   Terr y   Ly o n s,  “ L e a rn in g   S p a ti a l - S e m a n ti c   Co n tex t  w it h   F u ll y   Co n v o l u ti o n a l  R e c u rre n t   Ne tw o rk   f o r  On li n e   Ha n d w rit ten   Ch i n e se   Tex t  Re c o g n it io n ” ,  IEE E   T ra n sa c ti o n s  o n   Pa tt e rn   A n a lys is a n d   M a c h i n e   In t e ll ig e n c e ,   v o l.   4 0 ,   n o .   8 ,   p p .   1 9 0 3   -   1 9 1 7 ,   2 0 1 8 .   [8 ]   S .   A tt ig e ri,   “ Ne u ra l  Ne t w o rk   b a se d   Ha n d w rit ten   Ch a ra c terRe c o g n it io n   sy ste m ” ,  In ter n a ti o n a l  J o u rn a l  o f   En g i n e e rin g   An d   Co m p u ter   S c ien c e ,   v o l.   7 ,   n o .   3 ,   p p .   2 3 7 6 1 - 2 3 7 6 8 ,   M a rc h   2 0 1 8 .     [9 ]   N.  T .   M .   K.  Ra n ia  M A AL EJ,   “ On li n e   A ra b ic  Ha n d w rit in g   Re c o g n it io n   w it h   Dro p o u t  a p p li e d   in   De e p   Re c u rre n t   Ne u ra l  Ne tw o rk s ”,   1 2 th   IAP R  W o rk sh o p   o n   D o c u me n t   A n a lys is S y ste ms ,   2 0 1 6 .     [1 0 ]   Ch e n g - L in   L iu ,   F e i   Yin ,   Qiu - F e n g   W a n g ,   Da - Ha n   W a n g ,   “ IC DA R  2 0 1 1   C h i n e se   Ha n d w rit in g   Re c o g n it io n   Co m p e ti ti o n ” ,  2 0 1 1   I n ter n a ti o n a l   Co n fer e n c e   o n   Do c u me n t  A n a lys is a n d   Rec o g n it io n ,   2 0 1 1 .   [1 1 ]   M ich a e l  M u rd o c k ,   Ja c k   Re e s e ,   S h a w n   Re id ,   " ICF H R2 0 1 6   C o m p e ti ti o n   o n   L o c a l  A tt rib u te   De tec ti o n   f o r   Ha n d w rit in g   Re c o g n it io n " ,   2 0 1 6   1 5 th   In ter n a ti o n a l  Co n fer e n c e   o n   Fro n ti e rs   in   Ha n d writ in g   Rec o g n it io n   ( ICFHR) ,  2 0 1 6 .   [1 2 ]   Bo u c h ra   El   q a c imy ,   M o u n ir  A it   k e rro u m ,   A h m e d   Ha m m o u c h ,   “ Ha n d w rit ten   d ig it   re c o g n it io n   b a s e d   o n   DCT   f e a tu re s a n d   S V M   c las sif ier ” ,   2 0 1 4   S e c o n d   W o rl d   C o n fer e n c e   o n   C o mp lex   S y ste ms   ( W CCS ) ,   2 0 1 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       V ietn a mese  h a n d w r itten   ch a r a cter reco g n itio n   u s in g   co n vo lu tio n a l n eu r a l  n etw o r k   ( T r u o n g   Qu a n g   V in h )   283   [1 3 ]   S e ld a   G ü n e y ,   Ce y h u n   Ça k a r,   “ C o m p a riso n   o f   e x p e c tatio n   m a x i m iza ti o n   a n d   Na ïv e   Ba y e s  a l g o rit h m s  in   c h a ra c ter   re c o g n it io n ” ,   2 0 1 6   2 4 th   S ig n a l  Pr o c e ss in g   a n d   Co mm u n ica ti o n   Ap p li c a ti o n   Co n fer e n c e   ( S IU) ,   2 0 1 6 .   [1 4 ]   M .   Ra jala k sh m i,   P .   S a ra n y a ,   P .   S h a n m u g a v a d iv u ,   “ P a tt e rn   Re c o g n it io n - Re c o g n it io n   o f   Ha n d w rit ten   Do c u m e n t   Us in g   Co n v o lu ti o n a l  Ne u ra l  Ne tw o rk s ” ,   2 0 1 9   IEE E  In ter n a ti o n a l  Co n fer e n c e   o n   I n t e ll ig e n t  T e c h n i q u e s in   Co n tro l,   Op ti miza ti o n   a n d   S ig n a l  Pro c e ss i n g   ( INCOS ) ,   2 0 1 9 .   [1 5 ]   K .   Du tt a ,   P .   Krish n a n ,   M .   M a t h e w ,   C. V .   Ja wa h a r,   “ I m p ro v in g   CNN - RNN   H y b rid   Ne t w o rk s  fo r  Ha n d w rit in g   Re c o g n it io n ” ,   2 0 1 8   1 6 th   I n ter n a ti o n a l  Co n fer e n c e   o n   Fro n ti e rs   in   Ha n d writ in g   Rec o g n it i o n   ( ICFHR) ,   2 0 1 9 .   [1 6 ]   P ri tam   Dh a n d e ,   Re e n a   Kh a ra t,   “ Re c o g n it io n   o f   c u rsiv e   En g li sh   h a n d w rit ten   c h a ra c ters ” ,   2 0 1 7   In ter n a t io n a l   Co n fer e n c e   o n   T re n d s in   El e c tro n ics   a n d   In f o rm a ti c s ( ICEI) ,   2 0 1 7 .   [1 7 ]   Qiu - F e n g   W a n g ,   F e i  Yin ,   Ch e n g - L in   L iu ,   " Ha n d w rit ten   Ch in e se   Tex t  Re c o g n it io n   b y   In teg r a ti n g   M u lt ip l e   Co n tex ts" ,   IEE E  T r a n sa c ti o n s  o n   Pa tt e rn   A n a lys is a n d   M a c h i n e   In t e ll ig e n c e ,   v o l.   3 4 ,   n o .   8 ,   p p .   1 4 6 9   -   1 4 8 1 ,   2 0 1 2 .   [1 8 ]   X ian g - Do n g   Zh o u ,   Da - Ha n   W a n g ,   F e n g   T ian ,   Ch e n g - L in   L iu ,   M a sa k i  Na k a g a w a ,   " Ha n d w rit ten   Ch in e se /Ja p a n e se   T e x t  Re c o g n it io n   Us in g   S e m i - M a rk o v   Co n d it i o n a l  Ra n d o m   F ield s" ,   IEE E  T ra n sa c ti o n s  o n   P a tt e r n   An a lys is  a n d   M a c h in e   In telli g e n c e ,   v o l .   3 5 ,   n o .   1 0 ,   p p .   2 4 1 3   -   2 4 2 6 ,   2 0 1 3 .   [1 9 ]   De   Ca o   T ra n ,   “ A n   e ff icie n t  m e th o d   f o r  o n li n e   Vie tn a m e se   h a n d w rit ten   c h a ra c ter  re c o g n it io n ” ,   T h e   T h ird   S y mp o si u m o n   In fo rm a ti o n   a n d   C o mm u n ic a ti o n   T e c h n o l o g y   –   S o IC T ,   2 0 1 2 .   [2 0 ]   T h a c h   T ra n   V a n ,   P h i  Ng u y e n   Hu u ,   T ra n g   Ho a n g ,   “ Iso late d   v i e tn a m e se   h a n d w rit in g   re c o g n it io n   e m b e d d e d   sy ste m   a p p li e d   c o m b in e d   f e a tu re   e x tr a c ti o n   m e th o d ” ,   In ter n a t io n a l   Co n fer e n c e   o n   Ad v a n c e d   T e c h n o l o g ies   fo r   Co mm u n ica ti o n s ( AT C) ,   2 0 1 5 .   [2 1 ]   H.  T .   Ng u y e n ,   C.   T .   Ng u y e n ,   P .   T .   Ba o ,   a n d   M .   Na k a g a w a ,   “ P re p a ra ti o n   o f   a n   Un c o n stra in e d   V iet n a m e se   On li n e   Ha n d w rit in g   Da tab a se   a n d   Re c o g n it io n   Ex p e rim e n ts  b y   Re c u rre n t  Ne u ra l  Ne tw o rk s ” ,  1 5 th   In ter n a t io n a l   Co n fer e n c e   o n   Fro n ti e rs   in   Ha n d writi n g   Rec o g n it i o n   ( ICFHR) ,   2 0 1 6 .   [2 2 ]   A n h   Du c   L e ,   Hu n g   T u a n   Ng u y e n ,   M a sa k i  Na k a g a wa ,   “ Re c o g n iz in g   Un c o n stra in e d   Vie t n a m e se   H a n d w rit in g   By   A tt e n ti o n   Ba se d   En c o d e r  De c o d e r  M o d e l ” ,   In ter n a ti o n a l  C o n fer e n c e   o n   Ad v a n c e d   Co m p u t in g   a n d   A p p l ica ti o n s   ( ACOM P) ,   2 0 1 8 .   [2 3 ]   W .   & .   W .   Z.   Ra w a t,   " De e p   Co n v o lu ti o n a l   Ne u ra l  Ne tw o rk s  f o r  Im a g e   Clas si f ica ti o n :  A   Co m p re h e n siv e   Re v ie w” ,   J o u rn a l  of   Ne u ra l   Co m p u t a ti o n ,   v o l.   29 ,   iss.9 ,   p p . 2 3 5 2 - 2 4 4 9 ,   S e p .   2 0 1 7 .   [2 4 ]   C.   G .   S .   L a w re n c e ,   " Ov e r f it ti n g   a n d   n e u ra l  n e tw o rk s:  c o n ju g a te  g r a d ien t  a n d   b a c k p ro p a g a ti o n ”,   IEE E - INNS - ENN S   In ter n a t io n a l  J o in t   Co n fer e n c e   o n   Ne u ra l  Ne two rk s   IJ CNN ,   2 0 0 0 .     [2 5 ]   G .   H.  A .   K.  I.   S .   R .   S .   Niti sh   S ri v a sta v a ,   " Dro p o u t:   A   S im p le  W a y   to   P re v e n t  Ne u ra l  Ne tw o rk s  f ro m   o v e r f it ti n g " ,   J o u rn a l  o f  M a c h i n e   L e a rn in g   Res e a rc h ,   v o l. 1 5 ,   2 0 1 4 .   [2 6 ]   J.  Qu iñ o n e ro - Ca n d e la,  M .   S u g iy a m a ,   A .   S c h w a i g h o f e r,   N.   D.  Law r e n c e ,   “ D a tas e t   S h if t  in   M a c h in e   L e a rn in g ” ,   Ne u ra l   In fo rm a t io n   Pro c e ss in g   se rie s ,   T h e   M IT   P re ss ,   IS BN 9 7 8 - 0 - 2 6 2 - 1 7 0 0 5 - 5 ,   2 0 0 8 .       B I O G RAP H I E S   O F   AUTH O RS       Dr.  T ru o n g   Qu a n g   V in h   re c e iv e d   th e   B. E .   d e g re e   f ro m   Ho   Ch i  M i n h   Cit y   Un iv e rsit y   o f  T e c h n o lo g y ,   V ietn a m ,   in   1 9 9 9 ,   th e   M . E.   d e g re e   in   Co m p u ter  S c ien c e   f ro m   th e   As ian   In stit u te  o f  T e c h n o lo g ies ,   Ba n g k o k ,   T h a il a n d ,   i n   2 0 0 3 ;   a n d   P h . D.  d e g re e   in   Co m p u ter  E n g in e e rin g   a t   Ch o n n a m   Na ti o n a l  Un iv e rsit y ,   Ko re a ,   in   2 0 1 0 .   Cu rre n lt y ,   h e   is  a   lec tu re r  in   De p a rtme n t  o f  El e c tro n ics ,   F a c u lt y   o f   El e c tri c a l  a n d   El e c tro n ics   En g in e e rin g ,   HCM  Cit y   Un iv e rsit y   o f  T e c h n o lo g y ,   V ietn a m   Na ti o n a l  Un iv e rsit y   –   Ho   Ch i  M in h ,   V ietn a m .   His  h o m e p a g e :  h tt p : // ww w 4 . h c m u t. e d u . v n /~ tq v in h /         M r.   L e   Ho a i  Du y   re c e iv e d   th e   B. E.   d e g re e   in   El e c tro n ics   f ro m   Ho   Ch i  M i n h   Cit y   Un iv e rsit y   o f  T e c h n o lo g y ,   V ietn a m   in   2 0 1 8 .   No w   h e   w o rk s  a s  a n   A rti f icia l  I n telli g e n c e   En g in e e r  a t  Em a g e   De v e lo p m e n t  Co . L td ,   V iet n a m .         M r.   Ng u y e n   T h a n h   Nh a n   re c e iv e d   th e   B . E.   d e g re e   in   El e c tro n ics   f r o m   Ho   Ch i  M i n h   Cit y   Un iv e rsit y   o f   Tec h n o lo g y ,   V ietn a m   in   2 0 1 8 .   C u rre n tl y ,   h e   w o rk s a s   a n   V isio n   E n g in e e r  a t  Em a g e   De v e lo p m e n t  Co . L td ,   V ie tn a m .     Evaluation Warning : The document was created with Spire.PDF for Python.