T E L K O M NIKA   T elec o mm un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   1 8 ,   No .   4 A u g u s t   2020 ,   p p .   1 9 3 4 ~ 1 9 4 1   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Ke m e n r is te k d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI KA . v 1 8 i 4 . 1 4 8 6 4     1934       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   H a ndw riting identif ica tion    using  deep  co nv o l utiona l neural n et w o rk   m ethod       O k a   Su da na ,   I   Wa y a n G un a y a ,   I   K et ut  G ede  Da r m a   P ut ra   De p a rtme n o f   In f o rm a ti o n   T e c h n o lo g y ,   Ud a y a n a   Un iv e rsit y ,   In d o n e sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Dec   8 2019   R ev i s ed   Feb   2 8 ,   2 0 2 0   A cc ep ted   Ma r   1 3 ,   2 0 2 0       Ha n d w rit in g   is  a   u n iq u e   th i n g   t h a p ro d u c e d   d if f e re n tl y   f o e a c h   p e rso n .   Ha n d w rit in g   h a a   c h a ra c teristic   th a re m a in   th e   sa m e   w it h   sin g le  w rit e r,     so   a   h a n d w rit in g   c a n   b e   u se d   a a   v a riab le  in   b io m e tri c   sy ste m s.  Eac h   p e rso n   h a v e   a   d iffere n f o r m   o f   h a n d w r it in g   sty le  b u w it h   a   s m a ll   p o ss ib il it y   th a sa m e   c h a ra c ter h a v e   so m e th in g   c o m m o n s.  W e   p ro p o se   a   h a n d w rit in g   id e n ti f ica ti o n   m e th o d   u si n g   se n ten c e   se g m e n ted   h a n d w rit in g   f o rm s .   S e n ten c e   f o r m   is  u se d   to   g e m o re   c o m p lete   h a n d w rit in g   c h a ra c teristics   t h a n   u si n g     a   sin g le  c h a ra c t e rs  o w o rd s.  Da tas e u se d   is  d iv id e d   in to   t h re e   c a teg o ries     o f   i m a g e s,  b in a r y ,   g r a y s c a le,  a n d   in v e rted   b in a ry .   A ll   d a tas e ts  h a v e   sa m e   im a g e   w it h   d iff e re n in   c o lo a n d   c o n sist  o f   1 0 0   c las s.  T ra n sfe lea r n in g   u se d   in   th is  p a p e a re   p re - train e d   m o d e V G G 1 9 .   T ra in in g   w a c o n d u c te d   in     1 0 0   e p o c h s.  Hig h e st  re su lt   is  g ra y sc a le  i m a g e s   w it h   g e n u in c e   a c c e p tan c e   ra te     o f   9 2 . 3 %   a n d   e q u a e rro r   ra te o f   7 . 7 % .   K ey w o r d s :   B io m etr ic s   C o n v o lu tio n al  n e u r al  n e t w o r k   T r an s f er   lear n in g   W r iter   id en tif icatio n     T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   I   W ay a n   Gu n a y a,     Dep ar t m en t o f   I n f o r m atio n   T e ch n o lo g y ,   Ud a y an U n i v er s it y ,   R a y Ka m p u s   U n u d   J i m b ar an   St.,   Kec .   Ku ta  Sel.,   Kab u p ate n   B ad u n g ,   B ali,   I n d o n esia.   E m ail:  w a y a n g u n a y a @ s tu d e n t . u n u d . ac . id       1.   I NT RO D UCT I O N   T h h an d w r iti n g   id en ti f icatio n   is   p r o b le m   t h at  i s   c u r r en tl y   s ti ll  b ein g   s tu d ied .   Ha n d w r i tin g   is   ea s y   to   r ec o g n ize  b ec au s o f   n u m b er   o f   t h i n g s ,   li k t h f o r m   o f   letter s   a n d   d i f f er e n s t y les  o f   w r iti n g   b et w ee n   ea ch   p er s o n .   Ha n d w r iti n g   i d en tific atio n   ca n   b v er y   u s ef u e s p ec iall y   f o r   s ec u r it y   s ec to r ,   b an k in g ,     an d   f o r en s ics.  T h b an k i n g   s ec to r   r eq u ir es  h an d w r iti n g   r e co g n itio n   to   v er if y   r ec eip ts   o r   w h e n   d is b u r s in g   ch ec k   m o n e y .   I n   f o r en s ic  f iel d ,   h an d w r iti n g   id en ti f icat io n   ca n   b u s ed   as  b e n ch m ar k   f o r   cr i m i n al  ca s e   r elate d   to   h an d w r iti n g   [ 1 ] .   Han d w r iti n g   id e n ti f icatio n   h as  b ee n   d o n u s i n g   s i m p le   an d   lo n g - s tan d i n g   m e th o d s .   Ma ch in e   lear n in g   is   n e w   f ield   o f   s cie n ce   w h er th is   f ield   u s co ll ec tio n   o f   d ata  an d   u s t h at  d ata  to   s tu d y   it  p atter n s   to   g et  ce r tain   k n o w led g e.   W h en   th lear n i n g   p r o ce s s   ab o u ex is tin g   p atter n s   d ee p en s ,   it  w ill  b ec o m d ee p   lear n in g .   Dee p   lear n in g   i s   t h e   p r o ce s s   o f   lear n in g   ar ti f icial  n eu r al  n et w o r k s   w h er p atter n s   ar s tu d ied   m o r d ee p ly   to   p r o d u ce   b etter   r esu l t s .   Dee p   lear n in g   m i m ics t h a b ilit y   o f   h u m a n   b r ain   to   r e m e m b er   t h i n g s .   I m p le m e n tatio n   o f   d ee p   lear n i n g   w ill   b ab le  to   lear n   e v er y   f ea t u r th a t e x is t s   i f   th e   n et w o r k   is   m ad e   d ee p er .   Dee p   lear n in g   i s   d es ig n ed   to   u s s e v er al  la y er s   o f   ar tif icia n e u r al  n et w o r k   t o   lear n   ab o u ea ch   f ea t u r e.   A r ch itec tu r in   d ee p   lear n i n g   m o d el s   p la y   an   i m p o r tan r o le  in   th e   ab ilit y   o f   n et w o r k   to   s tu d y   ex is t in g   d ata.   T h er a r s ev er al  m o d els  in   d ee p   lear n in g ,   s u ch   as  d ee p   n eu r al  n et w o r k s ,   co n v o l u tio n al  n eu r al   n et w o r k ,   an d   r ec u r r en t n e u r al  n et w o r k   [ 2 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Ha n d w r itin g   id en tifi ca tio n   u s i n g   d ee p   co n v o lu tio n a l n eu r a n etw o r meth o d   ( Oka   S u d a n a )   1935   C o n v o lu tio n al  n e u r al  n et w o r k   ( C NN)   is   d ee p   lear n in g   alg o r ith m   th at  u s co n v o lu tio n   la y er     f o r   f ea tu r ex tr ac tio n   an d   f u ll y   co n n ec ted   la y er   f o r   its   class i f icatio n .   T r ain in g   p r o ce s s   in   th co n v o lu tio n al   n eu r al  n et w o r k   u s b ac k p r o p ag atio n   a lg o r it h m   to   u p d ate  t h w ei g h an d   b ia s   f o r   ea c h   ep o ch .   E ac h   n e u r o n   f o u n d   o n   C NN  w ill  b co n n e cted   to   th i n p u i m ag e,   s o   ar ch itect u r es  o f   C NN  w i ll  n ee d   s ev er al  d ee p   la y er s .   T h class i f icatio n   p r o ce s s   w i ll  u s f u ll y   co n n ec ted   la y er s   to   class i f y   ex is ti n g   f ea tu r e s   w it h   p r ed eter m i n ed   class es.  On o f   t h d is ad v an ta g es  o f   t h C NN  m et h o d   is   t h a th a m o u n o f   d ata  n ee d ed   is   q u ite  lar g to   g et   o p tim a l r esu l ts .   T h h ar d w ar n ee d ed   m u s t a ls o   b s u f f icie n t   en o u g h   [ 3 ] .   Han d w r iti n g   id e n ti f icatio n   b y   u t ilizi n g   d ee p   lear n i n g   alg o r ith m s   w ill  b ab le  to   p r o d u ce   h i g h er   ac cu r ac y   v a lu e s   co m p ar ed   to   o th er   m et h o d s .   Han d w r i tin g   c o llected   f r o m   v ar io u s   a u t h o r s   th at  w ill  b u s ed   as   d ata  to   b s tu d ied .   T h u s e   o f   d ee p   lear n in g   al g o r ith m   is   ex p ec ted   to   b ab le  to   i m p r o v th e   r esu lts     o f   h a n d w r i tin g   id en tific atio n   s o   th at  it  ca n   b u s ed   p r o p er ly   [ 4 ] .   T h er ar s ev er al  s tu d ies  an d   r esear ch   p ap er   th at  r elate d   to   th is   r esear c h   t h at  h av b ee n   ca r r ied   o u t.  So m o f   t h e m   i n   t h f o r m   o f   c h ar ac ter   r ec o g n it io n     an d   h an d w r it in g   id en ti f ica tio n   u s in g   o th er   o r   o ld er   m et h o d .   R esear ch   ab o u ch ar ac ter   r ec o g n itio n   h a s   b ee n   co n d u cted   b y   De w a   e n ti tle d   C o n v o l u tio n a Ne u r al  N et w o r k s   f o r   Han d w r itte n   J av an e s C h ar ac ter s   R ec o g n itio n   [ 5 ] .   T h is   s t u d y   u s ed   co n v o lu tio n al  n e u r al  n et w o r k   m eth o d   to   r ec o g n ize   J av an ese   tr ad itio n al   ch ar ac ter s   i n   t h f o r m   o f   h a n d w r i tin g .   T h e y   u s ed   2 0 0 0   d ata  w h ic h   i s   i n cl u d ed   in   2 0   class es   o f   J av a n ese   ch ar ac ter s .   T h is   r esear c h   u s e s   O p en C lib r ar y   w i th   s el f - m ad C NN  ar c h itect u r e.   T h r esu lt s   s h o w   t h at     th ac cu r ac y   r ate  o b tain ed   is   9 0 %.   R esear ch   r elate d   to   h a n d w r i ti n g   id e n ti f icatio n   h as  b ee n   ca r r ied   o u b y   s e v er al  p r ev io u s   r esear ch er s ,   o n o f   th e m   is   s t u d y   co n d u cted   b y   Dh a n d r a   [ 6 ] .   I n   th is   r esear ch ,   h a n d w r i tin g   id en t if ic atio n   u s e s   Kan n ad a   ch ar ac ter s   a n d   u s r an d o m   tr a n s f o r m   m et h o d   an d   d is cr ete   c o s in tr a n s f o r m   w h ic h   is   co m b in ed   to   id en ti f y   t h au th o r .   T h r esu lt  o f   th i s   s tu d y   i n d icate   th at  t h lev el  o f   ac cu r ac y   r ea ch es  1 0 0 %.  I n   ad d itio n ,   it  w as  also   co n clu d ed   t h at  s en ten ce s ,   v ar y in g   s tr u ctu r al   v ar iat io n s ,   an d /o r   co m b in atio n   o f   t w o   o r   m o r w o r d s   h ad     s ig n if ican i m p ac o n   th i d en tific atio n   o f   h an d w r iti n g s   au th o r .   An o th er   r esear ch   w a s   co n d u cted   w h er e   h an d w r iti n g   id en ti f icat io n   is   d o n o n lin [ 7 ] .   T h is   s tu d y   u s ed   d ata  ac q u ir ed   o n lin t h at   w il b p r o ce s s ed   d ir ec tl y .   T h m e th o d   u s ed   i n   th i s   r esear ch   i s   C NN  w i th   d r o p   s eg m e n m et h o d .   T h is   m eth o d   u s ed   d ata  au g m e n tatio n   b y   d r o p p in g   ea c h   s e g m en o f   th e n ter ed   ch ar ac ter .   T h r esu lts   o f   t h is   s t u d y   ar 9 8 ac cu r ac y   f o r   E n g l is h   h a n d w r iti n g   a n d   9 5 % f o r   C h i n ese  h a n d w r i tin g .   T h is   p ap er   ai m s   to   a n al y ze   h an d w r iti n g   id e n ti f icatio n   b y   co n v o l u tio n al  n eu r al   n et w o r k   m et h o d .   Data s et  i n   t h is   s tu d y   is   a   co llectio n   o f   h a n d w r i tten   i m a g e s   f r o m   I AM   h a n d w r iti n g   d at ab ase  [ 8 ] .   W w il cr ea te  th r ee   s ep ar ated   d ataset s   w it h   d i f f er e n i m a g co lo r s   s u c h   a s ,   g r a y s ca le,   b i n ar y ,   a n d   in v er ted   b in ar y .   T h h an d w r it ten   f ea tu r e s   th at  w il b d if f er en tiato r   is   t h th ick n e s s ,   s lo p e,   an d   d is tan ce   b et w ee n   th letter s .   T h f ea tu r e s ,   i m a g es,  a n d   m et h o d s   u s ed   i n   t h i s   s tu d y   w il b d if f er en tiato r   co m p ar ed   to   p r ev io u s   r esear ch .   T h m et h o d   u s ed   in   th i s   p ap er   is   co n v o lu tio n al  n eu r al  n et w o r k .   C o n v o l u tio n al  n eu r al  n et w o r k   ( C NN)     is   in c lu d ed   in   t h t y p o f   d ee p   n eu r al  n et w o r k ,   b ec au s o f   t h n et w o r k   d ep th   a n d   ap p lied   m ai n l y   to   i m a g er y .   C NN  m et h o d   p r o v ed   s u cc ess f u ll y   i n   s u r p ass i n g   o th er   m ac h i n lear n i n g   m eth o d s ,   s u ch   as  SVM.   E ac h   n eu r o n   in   C N is   p r esen ted   in   t w o - d i m en s io n a l f o r m .     T r an s f er   lear n i n g   is   o n o f   t h m et h o d s   th at   b ein g   u s ed   f o r   co n v o l u tio n al  n e u r a n e t w o r k .   T r an s f er   lear n in g   o n   co n v o l u tio n al   n e u r al  n et w o r k   m ea n   t h r e - u s o f   m o d el  t h at  h as   b ee n   tr ain ed   u s i n g   h u g e   a m o u n o f   d ata   an d   alr ea d y   p er f o r m ed   w ell   i n   ce r ta in   tas k   [9 - 11] .   T h is   p r e - tr ain ed   m o d el  is   a   r es u lt  f r o m     co m p etitio n   to   cr ea te  n e w   al g o r ith m   f o r   o b j ec ts   d ete ctio n   an d   class i f icat io n   [ 1 2 13] .   R esu lt  o f   u s i n g     p r e - tr ain ed   m o d el  d ep en d   o n   w h ic h   ar c h itect u r t h at  w il l   b u s ed .   T h er ar s e v er al   ar ch itect u r es  l ik Den s eNe t,  R e s n e t,  an d   VGG  [ 1 4 ] .   E ac h   o f   th is   ar c h itect u r w ill  h a v d i f f er en m o d el   an d   t h r es u lt   w ill   h av d i f f er en ac c u r ac y   v al u e .   C o n ce p o f   tr a n s f er   lear n i n g   is   to   u ti lize  k n o w led g ac q u i r ed   f o r   o n task   to   s o lv a n o th er   r elate d   tas k .   T h er ar s ev e r al  b en ef its   o f   u s i n g   tr a n s f er   lear n in g ,   s u ch   a s   h ig h er   s tar t,  h i g h er   s lo p e,   an d   h ig h er   as y m p to te  [ 1 1 1 5 ]       2.   RE S E ARCH   M E T H O D   T h is   r esear ch   w ill  m ai n l y   u s e   C NN  w i th o u an y   ad d itio n   i n   f ea t u r es  ex tr ac tio n   m et h o d   o r   ad d itio n     in   cla s s i f icatio n   m et h o d .   W w o u ld   li k to   u s C NN  o n l y   w it h   p r e - tr ain ed   m o d el  to   s h o w   th p er f o r m a n ce     in   ac cu r ac y   a n d   p r o ce s s in g   tim th at  w w ill  g et.   W u s e d   VGG  o r   Vis u al  Geo m e tr y   Gr o u p   p r e - tr ain ed   m o d el  th at  h a v 1 9   d ee p   lay er s ,   o r   VGG1 9   [ 1 6 ] .   T h is   ar ch itect u r s h o w s   t h at  d e ep   la y er   in   C NN  is     an   i m p o r tan f ac to r   to   cr ea te  class i f icatio n   s y s te m   th a h a v h ig h   r es u lt  ac cu r ac y .   VGG1 9   h as  b ee n   tr ain ed   u s i n g   I m a g eNe d ataset s   w h ic h   h a v 1 0 0 0   class es  o f   i m a g e s   an d   ca n   h elp   o v er co m t h p r o b lem   o f   li m i ted   n u m b er   o f   i m ag e s   in   t h d ataset  th at  b ei n g   u s ed   in   tr ai n i n g   p r o ce s s   [ 1 0 ] .   W e   u s ed   V GG1 9   as  p r e - tr ain ed   m o d el  a n d   r ep lace   th to p   lay er   w it h   o u r   o w n   to p   lay er   w it h   to tal  n u m b er   o f   o u r   clas s es .   W u s ed   1 0 0   class es  in   th is   r esear ch   w i th   d ata s et  o f   s en te n ce s   i m a g w it h   d i m e n s i o n   o f   1 0 0 x 1 2 0 0   p ix el.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  1 8 ,   No .   4 A u g u s t   2020:    1 9 3 4   -   1 9 4 1   1936   Fig u r 1   s h o w s   th ar ch itect u r o f   C NN  th at  b ein g   u s ed   in   t h is   r esear ch .   W u s VG G1 9   b ase  la y er   an d   f r ee ze   it  to   k ee p   it s   v al u in   f ir s tr ai n in g   s tep .   VGG1 9   u s ed   5   b lo ck s   o f   co n v o l u tio n   l a y er ,   w ith   f ir s t w o   b lo ck s   h av e   t w o   co n v o l u tio n   la y er   a n d   la s th r ee   b lo c k s   h av f o u r   la y er s   o f   co n v o lu t io n .   W f r ee ze   t h es e   b lo ck s   to   k ee p   its   d ata  f r o m   p r ev io u s   tr ai n i n g .   Af ter   t h b ase  la y er   p r o d u ce   f ea tu r m ap ,   w ap p l y   g lo b al  av er ag p o o lin g   to   g et   s i n g le  f ea tu r m ap .   T o p   lay er s   o f   VGG1 9   r ep lace d   b y   m o d if ied   to p   la y er   w it h     1 0 0   class es a n d   t w o   f u ll y   co n n ec ted   la y er .             Fig u r 1 .   VGG1 9   w it h   Mo d if i ed   to p   lay er   ar ch itect u r e         T o p   lay er   th at  u s ed   in   th i s   ar ch i tect u r is   o b tain ed   b y   t u n i n g   its   p ar a m eter .   P ar am et er   tu n i n g     is   i m p o r tan b ec au s it  ca n   a f f ec th r esu lt s   o f   class i f icatio n   p r o ce s s   [ 1 7 ] .   T u n in g   p ar am eter   in   th is   r esear c h   is   d o n m an u all y   b y   tr ial  a n d   er r o r   p r o ce s s ,   u n t il  w g et  t h b est  p ar a m eter   to   tr ain   o u r   d at a.   First,  w r ep lace   f latte n   w it h   g lo b al  av er ag p o o lin g   o r   G A P   to   g en er ate  o n e   f ea tu r m ap   f o r   ea ch   co r r esp o n d in g   o u tp u f r o m   b lo ck   co n v o l u tio n   la y er   [ 1 8 ] .   T h u s o f   g lo b al  av er ag e   p o o lin g   is   to   r ed u ce   t h o v er f itti n g   th a p r o n w h e n   w u s f u ll y   co n n ec ted .   Fu r t h er m o r e,   g lo b al  av er ag p o o li n g   ta k es  t h s u m s   o u v a lu o f   s p atial  in f o r m a tio n ,   s o   it  w i ll sp ee d   u p   th tr ai n i n g   p r o ce s s   [ 1 9 ]   W co m b i n g lo b al  av er ag p o o lin g   w i th   f u ll y   co n n ec ted   la y er   to   o b tain ed   b etter   r esu l t.  Af ter   g lo b al  av er ag p o o lin g ,   w u s t w o   f u ll y   co n n ec ted   la y er   as  h id d en   la y er   w ith   d r o p o u t.  Fu l l y   co n n ec ted   la y er   h a s   f u n ctio n   to   tak t h f ea tu r m ap   an d   u s t h e m   to   cla s s i f y   th i m a g i n to   co r r esp o n d in g   lab el,   b u f u ll y   co n n ec ted   la y er   i s   p r o n e   to   o v er f itti n g   e s p ec iall y   w h en   l ar g n eu r al   n et s   is   tr ain ed   o n   r elati v el y   s m all   d atasets .   B ec au s o f   t h is ,   w e   u s d r o p o u to   o v er ca m th i s   p r o b lem   [ 2 0 2 1 ] .   Dr o p o u h av f u n ctio n   to   r an d o m l y   s e tti n g   t h o u t g o in g   ed g es  o f   h id d en   la y er   u n it s   t o   0   at   ea ch   u p d ate  o f   tr ain in g   p h ase.   B ec au s o f   th is ,   w s et  ce r tain   a m o u n t o f   d r o p o u t in   th f u ll y   co n n ec te d   lay er   to   av o id   o v er f itti n g .   Op ti m izer   h a v r o le  to   u p d at th e   w ei g h t   p ar a m eter s   to   m i n i m ize  t h lo s s   f u n c tio n .   I n   t h i s   r esear ch   w u s S GD  o r   s to ch ast ic  g r a d ien t d escen t a s   o p ti m izer   b ec au s SG p er f o r m   co m p u tatio n s   n o t o n   th w h o le   d ataset,   b u co m p u te   o n   s m al s u b s et  o r   e v en   r an d o m   s ele ctio n   o f   d ata  e x a m p le s ,   s o   i w il m ak e   tr ai n in g   p r o ce s s   m o r e f f iecie n [ 2 2 23] .   A ls o ,   SGD  ca n   p r o d u ce   t h s a m p er f o r m a n ce   a s   r e g u la r   g r ad ie n t   d escen t   w h e n   th lear n i n g   r ate  ar q u ite  lo w .   T h s u m m ar ize  o f   C NN  ar ch itectu r ca n   b s ee n   i n   T ab le  1 .   T ab le  1   s h o w s   t h s u m m ar ize  o f   C N ar ch itectu r t h at  u s ed   in   t h is   r esear ch .   T h is   ar ch itec tu r th an   tr ain ed   u s i n g   Go o g le  C o lab o r ato r y   b ec a u s e   its   co m p atib ili t y   a n d   t h r es o u r ce   av ailab le  o n   its   clo u d   s er v ice  is   f as ter   th at   p h y s ical  r eso u r ce   a n d   C o lab o r ato r y   p r o v id f r ee - of - ch a r g r eso u r ce   th a is   e n o u g h   t o   s o lv d e m a n d in g     r ea l - w o r l p r o b le m s   [ 2 4 ] .         Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Ha n d w r itin g   id en tifi ca tio n   u s i n g   d ee p   co n v o lu tio n a l n eu r a n etw o r meth o d   ( Oka   S u d a n a )   1937   T ab le  1.   Su m m ar ize  o f   C NN  a r ch itect u r e   L a y e r   Ty p e   O u t p u t   S h a p e   L a y e r   Ty p e   O u t p u t   S h a p e   I n p u t   1 0 0 ,   1 2 0 0 ,   3         B l o c k   1   C o n v o l u t i o n   1   1 0 0 ,   1 2 0 0 ,   6 4   B l o c k   4   C o n v o l u t i o n   1   1 2 ,   1 5 0 ,   5 1 2   C o n v o l u t i o n   2   1 0 0 ,   1 2 0 0 ,   6 4     C o n v o l u t i o n   2   1 2 ,   1 5 0 ,   5 1 2   M a x   P o o l i n g   5 0 ,   6 0 0 ,   6 4     C o n v o l u t i o n   3   1 2 ,   1 5 0 ,   5 1 2   B l o c k   2   C o n v o l u t i o n   1   5 0 ,   6 0 0 ,   1 2 8     C o n v o l u t i o n   4   1 2 ,   1 5 0 ,   5 1 2   C o n v o l u t i o n   2   5 0 ,   6 0 0 ,   1 2 8     M a x   P o o l i n g   6 ,   7 5 ,   5 1 2   M a x   P o o l i n g   2 5 ,   3 0 0 ,   1 2 8   B l o c k   5   C o n v o l u t i o n   1   6 ,   7 5 ,   5 1 2   B l o c k   3   C o n v o l u t i o n   1   2 5 ,   3 0 0 ,   2 5 6     C o n v o l u t i o n   2   6 ,   7 5 ,   5 1 2   C o n v o l u t i o n   2   2 5 ,   3 0 0 ,   256     C o n v o l u t i o n   3   6 ,   7 5 ,   5 1 2   C o n v o l u t i o n   3   2 5 ,   3 0 0 ,   2 5 6     C o n v o l u t i o n   4   6 ,   7 5 ,   5 1 2   C o n v o l u t i o n   4   2 5 ,   3 0 0 ,   2 5 6     M a x   P o o l i n g   3 ,   3 7 ,   5 1 2   M a x   P o o l i n g   1 2 ,   1 5 0 ,   2 5 6   G l o b a l   A v e r a g e   P o o l i n g     5 1 2         D e n se   +   D r o p o u t     1 0 2 4         D e n se   +   D r o p o u t     1 0 2 4         S o f t max     1 0 0       3.   RE SU L T A ND  AN AL Y SI S   I n   th is   s e ct i o n ,   w e   s h o w   r e s u l ts   th a t   w e   g et   b a s e d   o n   m e t h o d   th a t   w e   u s e .   F i r s t ,   w e   g iv e   b r i ef   e x p l an at i o n   a b o u t   th e   im ag e   d a t a s et   u s e d   in   th is   r es e a r ch .   T h en ,   t r a in in g   an d   t es t in g   r esu l ts   w il b e   ev alu a t e d   w ith   c o m p a r is o n   t o   o v e r l o o k   th e   e f f e ct   o f   d if f e r en t   p r e p r o c e s s in g   im ag e   m et h o d   an d   u s e   o f   p r e - t r ain e d   m o d el .     3 . 1 .     Da t a s et   T h is   r esear ch   i s   d o n u s i n g   d ataset  f r o m   I A Ha n d w r iti n g   Data b ase  [ 8 ] .   T h i m a g u s ed   in   t h i s   p ap er   is   an   i m a g o f   h a n d w r i ti n g   f r o m   v ar io u s   w r iter .   T h i m ag e   f r o m   I A Ha n d w r iti n g   Data b ase  is   a lr ea d y   s eg m e n ted   in   s en ten ce s   f o r m ,   an d   in   g r a y s ca le.   T h is   r esear ch   u s 5 4 6 7   i m ag e s   w it h   1 0 0   class es   o f   d i f f er e n t   w r iter s   an d   4 0 - 1 0 0   i m a g e s   i n   ea ch   clas s   f o r   tr ain i n g   p r o ce s s ,   an d   f i v i m a g es   f o r   te s ti n g   p r o ce s s .   W r iter   th en   id en ti f ied   w ith   id ,   li k 0 0 0 ,   0 5 2 ,   an d   6 7 0 ,   th at  w g et  f r o m   I A h an d w r it tin g   d ataset .   T h is   i m a g s ep ar ated   in to   th r ee   ca teg o r ies,  g r a y s ca le  i m a g es,  b in ar y   i m ag e s ,   an d   in v er t ed   b in ar y   i m a g es.  B i n ar y   i m ag e   is   cr ea ted   u s in g   g r a y s ca le  i m a g e   w i th   O ts u s   th r es h o ld in g   [ 2 5 ] ,   a n d   i n v er ted   i m a g cr ea ted   u s in g   b in ar y   i m a g e.   Fi g u r 2   s h o w   e x a m p le  o f   t h r ee   ca teg o r ies  i m a g th a b ein g   u s in   t h is   r esear ch .   T h ese  th r ee   ca teg o r ies  h a v th s a m i m a g w it h   d if f er en co lo r ,   an d   tr ain ed   u s i n g   t h s a m e     C NN  A r ch itect u r e.         ( a)       ( b )     ( c)     Fig u r 1 .   I m a g d ataset  u s ed   w it h   f o r m at:  ( a)   g r a y s ca le,   ( b )   b in ar y ,   an d   ( c)   in v er s b in ar y       3 . 2 .     T ra ini ng   re s u lt     T r ain in g   p r o ce s s   d o n b y   u s in g   Go o g le  C o lab o r ato r y   [ 2 4 ]   w it h   n u m b er   o f   ep o ch   u s ed   in   th i s   tr ain i n g   is   1 0 0   ep o ch .   T r ain in g   p r o ce s s   also   u s 2 0 o f   tr ain i n g   d ata  as  v al id atio n   d ata  to   v alid ate  tr ain in g   af ter   o n ep o ch .   I tak al m o s t   1 0   h o u r s   to   co m p lete  th tr ai n in g   p r o ce s s .   Fig u r 3   s h o w   c o m p ar is o n   b et w ee n   tr ain i n g   ac cu r ac y   f r o m   t h u s es  o f   b in ar y   i m a g e,   g r a y s ca l i m a g e,   a n d   i n v er ted   b i n ar y   i m a g as   tr ain in g   d ataset.   B ased   o n   th is   f ig u r e,   t r ain in g   ac cu r ac y   f r o m   in v er te d   b in ar y   i m a g h a v s teep er   cu r v t h an   t h o th er   t w o   i m a g es   d ataset,   a n d   h av e   m o r s tab le   lear n i n g   c u r v e.   I n v er ted   b i n ar y   i m a g a n d   g r a y s ca le  i m a g h a v a   tr ain i n g   ac c u r ac y   t h at  r ea c h   9 9 %,  g r a y s ca le  i m a g h av t r ain in g   ac c u r ac y   o f   9 7 an d   b in ar y   i m a g h a v e   tr ain i n g   ac c u r ac y   o f   9 7 %.   F ig u r 4   s h o w   v al id atio n   ac c u r ac y   b et w ee n   t h t h r ee   d atasets .   Valid atio n   p r o ce s s   is   u s ed   to   ev al u ate  t h m o d el  af ter   o n ep o ch   is   d o n an d   is   u s ed   to   g iv a n   u n b iased   esti m ate  o f   t h tr ain ed   m o d el   [ 2 6 ] .   Valid atio n   d ata s et  u s es   in   t h is   r esear ch   i s   2 0 f r o m   tr ain i n g   d atase t,  w it h   to t al  o f   1 0 5 6   i m ag e s .   B ased   o n   th is   f i g u r e,   v alid atio n   o f   g r a y s ca le  i m ag d ata s et  i s   m o r s tab le,   w it h   9 0 o f   ac cu r ac y   co m p ar ed   to   th o th er   t w o   i m a g d ataset s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  1 8 ,   No .   4 A u g u s t   2020:    1 9 3 4   -   1 9 4 1   1938       Fig u r 3.   C o m p ar is o n   o f   tr ai n i n g   ac c u r ac y           Fig u r 4.   C o m p ar is o n   o f   v alid atio n   ac cu r ac y       3. 3   T esting   re s ult  a nd   a na ly s is   T h i s   r e s e a r c h   te s ts   th e   m e th o d   u s e d   w it h   th e   v a lu e   o f   E E R   ( e q u a l   e r r o r   r a t e ) .   W e   s o u g h t o   o b t a i n     t h e   l o w e s t   e q u a l   e r r o r   r a t e   b e tw ee n   th e   th r e e   d a t as e ts ,   an d   th en   c o m p a r e d   i t   w ith   o th e r   m e t h o d .   T o   f in d   e q u a e r r o r   r a t e ,   f i r s t   w e   f in d   f a ls e   ac c e p t an c e   r a t e   ( FA R )   an d   f a ls e   r e je c t e d   r a t e   ( FR R ) .   FA R   o c c u r s   w h en   th e   te s i d e n tif i e d   h a n d w r i ti n g   o w n e r   t o   a n o th e r   w r i te r ,   o r   f a l s e   p o s i ti v e .   F R R   o c cu r s   w h en   h an d w r it in g   i s   r e je c t e d   b e c a u s e   o f   a   f ai lu r e   t o   i d en t if iy ,   o r   f a ls e   n eg at iv e   [ 2 7 ] .   T o   f i n d   E E R ,   FA R   an d   F R R   i s   p lo t t e d   t o g e th e r   i n   a   g r a p h .   E E R   i s   th p o i n t   w h e r e   FA R   ( 1 )   an d   F R R   ( 2 )   m e et   [ 1 0 ] .   E E R   is   o f t en   u s e d   t o   m e asu r e   b i o m et r ic  s y s tem s .   Ge n u i n e   a c c e p ta n c e   r a t e   ( GA R )   ( 3 )   is   d e f in e d   a s   p e r c e n ta g e   o f   g e n u in e   w r i t e r   ac c ep t e d   b y   th e   s y s tem .     =                                     ( 1 )    =                                   ( 2 )   = 1    ( 3 )     W test   o u r   tr ain ed   m o d el  u s i n g   5 0 0   i m a g es ( f i v i m a g es  f o r   ea ch   class ) .   T h r esu lt s   s h o th at  u s i n g   g r a y s ca le  im ag es   d ataset  w o b tain ed   th at  g r a y s ca le  i m a g e s   d ataset  h av e   th lo w e s F AR   an d   FR R ,   an d   t h h ig h e s G A R   v al u e.   T h r esu lt  th e n   f o llo w ed   b y   in v er ted   b in ar y   i m ag e s   d ataset  an d   b in ar y   i m a g es  d ataset .   Fig u r 5   s h o w s   th at  g r a y s ca l i m ag y ield ed   lo w est  f alse  ac ce p t an ce   r ate  co m p ar to   th o th er   t w o .   Fro m     5 0 0   im a g es  w te s ted ,   o n l y   3 8   i m a g es  w er id en t if ied   a s   w r o n g   w r iter .   W f o u n d   th a s o m o f   t h 3 8   i m a g es   h av e   s i m ilar it y   w i th   t h cla s s es   t h w er id en ti f ied   a s ,   w it h   ex a m p le  ca n   b e   s ee n   i n   Fi g u r 6 .   Fi g u r 6   il lu s tr ates  t h s i m ilar it y   b et wee n   th t w o   w r iter   class e s .   T h s i m ilar it y   ca n   b s ee n   i n   s o m w a y   alp h ab et s   an d /o r   w o r d s   is   w r i tten .   B ase d   o n   tes r es u lt,  i m a g ( a)   id e n ti f ied   as   clas s   3 8 7   w it h   8 9 %   ac cu r ac y .   I s h o w s   th at  s i m ilar it y   in   t h w a y   alp h ab ets  is   w r itte n ,   ev e n   o n l y   s o m o f   t h e m ,   h a v g r ea i m p ac in   id en tific atio n   p r o ce s s .   Fig u r 5   also   s h o w s   t h at  g r a y s ca le  d ataset  h as  lo w e s f a ls r ej ec ted   r ate.   B ased   o n   t h test s ,   o n l y   3 9   i m a g es  r ej ec ted .   So m o f   it  g o id en tif ied   as  t h r ig h clas s   b u w ith   lo w   ac c u r ac y   a n d   s o m g o id en tifie d   as  Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Ha n d w r itin g   id en tifi ca tio n   u s i n g   d ee p   co n v o lu tio n a l n eu r a n etw o r meth o d   ( Oka   S u d a n a )   1939   w r o n g   cla s s   b u w it h   lo w   ac cu r ac y .   Fi g u r 5   also   s h o w s   g en u i n ac ce p tan ce   r ate  o f   all  th r ee   ca te g o r ies   d ataset.   T h h ig h est  v al u o f   GAR  w as  g r a y s ca le  i m ag e s   d ataset  w it h   v al u o f   9 2 . 3 %.           Fig u r 5.   C h ar t o f   F AR ,   F R R ,   an d   G A R   v alu e         ( a)     ( b )     Fig u r 6.   C o m p ar is o n   h an d w r i tin g   o f   d if f er en w r iter ( a)   w r i ter   w it h   id   3 8 5   an d ,   ( b )   w r iter   w it h   id   3 8 7       Fig u r 7   s h o w s   th R OC   o r   r ec eiv er   o p er atio n   ch ar ac ter is tics   o f   g r a y s ca le  i m a g es  d ataset.     T h is   g r ap h   s h o w s   w h er F AR   an d   FR R   v al u m ee t.  B ased   o n   th is   f i g u r e,   eq u al  er r o r   r ate  ca n   b f o u n d   o n   th r es h o ld   5 7 .   T h co m p lete  r esu lt   ca n   b s ee n   in   T ab le  2 .   B ased   o n   t h is   r es u lt,  g r a y s ca l i m a g d ata s et  h as   th b est   r es u lt  co m p ar w it h   th o t h er   d ataset s .   Gr a y s ca le  d ataset  g e eq u al   er r o r   r ate  ( E E R )   o f   7 . 7 t h a t   cr o s s ed   at  th r esh o ld   5 1 .   I s h o w s   t h at  p r e - tr ai n ed   m o d el  V GG1 9   h av g o o d   co m p atib i lit y   w it h   g r a y s ca le  i m a g es.  T h p o o r est  p er f o r m an ce   i s   w it h   b i n ar y   d ataset  w it h   h i g h est   E E R   v al u o f   1 3 . 2 th at  cr o s s ed     at  th r es h o ld   5 2 .   I n v er ted   b in ar y   h a s   g o o d   p er f o r m a n ce   w it h   E E R   v a lu o f   9 . 9 % t h at  cr o s s ed   at  th r es h o ld   6 0 .           Fig u r 7.   R ec eiv er   o p er atio n   ch ar ac ter is tic s   g r ap h   o f   g r a y s ca le  d ataset       T ab le   2.   C o m p lete  r es u lt o f   t h th r ee   d atasets   D a t a se t   F A R   ( %)   F R R   ( %)   T h r e sh o l d   G A R   ( %)   B i n a r y   1 3 . 4 %   1 3 . 0 %   52   8 6 . 8 %   G r a y sca l e   7 . 6 %   7 . 8 %   51   9 2 . 3 %   I n v e r t e d   B i n a r y   1 0 . 2 %   9 . 6 %   52   9 0 . 1 %       T h w o r s r esu l w g et  is   w h e n   u s in g   b in ar y   i m a g as   d ataset.   T h is   r esu lt  m a y   b e   ca u s ed   b y     th n o is e   a n d   d ata  lo s s   in   t h b in ar y   i m a g es  th at   m a k i d if f ic u lt  f o r   th e   C NN   to   lear n .   W h en   b i n ar y   i m a g e s   g en er ated   f r o m   g r a y s ca le  i m a g es,  it s   lo s s   s e v er al  f ea t u r es  f r o m   o r ig i n al  i m a g es.  I n v er ted   b in ar y   d atase h a v e   h ig h   r esu lt  o f   G AR   ca u s ed   b y   it s   b lack   b ac k g r o u n d   r ec o g n ized   as  f ea tu r es  b y   C NN.   I f   w c o m p ar th i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  1 8 ,   No .   4 A u g u s t   2020:    1 9 3 4   -   1 9 4 1   1940   m et h o d   w it h   o t h er   r esear ch   [6 7] ,   w ca n   s a y   t h at  th is   m et h o d   h av s e v er al  ad v an tag e.   F i r s t,  th m eth o d   t h at  w u s ed   d o esn n ee d   m u ch   o f   p r ep r o ce s s in g   m et h o d   an d   an o th er   s e g m e n tat io n   m e th o d .   T h is   m ak ti m t h at  n ee d ed   f o r   p r ep a r in g   th d a taset  f a s ter   th a n   th o th er   m et h o d .   Seco n d ,   w u s h a n d w r i tin g   i n   f o r m     o f   s en te n ce s ,   s o   it  h as  m o r ch a r ac ter is tics   an d   f ea tu r es  t h at  ca n   b ex tr ac ted   an d   lear n   b y   C NN.   B u w ca n t   co m p ar ti m n ee d ed   f o r   tr ain in g   b ec a u s t h o th er   r esear ch   d o esn t sp ec i f y   it.       4.   CO NCLU SI O N   W u s ed   tr an s f er   lear n in g   to   id en ti f ied   w r iter   b ased   o n   th e ir   h an d w r iti n g   u s i n g   p r e - tr ain ed   C NN.     W tr ain ed   m o d el  u s i n g   I A M   h an d w r it in g   d ataset  co m p r is i n g   o f   1 0 0   class e s   o f   w r iter .   B ased   o n   th r es u l t     o f   tr ain in g   a n d   tes tin g ,   p r e - tr ain ed   m o d el  VGG1 9   h a s   t h e   b est  p er f o r m a n ce   w h e n   u s i n g   g r a y s ca le  i m a g es   th an   u s i n g   b in ar y   o r   i n v er ted   b in ar y   i m a g es.   O u r   f in d i n g   al s o   in d icate s   t h at   h a n d w r iti n g   i m a g i n   s en ten ce s   f o r m   ca n   b u s ed   d ir ec tl y   w i th o u a n o th er   s eg m e n tatio n   o r   f ea t u r ex tr ac tio n   m et h o d   n ee d ed .     T h d is ad v an tag e   o f   th i s   r ese ar ch   is   th ti m it  to o k   to   f i n i s h   tr ai n in g   p r o ce s s .   T r ain in g   p r o ce s s   to o k   al m o s t   1 0   h o u r s   to   co m p lete  1 0 0   ep o ch s .         RE F E R E NC E S   [1 ]   K.  Ch a u d h a ri  a n d   A .   T h a k k a r,   S u rv e y   o n   h a n d w rit in g - b a se d   p e r so n a li ty   trait  id e n ti f ica ti o n ,   Exp e rt  S y ste ms   wit h   Ap p li c a ti o n s ,   v o l .   1 2 4 ,   p p .   2 8 2 3 0 8 ,   J u n   2 0 1 9 d o i:   1 0 . 1 0 1 6 /j . e sw a . 2 0 1 9 . 0 1 . 0 2 8 .   [2 ]   A .   Kriz h e v s k y ,   I.   S u tsk e v e r,   a n d   G .   E.   Hin to n ,   Im a g e N e c las si f ic a ti o n   w it h   d e e p   c o n v o lu ti o n a n e u ra n e tw o rk s,”   Co mm u n ica ti o n s   ACM ,   v o l.   6 0 ,   n o .   6 ,   p p .   8 4 9 0 ,   M a y   2 0 17 .   d o i:   1 0 . 1 1 4 5 /3 0 6 5 3 8 6 .   [3 ]   K.  H.  Jin ,   M .   T .   M c Ca n n ,   E.   F ro u ste y ,   a n d   M .   Un se r,   De e p   Co n v o l u ti o n a Ne u ra Ne two rk   f o In v e rse     P r o b lem in   Im a g in g ,   IEE T ra n sa c ti o n o n   Im a g e   Pr o c e ss in g ,   v o l.   2 6 ,   n o .   9 ,   p p .   4 5 0 9 4 5 2 2 ,   S e p   2 0 1 7 .     d o i:   1 0 . 1 1 0 9 /T IP . 2 0 1 7 . 2 7 1 3 0 9 9 .   [4 ]   J.  S c h m id h u b e r,   De e p   L e a rn in g   i n   Ne u ra l   Ne tw o rk s:  A n   Ov e r v ie w ,   Ne u ra Ne two rk s ,   v o l.   6 1 ,     p p .   8 5 1 1 7 ,   Ja n   2 0 1 5 .   d o i:   1 0 . 1 0 1 6 /j . n e u n e t. 2 0 1 4 . 0 9 . 0 0 3 .   [5 ]   C .   K .   D e w a ,   A .   L .   F a d h i l a h ,   a n d   A .   A f i a h a y a t i ,   C o n v o l u t i o n a l   N e u r a l   N e tw o rk s   f o r   H a n d w r i t t e n   J a v a n e s e   C h a r a c t e R e c o g n i t i o n ,   I J C C S   ( I n d o n e s i a n   J o u r n a l   o f   C o m p u t i n g   a n d   C y b e r n e t i c s   S y s t e ms ) ,   v o l .   1 2 ,   n o .   1 ,   p p .   8 3 - 94 ,   J a n   2 0 1 8 .   d o i :   1 0 . 2 2 1 4 6 / i j c c s . 3 1 1 4 4 .   [6 ]   B .   V .   D h a n d r a   a n d   M .   B.   V i j a y a l a x m i ,   N o v e l   Ap p r o a c h   to   Te x t   D e p e n d e n t   Wr i t e r   Id e n ti fi c a t io n   o K a n n a d a   H a n d wr i t in g ,   P r o c e d ia   Co mp u te r   S c i e n c e ,   v o l .   4 9 ,   p p .   3 3 4 1 ,   2 0 1 5 .   d o i:   1 0 . 1 0 1 6 / j. p r o c s . 2 0 1 5 . 0 4 . 2 2 4 .   [7 ]   L .   X in g   a n d   Y.  Qia o ,   De e p Wr it e r:  M u lt i - S tr e a m   D e e p   CN f o T e x t - in d e p e n d e n W rit e Id e n ti f ica ti o n ,   a rX iv :1 6 0 6 . 0 6 4 7 2 ,   Ju n   2 0 1 6 .   [8 ]   U.   V .   M a rti   a n d   H.  Bu n k e ,   T h e   IA M - d a tab a se a n   En g li sh   se n ten c e   d a tab a se   f o o ff li n e   h a n d w rit in g   re c o g n it io n ,   In ter n a t io n a J o u rn a o n   Do c u me n An a lys is  a n d   Rec o g n i ti o n ,   v o l.   5 ,   n o .   1 ,   p p .   3 9 4 6 ,   N o v   2 0 0 2 .   d o i:   1 0 . 1 0 0 7 /s 1 0 0 3 2 0 2 0 0 0 7 1 .   [9 ]   A .   Re h m a n ,   S .   Na z ,   M .   I.   Ra z z a k ,   a n d   I.   A .   Ha m e e d ,   A u to m a ti c   V isu a F e a t u re f o W rit e Id e n ti fica ti o n A   De e p   L e a rn in g   A p p ro a c h ,   IEE Acc e ss ,   v o l.   7 ,   p p .   1 7 1 4 9 1 7 1 5 7 ,   2 0 1 9 .   d o i 1 0 . 1 1 0 9 /A CCES S . 2 0 1 8 . 2 8 9 0 8 1 0 .   [1 0 ]   P .   Hrid a y a m i,   F ish   S p e c ies   R e c o g n it io n   Us in g   V GG 1 6   De e p   Co n v o l u ti o n a l   Ne u ra Ne tw o rk ,   J o u rn a l   o f   Co mp u t in g   S c ien c e   a n d   E n g i n e e rin g ,   v o l.   1 3 ,   n o .   3 ,   p p 1 2 4 - 1 3 0 ,   2 0 1 9 .   [1 1 ]   D.  Ha n ,   Q.  L iu ,   a n d   W .   F a n ,   A   n e w   i m a g e   c las sif i c a ti o n   m e t h o d   u si n g   CNN   tran sf e lea rn in g   a n d   w e b   d a ta   a u g m e n tatio n ,   Exp e rt  S y ste ms   wit h   A p p l ica ti o n s ,   v o l.   9 5 ,   p p .   4 3 5 6 ,   A p 2 0 1 8 .   d o i:   1 0 . 1 0 1 6 /j . e sw a . 2 0 1 7 . 1 1 . 0 2 8 .   [1 2 ]   O.  Ru ss a k o v sk y   e a l. ,   Im a g e N e t   L a rg e   S c a le V isu a Re c o g n it i o n   Ch a ll e n g e ,   a rX iv :1 4 0 9 . 0 5 7 5 ,   S e p .   2 0 1 4 .   [1 3 ]   Y.  Yo u ,   Z.   Zh a n g ,   C. - J.  Hs ieh ,   J.  De m m e l,   a n d   K.  Ke u tze r,   I m a g e Ne T r a in in g   in   M in u tes ,   a rX iv :1 7 0 9 . 0 5 0 1 1 Ja n   2 0 1 8 .   [1 4 ]   S .   H.  S .   Ba sh a ,   S .   R.   D u b e y ,   V .   P u lab a ig a ri,   a n d   S .   M u k h e rjee ,   I m p a c o f   F u ll y   Co n n e c ted   L a y e rs  o n     P e rf o rm a n c e   o f   Co n v o lu ti o n a Ne u ra Ne t w o rk f o I m a g e   Clas sifica ti o n ,   Ne u ro c o mp u ti n g v o l.   3 7 8 ,   p .   1 1 2 - 1 1 9 Oc 2 0 1 9 .   d o i:   1 0 . 1 0 1 6 / j. n e u c o m . 2 0 1 9 . 1 0 . 0 0 8 .   [1 5 ]   S .   G iri   a n d   B.   Jo sh i,   T ra n sf e r   L e a rn in g   Ba s e d   I m a g e   V isu a li z a ti o n   Us in g   CNN ,   I n ter n a ti o n a J o u rn a o f   A rtif icia I n telleg e n c e   a n d   A p p li c a ti o n ,   v o l .   1 0 ,   n o .   4 ,   p p .   4 7 5 5 ,   J u 2 0 1 9 .   d o i:   1 0 . 5 1 2 1 / ij a ia.2 0 1 9 . 1 0 4 0 4 .   [1 6 ]   H.  Ye ,   H.  Ha n ,   L .   Zh u ,   a n d   Q.  Du a n ,   V e g e tab le  P e st  I m a g e   Re c o g n it io n   M e th o d   Ba s e d   o n   Im p ro v e d     V GG   Co n v o lu ti o n   Ne u ra Ne tw o rk ,   J o u rn a o P h y sic Co n fer e n c e   S e rie s ,   v o l.   1 2 3 7 ,   J u n   2 0 1 9 .     d o i:   1 0 . 1 0 8 8 /1 7 4 2 - 6 5 9 6 / 1 2 3 7 / 3 /0 3 2 0 1 8 .   [1 7 ]   T .   S in h a ,   B .   V e rm a ,   a n d   A .   Ha id a r,   Op ti m iza ti o n   o f   c o n v o lu ti o n a l   n e u ra l   n e tw o rk   p a ra m e ters   f o i m a g e   c las si f ica ti o n ,   2 0 1 7   IEE E   S y mp o siu S e rie o n   C o mp u ta ti o n a l   I n telli g e n c e   ( S S CI) ,   Ho n o l u l u ,   HI,   p p .   1 7 ,   2 0 1 7 d o i:   1 0 . 1 1 0 9 /S S CI. 2 0 1 7 . 8 2 8 5 3 3 8 .   [1 8 ]   M .   L in ,   Q.  C h e n ,   a n d   S .   Ya n ,   Ne tw o rk   in   Ne tw o rk ,   a rX iv :1 3 1 2 . 4 4 0 0 ,   M a 2 0 1 4 .   [1 9 ]   L .   A l z u b a id i,   H.  A .   A l w z w a z y ,   a n d   Z.   M .   A rk a h ,   Co n v o l u ti o n a Ne u ra Ne tw o rk   w i th   G lo b a A v e ra g e   P o o li n g   f o r   Im a g e   Cl a ss i f ica ti o n ,   In ter n a ti o n a C o n fer e n c e   o n   El e c trica l,   C o mm u n ic a ti o n ,   El e c tro n ics ,   In str u me n ta t io n   a n d   Co mp u t in g   ( ICECE IC) ,   2 0 2 0 .   [2 0 ]   Jin g   Ya n g   a n d   G u a n c Ya n g ,   M o d if ied   Co n v o lu ti o n a Ne u ra Ne tw o rk   Ba s e d   o n   Dro p o u a n d   th e   S to c h a stic  G ra d ien De sc e n Op ti m iz e r,   Al g o rith ms ,   v o l .   1 1 ,   n o .   3 ,   M a 2 0 1 8 .   d o i 1 0 . 3 3 9 0 /a1 1 0 3 0 0 2 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         Ha n d w r itin g   id en tifi ca tio n   u s i n g   d ee p   co n v o lu tio n a l n eu r a n etw o r meth o d   ( Oka   S u d a n a )   1941   [2 1 ]   N.  S riv a sta v a ,   G .   Hin to n ,   A .   Kriz h e v sk y ,   I.   S u tsk e v e r,   a n d   R.   S a la k h u td i n o v ,   Dro p o u t:   A   S i m p le  W a y   to   P re v e n t   Ne u ra Ne t w o rk f ro m   Ov e rfi tt i n g ,   T h e   J o u rn a o M a c h in e   L e a rn in g   Res e a rc h   ( J M L R) ,   v o l.   15 ,   n o .   56   p p .   1 9 2 9 1 9 5 8 ,   2 0 1 4 .   [2 2 ]   N.  S .   Ke sk a a n d   R.   S o c h e r,   I m p ro v in g   Ge n e ra li z a ti o n   P e rf o rm a n c e   b y   S w it c h in g   f ro m   Ad a m   to   S G D,”   a rX iv :1 7 1 2 . 0 7 6 2 8 ,   De c   2 0 1 7 .   [2 3 ]   A .   C.   W il so n ,   R.   Ro e lo f s,  M .   S te rn ,   N.  S re b r o ,   a n d   B.   Re c h t ,   T h e   M a rg in a V a lu e   o f   A d a p ti v e   G r a d ien M e th o d s   in   M a c h i n e   L e a rn in g ,   a rX iv :1 7 0 5 . 0 8 2 9 2 ,   M a y   2 0 1 8 .   [2 4 ]   T .   Ca rn e iro ,   R.   V.  M e d e ir o Da   No b re g a ,   T .   Ne p o m u c e n o ,   G .   B.   Bian ,   V.  H.  C .   De   A lb u q u e rq u e ,   a n d   P .   P .   R .   F il h o ,   P e rf o rm a n c e   A n a l y sis  o G o o g le  Co lab o ra to ry   a a   T o o f o A c c e l e ra ti n g   De e p   L e a rn in g   A p p li c a ti o n s,   IEE Acc e ss ,   v o l.   6 ,   p p .   6 1 6 7 7 6 1 6 8 5 ,   2 0 1 8 .   d o i:   1 0 . 1 1 0 9 /A CCES S . 2 0 1 8 . 2 8 7 4 7 6 7 .   [2 5 ]   C .   L v ,   T .   Z h a n g ,   C .   L i u ,   a n d   S c h o o l   o f   A u t o m a t i o n ,   Be i j i n g   I n s t i t u t e   o f   T e c h n o l o g y ,   A n   Im p r o v e d   O ts u s   T h r e s h o l d i n g   A lg o r i t h m   o n   G e s t u r e   S e g m e n t a t i o n ,   J o u r n a l   o f   A d v a n c e d   C o m p u t a t i o n a l   I n t e l l i g e n c e   a n d   I n t e l l i g e n t   I n f o r m a t i c s ,   v o l .   2 1 ,   n o .   2 ,   p p .   2 4 7 2 5 0 ,   M a r   2 0 1 7 .   d o i :   1 0 . 2 0 9 6 5 / j a c i i i . 2 0 1 7 . p 0 2 4 7 .   [2 6 ]   R .   Y a m a s h i t a ,   M .   N i s h i o ,   R .   K .   G.   D o ,   a n d   K .   T o g a s h i ,   C o n v o l u t i o n a l   n e u r a l   n e tw o r k s :   a n   o v e rv i e w   a n d   a p p l i c a t i o n   i n   r a d i o l o g y ,   I n s i g h t s   I m a g i n g ,   v o l .   9 ,   n o .   4 ,   p p .   6 1 1 6 2 9 ,   A u g   2 0 1 8 .   d o i :   1 0 . 1 0 0 7 / s 1 3 2 4 4 - 018 - 0 6 3 9 - 9.   [2 7 ]   NK A   W ird ian i,   T .   L a tt i f ia,  I.   K.  S u p a d m a ,   B.   J.  K.  M a h a r,   D.  A .   N.  T a ra d h it a ,   Re a l - T i m e   F a c e   R e c o g n it io n   w it h   Ei g e n f a c e   M e th o d ,   In ter n a ti o n a J o u rn a o Im a g e ,   Gr a p h ics   a n d   S ig n a Pr o c e ss in g ( IJ IGS P) ,   v o l.   1 1 ,   n o .   1 1 ,     p p .   1 9 ,   N o v   2 0 1 9 .   d o i:   1 0 . 5 8 1 5 /i ji g sp . 2 0 1 9 . 1 1 . 0 1 .       B I O G RAP H I E S O F   AUTH O RS       A.   A.  K o m p ia n g   O k a   S u d a n a ,   c u rre n tl y   a   L e c tu re in   th e   In f o r m a ti o n   T e c h n o l o g y   S tu d y   P r o g ra m ,   Ud a y a n a   Un iv e rsit y ,   Ba li .   A re a o f   in tere st:  I m a g e   P r o c e ss in g ,   In f o rm a ti o n   S y st e m s,  IT   I m p le m e n tatio n   in   Cu lt u re   a n d   Re li g io n .   S 1   in   In f o rm a ti c De p a rt m e n o f   IT S   S u ra b a y a ,   M a ste rs  in   El e c tri c a En g in e e rin g   UG M   Yo g y a k a rta,  c u rre n tl y   in   th e   p ro c e ss   o f   stu d y in g   S 3   a Ud a y a n a   Un iv e rsity .                 W a y a n   G u n a y a   w a s   b o r n   o n   S e p t e m b e r   3 ,   1 9 9 8   i n   B a n g l i ,   B a l i ,   I n d o n e s i a .   H e   i s   a   s t u d e n t   i n   D e p a r tm e n t   o f   I n f o rm a t i o n   T e c h n o l o g y ,   U d a y a n a   U n i v e r s i ty ,   B a li ,   I n d o n e s i a .   H i s   re s e a r c h   i n t e r e s t s   a r e   i n   im a g e   p r o c e s s i n g ,   c o m p u t e r   v i s i o n ,   d a t a   sc i e n c e ,   a n d   m a c h i n e   le a r n i n g .           K e tu G e d e   Da r m a   P u tr a   c u r re n tl y   a   L e c tu re in   De p a rt m e n o f   El e c tri c a l   En g in e e rin g   a n d   In f o rm a ti o n   T e c h n o l o g y ,   Ud a y a n a   Un iv e rsit y   Ba li ,   In d o n e sia .   He   re c e iv e d   h is  S .   Ko m   d e g re e   in   In f o rm a ti c En g in e e rin g   f ro m   In stit u te  o f   S e p u l u h   No v e m b e T e c h n o lo g y   S u ra b a y a ,   In d o n e sia   in   1 9 9 7 .   He   re c e i v e d   h is  m a ste d e g re e   o n   In f o rm a ti c a n d   Co m p u ter  En g in e e rin g   f ro m   El e c tri c a En g in e e rin g   De p a rt m e n t,   G a d jah   M a d a   Un iv e rsit y ,   In d o n e sia   in   2 0 0 0   a n d   a c h iev e d   h is  d o c to ra t e   d e g re e   o n   In f o rm a ti c a n d   Co m p u ter  En g in e e rin g   f ro m   El e c tri c a En g in e e rin g   De p a rtme n t,   G a d jah   M a d a   Un iv e rsity ,   In d o n e sia   in   2 0 0 6 .   His   re se a rc h   in tere sts a re   in   b io m e tri c s,  im a g e   p ro c e ss in g ,   d a ta m in in g ,   a n d   so f c o m p u ti n g .         Evaluation Warning : The document was created with Spire.PDF for Python.