I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   1 2 ,   No .   2 N o v e m b er   201 8 ,   p p .   4 5 5 ~ 4 6 0   I SS N:  2502 - 4752 ,   DOI : 1 0 . 1 1 5 9 1 / i j ee cs . v 1 2 .i 2 . p p 455 - 4 6 0           455       J o ur na l ho m ep a g e h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / ijeec s   Deep Lea rni ng  f o r Ro m a n  H a ndw ritt en  Chara cter  R ecog nition       M uh a a f idz  M d Sa ufi,   M o hd   Af iq  Z a m a nh uri,  No ra s ia h M o ha m m a d a nd   Z a ida h I br a hi m   F a c u lt y   o f   Co m p u ter an d   M a th e m a ti c a S c ien c e s Un iv e rsiti   T e k n o lo g M A R A ,   S h a h   A la m ,   S e lan g o r M a lay sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   9 ,   2 0 1 8   R ev i s ed   J u l   1 2 ,   2 0 1 8   A cc ep ted   Ju l   30 ,   2 0 1 8     T h e   a d v a n tag e   o f   d e e p   lea rn in g   i th a t h e   a n a ly sis  a n d   lea rn in g   o f   m a s siv e   a m o u n ts  o f   u n su p e rv ise d   d a ta  m a k e   it   a   b e n e f icia to o f o Big   Da t a   a n a ly si s.   Co n v o l u ti o n   Ne u ra Ne tw o rk   (C NN is  a   d e e p   lea rn in g   m e th o d   th a c a n   b e   u se d   to   c las sify   i m a g e ,   c lu ste r   th e m   b y   si m il a rit y ,   a n d   p e rf o rm   i m a g e   re c o g n it io n   i n   th e   sc e n e .   T h is  p a p e c o n d u c ts  a   c o m p a ra ti v e   stu d y   b e t w e e n   th re e   d e e p   lea rn in g   m o d e ls,   w h ich   a re   si m p le - CNN ,   A l e x Ne a n d   G o o g LeN e f o Ro m a n   h a n d w ri tt e n   c h a ra c ter  re c o g n it io n   u si n g   Ch a rs7 4 K   d a tas e t.   T h e   p ro d u c e d   re su lt i n d ica te  t h a G o o leN e a c h iev e s   th e   b e st   a c c u ra c y   b u it   re q u ires   a   l o n g e ti m e   to   a c h iev e   su c h   re su lt   w h il e   A lex Ne t   p ro d u c e s les s ac c u ra te res u lt   b u t   a a   f a ste ra te.   K ey w o r d s :   A le x Net   C NN   Dee p   L ea r n i n g   Go o g L eNe t   Han d w r itte n   Dig it R ec o g n it io n   Co p y rig h ©   2 0 1 8   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   All  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Mu h aa f id Md   Sau f i   Facu lt y   o f   C o m p u ter   an d   Ma t h e m a tical  Scie n ce s ,   Un i v er s iti T ek n o lo g i M A R A ,   Sh a h   A la m ,   Selan g o r ,   Ma la y s i a .   E m ail:  m u h aa f id z4 ev er @ g m ai l.c o m       1.   I NT RO D UCT I O N   On o f   th m o s w id el y   u s ed   ap p licatio n s   o f   A r t if icial  Ne u r al  Net w o r k   is   C h ar ac ter     R ec o g n itio n   [ 1 - 2 ] .   Dee p   lear n in g   is   o n e   th m o s p o w er f u m ac h in lear n i n g   m et h o d o lo g y   f o r   s o l v i n g   cr it ical   p r o b lem s   o f   i m ag e   p r o ce s s in g ,   co m p u ter   v is io n ,   n at u r al  la n g u a g p r o ce s s i n g   a n d   s i g n al   p r o ce s s in g .   k e y   ad v an ta g e   o f   d ee p   lear n in g   is   th at  th a n al y s i s   an d   lear n i n g   o f   m as s i v a m o u n t s   o f   u n s u p er v is ed   d ata  m ak i t   b en ef icial   to o f o r   B ig   Data   an al y s is   [ 3 ] .   T h u s ,   d ee p   lear n in g   o f ten   p r o d u ce s   g o o d   r esu lt s .   Nev er th ele s s ,   w m u s s a y   th at   d ee p   lear n i n g   ap p r o ac h es   r eq u ir h i g h   co m p u tin g   r eso u r ce s   co m p ar ed   t o   m o r tr ad itio n al   m ac h in lear n i n g   ap p r o ac h es.  I n d ee d   it n ec ess i tates a   p o w er f u l G P an d   b ig   d atab ase   [ 4 ].   Ov er   t h p as f e w   y ea r s ,   d ee p   lear n in g   o n   r e m o te  s e n s in g   i m ag er y   s h o w s   e x ce p tio n al l y   g o o d   r esu lt s   o n   b o th   o p tical  ( h y p er s p ec tr al  an d   m u lti s p ec tr al  i m ag er y )   an d   r ad ar   im a g es  a n d   i n   m ap p in g   la n d   ar ea s .   Sce n e   class i f icatio n   o f   h i g h   r eso lu t i o n   r e m o te  s e n s in g   i m a g p la y s   m aj o r   r o le  f o r   v ar io u s   t y p e s   o f   ap p licatio n f o r   in s ta n ce   la n d - u s d eter m i n atio n ,   n atu r al  h az ar d   d etec tio n ,   n et w o r k   i n tr u s io n   d etec ti o n   [ 5 ] ,   g eo s p atial  o b j ec d etec tio n ,   an d   u r b an   p lan n in g   [ 6 ] .   R ec en tl y ,   d ee p   lear n in g   m et h o d   esp ec iall y   co n v o l u tio n a n e u r al  n et w o r k   h av s h o w n   th e ir   m u ch   s tr o n g er   f ea t u r r ep r esen tat io n   p o w er   in   co m p u ter   v i s io n   C o n v o lu tio n   Ne u r al  Net w o r k   ( C NN)   is   a   d ee p   ar tific ial  n eu r al   n et w o r k   t h at   is   u s ed   m ai n l y   to   class i f y   i m a g e,   clu s ter   th e m   b y   s i m ilar it y ,   a n d   p er f o r m   i m ag r ec o g n itio n   in   t h s ce n e.   C NN  h a s   s h o w n   i m p r ess i v p er f o r m a n ce s   i n   ar tif icial  i n telli g e n ce   task s   s u ch   as  o b j ec r ec o g n itio n   an d   n atu r al  lan g u a g e   p r o ce s s in g   [ 4 ] .   T h g en er al   s tr u ctu r e   o f   a   C NN  co n s is ts   o f   la y er s   co m p o s ed   o f   n e u r o n s .   n eu r o n   ta k es  in p u t   v alu e s ,   d o es  co m p u tatio n s   a n d   p ass es  t h r es u lt  to   th e   n e x t   la y er .   B esid es  i m a g r ec o g n i tio n ,   C N also   ca n   b u s ed   in   v id eo   an al y s is   a n d   also   n at u r al  lan g u a g p r o ce s s i n g   [ 7 ] .   Fo r   ca s es  w h er th av a ilab l d ata  is   n o m u c h ,   p r e - tr ain ed   C NN  m o d els  s u c h   as  A le x Net  an d   Go o g L eNe t   ca n   b u s ed .   B o th   attai n   a   lo w   er r o r   w h en   t r ain ed   o v er   t h m illi o n   o f   i m ag e s   co n ta in ed   i n   I m ag eNe [ 8 ] .   Go o g L eNe a n d   A lex Ne ar o f ten   u s ed   in   p h o to   class i f icatio n ,   as  lar g f r ac tio n   o f   ex a m p le s   in   I m ag e Net  t h at  ar co m p o s ed   o f   p h o to s .    T h u s e   o f   p r e - tr ain ed   C NN   m o d el  is   to   tr an s f er   t h lear n in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l 1 2 ,   No .   2 No v e m b er   201 8   :   4 5 5     4 6 0   456   p ar am eter s .   R at h er   t h an   co n s t r u ctin g   a n d   tr ain i n g   n e w   n et w o r k ,   w ca n   ta k p r etr ain e d   n et w o r k   a n d   u s e s   it  as   s tar t in g   p o in to   lear n   a   n e w   tas k   a n d   d o   f in e   tu n i n g .   P r e - tr ain ed   C N m o d el s   h av e   alr ea d y   lear n ed   a   lar g s et  o f   f ea t u r es.    T h u s ,   th class i f icatio n   an d   r ec o g n i tio n   p r o ce s s   ca n   b ac h ie v ed   f as t er .     I n   t h is   p ap er ,   co m p ar is o n   b et w ee n   C NN  a n d   t w o   o f   th p o p u lar   p r e - tr ain ed   C NN   m o d el s   ar e   co n d u cted   in   ter m s   o f   ac cu r ac y   p er f o r m an ce .   T h ese  t w o   m o d els  ar Go o g leNe an d   A lex Net.   T h o b j ec tiv e   o f   th i s   co m p ar is o n   i s   to   k n o w   w h ic h   m o d els  ar b est s u ited   t o   r ec o g n ize   th d ata.       2.   T H E   P E RF O RM ANCE O VE RVI E O F   CNN  M O DE L S USI N G   H AND WRI T T E CAP I T A L   L E T T E DA T AS E T   T h d ataset  n ee d s   to   ad h er with   t h co n s tr ai n ts   g i v e n   b y   t h C NN  m o d els.  O n o f   t h co n s tr ai n i s   r eg ar d in g   t h s ize  o f   t h i n d iv i d u al  i m a g e.   A le x Net  n ee d s   to   u s a   p r ec is i m a g s ize  f o r   tr ain i n g .   B esid es t h e   co n s tr ain ts   f r o m   t h m o d els,  t h h ar d w ar u s ed   also   p la y s   a n   i m p o r tan p ar o n   th p er f o r m an ce .   So ,   to   test   th ese  3   C NN  m o d els,  h i g h   p er f o r m an ce   g a m i n g   lap to p   is   u s ed   to   co n d u ct  t h te s t.  T h l ap to p   n ee d s   to   h a v e   d ed icate d   NVI DI A   Gr ap h ic s   P r o ce s s in g   U n it  ( GP U)   w it h   m i n i m u m   o f   8   g i g ab y te   o f   R a n d o m   A cc e s s   Me m o r y   ( R A M) .   T h co m p let s p ec if icatio n   o f   t h lap to p   u s ed   is   lis ted   in   T ab le  1 .       T ab le  1 .   L ap to p   Sp ec if icatio n   M o d e l   M S I   G L 6 2 - 6 Q F   O p e r a t i n g   S y st e m   W i n d o w s 1 0   P r o c e sso r   I n t e l   C o r e   i 7 - 6 7 0 0 H Q   R A M   8   g i g a b y t e s   G r a p h i c s   C a r d   N v i d i a   G T X   9 6 0 M       T h d ataset  u s ed   f o r   tr ain in g   o n   th e s t h r ee   m et h o d s   is   C h ar s 7 4 d ataset  [ 9 ] .   T h d ataset  co n s is ts   o f   th i m ag e s   o f   h a n d w r it ten   ca p ital  letter s ,   s m all  letter s ,   n u m b er s   an d   s y m b o ls .   E ac h   o f   t h l etter   co n s is ts   o f   5 5   v ar iatio n s   o f   id en tica i m a g es .     Sin ce   th o v er all  tr ai n i n g   t ak es  l ong   ti m an d   th h ar d w ar u s ed   f o r   th e   tr ain i n g   is   s ti ll  n o p o w er f u en o u g h ,   th e   tr ai n in g   o n l y   co v er s   h an d w r itte n   ca p ita lette r s   o n l y ,   w h ic h   ar e   letter s   to   Z ,   t h u s ,   t h is   m a k es  th to tal  n u m b er   o f   i m a g es   u s ed   i n   t h e x p er i m e n i s   1 4 3 0 .   T h s ize  o f   t h e   i m a g es i n   th d atase is   1 2 0 0   x   9 0 0   p ix els.    R ed u ci n g   th r es o lu tio n   m a y   d ec r ea s t h e   v al id atio n   ac cu r ac y .         2 . 1 .   Si m ple - CN N   A   C NN  co n s is ts   o f   o n o r   m o r co n v o lu t io n al  la y er s ,   u s u all y   alo n g   w it h   s u b s a m p li n g   la y er ,   w h ic h   ar f o llo w ed   b y   o n o r   m o r f u ll y   co n n ec ted   la y er s   s i m il ar   to   a   s tan d ar d   n eu r al  n et wo r k .   T h ese  co m p le x   ar ch itect u r es  ar b u il f o r   cla s s if ica tio n   p r o b le m s   b y   s tack i n g   m u l tip le  an d   d i f f er en la y er s .   Gen er all y ,   t h er ar f o u r   t y p e s   o f   la y er s ,   w h i ch   ar co n v o lu t io n   la y er s ,   p o o li n g / s u b s a m p li n g   la y er s ,   n o n - lin ea r   la y er s ,   a n d   f u ll y   co n n ec ted   la y er s   [ 1 0 ] .   T h f ir s la y er ,   co n v o lu tio n al  la y er s   ar ab le  to   ex tr ac th lo ca f ea tu r es  b ec au s th e y   r estrict   th e   r ec ep tiv f iel d s   o f   t h h id d en   la y er s   to   b l o ca l.  T h en ,   th e   p o o lin g / s u b s a m p li n g   la y er   r ed u ce s   th r eso l u tio n   o f   t h f ea t u r es.   T h is   p r o ce s s   m a k es   t h f ea t u r es  r o b u s a g ai n s t   n o i s a n d   d is to r tio n .   Ne u r al   n et w o r k s   g e n er all y   an d   C NN  s p ec if icall y   r el y   o n   t h ir d   la y er ,   n o n - lin ea r   tr i g g er ”  f u n c ti o n   to   s i g n al  d i s ti n ct   id en ti f icatio n   o f   i d en t icall y   f e atu r es  o n   ea ch   h id d en   la y er .   C NN  m a y   u s v ar iet y   o f   s p ec if ic  f u n ctio n s   s u c h   as  r ec tif ied   lin ea r   u n its   ( R e L Us)  an d   co n tin u o u s   tr ig g er   ( n o n - li n ea r )   f u n ctio n s   to   ef f icie n tl y   i m p le m en th i s   n o n - li n ea r   tr i g g er i n g .   T h f in al  la y er ,   Fu ll y   co n n ec ted   la y e r s ,   to tal  u p   w ei g h ti n g   o f   t h p r ev io u s   la y er   o f   f ea t u r es,  i n d icatin g   th e   p r ec is m i x   o f   i n g r ed ie n ts   to   d et er m in e   s p ec i f ic  tar g et  o u tp u r es u lt.    Fi g u r 1   illu s tr ates t h s i m p le - C NN  ar c h itect u r e.   Fo r   th is   C NN  m o d el,   th i m a g es  ar r esized   to   s m aller   s ize,   9 3 x 7 0   p ix els  to   b p r ec is e.   T h is   is   b ec au s b y   u s i n g   th o r ig i n a r eso lu tio n   is   i m p o s s ib le  d u to   th lim i tatio n   o f   Gr ap h i cs  P r o ce s s in g   Un it  ( GP U)   m e m o r y   o f   th d ev ice   u s ed   f o r   th is   tr ain in g .   T h tr ain i n g   is   s e to   1 0   e p o ch   w i t h   1 0   iter atio n s   f o r   ev er y   e p o ch .   B ased   o n   t h r esu lt,   t h tr ai n i n g   h a s   r ea c h   th f i n al  iter atio n   at  E p o ch   1 0   w it h   0. 8 0 7 7   o f   v alid atio n   ac cu r ac y .   T h ac cu r ac y   alr ea d y   n ea r   th m ax i m u m   d u r in g   th E p o ch   9 .   Fig u r e   2   s h o w s   th d etail   r esu lt s   o f   t h tr ai n i n g   an d   v al id atio n   p r o ce s s .     Fi g u r 3   lis t ed   s o m s a m p le   i m a g es  t h at   h av e   b ee n   co r r ec tl y   class i f ied .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dee p   Lea r n in g   fo r   R o ma n   Ha n d w r itten   C h a r a cter R ec o g n itio n   ( Mu h a a fid z   Md   S a u fi )   457       Fig u r 1 .   Si m p le - C N ar ch ite ctu r [ 1 0 ]           Fig u r 2.   Si m p le - C N t r ain i n g   an d   v al id atio n   d etails           Fig u r 3.   Si m p le - C N t est r es u lts       2 . 2 .   Alex Net   A le x Net  is   m ad u p   o f   5   c o n v o l u tio n al  la y er s ,   m a x - p o o lin g   la y er s ,   d r o p o u la y er s   a n d   3   f u ll y   co n n ec ted   la y er s .   R el u   is   ap p lied   af ter   e v er y   co n v o lu t io n al  an d   f u ll y   co n n ec ted   la y er .   Dr o p o u is   ap p lied   b ef o r th f ir s an d   th s ec o n d   f u l l y   co n n ec ted   la y er   [ 1 1 ] .   Fi g u r 4   ill u s tr at es  t h ar ch itect u r o f   A le x Net.   Fo r   th is   tr ai n i n g ,   t h i m a g e s   s ize  a r b ac k   to   its   d ef au lt  s ize.   T h tr ain in g   is   s e to   5   ep o ch   w i th   1 0 1   iter atio n s   p er   ep o ch .   T h r esu lts   s h o w   th a th tr ain i n g   h as  r ea ch ed   th f i n al  iter atio n   w it h   0. 94 23   v alid atio n   ac cu r ac y .   As   th iter atio n   p r o ce s s   o n   A le x Net  is   ten f o ld   t h an   Si m p le - C NN,   th e   tr ain i n g   ac c u r ac y   is   a lr ea d y   h it   0. 90  in   t h e   m id d le  o f   t h s ec o n d   ep o ch .   T h r esu lts   o f   t h tr ai n i n g   ca n   b s ee n   i n   Fi g u r 5   w h i le  F ig u r 6   l is ted   s o m e   s a m p le  i m a g es t h at  h a v b ee n   co r r ec tly   cla s s i f ied   b y   A le x Ne t.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l 1 2 ,   No .   2 No v e m b er   201 8   :   4 5 5     4 6 0   458       Fig u r 4 .   A le x Net  ar ch i tectu r e   [ 1 1 ]           Fig u r 5.   A le x Net  t r ai n in g   a n d   v alid atio n   d etails           Fig u r 6.   Sa m p le  A le x Net  t est   r esu lts       2 . 3 G o o g L eNe t   Go o g L eNe i s   p r e - tr ain ed   C NN  th a h as  b ee n   tr ai n ed   o n   o v er   m illi o n   i m a g es  an d   ca n   class i f y   i m a g es   in to   ca teg o r ies.   T h n et w o r k   ta k es   an   i m ag e   as   i n p u a n d   o u tp u t s   lab el  f o r   th e   o b j ec in   th e   i m ag e   to g eth er   w it h   th p r o b ab ilit ies  f o r   ea ch   o f   th o b j ec ca teg o r ies.  I h as  2 2   lay er s .   T h is   ar ch itectu r e   ( Fig u r 7 )   is   o u o f   th n o r m ,   it  v ee r ed   o f f   f r o m   t h g en er al  ap p r o ac h   o f   s i m p l y   s tac k i n g   co n v   an d   p o o lin g   la y er s   o n   to p   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dee p   Lea r n in g   fo r   R o ma n   Ha n d w r itten   C h a r a cter R ec o g n itio n   ( Mu h a a fid z   Md   S a u fi )   459   o f   ea ch   o t h er   in   s eq u e n ce   [ 1 2 ] .   Fo r   Go o g L eNe C NN  m o d el,   th i m a g es  s ize  is   also   u s i n g   t h eir   d ef a u lt  s ize.   Go o g L eNe tr ai n i n g   an d   v al id atio n   d etails   s h i w n   i n   Fi g u r 8 .   T h r esu lts   o f   Go o g L eNe ar s h o w n   i n   Fi g u r e   9   alo n g   w i th   th tr ain i n g   p er ce n tag e s   o f   ea ch   letter .   T h tr ain in g   i s   s e to   6   ep o ch s   w i t h   1 0 1   iter atio n s   p er   ep o ch .   T h r esu lts   s h o w   t h at  t h tr ain i n g   h a s   r ea ch ed   th f i n al  iter atio n   w it h   0 . 9 4 4 7   o f   v ali d atio n   ac cu r ac y .             Fig u r e   7 .   Go o g L eNe t a r ch itect u r [ 1 2 ]           Fig u r 8 .   Go o g L eNe tr ai n i n g   an d   v alid atio n   d etail s           Fig u r 9 .   Sa m p le  Go o g L eNe test   r esu lts   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l 1 2 ,   No .   2 No v e m b er   201 8   :   4 5 5     4 6 0   460   3.   CO NCLU SI O N   T ab le  2   s h o w s   a n   o v er v ie w   o f   t h ac c u r ac y   p er f o r m a n ce   o f   t h t h r ee   m o d els  b ased   o n   C h ar s 7 4 K   d ataset B y   lo o k in g   at  T ab le  2 ,   w ca n   s ee   t h at  Go o g L eN et  is   b etter   th a n   s i m p le - C NN   an d   A le x Net  b u i t   to o k   lo n g er   ti m to   ac h ie v t h is   r es u lt.       T ab le  2 .   T h P e r f o r m a n ce   O v er v ie w   o n   C NN  Mo d els Usi n g   C ap ital L et ter s   f r o m   C h ar s 7 4 Data s et.   C N N   M o d e l   S i mp l e - C N N   G o o g L e N e t   A l e x N e t   V a l i d a t i o n   A c c u r a c y   0 . 8 0 7 7   0 . 9 4 4 7   0 . 9 4 2 3   T r a i n i n g   F i n i s h e d   Y e s   Y e s   Y e s   El a p se d   T i me   ( s)   11   1 2 0 2   7 9 8   Ep o c h   1 0   o f   1 0   6   o f   6   5   o f   5   I t e r a t i o n   1 0 0   o f   1 0 0   6 0 6   o f   6 0 6   5 0 5   o f   5 0 5   V a l i d a t i o n   F r e q u e n c y   3 0   i t e r a t i o n s   3   i t e r a t i o n s   3   i t e r a t i o n s       Dee p   lear n in g   i s   o n o f   th e   m o s t p o w er f u m ac h i n lear n i n g   m et h o d s   f o r   s o l v i n g   cr it ical  p r o b lem s   in   co m p u ter   v is io n .   I n   th is   p ap er ,   th r ee   m o d els   o f   Dee p   L ea r n in g   h a v b ee n   u s ed   to   t est  t h eir   ac c u r ac y   p er f o r m a n ce .   B ased   o n   t h e x p er im e n tal  r e s u l ts ,   t h r ec o m m en d ed   m o d el  f o r   lear n i n g   al p h ab ets  is   Alex Net   as  it  ta k es  a   s h o r ter   ti m to   le ar n   th e   d ata   w h er i t   o n l y   t o o k   1 5 0   s ec o n d s   p er   ep o ch   w h il th n ea r est  r i v al,   w h ic h   is   Go o g L eNe t ook   2 0 0   s ec o n d s   p er   ep o c h .     T h is   i s   d u to   th e   ar ch itec u r o f   th e s m o d els  w h er t h e   la y er s   i n   A le x tNet  ar n o as  d ee p   as  in   Go o g L eNe t .   T h Si m p le - C NN  m o d el  d o es  n o p r o d u ce   g o o d   r esu lt   co m p ar ed   to   Go o g L eNe t   o r   A le x Net   b ec au s e   it  r eq u ir es  t r e m en d o u s   a m o u n o f   d ata  f o r   tr ain i n g   p u r p o s es   Fu t u r r esear c h   i s   to   e n h a n ce   th s i m p le - C NN   ar ch itect u r an d   i n cr ea s t h s ize  o f   t h d a taset  to   o b tai n   m o r ac cu r ate  an d   f a s ter   r esu l ts .         4.   ACK NO WL E D G E M E NT   T h au th o r s   w o u ld   li k to   t h an k   Fac u lt y   o f   C o m p u ter   an d   Ma th e m atica Scien ce s ,   Un i v er s iti   T ek n o lo g i M A R A ,   S h a h   A la m ,   Sela n g o r ,   f o r   s p o n s o r i n g   t h is   r esear ch .       RE F E R E NC E S   [1 ]     P a ti V . &     S h im p S .   (2 0 1 1 ).   Ha n d w rit ten   En g li sh   c h a ra c ter  re c o g n it io n   u sin g   n e u ra n e tw o rk       El ix ir  Co m p .   S c i.   &   En g g .   4 1   5 5 8 7 - 5 5 9 1   [2 ]     S   M u tal ib ,   Ra m li ,   S A   Ra h m a n ,   M   Yu so f f ,   A   M o h a m e d .   (2 0 0 8 ) .   T o wa rd s e m o ti o n a c o n tro re c o g n it io n   t h ro u g h   h a n d w rit in g   u si n g   f u z z y   in f e r e n c e .   IT S im   2 0 0 8 .     [3 ]     Nijh a w a n ,   R. . ,   S h a rm a ,   H.,   S a h n i ,   H.,   &   Ba tra,  A .   (2 0 1 8 ,   A p ril ).   A   d e e p   lea rn in g   h y b rid   CNN   f ra m e w o rk   a p p ro a c h   f o v e g e tatio n   c o v e m a p p in g   u sin g   d e e p   f e a tu re s.  In   S ig n a l - I m a g e   T e c h n o lo g y   &   In tern e t - Ba se d   S y st e m (S I T IS ),   2 0 1 7   1 3 t h   I n tern a ti o n a C o n f e re n c e   o n .   IE EE   [4 ]     T u a m a ,   A . ,   Co m b y ,   F . ,   &   Ch a u m o n t,   M .   (2 0 1 6 ,   De c e m b e r).   Ca m e ra   m o d e id e n ti f ica ti o n   w it h   t h e   u se   o f   d e e p   c o n v o lu ti o n a n e u ra n e tw o rk s.  In   In f o rm a ti o n   F o re n sic a n d   S e c u rit y   (W IF S ),   2 0 1 6   I EE I n tern a ti o n a l   W o rk sh o p   o n   ( p p .   1 - 6 ).   IE EE .   [5 ]     KA   J a li l,   M H Ka m a ru d in ,   M M a sre k .   (2 0 1 0 ) .   Co m p a riso n   o f   m a c h in e   lea rn i n g   a lg o rit h m s p e rf o rm a n c e   in   d e tec ti n g   n e tw o rk   in tru si o n .   Ne tw o rk in g   a n d   In f o rm a ti o n   T e c h n o lo g y   (ICNIT     [6 ]     Ch e n g ,   G . ,   M a ,   C. ,   Z h o u ,   P . ,   Ya o ,   X.,   &   Ha n ,   J.   (2 0 1 6 ,   J u ly ).   S c e n e   c las si f ica ti o n   o f   h ig h   re so lu ti o n   re m o te  se n sin g   im a g e s   u sin g   c o n v o lu ti o n a n e u ra n e tw o rk s.  In   G e o sc ien c e   a n d   Re m o te S e n sin g   S y m p o siu m   (I GA R S S ),   2 0 1 6   IEE E   In tern a ti o n a ( p p .   7 6 7 - 7 7 0 ).   IEE E .   [7 ]     Ib ra h im ,   D Isa ,   Ra jk u m a r,   G   Ke n d a ll .   ( 2 0 0 9 ).   Do c u m e n z o n e   c o n ten c las sif ica ti o n   f o tec h n ica d o c u m e n im a g e s u sin g   a rti f i c ial  n e u ra n e t w o rk s an d   su p p o rt  v e c to m a c h in e s.  A p p li c a ti o n s o f   Dig it a In f o rm a ti o n   a n d   W e b   T e c h n o lo g ies ,   ICA DI WT ' 0 9   [8 ]     Ba ll e ste r,   P . ,   &   d e   A ra ú jo ,   R.   M .   (2 0 1 6 ,   F e b r u a ry ).   On   th e   P e rf o r m a n c e   o G o o g L e N e a n d   A l e x Ne t   A p p li e d   to   S k e tch e s.  In   AA A (p p .   1 1 2 4 - 1 1 2 8 ).   [9 ]     T h e   Ch a rs7 4 K d a tas e t.     Re tri e v e d   f ro m   h tt p :/ /w ww . e e . su rre y . a c . u k /CV S S P /d e m o s/c h a rs7 4 k /   [1 0 ]   Hijaz i,   S . ,   Ku m a r,   R. ,   &   R o w e n ,   C.   (2 0 1 5 ) .   Us in g   c o n v o lu t io n a n e u ra n e tw o rk f o i m a g e   re c o g n it io n .   Ca d e n c e   De sig n   S y ste m s In c . S a n   Jo se ,   C A ,   US A .   [1 1 ]   G a o ,   H.  (2 0 1 7 ,   A u g u st  0 7 ) .   A   Walk - th ro u g h   o f   A le x Ne   Ha o   G a o     M e d iu m .   Re tri e v e d   f ro m   h tt p s:/ /m e d iu m . c o m /@s m a ll f i sh b ig se a /a - wa lk - th ro u g h - of - a lex n e t - 6 c b d 1 3 7 a 5 6 3 7   [1 2 ]   De sh p a n d e ,   A .   T h e   9   De e p   L e a r n in g   P a p e rs  Yo u   Ne e d   T o   Kn o w   A b o u (Un d e rsta n d i n g   CNN P a rt  3 ).   Re tri e v e d   f ro m   h tt p s:// a d e sh p a n d e 3 . g it h u b . i o /T h e - 9 - De e p - L e a rn in g - P a p e rs - Y o u - Ne e d - To - Kn o w - A b o u t. h tm l   Evaluation Warning : The document was created with Spire.PDF for Python.