I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   11 ,   No .   6 Dec em b er   2 0 2 1 ,   p p .   5 2 6 6 ~ 5 2 7 6   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 1 i 6 . pp 5 2 6 6 - 5 2 7 6          5266       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   M ulticlas sifica tio n of lice nse pla te   ba sed o d eep   c o nv o lution  n eura n etw o rk s       M a s a Abed U t ha ib 1 ,   M ua y a d Sa di k   Cro o ck 2   1 Ira q Co m m issio n   f o Co m p u ters   a n d   I n f o rm a ti c s (ICCI),   In f o rm a t ics   In stit u te f o P o stg ra d u a te S t u d ies ,   Ba g h d a d ,   Ira q   2 Co n tr o a n d   S y ste m s   En g in e e rin g   De p a rt m e n t,   Un iv e rsity   o f   Tec h n o l o g y Ba g h d a d ,   Ira q       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Ju l   11 ,   2 0 20   R ev i s ed   Ma y   1 2 ,   2 0 2 1   A cc ep ted   Ju n   6 ,   2 0 2 1       In   t h e   c las sif ica ti o n   o f   li c e n se   p l a te  th e re   a re   so m e   c h a ll e n g e su c h   th a th e   d if fe re n siz e o f   p late   n u m b e rs,   th e   p late s'   b a c k g ro u n d ,   a n d   t h e   n u m b e o th e   d a tas e o f   th e   p late s.  In   th i p a p e r,   a   m u lt icla ss   c l a ss i f ica ti o n   m o d e l   e sta b li sh e d   u si n g   d e e p   c o n v o l u ti o n a n e u ra n e tw o rk   ( CNN )   to   c las sify   th e   li c e n se   p late   f o th re e   c o u n tri e s (A r m e n ia,  Be laru s,  Hu n g a r y w it h   th e   d a tas e o f   6 0 0   im a g e a 2 0 0   im a g e fo e a c h   c las (1 6 0   f o tr a i n in g   a n d   4 0   f o r   v a li d a ti o n   se ts ).   Be c a u se   o f   th e   sm a ll   n u m b e rs o f   d a tas e ts,  a   p re p ro c e ss in g   o n   th e   d a tas e is  p e rf o r m e d   u sin g   p ix e n o rm a li z a ti o n   a n d   i m a g e   d a ta   a u g m e n tatio n   tec h n iq u e (ro tatio n ,   h o riz o n tal  f li p ,   z o o m   ra n g e to   i n c re a se   th e   n u m b e o f   d a tas e ts.  Af ter  th a t,   w e   f e e d   th e   a u g m e n ted   im a g e in to   th e   c o n v o lu ti o n   lay e m o d e l ,   w h ich   c o n sists   o f   f o u b lo c k o f   c o n v o lu ti o n   lay e r.   F o c a lcu latin g   a n d   o p ti m izin g   th e   e f f i c ien c y   o f   th e   c las si f ic a ti o n   m o d e l,   a   c a teg o rica c ro ss - e n tro p y   a n d   A d a m   o p ti m i z e u se d   w it h   a   lea rn in g   ra te  wa s   0. 0 0 0 1 .   T h e   m o d e l' s p e r f o r m a n c e   sh o w e d   9 9 . 1 7 %   a n d   9 7 . 5 0 %   o f   t h e   train in g   a n d   v a li d a ti o n   se ts  a c c u ra c ie se q u e n ti a ll y ,   w it h   to tal  a c c u ra c y   o f   c las si f ica ti o n   is  9 6 . 6 6 % .   T h e   ti m e   o train in g   is  las ti n g   f o 1 2   m i n u tes .   A n   a n a c o n d a   p y th o n   3 . 7   a n d   Ke ra T e n so f lo w   b a c k e n d   a re   u se d .   K ey w o r d s :   A d a m   o p ti m izer     C o n v o lu tio n   n e u r al  n et w o r k s   Data   au g m e n tatio n   Dr o p o u t   L ice n s p late  clas s i f icatio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ma s ar   A b ed   Uth a ib   Dep ar t m en t o f   C o m p u ter   S cie n ce   I r aq i Co m m i s s io n   f o r   C o m p u t er s   an d   I n f o r m atics ( I C C I ) ,   I n f o r m atic s   I n s tit u te  f o r   P o s tg r a d u ate  Stu d ie s   B ag h d ad ,   I r aq   E m ail: M a s ar . u t h aib 2 0 1 8 @ g m ail. co m     Mu a y ad   Sad i k   C r o o ck   C o n tr o l a n d   S y s te m s   E n g in ee r in g   Dep ar t m e n t   Un i v er s it y   o f   T ec h n o o g y - I r aq   B ag h d ad ,   ir aq   E m ail:  m u a y ad . s . cr o o ck @ u o t ec h n o lo g y . ed u . iq       1.   I NT RO D UCT I O N     I n   all  m a n u f ac t u r in g   ar ea s   an d   in   o u r   ev er y d a y   li f e,   v e h icl es  ar co m m o n l y   u s ed .   An   e f f ec ti v w a y   o f   d is ti n g u is h i n g   v e h icle s   an d   m ak t h e m   u n iq u b y   t h lice n s p late  ( L P ) .   W ith   th f a s t - g r o w i n g   n u m b er   o f   ca r s ,   tr af f ic  v io latio n s   o cc u r   m o r e   o f te n   in   p u b lic   tr an s p o r tatio n ,   s u c h   as   h ig h w a y   o r   p ar k in g   f r au d   to ll s ,   s p ee d in g   a n d   ca r   th e f t .   T h er ef o r th v eh icle  L P s   n ee d   t o   b id en tif ied   f o r   p r o tectio n .   T h in f o r m atio n   d er iv ed   f r o m   a n   L P   ca n   b u s ed   f o r   v ar io u s   p u r p o s es,  lik e   lo o k in g   f o r   th v eh ic les  th a t   m a y   b s to len   o r   m i g h t   b f i g h tin g   cr i m e,   m o n i to r in g   cr o s s in g   b o r d er s ,   o r   ac ce s s i n g   th h i g h w a y   to ll  s tati o n .   T h u s ,   t h er is   a   n ee d   f o r   licen s p late  id en tific atio n   s y s te m .   R ec e n tl y ,   d ee p   lear n in g   h as  s h o w n   a n   ex ce ll en p er f o r m an ce   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Mu lticla s s i fica tio n   o f lice n s p la te  b a s ed   o n   d ee p   co n vo lu ti o n   n eu r a n etw o r ks ( Ma s a r   A b ed   Uth a ib )   5267   m o s co m p lex   tas k s   s u ch   as   m ed ical  i m a g i n g   an d   c y b er   s ec u r it y   [1 ] - [ 4 ] .   C o n v o l u tio n al  n eu r al   n et w o r k s   ( C NNs)  ar o n o f   t h d ee p   lear n in g   al g o r ith m s ,   w h ic h   i s   wh y   d ee p   lear n in g   i s   p o p u lar   [ 5 ] ,   [ 6 ] .   T h lay er s   o f   C NNs la y er s   p r i m ar i l y   t h r ee   l a y er s   [ 7 ] :   a.   C o n v o lu tio n al - la y er   b.   P o o lin g - la y er   c.   Fu ll y - co n n ec ted   la y er   T h ch allen g es  w f ac ed   th r o u g h   t h class if icatio n   o f   licen s p lates i Dif f er en s izes  o f   p lates ,     i i S m all  d atase ts   t h at  m a k o v er f it tin g ,   i ii T h ti m f o r   th e   p r o ce s s in g   C NN 's  m o d el  d u r i n g   tr ai n i n g .   On   t h o t h er   h a n d ,   s e v er al  s t u d ies  h a v d is c u s s ed   lice n s p l ate  class i f ica tio n   i n   r ec e n y ea r s .   J o s et  a l.   [ 8 ]   s u g g ested   an   al g o r ith m   f o r   th class i f icatio n   o f   Viet n a m ese  m u lti - s ta n d ar d   licen s i n g   p lates  b ased   o n   a   co n v o lu tio n   n eu r al  n et w o r k ,   i n   w h ich   tr a n s f er   lear n in g   ( R e s id u al  Net)   w a s   u s ed .   T h f in al  la y er   is   d elete d   an d   ch a n g ed   w i th   n e w   la y er   o f   class i f icat io n .   C a teg o r iz atio n   o f   t h m o d el  in to   t h r ee   g r o u p s   ( t h R izal   m o n u m en s er ies  s t ick er   f o r   n e w   v e h icle s ,   R izal  m o n u m en s er ies,  2 0 1 4   s er ies).   C r o s s - e n tr o p y   as  an   o p tim izat io n   m e th o d   as   w ell   a s   0 . 0 0 1   r ep r esen ted   th lear n i n g   r ate.   T h v a lid atio n   ac c u r a c y   w a s   8 2 . 6 1 %.  I n   [ 9 ] ,   HAAR  Feat u r e - b ased   C las s i f ier   w a s   u s ed   to   d et ec an d   s e g m e n t h p lates   in to   c h ar ac ter s   f o r   r ec o g n izi n g   it  b y   C NN.   T h eir   tr ain i n g   a n d   v alid atio n   ac c u r ac ies  w er 9 3 . 5 4 an d   9 1 . 3 8 %,  r esp ec tiv el y .   T h r ec o g n itio n   ac cu r ac y   w a s   9 0 . 9 0 %.   W an g   et  a l.   [ 10 ]   d o cu m e n ted   w a y   o f   id e n ti f y i n g   p lates '   ch ar ac ter s   b y   u s i n g   te m p lat m atc h in g   tech n iq u e   an d   ar tif icia n eu r al   n et w o r k s .   I n   th b eg i n n in g ,   th s ec o n d ar y   p o s itio n i n g   tech n iq u w as  u s ed   f o r   p late  lo ca lizatio n .   T h p r ec is e   p o s itio n   o f   th e   p late  d ep en d ed   o n   th v er tical  ed g a n d   HS co lo r   o f   th p late.   T h eir   p r ec is io n s   ap p r o x i m atio n   f o r   t h lo ca lizatio n   an d   r ec o g n itio n   f o r   th n u m b er   o f   t h p late  w er 7 5 .8 an d   7 2 . 5 % seq u en tiall y .   I n   ar ti f icial  n eu r al  n et w o r k   ( A NN) ,   t h ac cu r ac y   o f   r ec o g n itio n   w a s   7 5 %.   A   K - n ea r e s n ei g h b o u r   clas s i f icatio n   w a s   e m p lo y ed   f o r   class i f y in g   ch ar ac ter s   i n   th lic en s p late   [ 11 ] .   I n itiall y ,   Ot s u   m et h o d   to   ex tr ac p late  i m a g w as  u s ed   an d   th e n   co n v er t in g   to   b in a r y   i m a g e.   T h test   d ataset  w a s   1 0 0   im ag e s .   T h ey   r ea ch ed   9 3 , 7 5 %,  w h ich   is   t h e   ac cu r ac y   o f   id e n ti f y in g   n u m b er s ,   w h ile  9 1 . 9 2 ac cu r ac y   o f   le tter   r ec o g n it io n .   W an g   et  a l.   [ 1 2 ]   d esig n e d   s y s te m   f o r   d etec tio n   an d   r ec o g n izin g   p late   n u m b er s   f o r   t h I n d ian   lice n s p late,   w h er t h e y   u s ed   ( Y o u   O n l y   L o o k   O n ce )   Yo lo   v . 3   f o r   tr ain i n g   t h e   d ataset  th at  co n s is t s   o f   3 7   cl ass   o f   ch ar ac ter s   i m ag e s .   T h e y   u s ed   au g m en tatio n   tec h n i q u es  to   in cr ea s th e   n u m b er   o f   ch ar ac ter   s a m p le s   t h r o u g h   tr ai n in g .   T h tr ain in g   p r o c ess   w as  ac co m p li s h ed   b y   u s i n g   Nv id ia  Gi g T ex el  Sh ad er   eXtr e m e   ( GT X)   1 0 8 0 .   T h ac cu r ac y   o f   r ec o g n i tio n   i s   9 1 %.   P atel   et  a l.   [ 13 ]   in tr o d u ce d   th n u m b er   p late  r ec o g n itio n   ( NP R )   ap p r o ac h   b ased   o n   m o r p h o lo g ical  o p er atio n   an d   th e   So b el  ed g d etec tio n   m et h o d s .   T h b o u n d i n g   b o x   m et h o d   w a s   u s ed   to   s eg m e n t   th n u m b er s   an d   letter s   o f   t h p late.   T e m p late   m atc h in g   w a s   u s ed   to   r ec o g n ize  n u m b er s   an d   c h ar ac ter s   af ter   s e g m en tat io n .   Fo r   s e g m en tin g   let ter s   an d   n u m b er s   in   t h p late  b o u n d in g   b o x   tech n iq u u s ed .   T h m atch i n g   o f   te m p lates   w as  u s e d   to   i d en tify   a f ter   s eg m e n tatio n   n u m b er s   a n d   ch ar ac ter s .     Sh ar m in   [ 14 ]   h av r ep o r ted   p late  n u m b er   id en ti f icat i o n   u s i n g   p h ase  co r r elatio n   an d   cr o s s - co r r elatio n   s tr u ct u r ed   ap p r o a ch es.  T h r eg u lar   cr o s s - co r r elatio n   ap p r o ac h   w as  f o u n d   to   b b etter   th an   th e   p h ase - co r r elatio n   m et h o d   to   id en tify   t h v e h icle  n u m b er   p l ate.   T h n o r m a l ized   cr o s s - co r r elatio n   r ec o g n i tio n   ac cu r ac y   f o r   th p late  w a s   6 7 . 9 8 %,  w h i le  th p h a s co r r elatio n   w a s   6 3 . 4 6 %.  Öztü r k   an d   Ö ze n   [ 15 ]   p r o p o s ed   p r o ce d u r f o r   id en ti f y i n g   p l ate  ch ar ac ter s .   Fo r   id en ti f y in g   p lates,  Ots u 's  t h r es h o ld in g   was  u s ed .   T h p late  s eg m e n tatio n   w a s   ev a lu ated   b y   Ho r izo n ta an d   v er tica h is to g r a m .   E v en t u all y ,   f o r   ch ar ac ter   r ec o g n itio n ,   p r o b a b ilis tic  n e u r al  n et w o r k s   w a s   u s ed .   T h r ec o g n itio n   ac cu r ac y   f o r   th c h ar ac ter s   w a s   9 6 . 5 % .   I n   [ 16 ] ,   C NN  w a s   u s ed   to   r ec o g n ize  1 6   B an g ala  lice n s e   p late  c h ar ac ter s ,   a n d   th e   m o d el  te s ted   o v er   v ar io u s   i m a g s a m p le s T h ey   u s ed   1 7 5 0   tr ain in g   s a m p les  a n d   3 5 0   f o r   test in g   s a m p les.  T h e   r ec o g n itio n   ac c u r ac y   d ep en d s   o n   t h n u m b er   o f   ep o ch s   f r o m   ( 1 0 0 - 1000)   an d   th s a m p le s   n u m b er   f r o m   ( 1 3 0 0 - 1 7 5 0 )   s o   th at  t h r ec o g n it i on  ac cu r ac y   r an g ( 7 0 - 8 8 ) % B ab u   et  a l.   [ 1 7 ]   p r o p o s ed   ar tif icial  n eu r al  n et w o r k s   f o r   r ec o g n i zin g   th c h ar ac ter s   o f   t h p late.   I n   t h b eg i n n i n g ,   t h p late  s eg m e n ted   b y   u s in g   t h co n n ec ted   co m p o n en t s   an a l y s is   an d   t h e   v er tical  p r o j ec tio n   in to   b lo ck s   o f   ch ar ac ter s   an d   n u m b er s   wh er th b lo ck s   r esized   3 2 × 3 2 .   T h s eg m e n tatio n   an d   r ec o g n itio n   ac cu r ac ies  w e r 8 5 . 4 % a n d   7 8 % seq u en tiall y .   I n   th i s   p ap er ,   an   ef f ic ien s y s te m   s u g g ested   f o r   class i f y in g   m u lti n atio n al  lice n s p late  ( A r m en ia ,   B elar u s Hu n g ar y )   co u n tr ie s   b as ed   o n   d ee p   C NN  th an   p r ev io u s l y   li ter atu r s t u d ies  w h e r th tr ain in g   an d   v alid atio n   s et s   ac cu r ac ie s   w er 9 9 . 1 7 an d   9 7 . 5 0 %,  r esp ec tiv el y .   T h o v er all  p late  cla s s i f icatio n   ac c u r ac y   i s   9 6 . 6 6 w it h   6 0   test ed   p late  im ag e s .   I n   co m p u ter   v i s io n ,   t h class if icatio n   o f   i m a g es  h a s   an   es s en t ial  r o le.   C NN ' s   ar f r eq u en t l y   u s ed   in   d ee p   lear n in g   m o d els  wh er f ea t u r ex tr ac tio n   w it h o u ex p er h u m an   in ter v e n tio n .   Am o n g   v ar io u s   m et h o d s th p r o p o s ed   C NN  m o d el   ac h ie v ed   h i g h   p er f o r m a n ce   i n   i m a g e   class i f icatio n .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   6 Dec em b er   2 0 2 1     5 2 6 6   -   5 2 7 6   5268   2.   RE S E ARCH   M E T H O D     Fo r   im p le m e n ti n g   t h class i f icatio n   p r o ce s s ,   d ee p   lear n in g   C NN 's   ar ap p lied ,   as  illu s tr ated   in   Fig u r 1 .   W co n s id er ed   p late  i m a g f o r   th r ee   co u n tr ie s   ( A r m en ia,   B elar u s ,   H u n g ar y )   as  t h in p u to   b e   f ee d ed   in to   th e   C NN  m o d el.   A f ter w ar d ,   t h p r o p o s ed   m e th o d   clas s i f ies   it  i n to   ( A r m e n ia) ,   ( B elar u s ) ,   a n d   ( Hu n g ar y )   p late.           Fig u r 1 .   T h p r o p o s ed   m u lti n atio n al  lice n s p late  clas s i f icat io n   w o r k f lo w       2 . 1 .     Da t a s et   g a t hering   T h ex p er i m en t is co n d u cted   o n   6 0 0   i m ag e s   f o r   d if f er e n t lic en s p late s   ( A r m e n ia,   B elar u s ,   Hu n g ar y )   th at  ar co llected   f r o m   th lo ca lizatio n   s tag u n d er   d if f er e n t   w ea t h er   co n d itio n s .   Data s ets  ar d is tr ib u ted   f o r   ea ch   class   o f   th p late s .   E ac h   class   h as  2 0 0   i m ag e s   ( 1 6 0   p la te  i m a g es  f o r   th tr ain i n g   s et  a n d   4 0   p late  im a g es   f o r   th v alid atio n   s et,   a s   r ep o r ted   in   F ig u r 2 .   So   t h at  tr ai n i n g   an d   v alid atio n   s et s   ar 8 0 an d   2 0 o f   ea ch   class ,   r esp ec tiv e l y .           Fig u r 2 .   Data s ets  allo ca tio n   f o r   ea ch   class   o f   lice n s p lates  in   th p r o p o s ed   C NN  class if ic atio n   m o d el       2 . 2 .     P re - pro ce s s ing   s t a g e   A   p r e - p r o ce s s i n g   s tep   i s   ta k e n   p lace   b ef o r i m a g es  g i v e n   to   th C N m o d el.   T h is   i s   to   m i n i m ize  d i m en s io n s ,   co m p u tat io n   an d   to   s h o w   b etter   p er f o r m a n ce .   T h o r ig in al  i m ag i s   g r a y s ca le  p late  w it h   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Mu lticla s s i fica tio n   o f lice n s p la te  b a s ed   o n   d ee p   co n vo lu ti o n   n eu r a n etw o r ks ( Ma s a r   A b ed   Uth a ib )   5269   d if f er e n s ize s w u n i f o r m   th e m   to   2 0 0 ×1 0 0 ×1 .   T h d a ta  i s   s h u f f led   b ef o r s p litt in g   s o   th at  th tr ai n i n g   n o t   o n l y   f o cu s es  o n   n ar r o w   d ata  b u al s o   u n s o r ted   d ata  in   th e   d ataset.   T h p ix el s   o f   th i m a g n o r m alize d ,   w h ic h   is   th ch a n g i n g   p r o ce s s   f o r   in t en s it y   p ix el  v alu e s   r an g e.   As  m en tio n ed   ea r lier ,   th g r e y s c a le  ch an n el  h a s   o n e   ch an n el  in   th e   i m ag e   ( 0 - 2 5 5 )   th at  m a k es  th e   ca lcu latio n   co m p lex   s o   t h at  i n o r m alize d   i m ag e   p ix el   to   b i n   th r an g ( 0 - 1 ) .   Data   au g m e n t atio n   tech n iq u e s   ar u s ed   w it h   ass is Ker as  a u g m e n tatio n s   to   in cr ea s th s ize   an d   also   i m p r o v e s   th e   q u alit y   o f   th tr ai n i n g   s a m p le s ,   an d   t o   g et  r id   o f   o v er f itt in g ,   w h er e   o v er f itti n g   is   g ap   b et w ee n   t h ac c u r ac y   o f   tr ai n in g   an d   v alid atio n   s e ts .   T h e y   also   i m p r o v e   m o d el  e f f icie n c y   a n d   m a k m o d el  g en er ali t y   [ 1 8 ] ,   [ 1 9 ] .   Fig u r 3   s h o w s   th p r ese n ted   au g m en t e d   i m ag e s .   A u g m e n tatio n s   ar e   s et  b ef o r tr ain i n g   th m o d els.  W u s ed   th r ee   au g m e n tat io n   tec h n iq u es  ( r o tatio n ,   h o r izo n tal  f lip ,   zo o m )   to   g et  n e w   th r ee   tr ai n i n g   s ets  t h at  ex p an d   t h tr ain i n g   s a m p les  d atase t.  T h n e w l y   g en er ated   s et  o f   tr ain i n g   is   ess en tiall y   th i n itia l   tr ain i n g   i m ag e s   w it h   th au g m en ted   i m a g es  g e n er ated   b y   th ch o ices  o f   au g m en tatio n   tech n iq u e s .   E ac h   au g m e n tatio n   is   as  f o llo w s   [ 2 0 ] - [ 2 2 ] :   a.   R o tatio n   T h im a g is   r o tated   2 0 ° f o r   g ettin g   b etter   class i f icat io n .   b.   Ho r izo n tal  Fli p p in g   I is   o n o f   t h g eo m etr ic  a u g m e n tatio n ,   its   f l ip s   i m ag e   to w ar d s   t h h o r izo n tal  a x is .   I ts   m o r e   co m m o n   th a n   v er t ical  f l ip   an d   p r o v en   its   b en e f it i n   C I F AR - 1 0   an d   I m a g eNe t d ataset s .   c.   Z o o m   W zo o m ed   i m a g es to   m ak f ea tu r es c lear .         ( a)     ( b )     ( c)     ( d )     Fig u r 3 .   Data   au g m e n tatio n   t ec h n iq u es ( a )   o r ig in al  i m a g e ,   ( b )   r o tated   im a g e ,   ( c)   h o r izo n t al  f lip   i m ag e ,     (d )   zo o m   i m a g e       2 . 3 .     T he  pro po s ed  CNN  cla s s if ier  a rc hite ct ure   T h s u g g e s ted   p r o p o s ed   C N m o d el  is   r ep o r ted   in   F i g u r 4   w it h   T ab le  1 ,   w h ic h   s u m m ar izes   th e   C NN  la y er s .   T h s y s te m   co n t ain s   3 0   la y er s   th at  s tar ted   f r o m   t h la y er   o f   in p u t,  w h ich   ca r r y   i m a g es  f r o m   t h e   au g m e n tatio n   m et h o d s   in   t h p r ec ed in g   p r ep r o ce s s in g   p h as e.   Fo u r   b lo ck s   o f   co n v o lu t io n   lay er s   th at  co n s is t   o f   ( co n v o lu tio n   a s   w e ll  a s   R ec ti f ied   lin ea r   u n it   ( R el u )   w h ic h   i s   t h f u n ctio n   o f   ac tiv a tio n ) ,   b atc h   n o r m aliza t io n ,   m a x - p o o lin g ,   an d   Dr o p o u r an g es  ( 2 0 - 25) la y er s .   Af ter   f o u r   b lo ck s   o f   co n v o lu tio n   la y er s ,   th r ee   f u ll y   co n n ec ted   la y er s   a r i m p le m e n ted ,   an d   t h e n   t h e   last   d r o p o u w ith   ( 3 0 %)   p r o b ab ilit y   b ef o r th e   f i n al  la y er   ( s o f t m a x - la y er )   w it h   t h r ee - cla s s es   o f   p lates  [ 2 3 ] .   T h d escr ip tio n   o f   ea ch   la y er   is   ill u s tr ated   b elo w   [ 2 4 ].     2 . 3 . 1 .   Co nv o lutio n la y er     T h ce n tr al  co m p o n en in   t h C NN - m o d el  i s   th co n v o l u tio n   la y er ,   w h ic h   h a s   lo ca l ties a n d   co m m o n   w ei g h ts .   I t s   o b j ec tiv es   ar lear n in g   th e   r ep r esen ti n g   o f   e n ter ed   f ea t u r es.  I co n tai n s   v ar io u s   f ea tu r e - m ap s .   T h e   s i m ilar it y   o f   t h n e u r o n   f ea tu r es  in   d i v er s lo ca tio n s   i s   u s e d   to   ex tr ac t h lo ca p r o p r ieties  i n   t h p r ev io u s   la y er ' s   d i f f er e n p o s itio n s .   Acc o r d in g   to   in d i v id u a n e u r o n s ,   c h ar ac ter is tic s   ex tr ac t io n   is   p er f o r m ed   i n   t h e   s a m f ea tu r m ap   ar ea   in   th p r ec ed in g   lay er .   W u s ed   co n v o lu tio n   f ilter   ( k er n e l)   w it h   d if f er en s izes     ( 3 ×3 ,   5 ×5 ,   7 ×7 )   o v er lap p e d   h o r izo n tall y   a n d   v er tica ll y   al o n g   w it h   t h i n p u t   i m ag e   to   g et  f ea t u r es.  T h e   p ad d in g   an d   s tr id o n p ix el  an d   t w o   s tep s ,   r esp ec ti v el y ,   a s   s h o w n   i n   F ig u r 5 ,   w h ic h   r ep o r ted   co n v o lu tio n   la y er   o p er atio n s .   Af ter   th at,   th r es u lt   lead s   to   th e   n o n - li n ea r   ac ti v atio n   f u n ctio n   t h at   is   R el u .   Fi g u r 6   clar if ies t h w o r k   o f   R el u   [ 2 5 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   6 Dec em b er   2 0 2 1     5 2 6 6   -   5 2 7 6   5270       Fig u r 4 .   T h p r o p o s ed   C NN  m o d el       T ab le  1 .   Su m m ar y   o f   C NN ' s   l a y er s   L a y e r   ( t y p e )   O u t p u t   S h a p e   P a r a #   i n p u t _ 1   ( I n p u t L a y e r )   ( N o n e ,   1 0 0 ,   2 0 0 ,   1 )   0   c o n v 2 d _ 1   ( C o n v 2 D )   ( N o n e ,   1 0 0 ,   2 0 0 ,   3 2 )   3 2 0   c o n v 2 d _ 2   ( C o n v 2 D )   ( N o n e ,   1 0 0 ,   2 0 0 ,   3 2 )   9 2 4 8   c o n v 2 d _ 3   ( C o n v 2 D )   ( N o n e ,   1 0 0 ,   2 0 0 ,   3 2 )   9 2 4 8   b a t c h _ n o r mal i z a t i o n _ 1   ( B a t c h   ( N o n e ,   1 0 0 ,   2 0 0 ,   3 2 )   1 2 8   max _ p o o l i n g 2 d _ 1   ( M a x P o o l i n g 2   ( N o n e ,   5 0 ,   1 0 0 ,   3 2 )   0   d r o p o u t _ 1   ( D r o p o u t )   ( N o n e ,   5 0 ,   1 0 0 ,   3 2 )   0   c o n v 2 d _ 4   ( C o n v 2 D )   ( N o n e ,   5 0 ,   1 0 0 ,   6 4 )   5 1 2 6 4   c o n v 2 d _ 5   ( C o n v 2 D )   ( N o n e ,   5 0 ,   1 0 0 ,   6 4 )   1 0 2 4 6 4   c o n v 2 d _ 6   ( C o n v 2 D )   ( N o n e ,   5 0 ,   1 0 0 ,   6 4 )   1 0 2 4 6 4   b a t c h _ n o r mal i z a t i o n _ 2   ( B a t c h   ( N o n e ,   5 0 ,   1 0 0 ,   6 4 )   2 5 6   max _ p o o l i n g 2 d _ 2   ( M a x P o o l i n g 2   ( N o n e ,   2 5 ,   5 0 ,   6 4 )   0   d r o p o u t _ 2   ( D r o p o u t )   ( N o n e ,   2 5 ,   5 0 ,   6 4 )   0   c o n v 2 d _ 7   ( C o n v 2 D )   ( N o n e ,   2 5 ,   5 0 ,   1 2 8 )   4 0 1 5 3 6   c o n v 2 d _ 8   ( C o n v 2 D )   ( N o n e ,   2 5 ,   5 0 ,   1 2 8 )   8 0 2 9 4 4   c o n v 2 d _ 9   ( C o n v 2 D )   ( N o n e ,   2 5 ,   5 0 ,   1 2 8 )   8 0 2 9 4 4   b a t c h _ n o r mal i z a t i o n _ 3   ( B a t c h   ( N o n e ,   2 5 ,   5 0 ,   1 2 8 )   5 1 2   max _ p o o l i n g 2 d _ 3   ( M a x P o o l i n g 2   ( N o n e ,   1 2 ,   2 5 ,   1 2 8 )   0   d r o p o u t _ 3   ( D r o p o u t )   ( N o n e ,   1 2 ,   2 5 ,   1 2 8 )   0   c o n v 2 d _ 1 0   ( C o n v 2 D )   ( N o n e ,   1 2 ,   2 5 ,   3 2 )   1 0 2 4 3 2   c o n v 2 d _ 1 1   ( C o n v 2 D )   ( N o n e ,   1 2 ,   2 5 ,   3 2 )   2 5 6 3 2   b a t c h _ n o r mal i z a t i o n _ 4   ( B a t c h   ( N o n e ,   1 2 ,   2 5 ,   3 2 )   1 2 8   max _ p o o l i n g 2 d _ 4   ( M a x P o o l i n g 2   ( N o n e ,   6 ,   1 2 ,   3 2 )   0   d r o p o u t _ 4   ( D r o p o u t )   ( N o n e ,   6 ,   1 2 ,   3 2 )   0   f l a t t e n _ 1   ( F l a t t e n )   ( N o n e ,   2 3 0 4 )   0   d e n se _ 1   ( D e n se )   ( N o n e ,   2 0 4 8 )   4 7 2 0 6 4 0   d e n se _ 2   ( D e n se )   ( N o n e ,   1 0 2 4 )   2 0 9 8 1 7 6   d e n se _ 3   ( D e n se )   ( N o n e ,   5 1 2 )   5 2 4 8 0 0   d r o p o u t _ 5   ( D r o p o u t )   ( N o n e ,   5 1 2 )   0   d e n se _ 4   ( D e n se )   ( N o n e ,   4 )   1 5 3 9     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Mu lticla s s i fica tio n   o f lice n s p la te  b a s ed   o n   d ee p   co n vo lu ti o n   n eu r a n etw o r ks ( Ma s a r   A b ed   Uth a ib )   5271       Fig u r 5 .   T h ex a m p le  f o r   o p er atio n s   o f   co n v o lu tio n   la y er   ( w h er th i n p u t_ s h ap e:  3 ×3 ,   p ad d in g =1 ,     k er n el_   s ize=   3 ×3 ,   Strid 2 ,   o u tp u t_ s h ap e:  2 ×2 )       T h eq u atio n   o f   R el u   is   [ 2 6 ] :     ( ) = ( 0 , )   ( 1 )     w h er e   ( ) =    if    :p o s itiv e   ( ) = 0    if     :n e g ati v e           Fig u r 6 .   R elu   ac ti v atio n   f u n ct io n   [ 2 6 ]       2 . 3 . 2 .   B a t ch  no r m a liza t io   B atch   n o r m aliza tio n   ( B N)   i s   s tr ateg y   f o r   n o r m aliz in g   ac ti v atio n s   in   d ee p   n e u r a n et w o r k   in ter m ed iate  la y er s .   B is   f av o r ite  tech n iq u in   d etail  d u to   its   ab ilit y   to   b o o s ac cu r ac y   an d   ac ce ler at e   p r ep ar atio n .   I en ab les  u s er s   t o   u s e   h i g h er   le v els   o f   lear n i n g   r ates,   p r ev en tin g   m in o r   p ar am eter   c h an g e s   f r o m   b o o s tin g   i n to   lar g er   a n d   s u b o p ti m al  c h an g es  i n   g r ad ien ac t iv atio n .   Als o ,   it  p r ev en ts   t h t r ain in g   f r o m   b ein g   s tu c k   i n   t h s at u r ated   n o n - li n ea r it y   r eg i m e s .   I t   ac ts   as  r eg u lar izer .   W h e n   B atch   No r m aliza tio n   is   f o u n d   d u r in g   n et w o r k   tr ain in g ,   t h er e   is   co m m u n ica tio n   a m o n g   t r ain in g   ex a m p le,   a n d   t h r e m ain i n g   ex a m p le s   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   6 Dec em b er   2 0 2 1     5 2 6 6   -   5 2 7 6   5272   Min i - b atch   a n d   th g en er atio n   o f   th d eter m i n i s tic  v al u e s   d o   n o tak ti m f o r   th tr ai n i n g   g i v e n   ex a m p le  s o   th at  it s   b en ef icial  f o r   n e t w o r k   g en er aliza tio n   [ 2 7 ] - [ 2 9 ] .     2 . 3 . 3 .   M a x   po o lin g   la y er     T h in f o r m atio n   a m o u n t   in   ev er y   g at h er ed   f ea t u r ed   in   th co n v o l u tio n   la y er   i s   d ec r ea s ed   w h il e   r etain i n g   th e   cr u cia d etail s   ( co m m o n l y   M u ltip le  co n v o l u ti o n s   a n d   p o o la y er s   r o u n d s ) .   Of te n   lar g i m a g es   ar in   th C NN  m o d el;  th er e f o r e,   w n ee d   to   d ec r ea s im a g es  th a m i n i m ize  th n u m b er   o f   th p ar am eter s .   A ll  th u tili ze d   m ax - p o o lin g   l a y er s   ar ( 2 , 2 ) ,   b esid es  th s tr id is   ( 2 , 2 )   to   m o v h o r izo n ta l l y   an d   v er tical l y .   I t   is   ac co m p lis h ed   b y   d iv id i n g   t h en tire   i m a g in to   s m al ler   s q u ar es  ( 2 ×2   th s u g g ested   m eth o d ) ,   w h ich   p as s   o v er   th e   i m ag e   w it h   s p ec i f ied   s tr in g   ( 2 ×2 ) .   Af ter   t h at,   t h lar g est   v a lu e   i n   t h e   m atr i x   o f   f o u r   n u m b er s   ch o s en   [ 3 0 ] ,   [ 3 1 ] .   Fig u r 7   s h o w s   t h o p er atio n   Ma x - p o o lin g   la y er .     I n   ( 2 ) - ( 4 )   ar u s ed   f o r   Ma x - p o o lin g   [ 3 2 ] :     2 = 1  + 1   ( 2 )     2 = 1  + 1   ( 3 )     2 = 1   ( 4 )     w h er e:  F:  s p atial  e x te n d   o f   t h f i lter ,   S:  s tr id e,   D1 th d ep th   o f   co n v o lu tio n   la y er ,   D 2 d ep th - co n v o lu tio n   la y er ,   W 1 co n v o lu tio n   la y er   w id t h ,   H1 co n v o l u tio n   la y er   h ei g h t,  W 2 Ma x - p o o lin g   la y er - w id t h ,   a n d   H2 :   Ma x   p o o lin g   la y er - h ei g h t.           Fig u r 7 .   T h o p er atio n   o f   m ax - p o o lin g   la y er   to   o n b lo ck       2 . 3 . 4 .   Dro po ut  la y er     Ma n y   ac ti v atio n s   ( n o d es)  ar r an d o m l y   d is ca r d ed   in   th i s   la y er ,   w h ic h   o f te n   d r a m atica ll y   a cc eler ates   th tr ain i n g -   s tag a n d   d ec r ea s in g   o v er f itti n g .   T h p r o b ab il ities   f o r   d r o p o u r an g es  i n   o u r   p r o p o s ed - m eth o d   w er ( 2 0 - 2 5 ) f o r   th f o u r   D r o p o u t - la y er s   t h at  f o llo w   m a x - p o o lin g   la y er s .   T h last   d r o p o u la y er   r atio   a f ter   th f u ll y   co n n ec ted   la y er   is   3 0 % [ 3 3 ] - [ 3 5 ] .   Fig u r 8   p r esen te d   Dr o p o u t la y er s .         ( a)   ( b )     Fig u r 8 .   E x a m p le  o f   t h d r o p o u t la y er : ( a)   s tan d ar n eu r al  n et,   ( b )   af ter   ap p ly in g   d r o p o u t   [ 3 6 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Mu lticla s s i fica tio n   o f lice n s p la te  b a s ed   o n   d ee p   co n vo lu ti o n   n eu r a n etw o r ks ( Ma s a r   A b ed   Uth a ib )   5273   2 . 3 . 5 .   F ull y - co nn ec t ed - la y er s   T h ar r an g e m en t   o f   la y er s   l ik n e u r o n s   i n   a   t y p ical   n e u r al  n et w o r k   is   o r g an ized .   A   n o d in   f u l l y   co n n ec ted - la y er   is   attac h ed   d i r ec tl y   to   ea ch   n o d i n   th e   p r ev io u s   a n d   n ex t   la y er s ,   a s   clea r ed   in   F i g u r e   9 .   T h co n n ec tio n   b et w ee n   n o d es  i n   th p r ev io u s   f r a m e   o f   t h p o o lin g - la y er   an d   t h l a y er   o f   f u ll y - co n n ec ted   is   a   v ec to r ,   w h ic h   r ep r esen t s   t h f ir s la y er .   I co n tai n s   p ar a m et er s   th at  tak lo n g er   to   b tr ain ed .   T h er ef o r e,   th e   n u m b er   o f   n o d es  an d   li n k s   a r eli m i n ated   u s in g   th e   Dr o p o u tec h n iq u w it h   p r o b ab ilit y   ( 3 0 %)  b ef o r t h e   s o f t m ax   la y e r .   So f t m a x   i s   m ix t u r o f   m a n y   s ig m o id   ac ti v a tio n   f u n c tio n s .   Sig m o id   f u n cti o n   r etu r n s   v al u es   i n   th r a n g e   (0 - 1 ) .   T h ese  ca n   b e   v ie w ed   as  th e   li k eli h o o d   o f   d ata  p o in ts   o f   g i v en   clas s .   So f t m ax   ca n   b u s ed   f o r   m u lticla s s   cla s s i f icatio n   p r o b lem s ,   u n li k s i g m o id   f u n c tio n s   t h at  ar u s ed   f o r   b in ar y   class i f icatio n .   T h e   f u n ctio n   r etu r n s   t h lik e lih o o d   f o r   ev er y   d ata  p o in t o f   all  g r o u p s   [ 3 7 ]   as e x p lain ed   in   t h ( 5 )   [ 3 8 ] :     ( ) = = 1      f o r   j 1 , . . . , k   .       ( 5 )       K:  class   n u m b er   a n d   th e   f u n ctio n   o f   Z   o u tp u eq u al  to   o n e.   T h o u tp u la y er   o f   t h n e t w o r k   ca n   co n tain   s i m ilar   a m o u n t s   o f   n eu r o n s   a s   t h n u m b er   o f   clas s es  w i th i n   th tar g et  if   w cr ea te  n et w o r k   o r   a   m o d el  f o r   m u ltip le  cla s s i f icat io n s .   A cc o r d in g   to   o u r   w o r k ,   th o u tp u o f   s o f t m a x   is   t h r ee - clas s es  ( A r m en ia ,   B elar u s ,   Hu n g ar y ) .   Fig u r 9   s h o w s   t h s o f t m a x   ac ti v atio n   f u n ct io n   o p er atio n .   I n   th e n d ,   w h a v u s ed   th e   lo s s   f u n ctio n ,   w h ic h   i s   cr o s s - e n tr o p y   to   esti m ate  t h lo s s   o f   class i f icatio n   an d   to   p r ed ict  th lab el  o f   th in p u t   i m a g e.   T h cr o s s - en tr o p y   eq u atio n   ca n   b w r itte n   as  in   ( 6 )   [ 3 9 ] :     L ( , ̂ ) =  l og ( ̂ ) = 0   ( 6 )     w h er ̂   th r atio   o f   th p r ed ic ted   o u tp u t la y er ,   y   t h b i n ar y   i n d icato r   w h et h er   t h clas s i f ica tio n   is   co r r ec t ( 1 )   o r   n o t ( 0 ) ,   an d   n : th clas s   n u m b er s /lab els ( t h o u tp u n o d es   n u m b er s ) .           Fig u r 9 .   So f t m ax   ac ti v atio n   f u n ct io n   ex a m p le       2 . 4 .     O ptim iza t io a lg o rit h m     T h tr ain in g   o f   C NN  m o d el  b y   ch a n g i n g   o n   th iter ativ b a s is   t h la y er 's  p ar a m eter s   in   t h n et w o r k .   T h e   o p ti m izer   p er f o r m s   s ig n i f ican r o le  in   th co n tex o f   le ar n in g   d ee p   C NN  m o d els.  T h lo s s   f u n ctio n   i s   m i n i m ized   b y   t h o p ti m izer .   W u s ed   A d a m   o p ti m izer s .   I t   p r o v es  its   e f f icien c y   i n   t h le ar n in g   p r o ce s s   i n   s h o r t ti m e.   I t ta k es a   s m al l siz o f   m e m o r y .   T h co m p u tatio n   w it h   th i s   o p ti m izer   i s   d o n ef f icien tl y   [ 4 0 ] - [ 44] .       3.   RE SU L T A ND  D I SCU SS I O N   T h s p ec if icatio n   f o r   h ar d w ar an d   s o f t w ar u s ed   in   th i s   s t u d y   as  f o llo w s :   P r o ce s s o r s I n tel  R   C o r ( T M)   i 7 - 9 7 5 0   C P U,   th lo g ical  p r o ce s s o r   n u m b er s 1 2 ,   an d   GP U:  NVI DI A   Ge Fo r ce   GT 1 6 6 0   T I .   Mo r eo v er ,   w e m p lo y ees   th f o llo w i n g L o s s   f u n c tio n :   ca teg o r ical  cr o s s - e n tr o p y ,   Op ti m izatio n A d a m   o p tim izer ,   L ea r n in g   r ate  =0 . 0 0 0 1 ,   No .   o f   E p o ch s 2 1 4   E p o ch s ,   T i m o f   tr ain i n g 1 2   m i n u tes,  P r o g r a m m i n g   b y   an ac o n d p y t h o n   3 . 7 ,   Ker as  ( T en s o r f lo w   b ac k e n d ) ,   an d   n u m b er   o f   p ar a m eter s 9 , 7 5 6 , 6 7 5 .   Fig u r 1 0 ( a )   s h o w s   b o th   t h ac c u r ac y   p r o g r ess   d u r i n g   t h tr ai n i n g   a n d   v alid atio n   p h ase s   f o r   o u r   p r o p o s ed   m o d el.     Fig u r 1 0 ( b )   s h o w s   th a lo s s   h as  b ee n   ac h ie v ed   r ig h a f ter   2 1 4   ep o ch s .   T h lo s s   h as  r i s e n   a n d   f a llen .   Af ter   1 9 4   ep o ch s ,   it  r ea ch es   s tab i lit y ,   w h er t h c u r v e   b eg i n s   to   d r o p .   Desp ite  s m all  n u m b er   o f   d ataset s     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   6 Dec em b er   2 0 2 1     5 2 6 6   -   5 2 7 6   5274   ( 6 0 0   im a g s a m p les),   th p r o p o s ed   m o d el  p r o v es  ef f ici en c y   w h er th ac cu r ac y   f o r   th tr ain in g   an d   v alid atio n   s e ts   is   9 9 . 1 7 an d   9 7 . 5 0   %,  s eq u en tiall y   w i th   e f f icien ti m ( 1 2   m i n u te s )   f o r   tr ain i n g .   W test ed   6 0   p late  im a g es   w h er t h o v er all  clas s i f icatio n   ac cu r ac y   is   9 6 . 6 6 is   co m p u ted   ac c o r d in g   to   ( 7 ) .   T h e   co m p ar is o n   b et w ee n   th e   p r o p o s ed   class i f icatio n   m e th o d   an d   o th er   class i f icatio n   m eth o d s ,   as  ill u s tr ated   in   T ab le   2 .   T a b le  3   r ep o r ted   th p er f o r m a n ce   o f   th p r o p o s ed   C NN  m o d el  in   clas s i f y in g   m u lti n atio n a licen s p lates.   I n   o r d er   to   test   th ac cu r ac y   o f   th cla s s i f icatio n   o f   m u lti n atio n a l lice n s p late  th ( 7 )   is   ad o p te d   [ 1 1 ] :               =                         × 100%     ( 7 )         ( a)     ( b )     Fig u r 1 0 .   T r ain in g   a n d   v alid a tio n   ac cu r ac y   a n d   lo s s ,   ( a)   tr ain in g   a n d   v alid atio n   a cc u r ac y   i n   v ar io u s   ep o ch s ( b )   tr ain in g   a n d   v alid atio n   lo s s   in   v ar io u s   ep o ch s       T ab le  2 .   C o m p ar is o n   a m o n g   d if f er en t r ec o g n itio n   o f   lice n s p late  m eth o d s   R e f e r e n c e   A p p r o a c h   R e c o g n i t i o n   [ 6 ]   C o n v o l u t i o n   n e u r a l   n e t w o r k s w i t h   t r a n sf e r   l e a r n i n g   8 2 . 6 1 %   [ 7 ]   C o n v o l u t i o n   n e u r a l   n e t w o r k s   9 0 . 9 0 %   [ 8 ]   T e mp l a t e   mat c h i n g   a n d   A r t i f i c i a l   n e u r a l   n e t w o r k s   7 2 . 5 a n d   7 5 . 8 r e sp e c t i v e l y   [ 9 ]   K - n e a r e st   n e i g h b o r s   9 3 . 7 5   [ 1 0 ]   Y o l o   v . 3   9 1 %   [ 1 1 ]   T e mp l a t e   mat c h i n g     [ 1 2 ]   C r o ss a n d   p h a se   c o r r e l a t i o n   6 7 . 9 8 %   a n d   6 3 . 4 6 %   se q u e n t i a l l y   [ 1 3 ]   P r o b a b i l i st i c   n e u r a l   n e t w o r k s   9 6 . 5 %   [ 1 4 ]   C o n v o l u t i o n   n e u r a l   n e t w o r k s   ( 7 0 - 88) %   [ 1 5 ]   A r t i f i c i a l   n e u r a l   n e t w o r k s   7 8 %   T h e   p r o p o se d   mu l t i c l a ss i f i c a t i o n   b y   C N N   9 6 . 6 6 %       T ab le  3 .   T h p er f o r m an ce   o f   t h p r o p o s ed   C NN  m o d el  f o r   class i f icatio n   o f   m u l tin a tio n al  l icen s p late   T h e   t y p e   o f   l i c e n se   p l a t e   T o t a l   t e st   i mag e s   N o .   o f   c o r r e c t e d   c l a ssi f i e d   l i c e n se   p l a t e   N o .   o f   n o t   c o r r e c t e d   c l a ssi f i e d   l i c e n se   p l a t e   L i c e n se   p l a t e   c l a ssi f i c a t i o n   p e r c e n t a g e   A r m e n i a   20   20   N o n e   ( 2 0 / 2 0 )   × 1 0 0 %= 1 0 0 %   B e l a r u s   20   19   1   ( 1 9 / 2 0 )   × 1 0 0 %= 9 5 %   H u n g a r y   20   19   1   ( 1 9 / 2 0 )   × 1 0 0 %= 9 5 %   T o t a l   80   78   2   9 6 . 6 6 %       4.   CO NCLU SI O N     An   e f f ec ti v ap p r o ac h   f o r   m u lti - n a tio n alit y   v e h icle  p la te  class if ica tio n   b ased   o n   C NNs   w as   p r o p o s ed .   I f o cu s ed   o n   th p r ep r o ce s s in g   f o r   th p late  ( d a ta  au g m e n tatio n   t h at  i n cr ea s e d   th d ataset)   an d   r eg u lar izatio n   u s i n g   ( b atch   n o r m aliza tio n   an d   d r o p o u la y er s )   to   eli m i n ate  o v er f itti n g   a n d   m a k g en er ali t y   to   th m o d el.   T h p r o p o s ed   m et h o d   co n s i s ted   o f   th r e e   s ta g es:   p r ep r o ce s s in g ,   th e   C NN   m o d el  ar ch itect u r e,   a n d   p r ed ictio n   o f   th e   clas s   o f   l icen s e.   T h e   p r o p o s ed   m eth o d   h ad   b ee n   p r o v ed   as a n   e f f icie n m e th o d   in   p er f o r m i n g   th p late  clas s i f icatio n   o f   t h m u lti n atio n al l y - lice n s ed   p l ate  f o r   th t h r ee   co u n tr ies  ( A r m en ia,   B elar u s ,   Hu n g ar y )   w h er th ac cu r ac ie s   o f   tr ain in g   an d   v alid atio n   s e ts   ar 9 9 . 1 7 an d   9 7 . 5 0 %,  r e s p ec tiv el y ,   w ith   t h o v er all  class i f icat io n   ac cu r ac y   is   9 6 . 6 6 % .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Mu lticla s s i fica tio n   o f lice n s p la te  b a s ed   o n   d ee p   co n vo lu ti o n   n eu r a n etw o r ks ( Ma s a r   A b ed   Uth a ib )   5275   RE F E R E NC E S     [1 ]   L .   A lzu b a id i,   M .   A .   F a d h e l,   O.   A l - S h a m m a ,   J.  Zh a n g ,   a n d   Y.   D u a n ,   De e p   L e a rn i n g   M o d e ls   f o Clas sif ic a ti o n   o Re d   Blo o d   Ce ll i n   M icro sc o p y   Im a g e to   A id   in   S ick le  Ce ll   A n e m ia  Dia g n o sis,”   El e c tro n ics ,   v o l.   9 ,   n o .   3 ,   2 0 2 0 A rt.   n o .   4 27 ,   d o i.   1 0 . 3 3 9 0 /ele c tro n ics 9 0 3 0 4 2 7 .   [2 ]   L .   A lzu b a id e a l. ,   No v e T ra n sf e L e a rn in g   A p p ro a c h   f o M e d ica Im a g in g   w it h   L i m it e d   L a b e led   Da ta ,”   Ca n c e rs v o l.   13 ,   n o .   7 2 0 2 1 ,   A rt.   n o .   1 5 9 0   d o i 1 0 . 3 3 9 0 /ca n c e rs1 3 0 7 1 5 9 0   [3 ]   M .   N.  Ya sir  a n d   M .   S .   Cro o c k ,   S o f twa re   e n g in e e rin g   b a se d   se l f - c h e c k in g   p ro c e ss   f o r   c y b e s e c u rit y   s y st e m   in   V A NET ,   In ter n a ti o n a J o u rn a o El e c trica a n d   Co mp u ter   En g i n e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   n o .   6 ,   p p .   5 8 4 4 5 8 5 2 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 /i jec e . v 1 0 i 6 . p p 5 8 4 4 - 5 8 5 2 .     [4 ]   M .   N.  Ya sir  a n d   M .   S .   Cro o c k ,   C y b e Do S   a tt a c k - b a s e d   se c u rit y   sim u lato f o V A NE T ,   In ter n a ti o n a J o u rn a o f   El e c trica a n d   Co m p u ter   E n g i n e e rin g   ( IJ ECE ),   v o l.   1 0 ,   n o .   6 ,   p p .   5 8 3 2 5 8 4 3 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 /i jec e . v 1 0 i 6 . p p 5 8 3 2 - 5 8 4 3   [5 ]   L .   A lzu b a id i,   O.  A l - S h a m m a ,   M .   A .   F a d h e l,   L .   F a rh a n ,   J.  Zh a n g ,   a n d   Y.  Du a n ,   Op ti m izin g   th e   P e rf o rm a n c e   o Bre a st  Ca n c e Clas si f ica ti o n   b y   Em p lo y in g   th e   S a m e   Do m a in   T r a n sf e Lea rn in g   f ro m   H y b rid   De e p   Co n v o l u ti o n a l   Ne u ra Ne tw o rk   M o d e l,   El e c tro n ics ,   v o l.   9 ,   n o .   3 ,   2 0 2 0 ,   A rt.   n o .   4 4 5 ,   d o i:   1 0 . 3 3 9 0 /ele c tro n ics 9 0 3 0 4 4 5 .   [6 ]   L .   A lzu b a id e a l . ,   T o w a rd a   Be tt e Un d e rsta n d i n g   o f   T ra n sfe r   L e a rn in g   f o M e d ica I m a g in g A   C a se   S tu d y ,   Ap p l .   S c i,   v o l.   1 0 ,   n o .   1 3 ,   2 0 2 0 ,   A rt.   n o .   4 5 2 3 ,   d o i:   1 0 . 3 3 9 0 /ap p 1 0 1 3 4 5 2 3 .   [7 ]   L .   A lzu b a id e a l. ,   Re v ie w   o f   d e e p   lea rn in g c o n c e p ts,   CNN   a rc h it e c tu re s,  c h a ll e n g e s,  a p p li c a ti o n s,  f u t u re   d irec ti o n s ,”   J o u rn a o B ig   D a ta v o l.   8 ,   n o .   1,   pp.   1 74 2 0 2 1 ,   d o i:   1 0 . 1 1 8 6 /s 4 0 5 3 7 - 0 2 1 - 0 0 4 4 4 - 8 .   [8 ]   J.  A .   C.   Jo se   e a l . ,   Ca teg o rizin g   L ice n se   P late Us in g   Co n v o lu ti o n a Ne u ra Ne tw o rk   w it h   Re sid u a L e a rn in g ,   i n   2 0 1 9   4 t h   Asia - P a c if ic  Co n f e re n c e   o n   In telli g e n R o b o t   S y ste ms   ( ACIR S ) ,   2 0 1 9 ,   p p .   2 3 1 2 3 4 1 0 . 1 1 0 9 /A CIRS . 2 0 1 9 . 8 9 3 5 9 9 7 .   [9 ]   M .   A ti k u z z a m a n ,   M .   A s a d u z z a m a n ,   a n d   M .   Z.   Isla m ,   V e h icle   N u m b e P late   De tec ti o n   a n d   Ca teg o riza ti o n   Us in g   CNN s,”   in   2 0 1 9   I n ter n a t io n a C o n fer e n c e   o n   S u sta in a b le   T e c h n o lo g ies   f o In d u stry   4 . 0   ( S T I) ,   2 0 1 9 ,   p p .   1 5 ,   d o i :   1 0 . 1 1 0 9 / S T I4 7 6 7 3 . 2 0 1 9 . 9 0 6 8 0 4 9 .   [1 0 ]   J.  W a n g ,   B.   B a c ic,  a n d   W .   Q.  Y a n ,   A n   e ff e c ti v e   m e th o d   f o p late   n u m b e re c o g n it io n ,   M u lt ime d .   T o o ls  Ap p l. v o l.   7 7 ,   n o .   2 ,   p p .   1 6 7 9 1 6 9 2 ,   2 0 1 8 ,   d o i:   1 0 . 1 0 0 7 /s 1 1 0 4 2 - 0 17 - 4 3 5 6 - .   [1 1 ]   M .   R.   Hid a y a h ,   I.   Ak h li s,  a n d   E.   S u g ih a rti ,   Re c o g n it i o n   N u m b e o f   T h e   V e h icle   P late   Us in g   Otsu   M e th o d   a n d   K - Ne a re st Ne i g h b o u r   Clas sif ica ti o n ,   S c i.   J .   I n fo rm a ti c s ,   v o l.   4 ,   n o .   1 ,   p p .   6 6 7 5 ,   2 0 1 7 ,   d o i :   1 0 . 1 5 2 9 4 /sji . v 4 i1 . 9 5 0 3 .   [1 2 ]   J.  W a n g ,   X .   L iu ,   A .   L iu ,   a n d   J.  Xia o ,   A   d e e p   le a rn in g - b a se d   m e th o d   f o v e h icle   li c e n se p late   re c o g n it io n   i n   n a t u ra l   sc e n e ,   AP S IPA   T r a n s.   S i g n a I n f .   Pro c e ss . ,   v o l.   8 ,   2 0 1 9 ,   d o i:   1 0 . 1 0 1 7 /A T S IP . 2 0 1 9 . 8   .   [1 3 ]   F .   P a tel,   J.  S o lan k i,   V.  Ra jg u r u ,   a n d   A .   S a x e n a ,   Re c o g n it io n   o f   v e h icle   n u m b e p late   u sin g   im a g e   p ro c e ss in g   tec h n iq u e ,   Co n tro S y st.  E n g ,   v o l.   2 ,   n o .   1 ,   p p .   1 7 ,   2 0 1 8 .   [1 4 ]   G .   S h a r m a ,   P e rf o r m a n c e   a n a l y sis  o v e h icle   n u m b e p late   re c o g n it io n   sy ste m   u sin g   te m p late   m a tch in g   tec h n iq u e s,”   J .   In f .   T e c h n o l.   S o ft w.   En g . ,   v o l.   8 ,   n o .   2 ,   p p .   1 0 4 1 7 2 ,   2 0 1 8 ,   d o i:   1 0 . 4 1 7 2 / 2 1 6 5 - 7 8 6 6 . 1 0 0 0 2 3 2 .   [1 5 ]   F .   Öz rk   a n d   F .   Öz e n ,   n e w   li c e n se   p late   r e c o g n it io n   sy ste m   b a se d   o n   p ro b a b il isti c   n e u ra n e tw o rk s,”   Pro c e d ia   T e c h n o l . ,   v o l .   1 ,   p p .   1 2 4 1 2 8 ,   2 0 1 2 ,   d o i:   1 0 . 1 0 1 6 / j. p r o tcy . 2 0 1 2 . 0 2 . 0 2 4 .   [1 6 ]   M .   M .   S .   Ra h m a n ,   M .   M o sta k im ,   M .   S .   Na srin ,   a n d   M .   Z.   A lo m ,   Ba n g la  L i c e n se   P late   Re c o g n it io n   Us i n g   Co n v o l u ti o n a Ne u ra Ne t w o rk (CNN ),   in   2 0 1 9   2 2 n d   In ter n a ti o n a Co n fer e n c e   o n   Co mp u ter   a n d   In f o rm a ti o n   T e c h n o l o g y   ( ICCIT ) ,   2 0 1 9 ,   p p .   1 6 ,   d o i:   1 0 . 1 1 0 9 /ICCIT 4 8 8 8 5 . 2 0 1 9 . 9 0 3 8 5 9 7 .   [1 7 ]   R.   N.  Ba b u ,   V .   S o w m y a ,   a n d   K.  P .   S o m a n ,   In d ia n   Ca Nu m b e P late   Re c o g n it io n   u sin g   De e p   L e a r n in g ,   in   2 0 1 9   2 n d   I n ter n a ti o n a C o n fer e n c e   o n   In telli g e n Co m p u ti n g ,   In stru me n ta ti o n   a n d   Co n tro T e c h n o l o g ies ,   2 0 1 9 ,   d o i:   1 0 . 1 1 0 9 /ICICICT 4 6 0 0 8 . 2 0 1 9 . 8 9 9 3 2 3 8 .   [1 8 ]   A .   M i k o łajc z y k   a n d   M .   G ro c h o w s k i,   Da t a   a u g m e n tatio n   f o im p ro v in g   d e e p   lea rn in g   in   i m a g e   c la ss i f ica ti o n   p ro b lem ,   in   2 0 1 8   in ter n a ti o n a in ter d isc ip li n a ry   Ph wo rk sh o p   ( IIP h DW ) ,   2 0 1 8 ,   p p .   1 1 7 1 2 2 1 0 . 1 1 0 9 /II P HD W . 2 0 1 8 . 8 3 8 8 3 3 8 .   [1 9 ]   A .   A sp e rti   a n d   C.   M a stro n a r d o ,   T h e   e ff e c ti v e n e ss   o f   d a ta  a u g m e n tatio n   f o d e tec ti o n   o f   g a stro in tes ti n a d ise a se f ro m   e n d o sc o p ica im a g e s,”   a rXiv P re p r.  a rXiv1 7 1 2 . 0 3 6 8 9 ,   2 0 1 7 ,   d o i:   1 0 . 5 2 2 0 /0 0 0 6 7 3 0 9 0 1 9 9 0 2 0 5 .   [2 0 ]   W .   L i,   C.   Ch e n ,   M .   Zh a n g ,   H.  L i,   a n d   Q.  Du ,   Da ta  a u g m e n tatio n   f o h y p e rsp e c tral  i m a g e   c las si f ic a ti o n   w it h   d e e p   CNN ,   IEE Ge o sc i.   Rem o te  S e n s.  L e tt . ,   v o l.   1 6 ,   n o .   4 ,   p p .   5 9 3 5 9 7 ,   2 0 1 8 ,   d o i:   1 0 . 1 1 0 9 /L G RS . 2 0 1 8 . 2 8 7 8 7 7 3 .   [2 1 ]   C.   S h o rten   a n d   T .   M .   K h o s h g o f taa r,   A   su rv e y   o n   im a g e   d a ta  a u g m e n tatio n   f o d e e p   lea rn in g ,   J .   Bi g   Da ta ,   v o l.   6 ,   n o .   1 ,   p .   6 0 ,   2 0 1 9 ,   d o i:   1 0 . 1 1 8 6 /s 4 0 5 3 7 - 0 1 9 - 0 1 9 7 - 0 .   [2 2 ]   T.   C.   P h a m ,   C.   M .   L u o n g ,   M .   V isa n i,   a n d   V .   D.  H o a n g ,   De e p   CNN   a n d   d a ta  a u g m e n tatio n   f o sk in   les io n   c las si f ica ti o n ,   in   Asia n   Co n fer e n c e   o n   In telli g e n In f o rm a ti o n   a n d   Da t a b a se   S y ste ms ,   2 0 1 8 ,   p p .   5 7 3 5 8 2 ,   d o i:   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 7 5 4 2 0 - 8 _ 5 4 .   [2 3 ]   S .   A lb a w i,   T .   A .   M o h a m m e d ,   a n d   S .   A l - Za w i,   Un d e rsta n d i n g   o a   c o n v o lu ti o n a n e u ra n e t w o rk ,   in   2 0 1 7   In ter n a t io n a Co n fer e n c e   o n   En g in e e rin g   a n d   T e c h n o l o g y   ( ICET ) ,   2 0 1 7 ,   p p .   1 6 ,   d o i:   1 0 . 1 1 0 9 /IC En g T e c h n o l. 2 0 1 7 . 8 3 0 8 1 8 6 .   [2 4 ]   F .   G a o ,   T .   Hu a n g ,   J.  W a n g ,   J.  S u n ,   A .   Hu ss a in ,   a n d   E .   Ya n g ,   Du a l - b ra n c h   d e e p   c o n v o l u ti o n   n e u ra n e tw o rk   f o p o larim e tri c   S A i m a g e   c la ss i f ic a ti o n ,   A p p l.   S c i. ,   v o l .   7 ,   n o .   5 ,   p .   4 4 7 ,   2 0 1 7 ,   d o i:   1 0 . 3 3 9 0 /a p p 7 0 5 0 4 4 7 .   [2 5 ]   A .   A .   M .   A l - S a ff a r,   H.  Tao ,   a n d   M .   A .   T a lab ,   Re v ie w   o f   d e e p   c o n v o lu ti o n   n e u ra n e tw o rk   in   im a g e   c las si f ica ti o n ,   in   2 0 1 7   In ter n a ti o n a Co n fer e n c e   o n   Ra d a r,  An ten n a ,   M icr o wa v e ,   El e c tro n ics ,   a n d   T e lec o mm u n ic a ti o n s   ( ICRA M ET ) ,   2 0 1 7 ,   p p .   2 6 31 ,   d o i:   1 0 . 1 1 0 9 /ICRA M ET . 2 0 1 7 . 8 2 5 3 1 3 9   .   [2 6 ]   H.  H.  S u lt a n ,   N.   M .   S a lem ,   a n d   W .   A l - A tab a n y ,   M u lt i - c las sif ic a ti o n   o f   b ra in   t u m o im a g e u sin g   d e e p   n e u ra l   n e tw o rk ,   IEE Acc e ss ,   v o l.   7 ,   p p .   6 9 2 1 5 6 9 2 2 5 ,   2 0 1 9 ,   d o i:   1 0 . 1 1 0 9 /A CCES S . 2 0 1 9 . 2 9 1 9 1 2 2 .   [2 7 ]   N.  Bjo rc k ,   C.   P .   G o m e s,  B.   S e lma n ,   a n d   K.  Q.   W e in b e rg e r,   Un d e rsta n d in g   b a tch   n o rm a li z a ti o n ,   in   A d v a n c e i n   Evaluation Warning : The document was created with Spire.PDF for Python.