I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   19 ,   No .   2 A u g u s 20 20 ,   p p .   9 7 4 ~ 9 8 2   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 1 9 .i 2 . p p 974 - 9 8 2          974       J o ur na l ho m ep a g e h ttp : / / ijee cs.ia esco r e. co m   Fused  fas ter RCN Ns for e ff ici ent  de tect io n of  t h e lice nse pla tes       Na a m a n O m a r 1 ,   Adna n M o hs in A bd u la ze ez 2 ,   Abdu l k a d ir  Seng ur 3 ,   Sa li m   G a ni m   Sa ee d Al - Ali 4   1 De p a rtme n o f   In f o rm a ti o n   T e c h n o l o g y ,   Du h o k   P o ly tec h n ic Un iv e rsit y ,   Ira q   2 P re sid e n c y   o f   Du h o k   P o ly tec h n ic Un iv e rsit y ,   Du h o k   P o ly tec h n ic Un iv e rsit y ,   Ira q   3 De p a rtme n o f   El e c tri c a l - El e c tro n ics   En g in e e rin g ,   F irat  Un iv e rsity ,   T u rk e y   4 De p a rtme n o f   In f o rm a ti o n   T e c h n o l o g y   M a n a g e m e n t,   Du h o k   P o ly tec h n ic Un iv e rsity ,   Ira q       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J an   2 ,   2 0 2 0   R ev i s ed   Feb   2 9 ,   2 0 2 0   A cc ep ted   Mar   1 3 ,   2 0 2 0       A u to m a ti c   L i c e n se   P late   De tec ti o n   a n d   Re c o g n it i o n   (A L P D - R)  is  a n   im p o rtan a n d   c h a ll e n g in g   a p p li c a ti o n   f o traf f i c   su rv e il lan c e ,   tra ff ic  s a f e t y ,   se c u rit y ,   se rv i c e p u rp o se a n d   p a rk in g   m a n a g e m e n t.   G e n e ra ll y ,   trad it io n a im a g e   p ro c e ss in g   ro u ti n e h a v e   b e e n   u se d   in   A L P D - R.   A lt h o u g h   th e   g e n e ra a p p ro a c h e p e rf o rm   we ll   o n   AL P D - R,   n e w   a n d   e ff icie n a p p r o a c h e a re   n e e d e d   t o   im p ro v e   th e   d e tec ti o n   a c c u ra c ies .   T h u s,  i n   th is  p a p e r,   a   n e w   a p p ro a c h ,   w h ich   is  b a se d   o n   f u sin g   o f   m u lt ip le  F a ste Re g io n w it h   Co n v o l u ti o n a l   Ne u tral  Ne tw o rk   (F a ste r -   RCNN a rc h it e c tu re s,  is   p ro p o se d .   M o re   sp e c ially ,   th e   De e p   L e a rn in g   (DL is  u se d   to   d e tec li c e n s e   p late in   g iv e n   i m a g e s.  T h e   p ro p o se d   li c e n se   p late   d e tec ti o n   m e th o d   u se th r e e   F a ste r -   RCNN   m o d u les   w h e re   e a c h   f a st e RCNN   m o d u le  u se a   p re - tra in e d   CNN   m o d e n a m e l y   A l e x N e t,   V GG 1 6   a n d   V GG 1 9 .   Eac h   F a ste r - RCNN   m o d u le  is  train e d   in d e p e n d e n tl y   a n d   th e ir  re su lt a re   f u se d   in   f u sin g   la y e r.   F u sin g   la y e r   u se   a v e r a g e   o p e ra to o n   th e   X   a n d   c o o rd i n a tes   o f   th e   o u tp u ts  o f   th e   F a ste r - RCNN   m o d u le a n d   m a x i m u m   o p e ra to is  e m p lo y e d   o n   t h e   w id th   a n d   h e ig h o u t p u ts  o f   th e   F a ste r - RCNN   m o d u les .   A   p u b li c ly   a v a il a b le  d a tas e t   is  u se d   in   e x p e ri m e n ts.   T h e   a c c u ra c y   is   u se d   a a   p e rf o rm a n c e   in d ica to o   th e   p ro p o se d   m e th o d .   F o 1 0 0   te stin g   ima g e s,  th e   p ro p o se d   m e th o d   d e tec ts  th e   e x a c lo c a ti o n   o f   li c e n se   p l a tes   f o 9 7   im a g e s.  T h e   a c c u ra c y   o f   th e   p ro p o se d   m e th o d   is  9 7 % .   K ey w o r d s :   Dee p   lear n in g   Fas ter - R C NN   L ice n s p late  d etec tio n     Veh icle  i m a g es   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Naa m a n   O m ar ,   Dep ar t m en t o f   I n f o r m atio n   T e ch n o lo g y ,   Du h o k   P o l y tech n ic  U n i v er s it y ,   6 1   Z ak h o   R o ad ,   Ma zi  Qr  ، 1 0 0 6 ,   Du h o k   4 2 0 0 1 ,   I r a q .   E m ail:  ij ee cs.iae s @ g m a il.c o m       1.   I NT RO D UCT I O N     Dee p   L ea r n i n g   ( D L )   co n ce r n s   w i th   p r o ce s s i n g   i n f o r m atio n   u til izin g   d ee p   n et w o r k s .   I t   is   p ar t     o f   m ac h i n lear n i n g   ap p r o ac h es.  I n   i ts   ea r lier   ap p ea r an ce   in   1 9 4 3 ,   DL   w a s   ter m ed   b y   Mc C lu llo ch   an d   P itt s   a s   c y b er n etics”.   DL   is   s u p er io r   in   d r a w in g   o u t - co m es  f r o m   c o m p le x   p r o b le m s .   C o n v o lu tio n al  n eu r al  n et w o r k   ( C NN)   is   a n   in s tan ce   o f   d ee p   lear n in g   s tr ate g y   i s   m i m ic k in g   b r ain   f u n ct io n   i n   p r o ce s s i n g   i n - f o r m atio n R ec u r r en Neu r al  Net w o r k   ( R NN) ,   Dee p   Neu r al  Net w o r k   ( DNN) ,   an d   C o n v o l u tio n al   Ne u r al   Net w o r k   ( C NN)   ar ar ch itectu r t y p e s   o f   D L [1 , 2] .   Au to m a tic  L icen s P late  R ec o g n itio n   ( AL P R )   is   a n   i m p o r tan to p ic  in   i n tell ig e n tr a n s p o r tatio n   ap p licatio n s .   AL P R   ca n   b u s ed   to   id en tify   th v e h icles  f r o m   its   licen s p late.   AL P R   h as  p o ten tial  to   b u s ed   in   v ar iet y   o f   ap p licatio n   a r ea s   s u c h   as  tr af f ic  s u r v eil lan ce ,   tr af f ic  s a f et y ,   s ec u r it y ,   s er v ices  p u r p o s es  an d   p ar k in g   m a n ag e m e n [3 - 6] .   L i g h tin g   an d   w ea th er   co n d i tio n s   ef f ec AL P R   s y s te m   s ig n i f ica n tl y   [7 , 8]   An   AL P R   s y s te m   g e n er all y   co m p o s ed   o f   f o u r   m ai n   b lo ck s   s u c h   as  i m a g ca p tu r i n g   b lo ck ,   licen s p late   d etec tio n   b lo ck ,   c h ar ac ter   s eg m e n tat io n   b lo ck   an d   c h a r ac ter   r ec o g n itio n   b lo ck ,   r e s p ec tiv el y   [9 - 12]   T h licen s p late  d etec tio n ,   w h ic h   is   in   th s ec o n d   b lo ck   o f   th AL P D,   ca n   b s ee n   as   th m o s i m p o r tan t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       F u s ed   fa s ter R C N N s   fo r   ef fici en t d etec tio n   o f t h licen s p la tes   ( N a a ma n   Oma r )   975   p ar t.  B ec au s e,   it  ef f ec ts   t h r e co g n itio n   p er f o r m a n ce   o f   s u b s eq u en p ar ts   o f   t h AL P [ 1 3 - 16] .   A L P   s y s te m s   ar in   th d e m a n d   an d   i n   th l ast  t w o   d ec ad es,  s o   m an y   w o r k s   h av b ee n   ca r r ied   o u o n   it.   I n   th i s   w o r k ,   as  we   co n ce n tr ated   o n   t h lice n s e   p late  d etec tio n ,   th e   liter at u r t h at  ar r elate d   w it h   t h l icen s p late  d etec tio n   is   r ev ie w ed .     B ec au s o f   i n cr ea s i n g   t h v eh icles  n u m b er ,   t h tr a f f ic  v io lat io n   a n d   tr af f ic   co n tr o b ec o m e   s er io u s   an d   ch alle n g i n g   p r o b le m   i n   all  o v er   th w o r d .   Mo r eo v er e,   th v e h icle   d etec tin   a n d   r ec o g n itio n   b ec o m e   d if f ic u lt   f r o m   v e h icle  L P . Va r io u s   d ataset  u s ed   f o r   tr ain i n g   ev a lu at io n   al g o r ith m s   [ 1 7 , 1 8] .   I n   last   d ec ate,   d if f er e n al g o r ith m s   a n d   m et h o d s   h a v b ee n   p r p p o s ed   f o r   d etec tio n   an d   r ec o g n itio n   v eh ic le  L P   to   d ate,     s u c h   as VG G1 6 ,   VGG1 9 ,   C N [ 1 9 ] .   Ho   et  al.   [ 2 0 ]   p r o p o s ed   li ce n s e   p late  d etec tio n   m et h o d   f o r   o n lin e   ap p licatio n s .   T h e   p r o p o s e d   m et h o d   w a s   co m p o s ed   o f   t w o   s tag e s .   Au t h o r s   u s ed   A d ab o o s m et h o d ,   s u p p o r v ec t o r   m ac h i n ( S VM )   cla s s i f ier   a n d   s ca le  i n v ar ian t   f ea tu r tr a n s f o r m   ( SIFT )   d escr ip to r s   f o r   AL P D.   I n   th e   f ir s t   s tag t h A d ab o o s t   m et h o d   w a s   u s ed   to   lo ca lize  th lice n s p late  r eg io n .   T h SIFT   f ea tu r es  w er e x tr ac ted   f r o m   t h ch ar ac ter s   o f   th lice n s p late  r eg io n   a n d   S VM   class i f ier   w a s   u s ed   to   r ec o g n ize  t h lice n s p late.   Au t h o r s   u s ed   d ataset  in v o l v es  8 0 0   i m a g es  i n   t h eir   ex p er i m e n ts .   T h r ep o r ted   ac cu r ac y   w a s   8 8 %.  Kata ta  et  al.   p r o p o s ed   m et h o d   to   d etec licen s p late  o f   g iv en   i m ag b ased   o n   Gab o r   f ilte r s   an d   n e u r al  n et w o r k s   ( N Ns)  [ 2 1 ] .   T h p r o p o s ed   m et h o d   w a s   co m p o s ed   o f   th r ee   s tep s .   T h f ir s s tep   co v er s   th e   g e n er atio n   o f   t h f ea tu r v ec to r s   f o r   b o th   tr ain i n g   a n d   test in g   i m a g es.  Au th o r s   u s ed   co n tr ast  l i m i ted   ad ap tiv h i s to g r a m   eq u al iza tio n   ( C L A HE )   b e f o r e   Featu r E x tr ac tio n   ( FE)   f o r   i m p r o v i n g   t h q u alit y   o f   t h e   in p u t   i m a g e s .   Gab o r   f ilter s   w er u s ed   f ea t u r e   ex tr ac tio n   a n d   NN s   w a s   u s ed   f o r   clas s i f icatio n .   5 8   T u n is ia n   v eh ic les  i m a g es   w er u s ed   in   e x p er i m e n ts   an d   ac ce p tab le  r esu lts   w er r ep o r ted   b y   th a u t h o r s .     Ki m   et  al.   p r esen ted   m et h o d   f o r   licen s p late  d etec tio n   th r o u g h   t w o   s ta g es [ 1 6 ] .   I n   th f ir s s ta g e,   th r eg io n   o f   v e h icle  w a s   lo ca ted   in   w h o le  i m a g b y   u s i n g   C NN  alg o r ith m   to   s p ec if y   t h r eg io n   o f   in ter est   ( R OI )   ea s il y .   I n   th s ec o n d   s tag e,   th d etec tio n   o f   t h licen s p late  ca n d id ates  f r o m   v eh ic le  r eg io n   w as   ac co m p li s h ed   b y   u s i n g   t h h ier ar ch ical  s a m p li n g   m et h o d .   T h f alse  p o s iti v licen s e   p late  r eg io n s   w er eli m i n ated   b y   u s in g   d ee p   C NN.   T h p er f o r m an ce   o f   t h m e th o d   w a s   ev al u ated   o n   C altec h   d ataset.     T h o b tain ed   p r ec is io n   an d   r ec all  s co r es  w er 9 8 . 3 9 an d   9 6 . 8 3 %,  r esp ec tiv el y .   Yu a n   et  al.   p r o p o s ed     m et h o d   to   d etec v eh icle  licen s p late  [ 4 ] .   I n   th p r o p o s ed   ap p r o ac h   lin d en s it y   f ilter   w a s   u s ed   to   f in d   th e   ca n d id ate  r eg io n s .   T h en ,   t h p o s iti v ( tr u e)   lice n s e   p late  w a s   id en t if ied   b ased   o n   li n ea r   SVMs.     Fo r   p er f o r m a n ce   e v al u atio n ,   t h C a ltech   licen s p late  d atas et  w a s   u s ed .   Au th o r s   a ls o   u s ed   an o th er   d atase t   th at  co n tai n s   3 8 2 8   im a g es.  T h au th o r s   r ep o r ted   9 6 . 6 2 % a v er ag ac cu r ac y   s co r e.     Z h ao   et  al.   p r o p o s ed   m et h o d   w h ic h   w a s   co m p o s ed   o f   t h Haa r - li k ca s ca d cla s s if ier   an d   A d ab o o s f o r   v eh ic le  licen s p late  d etec tio n   [ 1 3 ] .   T h d ataset,   w h ich   w a s   u s ed   i n   ex p er i m en ts ,   w as  co llected   f r o m   d i f f er en t   en v ir o n m e n ts   in   C h in a.   T h ac cu r ac y   o f   t h p r o p o s ed   m et h o d   w as   8 9 . 5 %.  Ma s o o d   et  al.   p r o p o s ed   an   alg o r ith m   f o r   L P DR   b ased   o n   d ee p   C o n v o lu tio n al  Ne u r al  Net w o r k s   ( C NN s )   [ 2 2 ] .   T h alg o r ith m   w a s   ap p lied   u n d er   v ar io u s   wea th er   co n d itio n s   a n d   licen s p late  s h ap es.  T h p r o p o s ed   alg o r ith m   p er f o r m ed   d etec tio n ,   ch ar ac ter   s eg m en ta tio n   a n d   r ec o g n itio n .   T w o   d if f er en d ataset s   h av b ee n   u s ed   to   ev alu ate  th e   p er f o r m a n ce ,   3 2 8   i m ag e s   f r o m   US A   a n d   5 5 0   i m ag e s   f r o m   E u r o p ea n .   T h p er f o r m an c w a s   9 9 . 0 9 an d   9 9 . 6 4 % f o r   USA   an d   E u r o p ea n   d atasets ,   r esp ec ti v el y .   A za m   et  al.   p r o p o s ed   an   alg o r ith m   to   d et ec ted   v eh icle  lice n s p late  r e g io n   i n   d i f f er e n h az ar d o u s   i m a g co n d itio n s   [ 1 0 ] .   Var io u s   p r e - p r o ce s s i n g   s tep s   w er e   ap p lied   o n   in p u i m a g f o r   n o is r e m o v a an d   co n tr ast  e n h a n ce m e n t.  Au t h o r s   [ 1 0 ]   u s ed   R ad o n   tr an s f o r m   a n d   tilt   co r r ec tio n   f o r   d ete ctio n   o f   th e   lice n s e   p late.   d ataset  t h at   co n tai n s   8 5 0   v eh icle   i m ag e s   f o r   d if f er en co n d itio n s   w er u s ed   i n   e x p er i m e n ts   an d     th o b tain ed   ac c u r ac y   s co r w a s   9 4 %.  Nai m et  a l .   p r o p o s ed   an   al g o r ith m   f o r   lice n s p late  d etec tio n   f o r   v ar io u s   n atio n   a n d   m u lti  cr ite r io n s   p late  in   d if f er en co n d it i o n   [ 1 1 ] .   T h p r o p o s ed   w o r k   w a s   b ased   o n   d ee p   lear n in g   w h er s el f - ta u g h f ea tu r es  w er u s ed   f o r   d etec tio n   o f   th licen s p late.   T h au t h o r s   co m b in ed   r eg io n   p r o p o s al  n et w o r k   w it h   C NN   to   im p r o v t h p er f o r m an ce .   Firstl y ,   f ea tu r e s   w er e x tr ac ted   b y   C N an d   p r esen ted   th f ea t u r m ap   to   t h R P N.   Seco n d l y ,   s o f t - m a x   class i f ier   w as   u s ed   to   d etec th L P   r e g io n .   5 0 0 0   co lo r   im a g es  w er u s ed   in   e x p er i m en ts   an d   9 9 % a cc u r ac y   s c o r w a s   o b tain ed .     L et  al.   p r o p o s ed   an   alg o r ith m   f o r   v e h icle  l icen s p late  d etec tio n   an d   r ec o g n itio n   u s in g   d ee p   C NN  an d   L ST Ms  [ 7 ] .   I n   t h p r o p o s ed   ap p r o ac h ,   t w o   C NN  cla s s i f ier s   w er u s ed ,   o n w as  u s ed   f o r   d etec tio n   o f   t h e   ch ar ac ter s   f r o m   i m ag e s ,   a n d   th s ec o n d   o n w a s   u s ed   to   r e m o v f al s p o s iti v e.   C altec h   ca r s   d ataset   an d   A O L P   d ataset   w er u s ed   f o r   d etec tio n   p er f o r m a n ce .   T h a ch iev ed   p er f o r m a n ce s   w er 9 7 . 5 6 p r ec is io n   an d   9 5 . 2 4 r ec all.   L ali m et  a l.  p r esen ted   an   a u to m a tic  al g o r ith m   f o r   v e h icle  l icen s p late  d etec tio n   [ 2 3 ]   T h in p u t   i m ag e s   w er e   en h a n ce d   b y   u s in g   ed g d e n s it y   an d   i n ten s it y   v ar ian ce .   Ver ti ca ed g d etec tio n ,   m o r p h o lo g ical  f ilter in g   an d   g eo m e tr ical  f ea t u r es  w er u s e d   to   o b tain   th co r r ec lo ca ti o n   o f   licen s p late .     T h d ataset  u s ed   in   th i s   p ap er   co n s is t s   o f   4 2 5   co llected   im a g es T h ac ce s s   r ate  ac h iev ed   f o r   VL P in   th i s   alg o r ith m   is   9 4 . 1 2 %.    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  19 ,   No .   2 A u g u s 20 2 0     9 7 4   -   982   976   I n   th i s   p ap er ,   n o v el  ap p r o ac h ,   w h ic h   i s   b ased   o n   DL ,   i s   p r o p o s ed   f o r   d etec tio n   o f   licen s p lates  in   g iv e n   i m a g es.  T h p r o p o s ed   m et h o d   d o es  n o u s an y   p r e - p r o ce s s in g   f o r   i m p r o v in g   t h q u alit y   o f   t h i n p u t   i m a g es.  Mo r s p ec if icall y ,   th e   p r o p o s ed   a p p r o ac h   u s es  Fa s t er   R C NN  f o r   d etec tio n   o f   th licen s p lates  [ 1 5 ] T h r ee   Fas ter   R C NN   m o d u le s   ar u s ed   w h er ea c h   o f   t h e m   u s e s   p r e - tr ai n ed   C NN  m o d el  s u ch   as  Alex Net,   VGG1 6   an d   VGG1 9 ,   r esp ec ti v el y .   E ac h   f as t er   R C NN  p r o d u ce s   r ec tan g le  th at  i s   d ef i n e d   b y   f o u r   p ar a m eter s   s u c h   as   a n d   co o r d in ates   o f   t h u p p er   co r n er   o f   th e   r ec tan g le  an d   w id th   ( W )   a n d   h eig h t   ( H)   o f   t h e   r ec tan g le.   T h u s ,   th r ee   r ec tan g les  ar p r o d u ce d   b y   t h r ee   f as ter   R C NN  m o d el s .   A   f u s io n   la y er   is   u s ed   af ter   f aster   R C NN  m o d els.  T h f u s io n   is   h a n d led   b y   u s in g   a v er ag o p er ato r   o n   co lu m n   w i s f o r   a n d   Y   co o r d in ates  f r o m   all  f a s ter   R C NNs  an d   m a x i m u m   o p er ato r s   is   u s ed   o n   co lu m n   w is f o r   W   an d   v alu es  t h a t   o b tain ed   f r o m   all  f aster   R C N Ns.  A   d ataset,   t h at  co n tai n s   5 0 2   im a g es,  is   u s ed   in   o u r   ex p e r i m en ts .   T h i m ag e s   w er co llected   f r o m   v ar io u s   en v ir o n m e n t s   an d   v ar io u s   co n d itio n s   f o r   m ak in g   th d ata s et  m o r r ea lis tic.   T h ese  all  i m a g es   ar u s ed   f o r   tr ain i n g   o f   th e   f a s ter   R C NN  m o d el s   a n d   t h f lip p ed   an d   r o ta ted   v er s io n s   o f   th e   i m a g es  ar u s ed   i n   test i n g   o f   th p r o p o s ed   m eth o d .   T h o b tain ed   r esu l ts   s h o w   th at  t h p r o p o s ed   m eth o d   is   q u ite  s u cc ess f u l i n   d etec tio n   o f   th l icen s p lates.    a)   T h o r ig in al  co n tr ib u tio n   o f   t h is   w o r k   is   as  f o llo w i n g .   T h p r e - tr ain ed   C NN  m o d els  b ased   f aster   R C NN  m o d el s   ar g en er all y   u s ed   in   v ar i o u s   o b j ec d etec tio n   ap p licatio n s .   Ho w e v er ,   f u s io n   o p er atio n   o v er   m u ltip le  f aster   R C NN  m o d els  h a s   n o b ee n   ap p lied   o n   lice n s e   p late  d etec tio n   u n t il  s o   f ar .   T h f u s io n   o p er atio n   is   j u s ti f ied   b o th   m a t h e m a ticall y   a n d   ex p er i m e n tall y .   W h ile  s i n g le   f aster   R C N m o d els  p r o d u ce   lo w   d etec tio n   r ates,  th f u s ed   m o d el  h i g h l y   i m p r o v es t h ex p er i m en tal  r es u lts .     T h r est  o f   th p ap er   is   o r g a n ized   as  f o llo w .   Ne x s ec tio n   b r ief l y   in tr o d u ce s   th e   th eo r y   o f   th f aster   R C N N.   Sectio n   3   d escr ib es  t h p r o p o s ed   m eth o d   in   d etai l.  E x p er i m en tal  w o r k s   a n d   r esu lt s   ar g i v en   i n   Sectio n   4 .   T h p ap er   is   co n clu d ed   in   Sectio n   5 .         2.   P RO P O SE D   M E T H O D   T h p r o p o s ed   licen s p late  d etec tio n   s y s te m   u s es  m u ltip le  f aster   r e g io n al  co n v o l u tio n al  n e u r al   n et w o r k s   ( Fas ter   R C NN)   f o r   ef f icie n d etec tio n   o f   th li ce n s p late  r eg io n   o n   g i v e n   i m a g e.   Fi g u r 1   s h o w s   t h ill u s tr atio n   o f   t h p r o p o s ed   m et h o d .             Fig u r 1 .   T h illu s tr atio n   o f   th p r o p o s ed   m et h o d       T h p r o p o s ed   m et h o d   d o es  n o u s an y   p r e - p r o ce s s i n g   s ta g f o r   i m p r o v in g   t h q u alit y   o f   th i n p u t   i m a g e.   B ec au s e,   t h f aster   R C NN  m o d els  ar q u ite  r o b u s a g ain s t h n o is a n d   o th er   ef f e cts.  T h is   also   s a v e s   th co m p u ta tio n   ti m o f   th p r o p o s ed   m et h o d .   T h r ee   Fas ter   R C NN  m o d u le s   ar u s ed   w h er ea ch   o f   th e m   u s e s   p r e - tr ain ed   C NN  m o d e l.  A s   s ee n   in   Fi g u r e   1 ,   th f u s io n   la y er   is   in   t h h ea r o f   th e   p r o p o s ed   m eth o d .     I f u s e s   t h r es u lt s   t h at   ar f ed   f r o m   a ll  t h f a s ter   R C NN   m o d u le s .   E ac h   Fa s ter   R C N m o d u le  p r o d u c e s     r ec tan g u lar   r eg io n   ( X,   co o r d in ates  an d   t h w id th   a n d   h ei g h o f   th r ec ta n g le  r eg io n )   as   th lo ca tio n   o f   t h e   licen s p late.   T h is   r eg io n   m i g h n o b lo ca ted   o n   th ex a ct  lo ca tio n   o f   t h licen s p lat s o   f u s io n   la y er   is   u s ed   to   f i x   th is   p r o b le m .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       F u s ed   fa s ter R C N N s   fo r   ef fici en t d etec tio n   o f t h licen s p la tes   ( N a a ma n   Oma r )   977   Fig u r 2   ill u s tr ates   th VGG 1 9 ,   VGG1 6   an d   A le x Net  ar c h itect u r e.   T h f ir s Fas ter   R C NN  m o d el   u s e s   th w e ll - k n o w n   Alex Net   m o d el.   A le x Net  m o d el  ar ch it ec tu r co n tai n s   8   la y er s .   5   la y er s   o f   th Alex Net   m o d el  i s   n a m ed   as  co n v o l u tio n al  la y er s   an d   3   lay er s   ar ca lled   f u ll y   co n n ec ted   la y er .   A d d   to   th at,   it  co n tain s   th r ee   p o o lin g   la y er s   an d   f iv R eL la y er s   co m af ter   co n v o lu tio n a l la y er s .       S of t m a x F C   4096 P oo l I n p u t   I m a ge C onv  512 C on 512 F C   4096 V G G N e t 19 F C   4096 C on 512 P oo l C o n v   512 C on 256 P o o l C onv  256 C on 128 C on 128 P oo l P oo l C onv  64 C on 64 C onv  256 C on 512 C on 512 C on 512 C on 512 C onv  256 S o f t m a x F C   4096 P oo l I nput   I m a ge C on 384 P oo l C o n v   256 C on 96 F C   4096 A l e xN e t P ool C on 384 C onv  256 F C   1000     Fig u r 2 .   T h s tr u ctu r es o f   t h e   A le x Net,   VGG1 6   an d   VGG1 9   ar ch itectu r es       VGG1 6   is   an o th er   p r e - tr ai n ed   d ee p   m o d el  w h ic h   h as  1 3   co n v o l u tio n a la y er s   an d   3   f u ll y   co n n ec ted   la y er s .   I w o r k s   v er y   w ell  an d   h as  g o o d   p er f o r m a n ce   w it h   lar g d ataset s ,   b ec au s e   it  u s es  3 ×3   s m all   co n v o lu tio n   f ilter s   in   a ll  la y er s .   T h VGG1 9   m o d el  is   co n s t r u cted   as  d ee p er   v er s io n   o f   th VGG1 6   m o d el   f o r   m o r p er f o r m a n ce   a n d   b etter   o u tp u t.  I co n tai n s   1 6   co n v o l u tio n a la y er s   a n d   3   f u ll y   co n n ec ted   la y er s .     An   ill u s tr ati v e x a m p le  o f   th p r o p o s ed   m et h o d   is   g i v e n   in   F ig u r 3 .               ( a)   ( b )   ( c)   ( d )     Fig u r 3 .   T h ef f ec t o f   t h f u s i n g   la y er ,   ( a)   T h r esu lt o f   Fas t er   R C NN  m o d u le  1 ,   ( b )   T h r esu lt o f   Fas ter   R C N m o d u le  2 ,   ( c)   T h r esu lt o f   Fas ter   R C NN  m o d u le  3 ,   ( d )   T h r esu lt o f   f u s i n g   la y er       Fig u r 3   ( a)   s h o w s   th e   o u tp u o f   t h f ir s t   f a s ter   R C N m o d u le.   T h l ice n s e   p late  r eg io n   i s   i n d icate d   w it h   y ello w   b o u n d i n g   b o x .   As  s ee n ,   th e   f ir s f a s ter   R C N N   m o d u le   co u ld   n o t o b tai n   t h e   e x ac t lo ca tio n   o f   t h licen s p late  r e g io n .   O n ch ar ac ter   is   n o co v er ed   b y   th y ello w   b o u n d i n g   b o x .   Mo r eo v er ,   as  g i v en   i n     Fig u r e   3   ( b ) ,   th s ec o n d   f aste r   R C NN  m o d u le  ca n   d etec o n l y   s m all  r eg io n   o f   t h licen s p late  r eg io n   a s   s h o w n   b y   t h r ed   b o u n d in g   b o x .   T h e   m o s t   s u c c es s f u d e t e ct io n   is   h an d l e d   b y   th e   t h i r d   f a s t er   R C N m o d u l e   as  s h o w n   in   th e   F ig u r e   3   ( c ) .   A lm o s t   al l   l i c en s e   p la t e   r eg i o n   is   c o v e r e d   a s   in d i c at e d   b y   th g r e e n   b o u n d in g   b o x .   F in a l ly ,   th e   Fig u r e   3   ( d )   s h o w s   t h f u s e d   r esu l ts   w h e r th e   f in a l   r eg i o n   is   in d i c at e d   b y   a   m ag e n t b o u n d in g   b o x .     T h e   f u s e d   r e s u lt   i s   a n n o u n c e d   a s   th e   o u t p u t   o f   th e   p r o p o s e d   m e th o d .   T h e   f u s in g   o p e r at i o n   is   g iv en   a s   f o ll o w in g ;                                                                                                            ( 1 )                                                                                             ( 2 )                                                                                           ( 3 )                                   [              [                                                                         ]       [                                                                        ] ]     ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  19 ,   No .   2 A u g u s 20 2 0     9 7 4   -   982   978   w h er a n d   Y   s h o w   t h u p p er   co r n er   co o r d in ate  o f   t h b o u n d in g   b o x   an d   W   a n d   s h o w   t h w id th   an d   h eig h o f   t h b o u n d i n g   b o x ,   r esp ec tiv el y .   A s   g i v e n   in   ( 1 ) - ( 3 ) ,   th b o u n d in g   b o x es  f r o m   all  Fas ter   R C NN  ar s av ed   an d   t h f u s ed   b o u n d i n g   b o x   is   d ef i n ed   i n   ( 4 ) .   T h av er ag o p er ato r   is   u s ed   o n   co l u m n   w i s f o r   a n d   co o r d in ates  an d   t h e   m a x i m u m   o p er ato r   is   u s ed   o n   co l u m n   w is e   f o r   W   a n d   H   v al u es.   T h is   f u s in g   p r o ce d u r en s u r es t h o p ti m u m   lo ca tio n   o f   th lice n s p late.   I is   w o r t h   o f   m e n tio n i n g   t h at  th p r o p o s ed   m et h o d   h as  tr ain i n g   a n d   test i n g   p h ases .   I n itiall y ,   tr ain i n g   i m a g s et  i s   u s ed   to   tr ain   t h all   f a s ter   R C NN   m o d u les.  Af ter   tr ain i n g   o f   th all  f a s ter   R C NN   m o d u les,  t h test in g   p h a s ca n   b ap p lied   o n   th test i n g   i m a g es .       3.   RE S E ARCH   M E T H O D   3 . 1 .     F a s t er   re g io w it h c o nv o lutio na l neura l net w o rk   E x p lain i n g   T h f a s ter   R C NN   ar ch itect u r w as  p r o p o s ed   to   r ed u ce   th r u n n i n g   ti m o f   t h o b j ec d etec tio n   i n   g i v e n   i m a g e.   T h R eg io n al  P r o p o s al  Net wo r k   ( R P N)   is   in   th e   h ea r o f   th e   Fas ter   R C NN   s tr u ct u r [ 2 4 ,   25] .   R P is   co m p o s ed   o f   f o u r   la y er s   s u c h   as  i n p u t   la y er ,   r e g io n   p r o p o s al  la y er ,   f ea t u r e   ex tr ac tio n   la y er   an d   cla s s i f ic atio n   la y er ,   r esp ec ti v el y .   T h e   C NN  ar ch i tectu r i s   u s ed   in   f ea t u r ex tr ac tio n   la y er .   I n   Fas ter   R C NN,   th tr ain ed   is   ca r r ied   o u w ith   m u lt ip le  o f   th p r o p o s ed   r eg io n s   in s tea d   o f   s in g le   r eg io n ,   w h ic h   m ak e s   th tr ai n i n g   p r o ce d u r f aster   th a n   t h p r ev io u s   ar ch itect u r e.   I n   f aster   R C N N,   th R P N’ s   an d   f ast   R C NN s   co n v o lu t io n al  la y er s   ar co m b i n ed   i n   o n n et w o r k .   Fas t   R C NN   h as  s ev er al  ad v an tag e s ,   s u c h   as  h i g h   d etec tio n   q u alit y ,   u s i n g   m u lt tas k   lo s s   i n   tr ai n in g   s ta g e,   all  la y er s   i n   n et w o r k   ca n   b u p d ate  b y   tr ain i n g ,   f ea tu r e s   ex tr ac tio n   n o   n ee d   s to r ag d is k   an d   f a s te r   s p ee d   [2 6 ,   27] .   T h u s ,   t h co m p u tatio n al  ti m e     o f   p r o p o s ed   n et w o r k   is   r ed u ce d .     3 . 2 .     Reg i o pro po s a l net w o r k   ( RP N)   R eg io n   p r o p o s al  n et w o r k   ( R P N)   aim s   to   g e n er ate  p o ten t ial  r eg io n s   a n d   it  e m p lo y s   n et w o r k     to   d eter m i n if   t h p o ten tial  r eg io n s   co n tai n   an y   o b j ec ts   [ 2 4 ,   2 5 ] .   T h r eg io n   p r o p o s als  ar g en er ated   b y   t h e   s elec ti v s ea r c h   al g o r ith m .   T h p r o d u ce d   r eg io n s   ar r a n k ed   b y   t h R P an d   t h o n es   m o s li k el y   co n tain in g   o b j ec ts   ar s elec ted .   T h r eg io n   p r o p o s al  b o x es  ar ca lled   as  an ch o r s .   An ch o r s   ar i m p o r ta n i n   Fas ter     R - C NN   ar ch itec tu r e.   Ge n er all y ,   t h er ar 9   a n ch o r s   in   Fa s t er   R C NN  ar c h itect u r at  a   p o s itio n   o f   a n   i m a g e.   T h an ch o r s   ar th en   e x a m in ed   b y   class i f ier   to   ch ec k   th p r o b ab ilit y   o f   o b j ec ts .   I n   o th er   w o r d s ,     R P p r ed icts   th p o s s ib ilit y   o f   an   a n ch o r   b ein g   b ac k g r o u n d   o r   f o r eg r o u n d ,   an d   r ef i n th a n ch o r .     T h tr ain in g   o f   t h Fas ter   R C NN  is   ca r r ied   o u w it h   tr ain i n g   d ata s et  an d   t h co r r esp o n d in g   g r o u n d - tr u th   b o x e s .   I n   o th er   w o r d s ,   t h g r o u n d - tr u t h   b o x es  ar u s ed   to   lab el  th an ch o r s .   T h b asic  id ea   in   Fas ter   R C N i s   t h at   th e   an c h o r s   h a v in g   t h h i g h er   o v er lap s   w it h   g r o u n d - tr u t h   b o x es   ar lab elled   as  f o r eg r o u n d   a n d   th o n es  w i th   lo w er   o v er lap s   ar lab elled   as  b ac k g r o u n d .   W tr ain ed   th r ee   n et w o r k s   Al ex Net,   VGG1 6   an d   VGG1 9   s ep ar atel y ,   u s ed   b az a_ s lik a,   w h ich   i s   p u b licl y   a v a ilab le  d ataset  [ 2 8 ,   2 9 ].         4.   E XP E R I M E NT A L   WO RK S   AND  RE S UL T S   T h ex p er i m en t s   w er co n d u c ted   o n   MA T L A B   w it h   co m p u ter   h av in g   a n   I n tel  Xeo n   E5 - 1 6 5 0   v 4   C P an d   6 4   GB   m e m o r y .   p u b licl y   a v ailab le  d ata s et  was  u s ed   in   e x p er i m e n t s   t h at  c o n tain s   5 0 2   i m a g es   [ 2 9 ] .   T h v eh icle  i m ag e s   w er co llected   u n d er   v ar io u s   en v ir o n m e n tal  co n d itio n s   s u ch   as  clo u d y   d a y ,     r ain y   d a y   an d   n i g h lig h ti n g .   T h i m ag e s   co v e r   d if f er e n t y p es  o f   v e h icle  s u c h   a s   ca r s ,   tr u ck s ,   b u s e s   a n d   m i n b u s es.  All  5 0 2   i m ag e s   w er e   u s ed   in   tr ain in g   o f   t h p r o p o s ed   ap p r o ac h   an d   f o r   te s ti n g   p r o ce d u r e,   r an d o m l y   s elec ted   1 0 0   im a g es  w er f li p p ed   an d   r o tated   in   5   an d   1 0   d eg r ee s .   W h ile  Fig u r 4   s h o w s   s o m tr ain i n g   s a m p le  i m a g es,  Fi g u r 5   s h o ws s o m te s t sa m p le  i m a g e s .                                   Fig u r 4 .   So m s a m p le  i m a g e s   th at  w er u s ed   in   tr ai n i n g   o f   th p r o p o s ed   m et h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       F u s ed   fa s ter R C N N s   fo r   ef fici en t d etec tio n   o f t h licen s p la tes   ( N a a ma n   Oma r )   979       Fig u r 5 .   So m s a m p le  i m a g e s   th at  w er u s ed   in   te s t o f   t h p r o p o s ed   m et h o d       As  it  w a s   m e n tio n ed   ea r lier ,   th r ee   p r e - tr ain ed   C NN  m o d el s   w er u s ed   in   Fa s ter   R C NN   m o d u les.  T h tr ain in g   p ar am e ter s   o f   t h f aster   R C NN  m o d u les  s e as  f o llo w i n g .   T h s to ch as tic  g r ad ien d escen w i th   m o m e n t u m   o p ti m izer   w a s   u t ilized   in   t h tr ain in g   p r o ce s s .   Ma x i m u m   ep o ch ,   m in i - b atc h   s ize,   a n d   in it ial   lear n in g   r ate  w er s et  to   1 0 ,   1 ,   an d   0 . 0 0 1 ,   r esp ec tiv ely .   I n   a d d itio n ,   th p o s iti v a n d   n e g a tiv o v er lap   r an g e s   w er s ca led   to   th [ 0   -   0 . 3 ]   a n d   [ 0 . 6   -   1 ]   r an g es,  r esp ec ti v el y .   T h n u m b er   o f   r eg io n   p r o p o s als  to   r an d o m l y   s a m p le   f r o m   ea c h   tr ai n i n g   i m ag w a s   s elec ted   as   [ 2 5 6   1 2 8 ] .   B o x   p y r a m id   s ca le,   w h ich   was  n a m ed   as  a n c h o r   b o x   p y r a m id   s ca le  f ac to r ,   is   also   1 . 2 .       T ab le  1 .   T h tr ain in g   p r o ce d u r o f   th f a s ter   R C NN  w i th   VG G1 6   m o d el   Ep o c h   I t e r a t i o n   T i me   El a p se d   M i n i - b a t c h   L o ss   M i n i - b a t c h   A c c u r a c y   M i n i - b a t c h   R M S E   B a se   L e a r n i n g   R a t e   10   4 5 0 0   0 0 : 2 2 : 5 3   0 . 0 1 3 1   1 0 0 . 0 0 %   0 . 3 7   0 . 0 0 1 0   10   4 5 5 0   0 0 : 2 3 : 0 8   0 . 0 2 1 9   1 0 0 . 0 0 %   0 . 5 4   0 . 0 0 1 0   10   4 6 0 0   0 0 : 2 3 : 2 2   0 . 0 4 6 8   9 9 . 2 2 %   0 . 7 6   0 . 0 0 1 0   10   4 6 5 0   0 0 : 2 3 : 3 6   0 . 0 1 3 8   1 0 0 . 0 0 %   0 . 3 6   0 . 0 0 1 0   10   4 7 0 0   0 0 : 2 3 : 5 0   0 . 0 2 3 3   1 0 0 . 0 0 %   0 . 3 9   0 . 0 0 1 0   10   4 7 5 0   0 0 : 2 4 : 0 4   0 . 0 2 0 0   1 0 0 . 0 0 %   0 . 3 6   0 . 0 0 1 0   10   4 8 0 0   0 0 : 2 4 : 1 8   0 . 0 1 7 2   1 0 0 . 0 0 %   0 . 3 9   0 . 0 0 1 0   10   4 8 5 0   0 0 : 2 4 : 3 2   0 . 0 3 0 5   9 9 . 6 1 %   0 . 4 7   0 . 0 0 1 0   10   4 9 0 0   0 0 : 2 4 : 4 6   0 . 0 2 7 0   1 0 0 . 0 0 %   0 . 4 4   0 . 0 0 1 0   10   4 9 5 0   0 0 : 2 5 : 0 0   0 . 0 1 5 3   1 0 0 . 0 0 %   0 . 4 4   0 . 0 0 1 0       T ab le   1   s h o w s   t h tr ain i n g   iter atio n s   o f   th Fas ter   R C NN.   T h VGG1 6   m o d el  w a s   u s ed   in     Fas ter   R C NN  s tr u ct u r e.   T h co lu m n s   o f   t h T ab le  1   s h o w   ep o ch ,   iter atio n ,   ti m elap s e d ,   Min i - b atc h   lo s s ,   Min i - b atch   ac cu r ac y ,   Mi n i - b a tch   R MSE   a n d   b ase  lear n in g   r ate,   r esp ec tiv el y .   A s   s ee n   i n   T ab le  1 ,   th tr ain in g   p r o ce d u r r ea ch ed   th m a x i m u m   ac c u r ac y   ( 1 0 0 %)  at  1 0   ep o ch   an d   4 9 5 0   iter atio n s .   T h m i n i - b atch   R MSE   v alu w a s   0 . 4 4 .   T h lear n in g   r ate  w a s   n o ch a n g ed   d u r in g   th iter atio n s .   T h o b tain ed   test   r esu lt s   ar g iv e n   i n   Fig u r es.  6 ,   7 ,   8   an d   9 ,   r esp ec tiv el y .   W h ile  Fig u r 6   s h o w s   t h A le x Net  b a s ed   f as t er - R C NN s   r es u lt s ,     Fig u r es  7 ,   8   an d   9   s h o w   t h e   VGG1 6   b ased   f aster   R C NN s   r es u lt s ,   VGG1 9   b ased   f ast er   R C NN s   r es u lts ,     an d   th f u s ed   r esu lt s .   T h d e tecte d   licen s p late  r eg io n s   w er i n d icate d   w it h   co lo r ed   r ec tan g le s   f o r   ea ch   m et h o d .   Fig u r e   6   s h o w s   t h te s r es u lt s   f o r   p r e - tr ain ed   Alex Net  m o d el  b ased   f a s ter - R C N N.   A s   s ee n   i n   g iv e n   s a m p le  i m ag e s ,   th “y ello w ”  r ec tan g le s   w er u s ed   to   lo ca te   th licen s p late  r e g io n s .   W h ile  all  ca r s   licen s e   p lates  w er d etec ted   co r r ec tl y ,   th licen s p lates  f o r   tr ac k s   wer n o t d etec ted .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  19 ,   No .   2 A u g u s 20 2 0     9 7 4   -   982   980                 Fig u r 6 .   Sh o w s   t h test i n g   r esu lt s   o f   t h A le x Net  m o d el       Fig u r 7   s h o w s   th d etec tio n   r esu lts   w it h   r ed ”  r ec tan g les   th at  w er o b tain ed   w it h   VG G1 6   b ased   f aster   R C NN.   As  s ee n   in   Fi g u r e   7 ,   all  v e h icle s   lice n s e   p lat r eg io n s   w er d etec ted   co r r e ctl y   b y   t h V GG1 6   b ased   f aster   R C N N.   Fi g u r 8   also   s h o w s   t h d etec tio n   r es u lts   w it h   “g r ee n ”  r ec ta n g le s   f o r   VGG1 9   b ased   f aster   R C NN.   As  s ee n   i n   Fig u r 8 ,   ex ce p o n e   tr ac k ,   al o t h er   v e h icle s   lice n s p late   r eg io n s   w er d etec ted   co r r ec tly   b y   t h VG G1 9   b ased   f aster   R C NN.   Fi n all y ,   Fi g u r 9   s h o w s   th f u s ed   r es u lts   f r o m   p r ev io u s   f aster   R C N m o d els.  T h “m a g en ta ”  co lo r   w a s   u s ed   f o r   d eter m in in g   th e x a ct  lo ca tio n   o f   th li ce n s p lates  f o r   all   v eh ic les.  A s   s ee n   i n   Fi g u r 9 ,   all  v eh icles lice n s p late  lo ca ti o n s   w er d etec ted   co r r ec tly .             Fig u r 7 .   Sh o w s   t h test i n g   r esu lt s   o f   t h VGG1 6   m o d el             Fig u r 8 .   Sh o w s   t h test i n g   r esu lt s   o f   t h VGG1 9   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       F u s ed   fa s ter R C N N s   fo r   ef fici en t d etec tio n   o f t h licen s p la tes   ( N a a ma n   Oma r )   981         Fig u r 9 .   Sh o w s   t h test i n g   r esu lt s   o f   t h f u s ed   m o d el       T ab le   2   s h o w s   t h o b tain ed   r esu lt   w it h   i n d i v id u al   Fas ter - R C NN  m o d u le s   a n d   f u s ed   r es u lt.  A s   s ee n   in   T ab le  2 ,   th A le x Net  m o d el  p r o d u ce s   7 4 ac cu r ac y   s co r w h ic h   is   t h w o r s t   a m o n g   all  r esu l ts .     T h s ec o n d   w o r s t   r esu lt  8 7 i s   o b tain ed   b y   t h VGG1 9   m o d el.   VGG1 6   m o d el  p r o d u ce s   9 3 ac cu r ac y   s co r w h ic h   is   b etter   r esu lt  th a n   A le x Net  a n d   VGG1 9   m o d el s .   T h Fu s in g   L a y er   p r o d u ce s   th b est  r esu lt     w h ic h   is   9 7 %.       T ab le  2 .   P er f o r m a n ce   co m p ar i s o n   o f   i n d iv id u al  Fas ter - R C N m o d u les  a n d   f u s i n g   la y er   Pre - t r a i n e d   C N N   mo d e l s   A c c u r a c y   ( %)   A l e x N e t   74   V G G 1 6   93   V G G 1 9   87   F u si n g   L a y e r   97       5.   CO NCLU SI O N     T h is   p ap er   p r o p o s es  n o v el  m et h o d   f o r   d etec tio n   o f   th li ce n s p lates  i n   g i v en   v e h icl i m ag e s .   T h p r o p o s ed   m et h o d   is   b ased   o n   d ee p   f aster   R C NN  m o d els .   R ec en tl y ,   d ee p   lear n in g   h a s   b ec o m h o to p ic  in   co m p u ter   v is io n   an d   i m a g p r o ce s s in g   co m m u n it ies.  W o p ted   to   u s m u ltip le  f as ter   R C NN  m o d els  w h er p r e - tr ain ed   d ee p   C N m o d e ls   ar u s ed .   T h r ee   p r e - tr ai n e d   C NN  m o d els  n a m el y   A le x Net,   V GG1 6   an d   VGG1 9   w er u s ed   i n   f aster   R C NN  m o d u le s .   T h r esu lt s   f r o m   all  d ee p   m o d el s   w er t h en   f u s ed   f o r   o b tain i n g   f in al  lic e n s p late  r eg io n .   T h ex p er i m e n t s   o n   th p u b licl y   a v ailab le  v e h icle  lice n s p l ate  d ataset  s h o w ed   th at  p r o p o s ed   f u s ed   r esu lts   o u tp er f o r m ed   in d iv id u al  f as ter   R C N m o d u les.  T h o b tain ed   to tal  ac cu r ac y   w as   9 7 %.  I n   o u r   f u tu r w o r k s ,   w ar p lan n in g   to   ap p ly   o t h er   d ee p   m o d els  i n   licen s p late  d etec tio n .   I n   ad d itio n ,   licen s p late  r ec o g n itio n   w ill  b in   o u r   f u tu r w o r k s .         RE F E R E NC E   [1 ]   Zee b a re e ,   D.  Q.,   H a ro n ,   H.,   a n d   A b d u laz e e z ,   A .   M . ,   Ge n e   S e lec t io n   a n d   Clas sif ica ti o n   o f   M icro a rra y   D a ta  U sin g   Co n v o l u ti o n a Ne u ra Ne tw o rk ,   p re se n ted   a th e   In tern a ti o n a Co n f e re n c e   o n   A d v a n c e d   S c ien c e   a n d   E n g in e e rin g   (ICOA S E)  (p p .   1 4 5 - 1 5 0 ).   I EE E. ,   2 0 1 8 .   [2 ]   O.  A h m e d   a n d   A .   Bri f c a n i,   G e n e   Ex p re ss io n   C las si f ica ti o n   Ba se d   o n   De e p   L e a rn in g ,   p re se n ted   a th e   2 0 1 9   4 t h   S c ien ti f ic In tern a ti o n a Co n f e re n c e   Na ja f   (S ICN),  2 0 1 9 ,   p p .   1 4 5 1 4 9 .   [3 ]   M .   S .   A l - S h e m a rr y ,   Y.  L i,   a n d   S .   A b d u ll a ,   A n   e ff ici e n tex tu re   d e sc rip to f o th e   d e tec ti o n   o f   li c e n se   p late f ro m   ve h icle   ima g e s in   d if f icu lt   c o n d i ti o n s,”  IEE T ra n s.  I n tell.   T ra n sp .   S y st. ,   2 0 1 9 .   [4 ]   Y.  Yu a n ,   W .   Z o u ,   Y.  Z h a o ,   X .   W a n g ,   X .   Hu ,   a n d   N .   Ko m o d a k is,   A   ro b u st  a n d   e f f ici e n a p p r o a c h   to   li c e n se   p late   d e tec ti o n ,   I EE T r a n s.   Ima g e   Pro c e ss . ,   v o l.   2 6 ,   n o .   3 ,   p p .   1 1 02 1 1 1 4 ,   2 0 1 6 .   [5 ]   B.   V .   Ka k a n i,   D.  G a n d h i,   a n d   S .   Ja n i,   Im p ro v e d   OCR  b a se d   a u to m a ti c   v e h icle   n u m b e p late   re c o g n it io n   u sin g   f e a tu re train e d   n e u ra n e tw o rk ,   p re se n ted   a t h e   2 0 1 7   8 th   I n tern a ti o n a C o n f e re n c e   o n   Co m p u ti n g ,   Co m m u n ica ti o n   a n d   Ne tw o rk in g   T e c h n o lo g ies   (ICCCNT ),   2 0 1 7 ,   p p .   1 6.   [6 ]   B.   S in g h ,   M .   Ka u r,   D.   S i n g h ,   a n d   G .   S i n g h ,   A u to m a ti c   n u m b e p late   re c o g n it i o n   sy ste m   b y   c h a ra c ter  p o siti o n   m e th o d ,   I n J   C o mp u Vi s.  Ro b o t ,   v o l.   6 ,   n o .   1 / 2 ,   p p .   9 4 1 1 2 ,   2 0 1 6 .   [7 ]   H.  L a n d   C.   S h e n ,   Re a d i n g   c a li c e n se   p late u sin g   d e e p   c o n v o l u ti o n a n e u ra n e tw o rk a n d   lstm s,   ArXi v   Pre p r.  ArXi v 1 6 0 1 0 5 6 1 0 ,   2 0 1 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  19 ,   No .   2 A u g u s 20 2 0     9 7 4   -   982   982   [8 ]   N.  S u laim a n ,   S .   N.   H.  M .   Ja lan i,   M .   M u sta f a ,   a n d   K.  Ha w a ri,   D e v e lo p m e n o f   a u to m a ti c   v e h icle   p late   d e tec ti o n   s y ste m ,   p re se n ted   a th e   2 0 1 3   I EE 3 r d   In tern a ti o n a Co n f e re n c e   o n   S y ste m   En g in e e rin g   a n d   T e c h n o l o g y ,   2 0 1 3 ,   p p .   1 3 0 1 3 5 .   [9 ]   W .   W ih a rto ,   H.  Ku sn a n to ,   a n d   H.   He rian to ,   S y ste m   Dia g n o sis  o f   Co ro n a ry   He a rt  Dis e a se   Us in g   a   Co m b in a ti o n   o f   Dim e n sio n a Re d u c ti o n   a n d   Da ta  M in i n g   T e c h n iq u e s:  A   Re v i e w ,   In d o n e s.  J .   El e c tr.   En g .   C o mp u t.   S c i. ,   v o l.   7 ,   n o .   2 ,   p p .   5 1 4 5 2 3 ,   2 0 1 7 .   [1 0 ]   S .   A z a m   a n d   M .   M .   Isla m ,   A u to m a ti c   li c e n se   p late   d e tec ti o n   i n   h a z a rd o u c o n d it i o n ,   J .   Vi s.  C o mm u n .   Ima g e   Rep re se n t. ,   v o l.   3 6 ,   p p .   1 7 2 1 8 6 ,   2 0 1 6 .   [1 1 ]   A .   N a i m i,   Y.  Ke s se n ti n i,   a n d   M .   Ha m m a m i,   M u lt i - n a ti o n   a n d   m u lt i - n o rm   li c e n se   p late d e tec ti o n   in   re a tra f f i c   su rv e il lan c e   e n v iro n m e n u sin g   d e e p   lea rn in g ,   p re se n ted   a th e   In tern a ti o n a Co n f e re n c e   o n   Ne u ra In f o r m a ti o n   P r o c e ss in g ,   2 0 1 6 ,   p p .   4 6 2 4 6 9 .   [1 2 ]   T .   A ja n t h a n ,   P .   K a m a l a r u b a n ,   a n d   R .   R o d r i g o ,   A u t o m a t i c   n u m b e r   p l a t e   r e c o g n i t i o n   i n   l o w   q u a l i ty   v id e o s ,   p r e se n t e d   a t   t h e   2 0 1 3   I E E E   8 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n d u s t r i a l   a n d   I n f o rm a t i o n   S y s tem s ,   2 0 1 3 ,   p p .   5 6 6 5 7 1 .   [1 3 ]   Y.  Zh a o ,   J.  G u ,   C.   L iu ,   S .   Ha n ,   Y.  G a o ,   a n d   Q.  Hu ,   L ice n se   p late   lo c a ti o n   b a se d   o n   h a a r - li k e   c a s c a d e   c las si f iers   a n d   e d g e s,” p re se n ted   a th e   2 0 1 0   S e c o n d   W RI  G lo b a Co n g re ss   o n   In telli g e n S y ste m s,  2 0 1 0 ,   v o l .   3 ,   p p .   1 0 2 1 0 5 .   [1 4 ]   D.  Zan g ,   Z.   Ch a i,   J.  Zh a n g ,   D.  Zh a n g ,   a n d   J.  Ch e n g ,   V e h icle   li c e n se   p late   re c o g n it io n   u sin g   v isu a a tt e n ti o n   m o d e a n d   d e e p   lea rn in g ,   J .   E lec tro n .   I ma g in g ,   v o l.   2 4 ,   n o .   3 ,   p .   0 3 3 0 0 1 ,   2 0 1 5 .   [1 5 ]   P .   P ra b h a k a r,   P .   A n u p a m a ,   a n d   S .   Re s m i,   A u to m a ti c   v e h icle   n u m b e p late   d e tec ti o n   a n d   re c o g n it io n ,   p re se n te d   a t   th e   2 0 1 4   I n tern a ti o n a C o n f e re n c e   o n   Co n tro l ,   I n stru m e n tatio n ,   C o m m u n ica ti o n   a n d   C o m p u tatio n a T e c h n o lo g ies   (ICCICCT ),  2 0 1 4 p p .  1 8 5 1 9 0 .   [1 6 ]   S .   Kim ,   H.  Je o n ,   a n d   H.  Ko o ,   De e p - lea rn in g - b a se d   li c e n se   p late   d e tec ti o n   m e th o d   u sin g   v e h icle   re g io n   e x trac ti o n ,   El e c tro n .   L e tt . ,   v o l.   5 3 ,   n o .   1 5 ,   p p .   1 0 3 4 1 0 3 6 ,   2 0 1 7 .   [1 7 ]   N.  O.  Ya se e n ,   S .   G .   S .   A l - A li ,   a n d   A .   S e n g u r,   A n   Ef f icie n M o d e f o A u to m a ti c   Nu m b e P late   De tec ti o n   u si n g   HO G   F e a tu re   f ro m   Ne w   No rth   Ira q   V e h icle   Im a g e D a tas e t,   p re se n ted   a th e   2 0 1 9   1 st  In tern a ti o n a In f o rm a ti c a n d   S o f twa re   En g in e e rin g   Co n f e re n c e   (UBMYK),  2 0 1 9 ,   p p .   1 6.   [1 8 ]   N.  O.  Ya s e e n ,   S .   G .   S .   A l - A li ,   a n d   A .   S e n g u r,   De v e lo p m e n o f   Ne w   A n p Da tas e f o A u to m a ti c   Nu m b e P late   De tec ti o n   a n d   Re c o g n it io n   in   No rth   o f   Ira q ,   p re se n ted   a th e   2 0 1 9   1 st  In tern a ti o n a In f o rm a ti c s   a n d   S o f twa re   En g in e e rin g   Co n f e re n c e   (UBMY K),  2 0 1 9 ,   p p .   1 6.   [1 9 ]   N.  Om a r,   A .   S e n g u r,   a n d   S .   G .   S .   A l - A li ,   Ca sc a d e d   De e p   Lea r n in g - Ba se d   Ef f ici e n A p p ro a c h   f o L ice n se   P late   De tec ti o n   a n d   Re c o g n it io n ,   Ex p e rt S y st.  A p p l. ,   p .   1 1 3 2 8 0 ,   2 0 2 0 .   [2 0 ]   W .   T .   H o ,   H .   W .   L im ,   a n d   Y .   H .   T a y ,   T w o - s t a g e   l ic e n se   p l a t e   d e t e c t i o n   u s i n g   g e n t l e   A d a b o o s t   a n d   S I F T - S VM ,   p r e s e n t e d   a t   t h e   2 0 0 9   F i r s t   A s i a n   C o n f e re n c e   o n   I n t e l l i g e n t   I n f o rm a ti o n   a n d   D a t a b a s e   S y s t e m s ,   2 0 0 9 ,   p p .   1 0 9 1 1 4 .   [2 1 ]   S.   Kta ta,  F .   Be n z a rti ,   a n d   H.   Am iri ,   L ice n se   p late   lo c a li z a ti o n   u sin g   G a b o f il ters   a n d   n e u r a n e tw o rk s,”  J .   Co mp u t .   S c i . ,   v o l.   9 ,   n o .   1 0 ,   p .   1 3 4 1 ,   2 0 1 3 .   [2 2 ]   S .   Z.   M a so o d ,   G .   S h u ,   A .   De h g h a n ,   a n d   E.   G .   Ortiz,  L ice n se   p late   d e tec ti o n   a n d   re c o g n it i o n   u sin g   d e e p ly   lea rn e d   c o n v o lu ti o n a n e u ra n e tw o rk s,”  ArXi v   Pre p r.  ArXi v 1 7 0 3 0 7 3 3 0 ,   2 0 1 7 .   [2 3 ]   M .   A .   L a li m i,   S .   G h o f r a n i,   a n d   D.  M c L e rn o n ,   A   v e h icle   li c e n s e   p late   d e tec ti o n   m e th o d   u sin g   r e g io n   a n d   e d g e   b a se d   m e th o d s,”  Co mp u t.   El e c tr.   En g . ,   v o l.   3 9 ,   n o .   3 ,   p p .   8 3 4 8 4 5 ,   2 0 1 3 .   [2 4 ]   S .   Re n ,   K.  He ,   R.   G irsh ic k ,   a n d   J.  S u n ,   F a ste r - c n n T o w a rd re a l - ti m e   o b jec d e tec ti o n   w it h   re g io n   p ro p o sa l   n e tw o rk s,” p re se n ted   a th e   A d v a n c e s in   n e u ra in f o rm a ti o n   p r o c e ss in g   sy ste m s,  2 0 1 5 ,   p p .   9 1 9 9 .   [2 5 ]   J .   E .   E s p i n o s a ,   S .   A .   Ve l a s t i n ,   a n d   J .   W .   B ra n c h ,   Ve h i c l e   d e t e c t i o n   u s i n g   a le x   n e t   a n d   f a s te r   R - C NN   d e e p   le a r n i n g   m o d e ls :   a   c o m p a r a t iv e   s t u d y ,   p r e s e n t e d   a t   t h e   I n t e r n a t i o n a l   Vi s u a l   I n f o rm a t i c s   C o n f e r e n c e ,   2 0 1 7 ,   p p .   3 15.   [2 6 ]   R.   G irsh ick ,   F a st  r - c n n ,   p re se n ted   a t h e   P ro c e e d i n g s   o f   th e   IE EE   in ter n a ti o n a c o n f e re n c e   o n   c o m p u ter  v isio n ,   2 0 1 5 ,   p p .   1 4 4 0 1 4 4 8 .   [2 7 ]   H.  Qa ss i m ,   A .   V e r m a ,   a n d   D.  F e in z im e r,   Co m p re ss e d   re sid u a l - V GG 1 6   CNN   m o d e f o b ig   d a t a   p lac e i m a g e   re c o g n it io n ,   p re se n ted   a t h e   2 0 1 8   I EE 8 th   A n n u a C o m p u ti n g   a n d   C o m m u n ica ti o n   W o rk sh o p   a n d   C o n f e re n c e   (CCW C),   2 0 1 8 ,   p p .   1 6 9 1 7 5 .   [2 8 ]   D.  Q.  Zee b a re e ,   H.  Ha ro n ,   A .   M .   A b d u laz e e z ,   a n d   D.  A .   Zeb a ri,   M a c h in e   lea rn i n g   a n d   Re g io n   G ro w in g   f o Bre a st  Ca n c e S e g m e n tatio n ,   p re se n ted   a th e   2 0 1 9   In tern a t io n a Co n f e r e n c e   o n   A d v a n c e d   S c ien c e   a n d   E n g in e e rin g   (ICOA S E),   2 0 1 9 ,   p p .   8 8 93.   [ 29   L P D a t a b a s e .   A c c e s s e d :   J u l .   2 0 1 6 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / w w w . z e m r i s . f e r . h r / p r o j e c t s / L i c e n s e P l a t e s / e n g l i s h / b a z a _ s l i k a . z i p .       Evaluation Warning : The document was created with Spire.PDF for Python.