I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   19 ,   No .   2 ,  A u g u s t  20 20 ,   p p .   9 7 4 ~ 9 8 2   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 1 9 .i 2 . p p 974 - 9 8 2          974       J o ur na l ho m ep a g e :  h ttp : / / ijee cs.ia esco r e. co m   Fused  fas ter RCN Ns for e ff ici ent  de tect io n of  t h e lice nse pla tes       Na a m a n O m a r 1 ,   Adna n M o hs in A bd u la ze ez 2 ,   Abdu l k a d ir  Seng ur 3 ,   Sa li m   G a ni m   Sa ee d Al - Ali 4   1 De p a rtme n t  o f   In f o rm a ti o n   T e c h n o l o g y ,   Du h o k   P o ly tec h n ic Un iv e rsit y ,   Ira q   2 P re sid e n c y   o f   Du h o k   P o ly tec h n ic Un iv e rsit y ,   Du h o k   P o ly tec h n ic Un iv e rsit y ,   Ira q   3 De p a rtme n t  o f   El e c tri c a l - El e c tro n ics   En g in e e rin g ,   F irat  Un iv e rsity ,   T u rk e y   4 De p a rtme n t  o f   In f o rm a ti o n   T e c h n o l o g y   M a n a g e m e n t,   Du h o k   P o ly tec h n ic Un iv e rsity ,   Ira q       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J an   2 ,   2 0 2 0   R ev i s ed   Feb   2 9 ,   2 0 2 0   A cc ep ted   Mar   1 3 ,   2 0 2 0       A u to m a ti c   L i c e n se   P late   De tec ti o n   a n d   Re c o g n it i o n   (A L P D - R)  is  a n   im p o rtan t  a n d   c h a ll e n g in g   a p p li c a ti o n   f o r  traf f i c   su rv e il lan c e ,   tra ff ic  s a f e t y ,   se c u rit y ,   se rv i c e s  p u rp o se s  a n d   p a rk in g   m a n a g e m e n t.   G e n e ra ll y ,   trad it io n a l  im a g e   p ro c e ss in g   ro u ti n e s  h a v e   b e e n   u se d   in   A L P D - R.   A lt h o u g h   th e   g e n e ra l  a p p ro a c h e s  p e rf o rm   we ll   o n   AL P D - R,   n e w   a n d   e ff icie n t  a p p r o a c h e s  a re   n e e d e d   t o   im p ro v e   th e   d e tec ti o n   a c c u ra c ies .   T h u s,  i n   th is  p a p e r,   a   n e w   a p p ro a c h ,   w h ich   is  b a se d   o n   f u sin g   o f   m u lt ip le  F a ste r  Re g io n s  w it h   Co n v o l u ti o n a l   Ne u tral  Ne tw o rk   (F a ste r -   RCNN )  a rc h it e c tu re s,  is   p ro p o se d .   M o re   sp e c ially ,   th e   De e p   L e a rn in g   (DL )  is  u se d   to   d e tec t  li c e n s e   p late s  in   g iv e n   i m a g e s.  T h e   p ro p o se d   li c e n se   p late   d e tec ti o n   m e th o d   u se s  th r e e   F a ste r -   RCNN   m o d u les   w h e re   e a c h   f a st e r  RCNN   m o d u le  u se s  a   p re - tra in e d   CNN   m o d e l  n a m e l y   A l e x N e t,   V GG 1 6   a n d   V GG 1 9 .   Eac h   F a ste r - RCNN   m o d u le  is  train e d   in d e p e n d e n tl y   a n d   th e ir  re su lt s  a re   f u se d   in   f u sin g   la y e r.   F u sin g   la y e r   u se   a v e r a g e   o p e ra to r  o n   th e   X   a n d   Y  c o o rd i n a tes   o f   th e   o u tp u ts  o f   th e   F a ste r - RCNN   m o d u le s  a n d   m a x i m u m   o p e ra to r  is  e m p lo y e d   o n   t h e   w id th   a n d   h e ig h t  o u t p u ts  o f   th e   F a ste r - RCNN   m o d u les .   A   p u b li c ly   a v a il a b le  d a tas e t   is  u se d   in   e x p e ri m e n ts.   T h e   a c c u ra c y   is   u se d   a s  a   p e rf o rm a n c e   in d ica to r  o f    th e   p ro p o se d   m e th o d .   F o r  1 0 0   te stin g   ima g e s,  th e   p ro p o se d   m e th o d   d e tec ts  th e   e x a c t  lo c a ti o n   o f   li c e n se   p l a tes   f o r  9 7   im a g e s.  T h e   a c c u ra c y   o f   th e   p ro p o se d   m e th o d   is  9 7 % .   K ey w o r d s :   Dee p   lear n in g   Fas ter - R C NN   L ice n s e  p late  d etec tio n     Veh icle  i m a g es   Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Naa m a n   O m ar ,   Dep ar t m en t o f   I n f o r m atio n   T e ch n o lo g y ,   Du h o k   P o l y tech n ic  U n i v er s it y ,   6 1   Z ak h o   R o ad ,   Ma zi  Qr  ، 1 0 0 6 ,   Du h o k   4 2 0 0 1 ,   I r a q .   E m ail:  ij ee cs.iae s @ g m a il.c o m       1.   I NT RO D UCT I O N     Dee p   L ea r n i n g   ( D L )   co n ce r n s   w i th   p r o ce s s i n g   i n f o r m atio n   u til izin g   d ee p   n et w o r k s .   I t   is   a  p ar t     o f   m ac h i n e  lear n i n g   ap p r o ac h es.  I n   i ts   ea r lier   ap p ea r an ce   in   1 9 4 3 ,   DL   w a s   ter m ed   b y   Mc C lu llo ch   an d   P itt s   a s   “ c y b er n etics”.   DL   is   s u p er io r   in   d r a w in g   o u t - co m es  f r o m   c o m p le x   p r o b le m s .   C o n v o lu tio n al  n eu r al  n et w o r k   ( C NN)   is   a n   in s tan ce   o f   d ee p   lear n in g   s tr ate g y   i s   m i m ic k in g   b r ain   f u n ct io n   i n   p r o ce s s i n g   i n - f o r m atio n .  R ec u r r en t  Neu r al  Net w o r k   ( R NN) ,   Dee p   Neu r al  Net w o r k   ( DNN) ,   an d   C o n v o l u tio n al   Ne u r al   Net w o r k   ( C NN)   ar e  ar ch itectu r e  t y p e s   o f   D L [1 , 2] .   Au to m a tic  L icen s e  P late  R ec o g n itio n   ( AL P R )   is   a n   i m p o r tan t  to p ic  in   i n tell ig e n t  tr a n s p o r tatio n   ap p licatio n s .   AL P R   ca n   b e  u s ed   to   id en tify   th e  v e h icles  f r o m   its   licen s e  p late.   AL P R   h as  p o ten tial  to   b e  u s ed   in   v ar iet y   o f   ap p licatio n   a r ea s   s u c h   as  tr af f ic  s u r v eil lan ce ,   tr af f ic  s a f et y ,   s ec u r it y ,   s er v ices  p u r p o s es  an d   p ar k in g   m a n ag e m e n t  [3 - 6] .   L i g h tin g   an d   w ea th er   co n d i tio n s   ef f ec t  AL P R   s y s te m   s ig n i f ica n tl y   [7 , 8] .    An   AL P R   s y s te m   g e n er all y   co m p o s ed   o f   f o u r   m ai n   b lo ck s   s u c h   as  i m a g e  ca p tu r i n g   b lo ck ,   licen s e  p late   d etec tio n   b lo ck ,   c h ar ac ter   s eg m e n tat io n   b lo ck   an d   c h a r ac ter   r ec o g n itio n   b lo ck ,   r e s p ec tiv el y   [9 - 12] .    T h e  licen s e  p late  d etec tio n ,   w h ic h   is   in   th e  s ec o n d   b lo ck   o f   th e  AL P D,   ca n   b e  s ee n   as   th e  m o s t  i m p o r tan t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       F u s ed   fa s ter R C N N s   fo r   ef fici en t d etec tio n   o f t h e  licen s e  p la tes   ( N a a ma n   Oma r )   975   p ar t.  B ec au s e,   it  ef f ec ts   t h e  r e co g n itio n   p er f o r m a n ce   o f   s u b s eq u en t  p ar ts   o f   t h e  AL P D  [ 1 3 - 16] .   A L P   s y s te m s   ar e  in   th e  d e m a n d   an d   i n   th e  l ast  t w o   d ec ad es,  s o   m an y   w o r k s   h av e  b ee n   ca r r ied   o u t  o n   it.   I n   th i s   w o r k ,   as  we   co n ce n tr ated   o n   t h e  lice n s e   p late  d etec tio n ,   th e   liter at u r e  t h at  ar e  r elate d   w it h   t h e  l icen s e  p late  d etec tio n   is   r ev ie w ed .     B ec au s e  o f   i n cr ea s i n g   t h e  v eh icles  n u m b er ,   t h e  tr a f f ic  v io lat io n   a n d   tr af f ic   co n tr o l  b ec o m e   a  s er io u s   an d   ch alle n g i n g   p r o b le m   i n   all  o v er   th e  w o r d .   Mo r eo v er e,   th e  v e h icle   d etec tin   a n d   r ec o g n itio n   b ec o m e   d if f ic u lt   f r o m   v e h icle  L P . Va r io u s   d ataset  u s ed   f o r   tr ain i n g   ev a lu at io n   al g o r ith m s   [ 1 7 , 1 8] .   I n   last   d ec ate,   d if f er e n t  al g o r ith m s   a n d   m et h o d s   h a v e  b ee n   p r p p o s ed   f o r   d etec tio n   an d   r ec o g n itio n   v eh ic le  L P   to   d ate,     s u c h   as VG G1 6 ,   VGG1 9 ,   C N N  [ 1 9 ] .   Ho   et  al.   [ 2 0 ]   p r o p o s ed   a  li ce n s e   p late  d etec tio n   m et h o d   f o r   o n lin e   ap p licatio n s .   T h e   p r o p o s e d   m et h o d   w a s   co m p o s ed   o f   t w o   s tag e s .   Au t h o r s   u s ed   A d ab o o s t  m et h o d ,   s u p p o r t  v ec t o r   m ac h i n e  ( S VM )   cla s s i f ier   a n d   s ca le  i n v ar ian t   f ea tu r e  tr a n s f o r m   ( SIFT )   d escr ip to r s   f o r   AL P D.   I n   th e   f ir s t   s tag e  t h e  A d ab o o s t   m et h o d   w a s   u s ed   to   lo ca lize  th e  lice n s e  p late  r eg io n .   T h e  SIFT   f ea tu r es  w er e  e x tr ac ted   f r o m   t h e  ch ar ac ter s   o f   th e  lice n s e  p late  r eg io n   a n d   S VM   class i f ier   w a s   u s ed   to   r ec o g n ize  t h e  lice n s e  p late.   Au t h o r s   u s ed   a  d ataset  in v o l v es  8 0 0   i m a g es  i n   t h eir   ex p er i m e n ts .   T h e  r ep o r ted   ac cu r ac y   w a s   8 8 %.  Kata ta  et  al.   p r o p o s ed   a  m et h o d   to   d etec t  licen s e  p late  o f   a  g iv en   i m ag e  b ased   o n   Gab o r   f ilte r s   an d   n e u r al  n et w o r k s   ( N Ns)  [ 2 1 ] .   T h e  p r o p o s ed   m et h o d   w a s   co m p o s ed   o f   th r ee   s tep s .   T h e  f ir s t  s tep   co v er s   th e   g e n er atio n   o f   t h e  f ea tu r e  v ec to r s   f o r   b o th   tr ain i n g   a n d   test in g   i m a g es.  Au th o r s   u s ed   co n tr ast  l i m i ted   ad ap tiv e  h i s to g r a m   eq u al iza tio n   ( C L A HE )   b e f o r e   Featu r e  E x tr ac tio n   ( FE)   f o r   i m p r o v i n g   t h e  q u alit y   o f   t h e   in p u t   i m a g e s .   Gab o r   f ilter s   w er e  u s ed   f ea t u r e   ex tr ac tio n   a n d   NN s   w a s   u s ed   f o r   clas s i f icatio n .   5 8   T u n is ia n   v eh ic les  i m a g es   w er e  u s ed   in   e x p er i m e n ts   an d   ac ce p tab le  r esu lts   w er e  r ep o r ted   b y   th e  a u t h o r s .     Ki m   et  al.   p r esen ted   a  m et h o d   f o r   licen s e  p late  d etec tio n   th r o u g h   t w o   s ta g es [ 1 6 ] .   I n   th e  f ir s t  s ta g e,   th e  r eg io n   o f   v e h icle  w a s   lo ca ted   in   w h o le  i m a g e  b y   u s i n g   C NN  alg o r ith m   to   s p ec if y   t h e  r eg io n   o f   in ter est   ( R OI )   ea s il y .   I n   th e  s ec o n d   s tag e,   th e  d etec tio n   o f   t h e  licen s e  p late  ca n d id ates  f r o m   v eh ic le  r eg io n   w as   ac co m p li s h ed   b y   u s i n g   t h e  h ier ar ch ical  s a m p li n g   m et h o d .   T h e  f alse  p o s iti v e  licen s e   p late  r eg io n s   w er e  eli m i n ated   b y   u s in g   d ee p   C NN.   T h e  p er f o r m an ce   o f   t h e  m e th o d   w a s   ev al u ated   o n   C altec h   d ataset.     T h e  o b tain ed   p r ec is io n   an d   r ec all  s co r es  w er e  9 8 . 3 9 %  an d   9 6 . 8 3 %,  r esp ec tiv el y .   Yu a n   et  al.   p r o p o s ed     a  m et h o d   to   d etec t  v eh icle  licen s e  p late  [ 4 ] .   I n   th e  p r o p o s ed   ap p r o ac h   lin e  d en s it y   f ilter   w a s   u s ed   to   f in d   th e   ca n d id ate  r eg io n s .   T h en ,   t h e  p o s iti v e  ( tr u e)   lice n s e   p late  w a s   id en t if ied   b ased   o n   li n ea r   SVMs.     Fo r   p er f o r m a n ce   e v al u atio n ,   t h e  C a ltech   licen s e  p late  d atas et  w a s   u s ed .   Au th o r s   a ls o   u s ed   an o th er   d atase t   th at  co n tai n s   3 8 2 8   im a g es.  T h e  au th o r s   r ep o r ted   9 6 . 6 2 % a v er ag e  ac cu r ac y   s co r e.     Z h ao   et  al.   p r o p o s ed   a  m et h o d   w h ic h   w a s   co m p o s ed   o f   t h e  Haa r - li k e  ca s ca d e  cla s s if ier   an d   A d ab o o s t  f o r   v eh ic le  licen s e  p late  d etec tio n   [ 1 3 ] .   T h e  d ataset,   w h ich   w a s   u s ed   i n   ex p er i m en ts ,   w as  co llected   f r o m   d i f f er en t   en v ir o n m e n ts   in   C h in a.   T h e  ac cu r ac y   o f   t h e  p r o p o s ed   m et h o d   w as   8 9 . 5 %.  Ma s o o d   et  al.   p r o p o s ed   an   alg o r ith m   f o r   L P DR   b ased   o n   d ee p   C o n v o lu tio n al  Ne u r al  Net w o r k s   ( C NN s )   [ 2 2 ] .   T h e  alg o r ith m   w a s   ap p lied   u n d er   v ar io u s   wea th er   co n d itio n s   a n d   licen s e  p late  s h ap es.  T h e  p r o p o s ed   alg o r ith m   p er f o r m ed   d etec tio n ,   ch ar ac ter   s eg m en ta tio n   a n d   r ec o g n itio n .   T w o   d if f er en t  d ataset s   h av e  b ee n   u s ed   to   ev alu ate  th e   p er f o r m a n ce ,   3 2 8   i m ag e s   f r o m   US A   a n d   5 5 0   i m ag e s   f r o m   E u r o p ea n .   T h e  p er f o r m an c e  w a s   9 9 . 0 9 %  an d   9 9 . 6 4 % f o r   USA   an d   E u r o p ea n   d atasets ,   r esp ec ti v el y .   A za m   et  al.   p r o p o s ed   an   alg o r ith m   to   d et ec ted   v eh icle  lice n s e  p late  r e g io n   i n   d i f f er e n t  h az ar d o u s   i m a g e  co n d itio n s   [ 1 0 ] .   Var io u s   p r e - p r o ce s s i n g   s tep s   w er e   ap p lied   o n   in p u t  i m a g e  f o r   n o is e  r e m o v a l  an d   co n tr ast  e n h a n ce m e n t.  Au t h o r s   [ 1 0 ]   u s ed   R ad o n   tr an s f o r m   a n d   tilt   co r r ec tio n   f o r   d ete ctio n   o f   th e   lice n s e   p late.   A  d ataset  t h at   co n tai n s   8 5 0   v eh icle   i m ag e s   f o r   d if f er en t  co n d itio n s   w er e  u s ed   i n   e x p er i m e n ts   an d     th e  o b tain ed   ac c u r ac y   s co r e  w a s   9 4 %.  Nai m i  et  a l .   p r o p o s ed   an   al g o r ith m   f o r   lice n s e  p late  d etec tio n   f o r   v ar io u s   n atio n   a n d   m u lti  cr ite r io n s   p late  in   d if f er en t  co n d it i o n   [ 1 1 ] .   T h e  p r o p o s ed   w o r k   w a s   b ased   o n   d ee p   lear n in g   w h er e  s el f - ta u g h t  f ea tu r es  w er e  u s ed   f o r   d etec tio n   o f   th e  licen s e  p late.   T h e  au t h o r s   co m b in ed   r eg io n   p r o p o s al  n et w o r k   w it h   C NN   to   im p r o v e  t h e  p er f o r m an ce .   Firstl y ,   f ea tu r e s   w er e  e x tr ac ted   b y   C N N  an d   p r esen ted   th e  f ea t u r e  m ap   to   t h e  R P N.   Seco n d l y ,   s o f t - m a x   class i f ier   w as   u s ed   to   d etec t  th e  L P   r e g io n .   5 0 0 0   co lo r   im a g es  w er e  u s ed   in   e x p er i m en ts   an d   9 9 % a cc u r ac y   s c o r e  w a s   o b tain ed .     L i  et  al.   p r o p o s ed   an   alg o r ith m   f o r   v e h icle  l icen s e  p late  d etec tio n   an d   r ec o g n itio n   u s in g   d ee p   C NN  an d   L ST Ms  [ 7 ] .   I n   t h e  p r o p o s ed   ap p r o ac h ,   t w o   C NN  cla s s i f ier s   w er e  u s ed ,   o n e  w as  u s ed   f o r   d etec tio n   o f   t h e   ch ar ac ter s   f r o m   i m ag e s ,   a n d   th e  s ec o n d   o n e  w a s   u s ed   to   r e m o v e  f al s e  p o s iti v e.   C altec h   ca r s   d ataset   an d   A O L P   d ataset   w er e  u s ed   f o r   d etec tio n   p er f o r m a n ce .   T h e  a ch iev ed   p er f o r m a n ce s   w er e  9 7 . 5 6 %  p r ec is io n   an d   9 5 . 2 4 %  r ec all.   L ali m i  et  a l.  p r esen ted   an   a u to m a tic  al g o r ith m   f o r   v e h icle  l icen s e  p late  d etec tio n   [ 2 3 ] .    T h e  in p u t   i m ag e s   w er e   en h a n ce d   b y   u s in g   ed g e  d e n s it y   an d   i n ten s it y   v ar ian ce .   Ver ti ca l  ed g e  d etec tio n ,   m o r p h o lo g ical  f ilter in g   an d   g eo m e tr ical  f ea t u r es  w er e  u s e d   to   o b tain   th e  co r r ec t  lo ca ti o n   o f   licen s e  p late .     T h e  d ataset  u s ed   in   th i s   p ap er   co n s is t s   o f   4 2 5   co llected   im a g es .  T h e  ac ce s s   r ate  ac h iev ed   f o r   VL P D  in   th i s   alg o r ith m   is   9 4 . 1 2 %.    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  19 ,   No .   2 ,  A u g u s t  20 2 0   :    9 7 4   -   982   976   I n   th i s   p ap er ,   a  n o v el  ap p r o ac h ,   w h ic h   i s   b ased   o n   DL ,   i s   p r o p o s ed   f o r   d etec tio n   o f   licen s e  p lates  in   g iv e n   i m a g es.  T h e  p r o p o s ed   m et h o d   d o es  n o t  u s e  an y   p r e - p r o ce s s in g   f o r   i m p r o v in g   t h e  q u alit y   o f   t h e  i n p u t   i m a g es.  Mo r e  s p ec if icall y ,   th e   p r o p o s ed   a p p r o ac h   u s es  Fa s t er   R C NN  f o r   d etec tio n   o f   th e  licen s e  p lates  [ 1 5 ] .  T h r ee   Fas ter   R C NN   m o d u le s   ar e  u s ed   w h er e  ea c h   o f   t h e m   u s e s   a  p r e - tr ai n ed   C NN  m o d el  s u ch   as  Alex Net,   VGG1 6   an d   VGG1 9 ,   r esp ec ti v el y .   E ac h   f as t er   R C NN  p r o d u ce s   a  r ec tan g le  th at  i s   d ef i n e d   b y   f o u r   p ar a m eter s   s u c h   as   X  a n d   Y  co o r d in ates   o f   t h e  u p p er   co r n er   o f   th e   r ec tan g le  an d   w id th   ( W )   a n d   h eig h t   ( H)   o f   t h e   r ec tan g le.   T h u s ,   th r ee   r ec tan g les  ar e  p r o d u ce d   b y   t h r ee   f as ter   R C NN  m o d el s .   A   f u s io n   la y er   is   u s ed   af ter   f aster   R C NN  m o d els.  T h e  f u s io n   is   h a n d led   b y   u s in g   a v er ag e  o p er ato r   o n   co lu m n   w i s e  f o r   X  a n d   Y   co o r d in ates  f r o m   all  f a s ter   R C NNs  an d   m a x i m u m   o p er ato r s   is   u s ed   o n   co lu m n   w is e  f o r   W   an d   H  v alu es  t h a t   o b tain ed   f r o m   all  f aster   R C N Ns.  A   d ataset,   t h at  co n tai n s   5 0 2   im a g es,  is   u s ed   in   o u r   ex p e r i m en ts .   T h e  i m ag e s   w er e  co llected   f r o m   v ar io u s   en v ir o n m e n t s   an d   v ar io u s   co n d itio n s   f o r   m ak in g   th e  d ata s et  m o r e  r ea lis tic.   T h ese  all  i m a g es   ar e  u s ed   f o r   tr ain i n g   o f   th e   f a s ter   R C NN  m o d el s   a n d   t h e  f lip p ed   an d   r o ta ted   v er s io n s   o f   th e   i m a g es  ar e  u s ed   i n   test i n g   o f   th e  p r o p o s ed   m eth o d .   T h e  o b tain ed   r esu l ts   s h o w   th at  t h e  p r o p o s ed   m eth o d   is   q u ite  s u cc ess f u l i n   d etec tio n   o f   th e  l icen s e  p lates.    a)   T h e  o r ig in al  co n tr ib u tio n   o f   t h is   w o r k   is   as  f o llo w i n g .   T h e  p r e - tr ain ed   C NN  m o d els  b ased   f aster   R C NN  m o d el s   ar e  g en er all y   u s ed   in   v ar i o u s   o b j ec t  d etec tio n   ap p licatio n s .   Ho w e v er ,   a  f u s io n   o p er atio n   o v er   m u ltip le  f aster   R C NN  m o d els  h a s   n o t  b ee n   ap p lied   o n   lice n s e   p late  d etec tio n   u n t il  s o   f ar .   T h e  f u s io n   o p er atio n   is   j u s ti f ied   b o th   m a t h e m a ticall y   a n d   ex p er i m e n tall y .   W h ile  s i n g le   f aster   R C N N  m o d els  p r o d u ce   lo w   d etec tio n   r ates,  th e  f u s ed   m o d el  h i g h l y   i m p r o v es t h e  ex p er i m en tal  r es u lts .     T h e  r est  o f   th e  p ap er   is   o r g a n ized   as  f o llo w .   Ne x t  s ec tio n   b r ief l y   in tr o d u ce s   th e   th eo r y   o f   th e  f aster   R C N N.   Sectio n   3   d escr ib es  t h e  p r o p o s ed   m eth o d   in   d etai l.  E x p er i m en tal  w o r k s   a n d   r esu lt s   ar e  g i v en   i n   Sectio n   4 .   T h e  p ap er   is   co n clu d ed   in   Sectio n   5 .         2.   P RO P O SE D   M E T H O D   T h e  p r o p o s ed   licen s e  p late  d etec tio n   s y s te m   u s es  m u ltip le  f aster   r e g io n al  co n v o l u tio n al  n e u r al   n et w o r k s   ( Fas ter   R C NN)   f o r   ef f icie n t  d etec tio n   o f   th e  li ce n s e  p late  r eg io n   o n   a  g i v e n   i m a g e.   Fi g u r e  1   s h o w s   t h e  ill u s tr atio n   o f   t h e  p r o p o s ed   m et h o d .             Fig u r e  1 .   T h e  illu s tr atio n   o f   th e  p r o p o s ed   m et h o d       T h e  p r o p o s ed   m et h o d   d o es  n o t  u s e  an y   p r e - p r o ce s s i n g   s ta g e  f o r   i m p r o v in g   t h e  q u alit y   o f   th e  i n p u t   i m a g e.   B ec au s e,   t h e  f aster   R C NN  m o d els  ar e  q u ite  r o b u s t  a g ain s t  t h e  n o is e  a n d   o th er   ef f e cts.  T h is   also   s a v e s   th e  co m p u ta tio n   ti m e  o f   th e  p r o p o s ed   m et h o d .   T h r ee   Fas ter   R C NN  m o d u le s   ar e  u s ed   w h er e  ea ch   o f   th e m   u s e s   a  p r e - tr ain ed   C NN  m o d e l.  A s   s ee n   in   Fi g u r e   1 ,   th e  f u s io n   la y er   is   in   t h e  h ea r t  o f   th e   p r o p o s ed   m eth o d .     I t  f u s e s   t h e  r es u lt s   t h at   ar e  f ed   f r o m   a ll  t h e  f a s ter   R C NN   m o d u le s .   E ac h   Fa s ter   R C N N  m o d u le  p r o d u c e s     a  r ec tan g u lar   r eg io n   ( X,   Y  co o r d in ates  an d   t h e  w id th   a n d   h ei g h t  o f   th e  r ec ta n g le  r eg io n )   as   th e  lo ca tio n   o f   t h e   licen s e  p late.   T h is   r eg io n   m i g h t  n o t  b e  lo ca ted   o n   th e  ex a ct  lo ca tio n   o f   t h e  licen s e  p lat e  s o   f u s io n   la y er   is   u s ed   to   f i x   th is   p r o b le m .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       F u s ed   fa s ter R C N N s   fo r   ef fici en t d etec tio n   o f t h e  licen s e  p la tes   ( N a a ma n   Oma r )   977   Fig u r e  2   ill u s tr ates   th e  VGG 1 9 ,   VGG1 6   an d   A le x Net  ar c h itect u r e.   T h e  f ir s t  Fas ter   R C NN  m o d el   u s e s   th e  w e ll - k n o w n   Alex Net   m o d el.   A le x Net  m o d el  ar ch it ec tu r e  co n tai n s   8   la y er s .   5   la y er s   o f   th e  Alex Net   m o d el  i s   n a m ed   as  co n v o l u tio n al  la y er s   an d   3   lay er s   ar e  ca lled   f u ll y   co n n ec ted   la y er .   A d d   to   th at,   it  co n tain s   th r ee   p o o lin g   la y er s   an d   f iv e  R eL U  la y er s   co m e  af ter   co n v o lu tio n a l la y er s .       S of t m a x F C   4096 P oo l I n p u t   I m a ge C onv  512 C on v  512 F C   4096 V G G N e t 19 F C   4096 C on v  512 P oo l C o n v   512 C on v  256 P o o l C onv  256 C on v  128 C on v  128 P oo l P oo l C onv  64 C on v  64 C onv  256 C on v  512 C on v  512 C on v  512 C on v  512 C onv  256 S o f t m a x F C   4096 P oo l I nput   I m a ge C on v  384 P oo l C o n v   256 C on v  96 F C   4096 A l e xN e t P ool C on v  384 C onv  256 F C   1000     Fig u r e  2 .   T h e  s tr u ctu r es o f   t h e   A le x Net,   VGG1 6   an d   VGG1 9   ar ch itectu r es       VGG1 6   is   an o th er   p r e - tr ai n ed   d ee p   m o d el  w h ic h   h as  1 3   co n v o l u tio n a l  la y er s   an d   3   f u ll y   co n n ec ted   la y er s .   I t  w o r k s   v er y   w ell  an d   h as  g o o d   p er f o r m a n ce   w it h   lar g e  d ataset s ,   b ec au s e   it  u s es  3 ×3   s m all   co n v o lu tio n   f ilter s   in   a ll  la y er s .   T h e  VGG1 9   m o d el  is   co n s t r u cted   as  a  d ee p er   v er s io n   o f   th e  VGG1 6   m o d el   f o r   m o r e  p er f o r m a n ce   a n d   b etter   o u tp u t.  I t  co n tai n s   1 6   co n v o l u tio n a l  la y er s   a n d   3   f u ll y   co n n ec ted   la y er s .     An   ill u s tr ati v e  e x a m p le  o f   th e  p r o p o s ed   m et h o d   is   g i v e n   in   F ig u r e  3 .               ( a)   ( b )   ( c)   ( d )     Fig u r e  3 .   T h e  ef f ec t o f   t h e  f u s i n g   la y er ,   ( a)   T h e  r esu lt o f   Fas t er   R C NN  m o d u le  1 ,   ( b )   T h e  r esu lt o f   Fas ter   R C N N  m o d u le  2 ,   ( c)   T h e  r esu lt o f   Fas ter   R C NN  m o d u le  3 ,   ( d )   T h e  r esu lt o f   f u s i n g   la y er       Fig u r e  3   ( a)   s h o w s   th e   o u tp u t  o f   t h e  f ir s t   f a s ter   R C N N  m o d u le.   T h e  l ice n s e   p late  r eg io n   i s   i n d icate d   w it h   a  y ello w   b o u n d i n g   b o x .   As  s ee n ,   th e   f ir s t  f a s ter   R C N N   m o d u le   co u ld   n o t o b tai n   t h e   e x ac t lo ca tio n   o f   t h e  licen s e  p late  r e g io n .   O n e  ch ar ac ter   is   n o t  co v er ed   b y   th e  y ello w   b o u n d i n g   b o x .   Mo r eo v er ,   as  g i v en   i n     Fig u r e   3   ( b ) ,   th e  s ec o n d   f aste r   R C NN  m o d u le  ca n   d etec t  o n l y   a  s m all  r eg io n   o f   t h e  licen s e  p late  r eg io n   a s   s h o w n   b y   t h e  r ed   b o u n d in g   b o x .   T h e   m o s t   s u c c es s f u l  d e t e ct io n   is   h an d l e d   b y   th e   t h i r d   f a s t er   R C N N  m o d u l e   as  s h o w n   in   th e   F ig u r e   3   ( c ) .   A lm o s t   al l   l i c en s e   p la t e   r eg i o n   is   c o v e r e d   a s   in d i c at e d   b y   th e  g r e e n   b o u n d in g   b o x .   F in a l ly ,   th e   Fig u r e   3   ( d )   s h o w s   t h e  f u s e d   r esu l ts   w h e r e  th e   f in a l   r eg i o n   is   in d i c at e d   b y   a   m ag e n t a  b o u n d in g   b o x .     T h e   f u s e d   r e s u lt   i s   a n n o u n c e d   a s   th e   o u t p u t   o f   th e   p r o p o s e d   m e th o d .   T h e   f u s in g   o p e r at i o n   is   g iv en   a s   f o ll o w in g ;                                                                                                            ( 1 )                                                                                             ( 2 )                                                                                           ( 3 )                                   [              [                                                                         ]       [                                                                        ] ]     ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  19 ,   No .   2 ,  A u g u s t  20 2 0   :    9 7 4   -   982   978   w h er e  X  a n d   Y   s h o w   t h e  u p p er   co r n er   co o r d in ate  o f   t h e  b o u n d in g   b o x   an d   W   a n d   H  s h o w   t h e  w id th   an d   h eig h t  o f   t h e  b o u n d i n g   b o x ,   r esp ec tiv el y .   A s   g i v e n   in   ( 1 ) - ( 3 ) ,   th e  b o u n d in g   b o x es  f r o m   all  Fas ter   R C NN  ar e  s av ed   an d   t h e  f u s ed   b o u n d i n g   b o x   is   d ef i n ed   i n   ( 4 ) .   T h e  av er ag e  o p er ato r   is   u s ed   o n   co l u m n   w i s e  f o r   X  a n d   Y  co o r d in ates  an d   t h e   m a x i m u m   o p er ato r   is   u s ed   o n   co l u m n   w is e   f o r   W   a n d   H   v al u es.   T h is   f u s in g   p r o ce d u r e  en s u r es t h e  o p ti m u m   lo ca tio n   o f   th e  lice n s e  p late.   I t  is   w o r t h   o f   m e n tio n i n g   t h at  th e  p r o p o s ed   m et h o d   h as  tr ain i n g   a n d   test i n g   p h ases .   I n itiall y ,   a  tr ain i n g   i m a g e  s et  i s   u s ed   to   tr ain   t h e  all   f a s ter   R C NN   m o d u les.  Af ter   tr ain i n g   o f   th e  all  f a s ter   R C NN   m o d u les,  t h e  test in g   p h a s e  ca n   b e  ap p lied   o n   th e  test i n g   i m a g es .       3.   RE S E ARCH   M E T H O D   3 . 1 .     F a s t er   re g io n  w it h c o nv o lutio na l neura l net w o rk   E x p lain i n g   T h e  f a s ter   R C NN   ar ch itect u r e  w as  p r o p o s ed   to   r ed u ce   th e  r u n n i n g   ti m e  o f   t h e  o b j ec t  d etec tio n   i n   a  g i v e n   i m a g e.   T h e  R eg io n al  P r o p o s al  Net wo r k   ( R P N)   is   in   th e   h ea r t  o f   th e   Fas ter   R C NN   s tr u ct u r e  [ 2 4 ,   25] .   R P N  is   co m p o s ed   o f   f o u r   la y er s   s u c h   as  i n p u t   la y er ,   r e g io n   p r o p o s al  la y er ,   f ea t u r e   ex tr ac tio n   la y er   an d   cla s s i f ic atio n   la y er ,   r esp ec ti v el y .   T h e   C NN  ar ch i tectu r e  i s   u s ed   in   f ea t u r e  ex tr ac tio n   la y er .   I n   Fas ter   R C NN,   th e  tr ain ed   is   ca r r ied   o u t  w ith   m u lt ip le  o f   th e  p r o p o s ed   r eg io n s   in s tea d   o f   a  s in g le   r eg io n ,   w h ic h   m ak e s   th e  tr ai n i n g   p r o ce d u r e  f aster   th a n   t h e  p r ev io u s   ar ch itect u r e.   I n   f aster   R C N N,   th e  R P N’ s   an d   f ast   R C NN ’ s   co n v o lu t io n al  la y er s   ar e  co m b i n ed   i n   o n e  n et w o r k .   Fas t   R C NN   h as  s ev er al  ad v an tag e s ,   s u c h   as  h i g h   d etec tio n   q u alit y ,   u s i n g   m u lt i  tas k   lo s s   i n   tr ai n in g   s ta g e,   all  la y er s   i n   n et w o r k   ca n   b e  u p d ate  b y   tr ain i n g ,   f ea tu r e s   ex tr ac tio n   n o   n ee d   s to r ag e  d is k   an d   f a s te r   s p ee d   [2 6 ,   27] .   T h u s ,   t h e  co m p u tatio n al  ti m e     o f   p r o p o s ed   n et w o r k   is   r ed u ce d .     3 . 2 .     Reg i o n  pro po s a l net w o r k   ( RP N)   R eg io n   p r o p o s al  n et w o r k   ( R P N)   aim s   to   g e n er ate  p o ten t ial  r eg io n s   a n d   it  e m p lo y s   a  n et w o r k     to   d eter m i n e  if   t h e  p o ten tial  r eg io n s   co n tai n   an y   o b j ec ts   [ 2 4 ,   2 5 ] .   T h e  r eg io n   p r o p o s als  ar e  g en er ated   b y   t h e   s elec ti v e  s ea r c h   al g o r ith m .   T h e  p r o d u ce d   r eg io n s   ar e  r a n k ed   b y   t h e  R P N  an d   t h e  o n es   m o s t  li k el y   co n tain in g   o b j ec ts   ar e  s elec ted .   T h e  r eg io n   p r o p o s al  b o x es  ar e  ca lled   as  an ch o r s .   An ch o r s   ar e  i m p o r ta n t  i n   Fas ter     R - C NN   ar ch itec tu r e.   Ge n er all y ,   t h er e  ar e  9   a n ch o r s   in   Fa s t er   R C NN  ar c h itect u r e  at  a   p o s itio n   o f   a n   i m a g e.   T h e  an ch o r s   ar e  th en   e x a m in ed   b y   a  class i f ier   to   ch ec k   th e  p r o b ab ilit y   o f   o b j ec ts .   I n   o th er   w o r d s ,     R P N  p r ed icts   th e  p o s s ib ilit y   o f   an   a n ch o r   b ein g   b ac k g r o u n d   o r   f o r eg r o u n d ,   an d   r ef i n e  th e  a n ch o r .     T h e  tr ain in g   o f   t h e  Fas ter   R C NN  is   ca r r ied   o u t  w it h   a  tr ain i n g   d ata s et  an d   t h e  co r r esp o n d in g   g r o u n d - tr u th   b o x e s .   I n   o th er   w o r d s ,   t h e  g r o u n d - tr u t h   b o x es  ar e  u s ed   to   lab el  th e  an ch o r s .   T h e  b asic  id ea   in   Fas ter   R C N N  i s   t h at   th e   an c h o r s   h a v in g   t h e  h i g h er   o v er lap s   w it h   g r o u n d - tr u t h   b o x es   ar e  lab elled   as  f o r eg r o u n d   a n d   th e  o n es  w i th   lo w er   o v er lap s   ar e  lab elled   as  b ac k g r o u n d .   W e  tr ain ed   th r ee   n et w o r k s   Al ex Net,   VGG1 6   an d   VGG1 9   s ep ar atel y ,   u s ed   b az a_ s lik a,   w h ich   i s   a  p u b licl y   a v a ilab le  d ataset  [ 2 8 ,   2 9 ].         4.   E XP E R I M E NT A L   WO RK S   AND  RE S UL T S   T h e  ex p er i m en t s   w er e  co n d u c ted   o n   MA T L A B   w it h   a  co m p u ter   h av in g   a n   I n tel  Xeo n   E5 - 1 6 5 0   v 4   C P U  an d   6 4   GB   m e m o r y .   A  p u b licl y   a v ailab le  d ata s et  was  u s ed   in   e x p er i m e n t s   t h at  c o n tain s   5 0 2   i m a g es   [ 2 9 ] .   T h e  v eh icle  i m ag e s   w er e  co llected   u n d er   v ar io u s   en v ir o n m e n tal  co n d itio n s   s u ch   as  clo u d y   d a y ,     r ain y   d a y   an d   n i g h t  lig h ti n g .   T h e  i m ag e s   co v e r   d if f er e n t  t y p es  o f   v e h icle  s u c h   a s   ca r s ,   tr u ck s ,   b u s e s   a n d   m i n i  b u s es.  All  5 0 2   i m ag e s   w er e   u s ed   in   tr ain in g   o f   t h e  p r o p o s ed   ap p r o ac h   an d   f o r   te s ti n g   p r o ce d u r e,   r an d o m l y   s elec ted   1 0 0   im a g es  w er e  f li p p ed   an d   r o tated   in   5   an d   1 0   d eg r ee s .   W h ile  Fig u r e  4   s h o w s   s o m e  tr ain i n g   s a m p le  i m a g es,  Fi g u r e  5   s h o ws s o m e  te s t sa m p le  i m a g e s .                                   Fig u r e  4 .   So m e  s a m p le  i m a g e s   th at  w er e  u s ed   in   tr ai n i n g   o f   th e  p r o p o s ed   m et h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       F u s ed   fa s ter R C N N s   fo r   ef fici en t d etec tio n   o f t h e  licen s e  p la tes   ( N a a ma n   Oma r )   979       Fig u r e  5 .   So m e  s a m p le  i m a g e s   th at  w er e  u s ed   in   te s t o f   t h e  p r o p o s ed   m et h o d       As  it  w a s   m e n tio n ed   ea r lier ,   th r ee   p r e - tr ain ed   C NN  m o d el s   w er e  u s ed   in   Fa s ter   R C NN   m o d u les.  T h e  tr ain in g   p ar am e ter s   o f   t h e  f aster   R C NN  m o d u les  s e t  as  f o llo w i n g .   T h e  s to ch as tic  g r ad ien t  d escen t  w i th   m o m e n t u m   o p ti m izer   w a s   u t ilized   in   t h e  tr ain in g   p r o ce s s .   Ma x i m u m   ep o ch ,   m in i - b atc h   s ize,   a n d   in it ial   lear n in g   r ate  w er e  s et  to   1 0 ,   1 ,   an d   0 . 0 0 1 ,   r esp ec tiv ely .   I n   a d d itio n ,   th e  p o s iti v e  a n d   n e g a tiv e  o v er lap   r an g e s   w er e  s ca led   to   th e  [ 0   -   0 . 3 ]   a n d   [ 0 . 6   -   1 ]   r an g es,  r esp ec ti v el y .   T h e  n u m b er   o f   r eg io n   p r o p o s als  to   r an d o m l y   s a m p le   f r o m   ea c h   tr ai n i n g   i m ag e  w a s   s elec ted   as   [ 2 5 6   1 2 8 ] .   B o x   p y r a m id   s ca le,   w h ich   was  n a m ed   as  a n c h o r   b o x   p y r a m id   s ca le  f ac to r ,   is   also   1 . 2 .       T ab le  1 .   T h e  tr ain in g   p r o ce d u r e  o f   th e  f a s ter   R C NN  w i th   VG G1 6   m o d el   Ep o c h   I t e r a t i o n   T i me   El a p se d   M i n i - b a t c h   L o ss   M i n i - b a t c h   A c c u r a c y   M i n i - b a t c h   R M S E   B a se   L e a r n i n g   R a t e   10   4 5 0 0   0 0 : 2 2 : 5 3   0 . 0 1 3 1   1 0 0 . 0 0 %   0 . 3 7   0 . 0 0 1 0   10   4 5 5 0   0 0 : 2 3 : 0 8   0 . 0 2 1 9   1 0 0 . 0 0 %   0 . 5 4   0 . 0 0 1 0   10   4 6 0 0   0 0 : 2 3 : 2 2   0 . 0 4 6 8   9 9 . 2 2 %   0 . 7 6   0 . 0 0 1 0   10   4 6 5 0   0 0 : 2 3 : 3 6   0 . 0 1 3 8   1 0 0 . 0 0 %   0 . 3 6   0 . 0 0 1 0   10   4 7 0 0   0 0 : 2 3 : 5 0   0 . 0 2 3 3   1 0 0 . 0 0 %   0 . 3 9   0 . 0 0 1 0   10   4 7 5 0   0 0 : 2 4 : 0 4   0 . 0 2 0 0   1 0 0 . 0 0 %   0 . 3 6   0 . 0 0 1 0   10   4 8 0 0   0 0 : 2 4 : 1 8   0 . 0 1 7 2   1 0 0 . 0 0 %   0 . 3 9   0 . 0 0 1 0   10   4 8 5 0   0 0 : 2 4 : 3 2   0 . 0 3 0 5   9 9 . 6 1 %   0 . 4 7   0 . 0 0 1 0   10   4 9 0 0   0 0 : 2 4 : 4 6   0 . 0 2 7 0   1 0 0 . 0 0 %   0 . 4 4   0 . 0 0 1 0   10   4 9 5 0   0 0 : 2 5 : 0 0   0 . 0 1 5 3   1 0 0 . 0 0 %   0 . 4 4   0 . 0 0 1 0       T ab le   1   s h o w s   t h e  tr ain i n g   iter atio n s   o f   th e  Fas ter   R C NN.   T h e  VGG1 6   m o d el  w a s   u s ed   in     Fas ter   R C NN  s tr u ct u r e.   T h e  co lu m n s   o f   t h e  T ab le  1   s h o w   ep o ch ,   iter atio n ,   ti m e  elap s e d ,   Min i - b atc h   lo s s ,   Min i - b atch   ac cu r ac y ,   Mi n i - b a tch   R MSE   a n d   b ase  lear n in g   r ate,   r esp ec tiv el y .   A s   s ee n   i n   T ab le  1 ,   th e  tr ain in g   p r o ce d u r e  r ea ch ed   th e  m a x i m u m   ac c u r ac y   ( 1 0 0 %)  at  1 0   ep o ch   an d   4 9 5 0   iter atio n s .   T h e  m i n i - b atch   R MSE   v alu e  w a s   0 . 4 4 .   T h e  lear n in g   r ate  w a s   n o t  ch a n g ed   d u r in g   th e  iter atio n s .   T h e  o b tain ed   test   r esu lt s   ar e  g iv e n   i n   Fig u r es.  6 ,   7 ,   8   an d   9 ,   r esp ec tiv el y .   W h ile  Fig u r e  6   s h o w s   t h e  A le x Net  b a s ed   f as t er - R C NN ’ s   r es u lt s ,     Fig u r es  7 ,   8   an d   9   s h o w   t h e   VGG1 6   b ased   f aster   R C NN ’ s   r es u lt s ,   VGG1 9   b ased   f ast er   R C NN ’ s   r es u lts ,     an d   th e  f u s ed   r esu lt s .   T h e  d e tecte d   licen s e  p late  r eg io n s   w er e  i n d icate d   w it h   co lo r ed   r ec tan g le s   f o r   ea ch   m et h o d .   Fig u r e   6   s h o w s   t h e  te s t  r es u lt s   f o r   p r e - tr ain ed   Alex Net  m o d el  b ased   f a s ter - R C N N.   A s   s ee n   i n   g iv e n   s a m p le  i m ag e s ,   th e  “y ello w ”  r ec tan g le s   w er e  u s ed   to   lo ca te   th e  licen s e  p late  r e g io n s .   W h ile  all  ca r ’ s   licen s e   p lates  w er e  d etec ted   co r r ec tl y ,   th e  licen s e  p lates  f o r   tr ac k s   wer e  n o t d etec ted .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  19 ,   No .   2 ,  A u g u s t  20 2 0   :    9 7 4   -   982   980                 Fig u r e  6 .   Sh o w s   t h e  test i n g   r esu lt s   o f   t h e  A le x Net  m o d el       Fig u r e  7   s h o w s   th e  d etec tio n   r esu lts   w it h   “ r ed ”  r ec tan g les   th at  w er e  o b tain ed   w it h   VG G1 6   b ased   f aster   R C NN.   As  s ee n   in   Fi g u r e   7 ,   all  v e h icle ’ s   lice n s e   p lat e  r eg io n s   w er e  d etec ted   co r r e ctl y   b y   t h e  V GG1 6   b ased   f aster   R C N N.   Fi g u r e  8   also   s h o w s   t h e  d etec tio n   r es u lts   w it h   “g r ee n ”  r ec ta n g le s   f o r   VGG1 9   b ased   f aster   R C NN.   As  s ee n   i n   Fig u r e  8 ,   ex ce p t  o n e   tr ac k ,   al l  o t h er   v e h icle ’ s   lice n s e  p late   r eg io n s   w er e  d etec ted   co r r ec tly   b y   t h e  VG G1 9   b ased   f aster   R C NN.   Fi n all y ,   Fi g u r e  9   s h o w s   th e  f u s ed   r es u lts   f r o m   p r ev io u s   f aster   R C N N  m o d els.  T h e  “m a g en ta ”  co lo r   w a s   u s ed   f o r   d eter m in in g   th e  e x a ct  lo ca tio n   o f   th e  li ce n s e  p lates  f o r   all   v eh ic les.  A s   s ee n   i n   Fi g u r e  9 ,   all  v eh icles lice n s e  p late  lo ca ti o n s   w er e  d etec ted   co r r ec tly .             Fig u r e  7 .   Sh o w s   t h e  test i n g   r esu lt s   o f   t h e  VGG1 6   m o d el             Fig u r e  8 .   Sh o w s   t h e  test i n g   r esu lt s   o f   t h e  VGG1 9   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       F u s ed   fa s ter R C N N s   fo r   ef fici en t d etec tio n   o f t h e  licen s e  p la tes   ( N a a ma n   Oma r )   981         Fig u r e  9 .   Sh o w s   t h e  test i n g   r esu lt s   o f   t h e  f u s ed   m o d el       T ab le   2   s h o w s   t h e  o b tain ed   r esu lt   w it h   i n d i v id u al   Fas ter - R C NN  m o d u le s   a n d   f u s ed   r es u lt.  A s   s ee n   in   T ab le  2 ,   th e  A le x Net  m o d el  p r o d u ce s   7 4 %  ac cu r ac y   s co r e  w h ic h   is   t h e  w o r s t   a m o n g   all  r esu l ts .     T h e  s ec o n d   w o r s t   r esu lt  8 7 %  i s   o b tain ed   b y   t h e  VGG1 9   m o d el.   VGG1 6   m o d el  p r o d u ce s   9 3 %  ac cu r ac y   s co r e  w h ic h   is   b etter   r esu lt  th a n   A le x Net  a n d   VGG1 9   m o d el s .   T h e  Fu s in g   L a y er   p r o d u ce s   th e  b est  r esu lt     w h ic h   is   9 7 %.       T ab le  2 .   P er f o r m a n ce   co m p ar i s o n   o f   i n d iv id u al  Fas ter - R C N N  m o d u les  a n d   f u s i n g   la y er   Pre - t r a i n e d   C N N   mo d e l s   A c c u r a c y   ( %)   A l e x N e t   74   V G G 1 6   93   V G G 1 9   87   F u si n g   L a y e r   97       5.   CO NCLU SI O N     T h is   p ap er   p r o p o s es  a  n o v el  m et h o d   f o r   d etec tio n   o f   th e  li ce n s e  p lates  i n   a  g i v en   v e h icl e  i m ag e s .   T h e  p r o p o s ed   m et h o d   is   b ased   o n   d ee p   f aster   R C NN  m o d els .   R ec en tl y ,   d ee p   lear n in g   h a s   b ec o m e  a  h o t  to p ic  in   co m p u ter   v is io n   an d   i m a g e  p r o ce s s in g   co m m u n it ies.  W e  o p ted   to   u s e  m u ltip le  f as ter   R C NN  m o d els  w h er e  p r e - tr ain ed   d ee p   C N N  m o d e ls   ar e  u s ed .   T h r ee   p r e - tr ai n e d   C NN  m o d els  n a m el y   A le x Net,   V GG1 6   an d   VGG1 9   w er e  u s ed   i n   f aster   R C NN  m o d u le s .   T h e  r esu lt s   f r o m   all  d ee p   m o d el s   w er e  t h en   f u s ed   f o r   o b tain i n g   a  f in al  lic e n s e  p late  r eg io n .   T h e  ex p er i m e n t s   o n   th e  p u b licl y   a v ailab le  v e h icle  lice n s e  p l ate  d ataset  s h o w ed   th at  p r o p o s ed   f u s ed   r esu lts   o u tp er f o r m ed   in d iv id u al  f as ter   R C N N  m o d u les.  T h e  o b tain ed   to tal  ac cu r ac y   w as   9 7 %.  I n   o u r   f u tu r e  w o r k s ,   w e  ar e  p lan n in g   to   ap p ly   o t h er   d ee p   m o d els  i n   licen s e  p late  d etec tio n .   I n   ad d itio n ,   licen s e  p late  r ec o g n itio n   w ill  b e  in   o u r   f u tu r e  w o r k s .         RE F E R E NC E S    [1 ]   Zee b a re e ,   D.  Q.,   H a ro n ,   H.,   a n d   A b d u laz e e z ,   A .   M . ,   “ Ge n e   S e lec t io n   a n d   Clas sif ica ti o n   o f   M icro a rra y   D a ta  U sin g   Co n v o l u ti o n a l  Ne u ra l  Ne tw o rk , ”   p re se n ted   a t  th e   In tern a ti o n a l  Co n f e re n c e   o n   A d v a n c e d   S c ien c e   a n d   E n g in e e rin g   (ICOA S E)  (p p .   1 4 5 - 1 5 0 ).   I EE E. ,   2 0 1 8 .   [2 ]   O.  A h m e d   a n d   A .   Bri f c a n i,   “ G e n e   Ex p re ss io n   C las si f ica ti o n   Ba se d   o n   De e p   L e a rn in g , ”   p re se n ted   a t  th e   2 0 1 9   4 t h   S c ien ti f ic In tern a ti o n a l  Co n f e re n c e   Na ja f   (S ICN),  2 0 1 9 ,   p p .   1 4 5 – 1 4 9 .   [3 ]   M .   S .   A l - S h e m a rr y ,   Y.  L i,   a n d   S .   A b d u ll a ,   “ A n   e ff ici e n t  tex tu re   d e sc rip to r  f o r  th e   d e tec ti o n   o f   li c e n se   p late s  f ro m   ve h icle   ima g e s in   d if f icu lt   c o n d i ti o n s,”  IEE E  T ra n s.  I n tell.   T ra n sp .   S y st. ,   2 0 1 9 .   [4 ]   Y.  Yu a n ,   W .   Z o u ,   Y.  Z h a o ,   X .   W a n g ,   X .   Hu ,   a n d   N .   Ko m o d a k is,   “ A   ro b u st  a n d   e f f ici e n t  a p p r o a c h   to   li c e n se   p late   d e tec ti o n , ”   I EE E  T r a n s.   Ima g e   Pro c e ss . ,   v o l.   2 6 ,   n o .   3 ,   p p .   1 1 02 – 1 1 1 4 ,   2 0 1 6 .   [5 ]   B.   V .   Ka k a n i,   D.  G a n d h i,   a n d   S .   Ja n i,   “ Im p ro v e d   OCR  b a se d   a u to m a ti c   v e h icle   n u m b e r  p late   re c o g n it io n   u sin g   f e a tu re s  train e d   n e u ra l  n e tw o rk , ”   p re se n ted   a t  t h e   2 0 1 7   8 th   I n tern a ti o n a l  C o n f e re n c e   o n   Co m p u ti n g ,   Co m m u n ica ti o n   a n d   Ne tw o rk in g   T e c h n o lo g ies   (ICCCNT ),   2 0 1 7 ,   p p .   1 – 6.   [6 ]   B.   S in g h ,   M .   Ka u r,   D.   S i n g h ,   a n d   G .   S i n g h ,   “ A u to m a ti c   n u m b e r  p late   re c o g n it i o n   sy ste m   b y   c h a ra c ter  p o siti o n   m e th o d , ”   I n t  J   C o mp u t  Vi s.  Ro b o t ,   v o l.   6 ,   n o .   1 / 2 ,   p p .   9 4 – 1 1 2 ,   2 0 1 6 .   [7 ]   H.  L i  a n d   C.   S h e n ,   “ Re a d i n g   c a r  li c e n se   p late s  u sin g   d e e p   c o n v o l u ti o n a l  n e u ra l  n e tw o rk s  a n d   lstm s, ”   ArXi v   Pre p r.  ArXi v 1 6 0 1 0 5 6 1 0 ,   2 0 1 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  19 ,   No .   2 ,  A u g u s t  20 2 0   :    9 7 4   -   982   982   [8 ]   N.  S u laim a n ,   S .   N.   H.  M .   Ja lan i,   M .   M u sta f a ,   a n d   K.  Ha w a ri,   “ D e v e lo p m e n t  o f   a u to m a ti c   v e h icle   p late   d e tec ti o n   s y ste m , ”   p re se n ted   a t  th e   2 0 1 3   I EE E  3 r d   In tern a ti o n a l  Co n f e re n c e   o n   S y ste m   En g in e e rin g   a n d   T e c h n o l o g y ,   2 0 1 3 ,   p p .   1 3 0 – 1 3 5 .   [9 ]   W .   W ih a rto ,   H.  Ku sn a n to ,   a n d   H.   He rian to ,   “ S y ste m   Dia g n o sis  o f   Co ro n a ry   He a rt  Dis e a se   Us in g   a   Co m b in a ti o n   o f   Dim e n sio n a l  Re d u c ti o n   a n d   Da ta  M in i n g   T e c h n iq u e s:  A   Re v i e w , ”   In d o n e s.  J .   El e c tr.   En g .   C o mp u t.   S c i. ,   v o l.   7 ,   n o .   2 ,   p p .   5 1 4 – 5 2 3 ,   2 0 1 7 .   [1 0 ]   S .   A z a m   a n d   M .   M .   Isla m ,   “ A u to m a ti c   li c e n se   p late   d e tec ti o n   i n   h a z a rd o u s  c o n d it i o n , ”   J .   Vi s.  C o mm u n .   Ima g e   Rep re se n t. ,   v o l.   3 6 ,   p p .   1 7 2 – 1 8 6 ,   2 0 1 6 .   [1 1 ]   A .   N a i m i,   Y.  Ke s se n ti n i,   a n d   M .   Ha m m a m i,   “ M u lt i - n a ti o n   a n d   m u lt i - n o rm   li c e n se   p late s  d e tec ti o n   in   re a l  tra f f i c   su rv e il lan c e   e n v iro n m e n t  u sin g   d e e p   lea rn in g , ”   p re se n ted   a t  th e   In tern a ti o n a l  Co n f e re n c e   o n   Ne u ra l  In f o r m a ti o n   P r o c e ss in g ,   2 0 1 6 ,   p p .   4 6 2 – 4 6 9 .   [1 2 ]   T .   A ja n t h a n ,   P .   K a m a l a r u b a n ,   a n d   R .   R o d r i g o ,   “ A u t o m a t i c   n u m b e r   p l a t e   r e c o g n i t i o n   i n   l o w   q u a l i ty   v id e o s , ”   p r e se n t e d   a t   t h e   2 0 1 3   I E E E   8 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n d u s t r i a l   a n d   I n f o rm a t i o n   S y s tem s ,   2 0 1 3 ,   p p .   5 6 6 – 5 7 1 .   [1 3 ]   Y.  Zh a o ,   J.  G u ,   C.   L iu ,   S .   Ha n ,   Y.  G a o ,   a n d   Q.  Hu ,   “ L ice n se   p late   lo c a ti o n   b a se d   o n   h a a r - li k e   c a s c a d e   c las si f iers   a n d   e d g e s,” p re se n ted   a t  th e   2 0 1 0   S e c o n d   W RI  G lo b a l  Co n g re ss   o n   In telli g e n t  S y ste m s,  2 0 1 0 ,   v o l .   3 ,   p p .   1 0 2 – 1 0 5 .   [1 4 ]   D.  Zan g ,   Z.   Ch a i,   J.  Zh a n g ,   D.  Zh a n g ,   a n d   J.  Ch e n g ,   “ V e h icle   li c e n se   p late   re c o g n it io n   u sin g   v isu a l  a tt e n ti o n   m o d e l  a n d   d e e p   lea rn in g , ”   J .   E lec tro n .   I ma g in g ,   v o l.   2 4 ,   n o .   3 ,   p .   0 3 3 0 0 1 ,   2 0 1 5 .   [1 5 ]   P .   P ra b h a k a r,   P .   A n u p a m a ,   a n d   S .   Re s m i,   “ A u to m a ti c   v e h icle   n u m b e r  p late   d e tec ti o n   a n d   re c o g n it io n , ”   p re se n te d   a t   th e   2 0 1 4   I n tern a ti o n a l  C o n f e re n c e   o n   Co n tro l ,   I n stru m e n tatio n ,   C o m m u n ica ti o n   a n d   C o m p u tatio n a l  T e c h n o lo g ies   (ICCICCT ),  2 0 1 4 ,  p p .  1 8 5 – 1 9 0 .   [1 6 ]   S .   Kim ,   H.  Je o n ,   a n d   H.  Ko o ,   “ De e p - lea rn in g - b a se d   li c e n se   p late   d e tec ti o n   m e th o d   u sin g   v e h icle   re g io n   e x trac ti o n , ”   El e c tro n .   L e tt . ,   v o l.   5 3 ,   n o .   1 5 ,   p p .   1 0 3 4 – 1 0 3 6 ,   2 0 1 7 .   [1 7 ]   N.  O.  Ya se e n ,   S .   G .   S .   A l - A li ,   a n d   A .   S e n g u r,   “ A n   Ef f icie n t  M o d e l  f o r  A u to m a ti c   Nu m b e r  P late   De tec ti o n   u si n g   HO G   F e a tu re   f ro m   Ne w   No rth   Ira q   V e h icle   Im a g e s  D a tas e t, ”   p re se n ted   a t  th e   2 0 1 9   1 st  In tern a ti o n a l  In f o rm a ti c s  a n d   S o f twa re   En g in e e rin g   Co n f e re n c e   (UBMYK),  2 0 1 9 ,   p p .   1 – 6.   [1 8 ]   N.  O.  Ya s e e n ,   S .   G .   S .   A l - A li ,   a n d   A .   S e n g u r,   “ De v e lo p m e n t  o f   Ne w   A n p r  Da tas e t  f o r  A u to m a ti c   Nu m b e r  P late   De tec ti o n   a n d   Re c o g n it io n   in   No rth   o f   Ira q , ”   p re se n ted   a t  th e   2 0 1 9   1 st  In tern a ti o n a l  In f o rm a ti c s   a n d   S o f twa re   En g in e e rin g   Co n f e re n c e   (UBMY K),  2 0 1 9 ,   p p .   1 – 6.   [1 9 ]   N.  Om a r,   A .   S e n g u r,   a n d   S .   G .   S .   A l - A li ,   “ Ca sc a d e d   De e p   Lea r n in g - Ba se d   Ef f ici e n t  A p p ro a c h   f o r  L ice n se   P late   De tec ti o n   a n d   Re c o g n it io n , ”   Ex p e rt S y st.  A p p l. ,   p .   1 1 3 2 8 0 ,   2 0 2 0 .   [2 0 ]   W .   T .   H o ,   H .   W .   L im ,   a n d   Y .   H .   T a y ,   “ T w o - s t a g e   l ic e n se   p l a t e   d e t e c t i o n   u s i n g   g e n t l e   A d a b o o s t   a n d   S I F T - S VM , ”   p r e s e n t e d   a t   t h e   2 0 0 9   F i r s t   A s i a n   C o n f e re n c e   o n   I n t e l l i g e n t   I n f o rm a ti o n   a n d   D a t a b a s e   S y s t e m s ,   2 0 0 9 ,   p p .   1 0 9 – 1 1 4 .   [2 1 ]   S.   Kta ta,  F .   Be n z a rti ,   a n d   H.   Am iri ,   “ L ice n se   p late   lo c a li z a ti o n   u sin g   G a b o r  f il ters   a n d   n e u r a l  n e tw o rk s,”  J .   Co mp u t .   S c i . ,   v o l.   9 ,   n o .   1 0 ,   p .   1 3 4 1 ,   2 0 1 3 .   [2 2 ]   S .   Z.   M a so o d ,   G .   S h u ,   A .   De h g h a n ,   a n d   E.   G .   Ortiz,  “ L ice n se   p late   d e tec ti o n   a n d   re c o g n it i o n   u sin g   d e e p ly   lea rn e d   c o n v o lu ti o n a l  n e u ra l  n e tw o rk s,”  ArXi v   Pre p r.  ArXi v 1 7 0 3 0 7 3 3 0 ,   2 0 1 7 .   [2 3 ]   M .   A .   L a li m i,   S .   G h o f r a n i,   a n d   D.  M c L e rn o n ,   “ A   v e h icle   li c e n s e   p late   d e tec ti o n   m e th o d   u sin g   r e g io n   a n d   e d g e   b a se d   m e th o d s,”  Co mp u t.   El e c tr.   En g . ,   v o l.   3 9 ,   n o .   3 ,   p p .   8 3 4 – 8 4 5 ,   2 0 1 3 .   [2 4 ]   S .   Re n ,   K.  He ,   R.   G irsh ic k ,   a n d   J.  S u n ,   “ F a ste r  r - c n n :  T o w a rd s  re a l - ti m e   o b jec t  d e tec ti o n   w it h   re g io n   p ro p o sa l   n e tw o rk s,” p re se n ted   a t  th e   A d v a n c e s in   n e u ra l  in f o rm a ti o n   p r o c e ss in g   sy ste m s,  2 0 1 5 ,   p p .   9 1 – 9 9 .   [2 5 ]   J .   E .   E s p i n o s a ,   S .   A .   Ve l a s t i n ,   a n d   J .   W .   B ra n c h ,   “ Ve h i c l e   d e t e c t i o n   u s i n g   a le x   n e t   a n d   f a s te r   R - C NN   d e e p   le a r n i n g   m o d e ls :   a   c o m p a r a t iv e   s t u d y , ”   p r e s e n t e d   a t   t h e   I n t e r n a t i o n a l   Vi s u a l   I n f o rm a t i c s   C o n f e r e n c e ,   2 0 1 7 ,   p p .   3 – 15.   [2 6 ]   R.   G irsh ick ,   “ F a st  r - c n n , ”   p re se n ted   a t  t h e   P ro c e e d i n g s   o f   th e   IE EE   in ter n a ti o n a l  c o n f e re n c e   o n   c o m p u ter  v isio n ,   2 0 1 5 ,   p p .   1 4 4 0 – 1 4 4 8 .   [2 7 ]   H.  Qa ss i m ,   A .   V e r m a ,   a n d   D.  F e in z im e r,   “ Co m p re ss e d   re sid u a l - V GG 1 6   CNN   m o d e l  f o r  b ig   d a t a   p lac e s  i m a g e   re c o g n it io n , ”   p re se n ted   a t  t h e   2 0 1 8   I EE E  8 th   A n n u a l  C o m p u ti n g   a n d   C o m m u n ica ti o n   W o rk sh o p   a n d   C o n f e re n c e   (CCW C),   2 0 1 8 ,   p p .   1 6 9 – 1 7 5 .   [2 8 ]   D.  Q.  Zee b a re e ,   H.  Ha ro n ,   A .   M .   A b d u laz e e z ,   a n d   D.  A .   Zeb a ri,   “ M a c h in e   lea rn i n g   a n d   Re g io n   G ro w in g   f o r  Bre a st  Ca n c e r  S e g m e n tatio n , ”   p re se n ted   a t  th e   2 0 1 9   In tern a t io n a l  Co n f e r e n c e   o n   A d v a n c e d   S c ien c e   a n d   E n g in e e rin g   (ICOA S E),   2 0 1 9 ,   p p .   8 8 – 93.   [ 29 ]    L P D a t a b a s e .   A c c e s s e d :   J u l .   2 0 1 6 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / w w w . z e m r i s . f e r . h r / p r o j e c t s / L i c e n s e P l a t e s / e n g l i s h / b a z a _ s l i k a . z i p .       Evaluation Warning : The document was created with Spire.PDF for Python.