Indonesi an  Journa l  of El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   1 3 ,  No.   2 ,  Febr uar y   201 9 , pp.  7 87 ~793   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v1 3 .i 2 .pp 7 87 - 7 93          787       Journ al h om e page :  http: // ia es core.c om/j ourn als/i ndex. ph p/ij eecs   AI - B ase d Targ eted Adv ertising  System       Te w  J ia  Yu, Chi n P oo Lee,  Kian Mi n g  Li m, S iti  Fa tima h Abdul  R az ak   Facul t y   of  Infor m at ion  Sci ence and  T ec hnolo g y ,   Multi m edia  Uni ver sit y ,   Mal a y s i a       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   Oct   1 5 , 201 8   Re vised  Dec  16 , 2 018   Accepte d  Dec  30 , 201 8       The   m ost  comm on  te chnol og y   used  in  t ar get ed  adve rt isi ng  is  fac ial  rec ogni ti on  and  vehi c le   re cogni t i on.   Eve n  though   the re  ar e  exi sti ng  sy st ems   serving  for  th e  t arg eting  purpose s,  m ost  propose  li m it ed  fun ctio nal ities  and   the   s y s te m   per form anc e  is  no rm al l y   unknown.  Thi s  p ape r  pre sents  a n   int ellige n t  t arg eted  adve r ti sing  s y stem  with  m ultiple   fun ct ion al i ties,  name l y   fac i al   re cogni t io n  for  gende r  a nd  age ,   veh ic l e   rec ognition,  a nd  m ult ipl e  obje c t  detec ti on.   The   m ai n  purpo se  is  to  improve  the   eff ective n ess  of  outdoo r   adve rt ising  thro ugh  biometri cs  a pproa che s  and  m ac hine   l ea rnin g  te chnol o g y .   Mac hine   le arn i ng  al gorit hm s  are   implement e d  for  highe r  rec ogni ti on   ac cur acy   and   he nce   ac h ie ved   be t te r targ et ed   adv e rti sing  eff e ct .   Ke yw or ds:   Ag e  esti m a ti on   Gende r  rec ogni ti on   Object  recog niti on   Targ et e d  a dver ti sing   Veh ic le   recog ni ti on   Copyright   ©   201 9   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .     Al l   rights  reserv ed.   Corres pond in g  Aut h or :   Chin  Poo Lee ,   Faculty  of In form ation  Scie nc e an d  Tec hnol og y,   Mult im ed ia  U ni ver sit y,    Jal an Aye r Ker oh Lam a, 7 54 50 B uk it  Ber ua ng, Mel a ka,  Mal ay sia .   Em a il : cplee @m m u. edu .m y       1.   INTROD U CTION   Bi ll bo ard   a dverti sing   is  a  t ype  of   O ut - Of - Ho m e  adv ert isi ng   that  gr a bs   the  cha nce s  of   outd oo r   prom otion   w hi ch  ty pical ly   achieves  desir able  res ults.  I n  co ntrast  to   tradit ion al   bi ll bo ar ds   wit h  sta tic   m essages,  di gital   bill bo ards  with  m or e  flex ibil it y  and   up - t o - date  m essages  are  ta kin g  t heir  way  of  re placi ng  them .  This  m or e  ad van ce d  f orm   of   adv e rtisi ng   is  known  as   the  Digital   Out  of   H om e  (D O OH).  As  te ch nolo gy  evo l ved,  di gital   adv e rtisi ng   be com es  increasing ly   popula r  no t  on ly   bec au se  of   it s  te nde nc y  of   lo wer   c os t,  but   al so  it s tar getin g  a nd interact i ve feat ur e s  with the  use  of  ca m eras,  se ns ors  and o t her ad d - on d e vices.     Digital   bill bo a rd s  a re  cal le d  “sm art”  or   “i ntell igent”  wi th  their  ca pabi li t ie s  of   rec ognizin g  a   par ti cula r  ob j e ct   and   disp la y  releva nt  co ntent  to   it .  The se  bill bo a rd s  a re  connecte d  t o  de vices  f or   c ollec ti ng   inputs, a nd a s yst e m  is w orki ng b e hind a s th e co ntr ol. Alo ng  with all  the a lgorit hm s an d processi ng func ti on s ,   the  bill boar d  will   be  ta r geting  a  certai n  gro up  an d  dis play   releva nt  ad ver ti sem ent  for  bette r   at te ntion  a nd   influ e nces.   Se ver al   iss ues  ar e  identifie d  in  the  existi ng  a dverti sin g  syst e m s  as  the  fo ll ow i ng :  (1)  un s uitable   adv e rtise m ents   are  disp la ye d  to  the  au dience ,  (2)  una ble  to  ta rg et   outd oor  aud ie nce  with out  any  act ivit y,  and  (3)  lim i te d  functi on al it ie s.  These  pro ble m s   resu lt   in  wastage  of  res ources,  high  costs  in  adv e rtisi ng,  an d  ineff ect i ve  a dverti sing .     In   vie w  of  this,  an  intel li gen t  ta rg et ed  ad vert isi ng   syst e m   i s  propose d  f or  the  fo ll ow i ng  obj ect ives :   (1)  disp la y  be tt er - ta rg et e d  adv e rtise m ents   to  the  aud ie nce,  ( 2)   im pr ov e  the  e ff ec ti ven ess  of  outd oo r   adv e rtisi ng,  a nd  ( 3)  offe r  wi de   range  of   f un c ti on al it ie s  in  a  sing le   syst em .  The  propose d  syst e m   is  capab le   of   recog nising   ge nd e r  an d  age  of  detect ed  face s  as  well   as  var io us   obj ect   ca te gories  su c h  as  veh ic le s,  el ec tro nic  dev ic es ,  a nd  f ood.  Be st - s uited  a dv e rtise m ent  rele van t  t o  the  real - ti m e  dem og ra ph ic s  will   be  retriev ed  a nd   disp la ye d  on   the  bill bo a rd,  s olv in g  the  pro blem s  enco unt ered  in   existi ng  a dverti sin g  s yst e m s  as  m en ti one d  befor e .    The  rest  of  the   pa per  is  orga nized   as  fo ll ows.   I n  Se ct ion  I,  an   intr oduct ion   of  bill bo a r d  a dv e rtisi ng   and  ta r geted  a dv e rtisi ng  is  pro vid e d.  S ub se qu e ntly ,  s om e  existi ng  w orks   in  sm art  bill boar d  a dverti sin g  a re   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   1 3 , N o.   2 ,  Fe bru ary  201 9   :   7 8 7   –   7 9 3   788   rev ie wed  i n  Se ct ion  II.  T he  sy stem  f low  an d  functi onal it ie s ar e d et ai le d  in  Sect ion   III.  Se ct ion  IV  pr ese nts the   exp e rim ental  r esults o f beta  t est ing  a nd Sect ion   V  c oncl ude s the  pa per .       2.   LIT ERATUR E REVIE W   Existi ng  ad ve rtisi ng   syst em s  are  stu died   an d  a  c om par iso n  is  m ade  in  te rm s  of   their  f unct ion al i ti es.  Yaho o  sm art  bi ll bo ar d  [1 ]   reli es  on  a   co nce pt  cal le d  gro up li zat ion ,  wh ic h  pri ors  on  the   m ajo rity   to   gai n  m or e  at te ntion   f r om   people  ar ound  it .  Yahoo   sm art  bill bo ar d  is  usi ng   im age  rec ogniti on   te c hn ology  w orkin g  with   ca m eras  to  c ollec t  data  f or   i de nti ficat ion   of  dem og ra ph ic   c har act erist ic s.   Ra ther  tha n  ju st  ob ta i ning  i m ages,  the  syst e m   of   Yaho o  is  capab le   of   sou nd   c aptu rin g  thr ough   the  use   of   m ic ro phones,  t o  colle ct   keyw ords   sp oke n  by  a  gro up.  A n  ad diti on al   m et ho d  us e d  to  ens ur e   at te ntion   is  the  ey e  tr acking  te chn iq ue,   detect i ng   visio n of   passe rs - by usi ng se nsors  equi pp e d on the  bill boar d.     NEC  Digital   Bi ll bo ar d  [2 ]   is  desig ne d  sp eci fical ly   to  disp la y  adv erti sem e nts  that  ref le ct   passer s - by  per s onal   intere sts.  NEC  Di gital   Bi l lbo ar d  use s  wireless  te chnolo gy  ta gs ,   wh ic h  are  al s o  kn own  as  R adio   Fr e qu e ncy  I de ntific at ion   (RF ID)  c hip s .  As  nowa days  RF I D  c hip s   are   inc reasin gly  bei ng  inc orp orat ed  su c h  as   cred it   car ds   an d  m ob il e  ph on es,  these  chi ps   are  act ing   li ke  inv isi ble  la bels   carried  by  pe ople   al l  the  way  they   go.  The  m et hod  is  that  these  chips  ar e  enc oded  with  inf or m at ion   about  ind i viduals,  s o  the  dig it al   adverti sing  bo a r d  co uld   id entify   a  per s on  wh e n  they   pa ss  by,  by  read i ng   the  ta r get' s  RFID   data.  N EC  Digital   Bi l lbo a rd  al so  im ple m ent ed faci al  r ec ogniti on  t o  i den ti fy sho pp e r' s g e nd e r, et hnic it y, an d  a ppr ox im at e age.     The  face - rec ogniti on   bill boar d  in  Lo ndon  [3]   is   us ed  by  a  gl ob al   child ren’ s  char it y,  Plan  UK   in  thei r   “B ecause  I’ m   a  Girl”  ca m paign,  to  raise  awar e ness  f or   e qu al   op portu ni ty   and   acce ss  to  ed ucati o n  f or  bo t h  sexes,   as  well   as  raisi ng   f und  to  sp onsor  ed ucati on   for  girl s  in  dev el opin g  co un try .  T he   m ai n  pu rpose  of   thi s   face - recog niti on   bill bo ar d  is  t o  detect   ge nd e r  an d  s how  it s  entire  co nte nt  on ly   to  w om en.   To   achie ve  th is,  th e   bill bo a rd  is  e quip ped  wi t h  a  “hig h  def i niti on ”  cam era  to  s can  people  fac es,  detect ing   t he ir  ge nder   us i ng  face   recog niti on   te c hn i qu e ,  with  a   high   su cc ess  rate.  T he  ey e   tracki ng  te ch ni qu e   is  al s o  use d  t o  e ns ure  t hat  th e   ta rg et ed  p e rs on is lo ok i ng at the  bill bo a rd.   Astra  Girl  Det ect ion   Bi ll bo ar d  [ 4]  is  locat ed   ou tsi de  of  a  pub  i n  Ham bu r g,  Ger m any  as  pa rt  of   a n ew   adv e rtisi ng   ca m paign   fo r  As tra.  Ra ther  tha n  just  fo c us es  on   prom oting   beer   to  w om e n,   the  bill boar d  eve n  sm art ly   avo ids   the  youngs te r s  under   t he  le gal  dr i nk i ng   a ge  of  sixtee n .   W it h  a  bu il t - in  cam era  and   the  i m ple m ented  gen de r - detect io n  softwa re,  the   bill bo ar d  of  Astra  is  capa ble  of   detect in g  the  gende r  of   peopl e   lookin g  at  it , n o  m at te r  it  is an  in div i du al  or  a gro up.   Lex us   is  m ov i ng  it s  way  t o  a   bette r  a ppr oac h  of  ad ver ti sin g   by  intr oduci ng  sm art  dig it al   bill bo a rds   to  pr om ote  the  cars  of  Le xus  by  trig ge ring  a  per s onal iz ed  m essage  to  dr i ver s  c orr esp onds   t o  the   br a nd ,   m od el ,  and   col our  of  the  ve hicle s  [5 ] .  In   order   to  ca ptu re  al l  the  passing  traff ic ,  Lex us  bill bo ar ds   rel y  on   a   s eries  of   high  ro ta ti on  cam er as.  The  ca ptur ed  im ages  are  sent  to  the  A P N  O utdoor  Cl assifi er,  w hic h  is  in   charge  of   m at chin g  them   to  it s  databa se  of  ve hicle   m akes,  m od el s,  and  co lours,  as   well   a s  the  oth er   va ri ables.  Pers on al iz ed  m essage is  d is play ed  f or the   ta r geted ve hicle  bei ng   rec ognise d.   Ci sco  is  placi ng  this  co nnect ed  bill boar d  f or   the  intenti on  to   highli gh t  the  c on ce pt  of  “t he  In te r net  of   ever yt hi ng ”  in  adv e rtisi ng   a nd  to  showcase  it s  latest   te chn ology.  The  Ci sco  bill bo a r d  syst e m   [6 ]   us es  a   series  of   A P Is  c onne ct ed  to  real - ti m e  traff ic   se nsors  t o  get  the  t raffic   co nd it io ns ,  i n  c onjun ct ion   with  th e  usa ge  of   m aps  an d  bac k - e nd  net work.  A  m essage  with  di ff e ren t  le ng th   is  dis play ed  base d  on  the  ve hicle s  sp ee d,   sel ect ed  acco r di ng  t o  the  s pee d ran ge  it  f al ls  i nto .   To gether   with  the  sm art  data  stora ge  com pan y  Cl oudian,   a   Japan ese  a dve rtisi ng   com pany   Den tsu  is  a  pro gram   cor r esp onding  t o  i ntell igent  bill bo ar ds   has   bee n  la unche d  [ 7].  The  syst em   includes   the   abil it y  to  analy se  traf fic  volum es  to  enab le   highly   e ff ect ive  ta rg et ed  r oa ds ide   ad ver ti sin g.   The   bill bo a rd  syst em s  are  i m ple m ented  us in g  big   data  and   dee p  le a rn i ng.  Dee p  le anin g  an al ysi s  is  carried  out  at   it s  first  sta ge  to   at tribu te   the  re cogniti on   with   autom at ic   feat ur e  e xtracti on  of   tra ff ic   patte rn s  a nd  volum e ,  an d  al so   a uto m atic  veh ic le   recog niti on .       3.   INTEL LIGE NT TA RGET ED AD VERT ISING S YS T EM     This  sect ion   de scribes  the  sy stem   flow   and  trai nin g  arc hitec ture  of  intel li gen t  ta rg et e d  adv e rtisi ng   syst e m .     3.1.      S ystem  Architec tu re   The  syst e m   flo w  ca n  be  basic al ly   div ide d  i nto  f our   sta ge s,  nam el y  i m age  a cqu isi ti on,  m ulti ple  obj ect   detect ion, m ajo rity  grou p bid ding a nd tar geted  a dv e rtisi ng. T he  syst em  f low  is i ll us trat e d i n  Fig ure  1.     At  the  init ia l  st age,  im ages  are  captur e d  by  vid e o   cam era  and   se rv e d  as  input  f or   the  sy stem .  These  i m ages  underg o  processi ng  in   the  syst e m   and   are  pass ed  to   the  al go rithm s  in  la te r  sta ge.   At  the  seco nd   sta ge,   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       AI - B as e d Tar ge te d  A dverti sin g System   ( Tew  Ji a  Y u )   789   m ul ti ple  obj ect   detect io n  is  de plo ye d  to  dete ct   diff e re nt  ty pe s  of  obj ect s  i n  a  sin gle  im age  or  f ram e.  Detect ed   faces  a nd  ve hi cl es  are  f urt her  recog nised   th e  ge nd e r  a nd  a ge,   or  the  cat e gories  re sp ect i vely .  Th e  rec ogniti on  processes  a re  carried  ou t  ba sed  on  the  pre - trai ne d  m od el s.  An   a naly sis  is  do ne  to  de te rm ine  the  m ajorit y  gro up at that  ti m e p oin t  a nd t he results a re i nput int o  th e  bid di ng alg or it hm  f or  adve rtise m ent sele ct ion .     The  biddin g  outp ut  is  tra nsm itted  to  th e  database   co nta ining  the  a dve rtisem ents  in  t he  nex t  sta ge.   The  ch os e n  co ntent  is  retriev ed  from   database  and   the n  tr ansf e rr e d  to  th e  dig it al   bill board   to  be  dis play ed .   The  fi nal  sta ge   is  the  ad ver ti s e m ent  releva nt  to  the  real - ti m e  dem og ra ph ic   is  disp la ye d.  The  process  it erates  wh e n  t he pr of il e of  detect ed  c r owd or t ra ff ic   changes .            Figure  1 .  Th e  s yst e m  f low  of intel li gen t t ar ge te d  ad ve rtisi ng syst e m       3.2 .      Tr aining  A rchi tectu re s   The  m od el s  use d  f or  rec ogni ti on   are  pr e - tr ai ned   before   be ing   im ple m ented  into  t he  syst e m .  The   m od el   fo r  re c ognisin g  ge nd er  an d  age  a nd  the  m od el   f or   recog nisin g  var io us   ty pes   of   obj e ct s  are   trai ned  separ at el y  by  diff e re nt  arc hitec tures.  F or   ge nd e r  a nd  age   r ecognit ion,  fac e  casca des   intr oduce d  by  Mi cro s oft   is used  as the  f ace detec ti on  fram ewo rk. I ts  functi on is to det ect  f aces fr om  ca m era  i m a ges  f or   gende r  and  a ge   recog niti on .  T he  ide a  [ 8]  be hind  this  arc hitec ture  is  to  com bin e  face  al ign m ent  with  detect ion.  Pr el i m inary   stud ie s  sho wed  that  al ig ned  fa ces  are   able  t o  pro vid e  bette r  featur e s  to   e nhance  face  cl ass ific at ion   proce ss.   I n  the  casca de  f ra m ewo r k,   bo os t ed  casca de  str uc ture  an d  si m p le   featur es  pri nc iples  are  i m pl e m ented  to  en han ce   the  detect io n  eff ic ie ncy.  As  in  [ 9],  bo os ti ng  is  per f orm ed  on   t ho se  sim pl e  cl assifi ers,   or  in  ot her   w ords,   th e   weak   cl assifi er s  extracte d  are   com bin ed  for  bette r  perf or m ance  com par ed   to  the  si m ple  cl assif ie rs  al one.  I n  [8 ] ,  t he  cas cad e  detect or  not  only   ta kes   shorter   ti m e  fo r  face  detect ion,   it   al so   outpe r form s  oth er   sim il ar  so luti ons i n detec ti on   unde r  c halle ng i ng c onditi on s  su c h  a s  poor li ghti ng s , l arg e  view poin ts, an d occlusi on.    Fo r  t he  m ulti p le   obj ect   recogn it io n,   the  M ob il eNet  arc hit ect ur e  is  us e d  to  trai n  the  im ple m ented  m od el s.  As  de scribe d  in  [ 10] ,  Mob il eNet  is   a  li gh t  weig ht  deep   neural  ne tworks  a rch it ect ur e,  wh ic h  is  bu il t   us in g  de pt h - w ise   separ a ble  conv olu ti ons,  or   known  a s  f act or ise d  c onvoluti o ns .  M ob i le Net  consi sts  of   28   la ye rs,   com pr i sing   de pth - wis e  an d  po i ntwi se  co nvol ution  la ye rs.   On ly   the  fir st  la ye r  of  the   Mo bileNet   structu re  is   bu il t  on   fu ll   c on vo l ution  j us t  li ke  oth e r  ty pic al ly   seen  ne ur al   netw orks.  I n  this   arc hitec ture,  a  sta nd a rd co nvo luti on  is  facto ri sed  int o  tw o di ff e ren t c onvolu ti on s, nam el y th e  dep t h - wise  conv olu ti on a nd the   1  ×  1  point w ise   conv olu ti on.  In   de pth - w ise   conv olu ti on,  in put  cha nnel s  are  filt ered   but  no t  i nst antly   com bin ed  t o  cr eat e  ne w  feat ures.  It  r eq uires   an  ad diti on al   la ye r,   w hich   is   the  pointwise   conv olu ti on  la ye r  to   com pu te   a  li ne ar  com bin at ion  of   the  outp ut  of   de pth - wise  conv olu ti on  vi a  the  1  ×  1  con voluti on.  By   hav i ng   two  s epa rate l a ye rs,  the  co m pu ta ti on s , m od e l si ze, and c ompu ta ti onal  c os t  are m uch  r e du ced.   Mob il e Net  is  use d  to  trai n  on  Com m on   Obje ct s  in  Con te xt  (COCO )  dataset   fo r  obj ect   de te ct ion   an d  recog niti on   in   the  propose d  syst e m .  The  COCO  datas et   is  pr esente d  by  Mi cro s oft   m ai nly  fo r  obj ect   recog niti on .  T he  dataset   co nt ai ns   sam ple  p ho t os   of  91  obj ect   cat eg or i e s,  inclu ding  al l  the  cat ego rie s  from   PA SC AL  V O C  ad  su pe r  cat egories  as  in  [ 11 ] .  I n  this  da ta set ,  sh ape  m ask  is  us e d  to   detect   obj ect s  us in g  boundi ng bo x appr oach,  provi din g a m or e a ccur at e m easure  of the  artic ul at ed  ob j ect s.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   1 3 , N o.   2 ,  Fe bru ary  201 9   :   7 8 7   –   7 9 3   790   Othe r  than  de te ct ing   an d  re cog nisin g  ob je ct s,  si m il arity  scor es  of  the  rec ognise d  obj ect s  are  com pu te d  in  t he  syst em .  The  scor i ng   funct ion   is  im ple m e nted  by  us in g  the  Sin gle  Sho t  Mult iB ox   De te ct or   (S S D)  arc hitec ture.  I n  a   rece nt   stud y  i n  [12],   f or  each   detec te d  obj ect   in   a b ou nd i ng b ox ,  p re dicti ng  sc ores  ar e   com pu te d  for  e ach  obj ect   cat e gory.  Adjustm ents  are   the n  pe rfor m ed  on  t he   boun ding  box  to   bette r   m atch   the   obj ect   sh a pe.   S SD   is  al so   able   to  encap s ulate   al l  co m pu ta ti on   into  a  sin gle  netw ork.   T his  m akes  SSD   ea sy  to  trai n  an d  le ss  com plex  to  be   integrate d  int o  the  syst em   fo r  detect ion   pur poses.  D ur i ng   t he  SS D  trai ning,  for   each  obj ect   in vo l ved,  it   on ly   req uires  a n  input  i m age  a nd   groun d  trut h  boxes  for  th e  detect ion .  A t  each   locat ion ,  t her e   is  an  evaluati on   of   t he  de fa ult  boxes  of   di ff ere nt  aspect   rati os   with  diff e ren t  scal es.   The   evaluati on  is  bein g  processe d  in  s eve ral  f eat ur e  m aps  [ 13 ] .  These   de f ault  boxes   are   then  m at ched  to  the   gro und  tr uth [ 14]  bo xes  in  the  trainin g p hase.     3.3 .       Ge nder  an d  Age  Rec ogniti on   In   ge nder  a nd  age  recog n it ion   process ,  face   i m ages  are  a c qu i red  by  t he  syst e m   as  inpu t  data.  T he   i m ages  are  pre - proce ssed  a nd   passe d  to  the  face  detect ion   functi ons.   The  exact  face  po sit io n  w il l  be  com pu te d  a nd   crop ped   out  f r om   the  unnece ssary  bac kgr ou nd   t o  op ti m ise  the  rec ogniti on  pr ocess.   C r oppe d  face  im age  then  un dergo e s   the  featu re  e xtracti on  proc ess.  Sig nifica nt   featur e  po i nt s  are  extract ed  by   Mi cro s of t  face   casca des   al go rithm   to  form   a  com plete   fac e  m ap.   The   ob ta ined  face  m ap  is  a naly sed   a nd  the   ou t pu t  resu lt s  con t rib uted  to   the  cl assifi cat ion   process .  T he   syst e m   finally  gen er at es  the   pr e dicte d  gender   a nd  age  of that  par t ic ular  fa ce.   In   the  syst em ,   gender   a nd   a ge  rec ogniti on  wer e  im ple mented  usi ng  Mi cro s of t  Fac e  AP I .  T he   Mi cro s of t  Fac e  AP I  off ers  a   wide  ra ng e  of  functi on al it ie s  include d  face   identific at ion ,   si m i la r  face  search ,   and  f ace  gro uping . O nly  two  f ace  at tribu te s  are  co nf ig ured  t o  retu rn   thei r  va lues  as  requir ed,   an d  the  ret urn  of   face  ID   a nd   fa ce  la nd m ark s  va lues  are  disa bl ed.   The  ca ptur ed  i m ages  are  tran sm itted  over  the  In te rn et   to  the   Mi cro s of t  Co gnit ive  ser ver   f or   recog niti on ,   and   t he  res ults  are  retrie ved  in  a  parsed  li s t,  wh ic h  inclu de s  the   par am et ers  of  gende r  a nd ag e . S am ple r esult s of  gende r  a nd ag e  rec ogniti on a re  disp la ye d i n  Fi gure  2.           Figur e  2. The  s a m ple o ut put o f gen der an d  a ge reco gnit ion       3.4 .      Multiple  Ob ject Rec ognition   Mult iple  obj ec t  reco gnit ion   a i m s  to  detect   a nd   recog nise  di ff ere nt  kinds  of   obj ect s  in  r eal   tim e  by  us in g  Te nsor flow   rea dily   trai ned   obje ct   m o dels.  Vide o  im ages  ar e  ca pt ured  an d  passe d  t o  the  syst em   as  input  data.  T he  ca pt ur e d  im ages  w il l  un de r go   pre - proce ssin g  s uc h  as  resizi ng.  Using  the   pre - t raine d  m od el s  loade d  into  the  syst e m ,  sign ific ant  featur e s  are  e xt racted  f ro m   t he  te st  vid e o  f ram es  and   m atch ed  with  the  trai ne d   obj ect   m od el s.   The   e xtracted   featur e s  a re  th en  cl assifi e d  as   the  m os t  sim i l ar  obj ect   cl ass .   Cl asses  in volv ed  i n  the  syst e m   are   car,  bicy cl e,  m oto rcycl e,  bus,  truc k,   anim al ,  bag ,  um br el la ,  ti e,  su it cas e,  bo tt le ,  fruit ,   fo od ,   la pto p, cel l  phon e , a nd bo ok.   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       AI - B as e d Tar ge te d  A dverti sin g System   ( Tew  Ji a  Y u )   791   The  m od el   i m plem ented  in  t he  syst e m   is   t he  SS D  Mob il eNet  COCO  m od el .  T his  m o del  is  trai ned  us in g  the  co nvol ution al   ne ural   networ ks   on  the  Mi cro s oft   COCO  data set .  The  num ber   of   ob j ect   cl asses   def i ned   in  this   trai ned   m od el   is  90 .  For  det ect ing   obj ect s ,   SSD   i s  i m ple m ented  as  the  al gorithm   that  detect s  obj ect s  i n  im a ges  us in g  a  sing le   dee p  neural  net work,  by   pu tt in g  boundi ng  bo xes  over  detect ed   obj ect   featur e s  acco rdi ng   to  t he  featu re  m ap.   The  ne twork  will   then  ge nerat e  scores  for  each  obje ct   cat ego ry  in   ea c h  b ox  an d  f ur the r  produce   ad ju st m ents  to  the   box  t o  bette r  m at ch  the  obj e ct   sh a pe,  as  de scribe d  i n  [4 ] .   Labels   for  eac h object  class i s loa de d i nto  t he  syst e m  as a f il e ty pe  acce ssible  by t he  Te nsor flo w t echnolo gy.    In  orde r  t o  perform   reco gnit ion  pr ocess,  th e   captu re d  a nd  save d  vid e o  fra m e  is  conve rted  int o  data   arr ay .  A  sessi on   is  c reated  f or   a  ne w  gra ph  of  e xecu ti on  and  res ources   al locat ion .  Ne cessary  va riabl es  are   init ia li sed  in the s ession. For Ten s orflo w  co m pu ta ti on  p ur po s es, the  ar ra y of  i m age is e xp a nd ed by ad ding the   m issi ng   dim ension s  re qu ire d  for  ser ving  the  te ns or  as  in put  to  the  f unct ions.  D ur i ng   t he  s ession  r unning  tim e,  the  co nf i dence   value  of  the  de te ct ed  obj ect   cl ass  is  retu rn e d  in  a   vect or ,   corres pondin g  to  the  in de x  of  cl ass  la bels in  t he  m od el   set up  proc ess. T he  sam ple outp ut of m ulti ple o bject   rec ogniti on is il lu strat ed  in  Fig ur e 3 .           Figure  3. The  s a m ple o ut  of m ulti ple ob j ect  re cogniti on       3.5 .       Advertis ement  Sele ctio n   The  sel ect io n  of   a dverti sin g  vid e o  is  base d  on  t he  m axi m u m   nu m ber   of   t he  rec og nised  obj ect   cat egories.  As  the  ge nder  a nd   age  recog niti on   a nd   m ulti ple  obj ect   recog niti on   a re  im ple m ented  with  dif f eren t   AP I s  a nd  m odel s,  the   rec ogni ti on   re su lt s  a r e  retrie ved  se par at el y.  F or  i ns ta nce ,  if   m os t  ad ult  w om e n  a re  recog nised  at   a  tim e  po int,  a dv e rtise m ent  relevan t  to  t his  gro up   will   be   disp la ye d  on  the  bill boar d.   On   t he  oth e r  ha nd,  if  t he  num ber   of  recog nised  obje ct s  is  gr eat er  than  the  num ber   of  rec ognise d  pe rs on,  the  obj ect   cat egory with  the  gr eat est   num ber  w il l be  re ferred  to  sel ec t  an  a dverti sem ent r el at ed  to  it .        4.   RESU LT S   A ND AN ALYSIS   The  m od el s  f or  rec ogniti on  wh ic h  are   im p lem ented  in  th e  syst e m   is  trai ned   us in g  t he   co ncep t  of   m achine  le arni ng .  T he  first   ste p  for  m ac hin e  le ar ning  is  data  acqu is it ion .  Ra w  da ta   are  colle ct ed  an d  cl assifi ed  int o  three  s et s,  nam el y  trai nin g  set ,  vali dation  set ,  an d  te sti ng  se t,  ty pical ly   with  the   per ce nta ge  of   70,  20,  a nd  10.   All  three  data  set s  are  ge ner a te d  ra ndom ly   a nd   c onsist   of   s a m ples  from   all  the  ou t pu t  cl a sses  to  ens ur e   ef fici ent  trai ning.  T he  trai ni ng   set   is  us ed  t o  trai n  the  m od el s  for  rec ogniti on,  validat io n  set   to  tu ne   the  m od el   par a m et ers  to  m ini m ise   the  ou tp ut   err or  rates,  a nd  te sti ng   set   to  assess  the  perf or m ance  of   t he   final  m od el .  The  refi ned   a nd   c om plete d  m od el s  are  finall y  placed  i nto   a pp li ca ti on .  Re co gnit ion   is  no w  bas ed  on   the n e w data   from  the r eal  wo rld.   Test ing   ens ur es  the  le vel  of  pe rfor m anc e,  sta bili ty ,  a nd  acce ptance ,  th us   br i ngs   sig nificant   i m pr ovem ents  and   ref i nem ents  to  the  syst em .  Beta  te sti n g  wa s  co nduct ed  f or   t he  syst e m   by  real  so f tware   us ers  t o  ens ure  that  the  syst e m   can  handle  the  require d  and   si gn i ficant   ta sk s  in  real - world  sce nar i os.  The   syst e m  h as p as sed  al l t he  test s and the  test  f ie lds ar e  li ste d  in  Tab le   1.    The  te st  co nducted  on   t he  s yst e m   is  div ided  into  te n  f ie lds.  A s  the  c ore  aspects  of   t he  syst em ,   detect ion  an d  recog niti on   f unct ions  ar e  ra nk e d  a s  to p  pri or it ie s  to   be   te ste d.   T her e   sh oul d  be  s uc cessf ul  detect ion   in  a n  acce pta ble  di sta nce  and   t he   recogn it io n  accuracy  f or   t he  rec ogniti on  processes  s hould   be   abo ve  80   pe rc ent.  F or   cam era  i m age  capturi ng ,  vid e o  str e a m ing ,  s uitable   adv e rtise m ent  disp la ys,  an d  pro per  resu lt  text  displ ay s,  cl ear r es ol ution s a re  require d  as  well  as er r or - fr ee  pro cesses. T he pr oc ess of  detect ion a nd   recog niti on  is   al so  r e quire d  t o be c o m plete d  in a n  acce ptab le  tim e p eriod.    Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   1 3 , N o.   2 ,  Fe bru ary  201 9   :   7 8 7   –   7 9 3   792   Table  1.  Res ults o f  Be ta  Testi ng   ID   Test Field   Exp ected R esu lts   Pass  /  Fail?   1   Face detectio n     Ab le to d etect hu m an  f aces in an  acc e p tab le dis tan ce   Pass   2   Gen d er  an d  age  recog n itio n     Ab le to p erfo r m  ge n d er  an d  age  recog n ito in  bas ed  on  det ected f aces witho u t  an y  er ror     Reco g n itio n  acc u racy  is  abo v e 80 %   Pass   3   Veh icle t y p e  recog n itio n     Ab le to p erfo r m  ve h icle ty p e  recog n itio n  bas ed  on  detected  veh icles with o u t  an y  er ror      Reco g n itio n  acc u racy  is  abo v e 80 %    Pass   4   Variou s o b ject  catego ry   recog n itio n     Ab le to p erfo r m   re co g n itio n  bas ed  o n  detected  ob jects w ith o u t any  err o r       Reco g n itio n  acc u racy  is  abo v e 80 %    Pass   5   Multip le ob ject  d etectio n     Ab le to d etect a n d   recog n ise  m u ltip le  k in d s o f  ob jects o n  the sa m e  i m ag e      S m o o th  pro cess  wi th o u t er ror    Pass   6   Ca m er a i m ag e  capt u ring     Cap tu red i m ag es a re  clea r      S m o o th  pro cess  wi th o u t any  d elay  or   err o r     Pass   7   Vid eo  strea m in g     Vid eo s d isp lay ed  in acceptab le r eso lu tio n       S m o o th  pro cess  wi th o u t any  d elay  or   err o r     Pass   8   Disp lay   o f   ap p rop riate  ad v ertise m en t     Relev an t adv ertisem e n t of  the largest  detected  ob ject ca teg o ry  is sele cted  a n d   d isp lay ed       Selection  based  on  r eal - ti m e  de m o g ra p h ics    Pass   9   Disp lay  of  pro p er  resu lt text     Text d isp lay ed  on   syste m   in terface is  bas ed  on  r ecog n itio n  r esu lts      Sh o ws an  acc u rate  nu m b e r  o f  detecte d  perso n  or ob jects      Up  to d ate with th e  r eal - ti m e  r e co g n itio n  r esu lts    Pass   10   Reco g n itio n  sp eed     The p rocess  of  detectio n  and  r ecog n itio n  is in an  acc e p ta b le ti m e  perio d     Pass       5.   CONCL US I O N     This  pa per  pr esents  a n  i ntell igent  ta r geted  a dverti sin g  syst e m   that  ai m s  at   pr ovidi ng  a  bette r   adv e rtisi ng   e xperie nce  f or   both  the  a dv e rtise r  an d  the  a udie nce.  T he  in te ll igent  ta rg et ed  ad ver ti sin g  syst e m   consi sts  of  sev eral  integ rated  functi onal it ie s,  inclu ding  ge nder  a nd  ag e  re cogniti on,  veh i cl e  ty pe  recog niti on,   and  m ulti ple  ob j ect   detect io n.  The  m ulti ple  obj ect   detect io n  te ch nolo gy  pro vid es   the  ca pa bili ti es  of   detect ing  diff e re nt  kinds   of   obj ect s  on   a  sing le   i m ag e,   and   f ur t her   enab li ng  the  de te ct ion   and   r ecognit ion   of   hu m an   faces,  veh ic le s,   and   va rio us   ki nd s  of  ob j ect s.   Faci al   recogn i ti on   is  im ple mented  to  rec ognise  ge nder  a nd  ag e   base d  on   faci al   featur es.  Mult iple  obj ect   recog niti on   te chnolo gy  is  us ed  f or   ve hicle   t ypes  and   di ff ere nt   cat egories o f o bj ect   rec ogniti on b ase d o n  th ei r  uniq ue  c harac te risti cs. A ll   of  t he  m od el s  us e d  in t he  syst e m  f or  recog niti on   a r e  pr e - trai ne d  with  the  c onc ept  of  m achine  le arn in g  for   highly   accu ra te   resu lt s  a nd  bette r   perform ance.  W it h  th e  syst e m   abili t y  to  disp la y  ta rg et ed  adv e rtise m ent  con te nt,  it   benefit s  the  ad ver t ise rs  a s   they   co uld  sig ni ficantl y  reduc e  their  prom otion al   c os ts   due  to  the   ef fecti ve ness  of  ta r gete d  a dv e rtisi ng.  As  for  the  aud ie nce,  t hey  will   be  ex po s ed  to  c on te nt  that  a re  m o re  releva nt  to  them ,  and   be  offe red   product s  and  serv ic es  that th ey   m igh t re qu i re.       ACKN OWLE DGE MENTS   Re search   re ported  i n  this  pa per  was   sup ported  by  Mult im edia  Un i ver s it y  Mi ni  Fu nd ,  G ran t   N o.   MM UI /1 70032  an d  MM U I \ 180182.  The   resea rch  w as  al so  spo nsore d  by  M MU  CA PEX  F un d  MM UI /C AP E X 180 011. T he  Tit an Xp use d f or  t his r e sear ch was  donate d by the  N VID IA  C orp or at io n.       REFERE NCE S    [ 1 ]   Kim ,   E.   (2016).  “ Yahoo  has  an  ide a  for  “ sm art ”  bil lbo ard   th at   m onit ors  peopl e   with  a  ca m er a  and  m ic rophone   |  Business  Insider   Malay si a” .   Re tri ev ed  Jul y   19 ,   2017,   from   ht t p:/ /www . busines sinsider. m y / y ah oo - pat en ts - sm art - bil lboa rd - with - c amera - and - m ic r ophone - 2016 - 10 / ? r=US&IR= T   [ 2 ]   Digit al  Signage .   (n. d. ) .   Ret ri ev ed  Mar ch  1,   2018,   from  htt p://m y . n ec.c o m /e n_MY /solut ions/di git a l_sign age / inde x. h tml   [ 3 ]   “ Faci al   Re cognition  Bil lbo ard   Onl y   L et s  W om en  See  The   Full  Ad”.   (n. d . ) .   Ret ri eve d  Ma rch   1,   2018,   fr om  htt ps:// ww w.psfk.c om /2012/ 02/f ac i al - re cognition - bil lboard.ht m l   [ 4 ]   Hutchi ngs, E.   (2 015).   “ Gende r - D et e ct ion   Bil lboa r d  Advert ises  B e er  Onl y   to   W o m en” .   Ret r ie v ed  J ul y   22,   2017 ,   fro m  htt ps:// ww w.psfk.c om /2015/ 06/ a stra - bee r - g ende r - det e ct ion - b il lbo ard - adve r ti ses - to - wom en. html   [ 5 ]   Foote,   B.   (20 17).   “ 5  E y e - Popping  Le xus   Bil lboa rds  –   Clubl exus” .   Ret ri eve d  Jul y  22,   2017,   fr om  htt ps:// ww w.clu ble xus.c om /how - tos/ slide show s/5 - e y e - popping - l exus - bil lbo ard s - 468623#1 - thi s - is - the - new - l exus   [ 6 ]   Finebe rg,   S.  (20 14).   “ Cisco  La u nche s  Connecte d  Bil lboa rd  in  San  Franc isco  |   BtoB  –   AdA ge” .   Ret ri eve d  Jul y   2 2,   2017,   from   ht tp: / /a dag e.com/art i c le /bt ob /c is co - la u nche s - connect ed - bil lboa rd - san - fr anc isco /293168/   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       AI - B as e d Tar ge te d  A dverti sin g System   ( Tew  Ji a  Y u )   793   [ 7 ]   Mell or,   C.   (201 6).   “ Cloudi an  clobbers  ca r  drivers   with  ta rge t ed   ads  •   The   Regi ster” .   Re trieve d  Augus t  24,   2017,   from   htt ps:// ww w.t her eg iste r . co . uk/2016/ 06/21/c loudi an_ coul d_c lobbe r_c ar_ driv es_with_t arg et e d_ads/   [ 8 ]   Chen,   D. ,   Ren ,   S.,   W ei ,   Y.,   C ao ,   X.,   &  Sun,  J.  ( 2014).   “ Joint  cas ca de  f ac e   detec ti on  and  al ignme nt” .   Le ct ure  No t es   in  Computer  Sci en ce   ( Inc luding  Subseries  L ec ture  Not es  in  Arti fi c ial   Int el li g ence  and  Lect ure  Note s  in   Bi oinf orm atics) ,  8694  LN CS (PART   6), 109 – 122.   htt ps:/ /doi.o rg/1 0. 1007/978 - 3 - 31 9 - 10599 - 4_8.   [ 9 ]   Ferre ira,  a  J.,   &  Figuei red o ,   M.  a  T.   (2012).   “ Boosting  A lgori thms :  A  R evi ew  of  Methods,   The or y ,   a nd   Applic a ti ons”.   Ensemble   Mac hine  Le arn ing:  Methods  and  Applic a ti ons,   35.   htt ps:// do i. org/1 0. 1007/9781441 993267_2   [ 1 0 ]   How ard ,   A.  G.,   Zhu,   M.,   Ch en,   B. ,   Kal eni ch enk o,   D.,   W ang,   W . ,   W e y and,   T . ,   …  Adam ,   H.  (2017).   “ Mobile Nets:   Eff icient Convol uti onal Neural  N et works   for  Mob il e   Vision  Appli ca t ions”. ht tps: //doi.org/arXiv: 17 04. 04861.     [ 1 1 ]   Li n,   T .   Y.,   Mair e,   M.,   Bel ong ie,  S.,   Ha y s,  J. ,   Perona ,   P.,   Ramana n,   D.,   …  Zi tnick ,   C.   L.   (2014).   “ Microsoft  COCO :   Com m on  obje ct s  in  cont ex t”.  Lect ure  No te s  in  Computer  Sci en ce   ( Inc ludi ng  Su bseries  Lect ure  Note s  in  Artif i c i a l   Inte lligen ce   and   Le ct u re  Notes  i n  Bioi nform at ics ),   8693  LNCS(P ART  5),   740 – 755.   htt ps ://doi . org/10. 1007/978 - 3 - 319 - 10602 - 1_48.   [ 1 2 ]   Li u,   W . ,   Angue lov,   D.,   Erh an,   D.,   Szege d y ,   C . ,   Ree d,   S. ,   Fu,  C.   Y.,   &  Berg,   A.  C.   (2016).   “ SS D:  Single   shot  m ult ibox  detec to r”.   Le ct ure  Not e s  in  Computer  S ci en ce   ( Inc ludi n g  Subseries  Lectur e  Note s  in  Artific ia l  Int e lligen c e   and  Lect ure   Not es  in Bi oin formatic s) ,  9905  LN C S ,   21 – 37 .   ht tps:/ / doi. org/10 . 1007/ 978 - 3 - 319 - 46448 - 0_2.   [ 1 3 ]   Ren,   S. ,   He,   K . ,   Girshick,   R . ,   Z hang,   X. ,   &  Sun ,   J.  (2015) .   “ Objec t  De tecti on  N et works   on  Convolut ional  Fea tu re   Maps”,   1 – 8 .   ht tp s:// doi. org /10. 11 0 9/T PA MI.2016. 2601099.   [ 1 4 ]   Ric hter,  S .   R. ,   Vinee t ,   V. ,   Ro th ,   S. ,   &   Koltun ,   V.  (2016).  “ Pla y ing  for  d at a :  Gr ound  trut h   from   computer   g ame s”.   Le c ture   Not es  in   Com pute r  Scie n ce   (In cl uding  Su bserie s  Lectu r e  Notes  in  Artifici al   Int el l ige n ce   a nd  Le c ture   Not e s  in  Bioi nfo rm at ics ),   9906  LNCS, 102 – 118.   ht tps:/ / doi. org/10 . 1007/ 978 - 3 - 319 - 46475 - 6_7.       BIOGR AP HI ES OF  A UTH ORS         Te w  Jia  Yu  w as  gra duat ed  fr om   Multi m edi a  Univer sit y ,   Mela k a  holdi ng  a   Bac hel or  of  Inform at ion  Tec hnolog y   (Honou rs)  Secur ity   T echnolog y .   She  cu rre ntly   li ves  in  Muar  Johor  and  works   as  an  As sistant   Mana ger   in  NS J  Tra ding.   Her  rese a rc h  int ere sts  inclu de  computer   vision  and   sec ur i t y   t ec hnolog ie s.         Chin  Poo  Le e   is  a  Senior  Le c tur er  in  the   Facu lty   of  Inform at ion   Scie nce   and  Technol og y   at  Multi m edi a  Uni ve rsit y ,   Ma lay si a.   She  comple t ed  her   Master s   of  Scie nc e  an d  Ph.D.  in  Inform at ion  T echnolog y   in   the  a rea   of   abnor m al  beha viour   detec t ion  and   gait  r ec o gnit ion.  She  is  a  ce rt ified  P rofe ss iona l  Tec hnologi st  sinc e  2018  and   cur ren tly   th e  Depu t y   Dire ct or   of  AD EPT  ( Offic e   of  Aca demic  Deve lopment  fo r  Exc e ll en ce   in   Program m es  a nd  Te a chi ng) ,   Chai rpe rson  of   t he  Adm ission  and  Credi t   Tr ansfe r  Com m it te e ,   a  senior   rese a rc her   of  a  few   Mini  Fund  project s,  and   Project  Le ad er  of  an   ex te rna l  gra nt   proj ec t  fund ed  b y   MO HE.   Her   rese arc h  in te r est s  inc lude   action   rec ognition,  co m pute r  vision,   gai t  re cogni t ion,  and  dee p  le arn ing.       Kian  Ming  Li m   rec ei v ed  B. I T  (Hons )  in  I nform at ion  S y st ems   Engi nee rin g,   Master   of   Engi ne eri ng  Sci enc e  (MEngSc)  and  Ph.D.  (I . T . )   degr e es  from   Multi m edi a  Uni v ersity .   H e  is  cur ren t l y   a  Le c t ure r  with  th e  Facult y   of  Infor m at ion  Scie n ce   and  Technol og y,   Multi m edia  Univer sit y .   His  rese arc h   in te rest s  inc lud e  m ac h i ne  l ea rning ,   d eep  learni ng ,   com pute r  v ision  and  pa tt ern   re co gnit ion.         Siti   Fati m ah  Abdul  Raz ak  r ecei ve d  he r  B. Sc  (Hons )  with   edu ca t ion  where   she  m aj ors  in  Mathe m at i cs  an d  Inform at ion   T ec hnolog y   and   Master   of   Infor m at ion   t ec hnolo g y   m aj oring  in  Scie nc e  and  S y stem  Mana gement   from   the   Nat iona l  Univer si t y  of  Malay si a  in   2004.   Sh e   complet ed  h er  p ostgradua t e  stud ie s  in  Inform at i on  Te chno log y   from   Multi m edi a  Univer sit y .   She  is   cur ren tly  a  le c ture r   in  Facult y   of  Infor m at ion  Scie nc e   and   T ec hnolog y ,   Mul ti m edia   Univer sit y .   Her   rese arc h  intere st   includes  rule  m ini ng,   information  s y stems   developm ent   and  educ a ti ona l te ch n olog y .     Evaluation Warning : The document was created with Spire.PDF for Python.