TELKOM NIKA Indonesia n  Journal of  Electrical En gineering   Vol.12, No.6, Jun e  201 4, pp. 4345 ~ 4 3 5 2   DOI: 10.115 9 1 /telkomni ka. v 12i6.458 2          4345     Re cei v ed Se ptem ber 30, 2013; Revi se d De ce m ber  16, 2013; Accepted Janu ary 14, 201 4   ARFMS: An AR-based WYSIWYG Filmmaking System      Chen Ling*,  Wenjun Zh a ng  Schoo l of F ilm and T V  Arts &  T e chnolog y, S han gh ai Un iver sit y   149 Ya nch ang,  Shang ha i 200 072, Ch in a, Ph: 56332 03 0   *Corres p o ndi n g  author, e-ma i l : lcrex@shu. e du.cn       A b st r a ct   This paper pr oposes  a  nov el “What You S ee Is  What You Get ”  fil mmaking system , c a lled as  ARF M S. It provides  users w i th a l o w  cost an d easy to   use s ystem to  make  mov i es. Us ers  cann ot on ly re al- time v i sua l i z e   the perfor m an ce w i th comp uter-ge nerat ed  objects, but  also vis u a l  effects films w ill  b e   finish ed w i tho u t  post-pro ducti on. After finis h ed th e scre enp lay, the  perfor m a n ce w i l l  b e   shot o n -site  us in g   an  ordi nary c a mer a . CG o b j e cts w ill be  si mply a n d  effect iv ely co ntrol l ed  b y  natur al  intera ction. The n  us ers   can  app ly th e  DR- marker  jus t  like  an  actu al  scen e  e l e m e n t, becaus e it t a kes the  adv ant ages  of  mark e r - base d  an d  ma rkerless-b a se d  registratio n  a ppro a c hes. T h i s  paper  i m pl e m e n ts ARF M S to achiev e pr e- visual i z a t i on a nd rea l -time fin i sh the fil m  usi ng au g m ent ed  reality techn o l ogy. T he user  can perfor m  w i th   the CG charact e r and stag e pr operty just lik e real o nes.      Ke y w ords : fil m mak i ng, vis u al effects, pre-visual i z a t i on, a u g m e n ted re ali t y, dimin i sh ing  reality         Copy right  ©  2014 In stitu t e o f  Ad van ced  En g i n eerin g and  Scien ce. All  rig h t s reser ve d .       1. Introduc tion  Being the hi ghe st pea k  of entertain m ent,  the film indust r y ha s a hu ge m a rket and  potential. Te chn o logie s  which in crea se  efficienc y in  filmmaking  are re qui red.  In the mid 9 0's,  cre a tion  of fil m  an d TV  wa s a dopte d  th e Virtual   Real ity (VR) tech nology. 3 D   a n imation i s  ai ded   to sho o t in the pre - p r od uct i on sta ge. Th is is  pr e - visu alizatio n (Pre Viz). PreVi z  i s  a  wide sp re ad  pre - produ ctio n techniq ue u s ed in vario u s  film produ ct ions to plan camera wo rk b e fore the a c tu al  sho o t. It allows a prepa ra tion of often  very comp li cated shot s that have to be clear not onl y to   the dire ctor b u t also to the  directo r  of ci nemat og ra ph y, the set design e r, the lig hting crew, a nd  other  memb e r s  of the film  team in cludi ng the  sp eci a l effect s an d visual  effe cts  units. Sin c e   2000, PreViz has be com e  an i n crea si ngly impo rt a n t techn o log y  in the Holl ywood. M o st  the  aca demi c  co mmunity focu se s the PreV iz usin g the VR or 3D ga me techn o log y  [1]. Howev e r,  filmmakin g  ca n’t be the onl y indoor  shot.  Unlike gam e  visualization s  that most of ten con c e n tra t e   on  the re prese n tation  of   the  virtual 3D wo rl d al one. A n o ve l PreViz, M R -PreViz,  using   augme n ted reality (AR) [2 ] [3] has been  prop osed  [2 ] . In c ontras t  to VR aiming  for c o mpletely  repla c in g the  natu r al  re ce ption of  ou r  environ ment  by the  provi s i on of  artifici al  input  cue s ,  AR  has  always a llowe d the u s er to o p e r ate  from a  co m m on a nd  well  kno w   gro u n d , only sparsely  modifying the  environm ent  by additional  artificial vi rtu a l conte n t [5]. Adding artifi cial  content o r   even supe rim posi ng the  re al co ntent co mpletely  is  something  whi c h h a s  bee n  done i n  the a r ea   of visualpe rception for d e cade s.  Therefore, a c tors ca n perfo rm  wit h  com puter-g enerated obj e c ts  in the  re al e n vironm ent a nd the  outd o o r. Sony, Stu d io O u tput  a nd M a rshm al low  La ser Fe ast  tried to  pro d u c e th ree  short movies  “G re at f ilms fill ro oms” (http://www.g r eatfilm sfillroom s.com ) .  These movie s  are all in  re al-time an d n o  post-produ ction.  In this pa per,  we  ta ke th e  advantag es o f  the  M R -P re Viz a nd  “G re at films th e fil l  ro oms ”   to present a  n e w type  film  a nd  TV   shoot system. We  call  it  a s   A R  Filmmaki ng  Sy stem (ARFM S ).  It is combin e d  with co mp uter vision, h u man - co mput er interactio n ,  VR and AR technol ogy to   achi eve WYS I WYG (What  You  See Is What You Get)  visual effect s filmmakin g .  An overvie w   of the ARFM S is int r odu ced in  S e ctio n  2. In Se ctio n 3,  we d e scribe  ou r   ARFMS and  pre s ent several results. In t he end, we di scuss po ssibl e  enha nceme n ts.          Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 6, June 20 14:  4345 – 4 352   4346 2. ARFMS   On-Site P r eV iz u s e s  the  di gital data  of the  ca mer a - w o r ks   s y nc h r on iz ed  re co r ded  in  th e   actual  shooti ng to achiev e regi stration . And  the green screen i s  repl aced with the final  VFX  conte n t. The n  the di re cto r  can  se e th e final  sy nth e tic ima ge to  determine  whether to retake.  Ho wever, tra cki ng sen s ors are complex  and expe nsiv e. Now, filmm a kin g  also take s pla c e in t he  actual  enviro n ment an d is comm only fo r inde pen den t filmmaking.  Since the i n trodu ction of  DV  techn o logy, the me an s o f  prod uctio n  ha s be co m e  mo re d e m ocratized.  Filmmakers  can  con c eiva bly shoot and edit  a film, create  and edit  the sou nd and m u si c, and mix the final cut  on   a home com puter. With In ternet movie  distrib u tion, indep ende nt filmmakers ca n excha nge  with  each  othe r. More and m o re amateu rs  pro d u c e  thei r o w n movie s . Ho weve r, i t  is ha rd fo r  the   amateu r to  m a ke  a VFX  m o vie with out  high-end  dev i c e s  a nd  profession al  skill s. Th us, th e  goal  of ARFMS i s  to offer a m e thod to  ma ke a VFX  film, whi c h i s   ea sy to u s e  for users  witho u t  profe ssi onal  skill s. Wo rkflow of filmma king u s in g  ARFMS is  as f o llows (Fi g u r e 1): (1 ) p r ep aring   the contin uity, (2) pre pari n g the virtual obje c ts, (3 ) actual  shooti ng and (4)  modificatio n  and  compositing.  We  pro p o s e d  a n e w filmmakin g   syste m  ARFMS.  Ho wever, it i s  a  hug e p r oject to   impleme n t. In the expe rim ent, we i m ple m ent a  si mpl e  ARFMS  prototype. We  employ a  lap t op   comp uter wit h  two  2.13 G H z Intel  Core  i3 p r o c e s sors a nd  2.5GB  RAM, an  o r di nary in expen sive  came ra, a  Kinect a nd a  speci a l ma rke r . The frame w ork  of ARF M S is  sho w n  inFigu re2. A fter  finishe d  the  scre enpl ay an d continuity, the p e rf o r man c e will be sh ot  on-site.  In fact,  we   u s e a n   ordin a ry  cam e ra i n ste ad o f  the profe s si onale qui pm e n t, which i s  l o w  co st (ju s t  50  RMB in t h e   simulatio n )  a nd ea sy for  amateu r to g e t. One of ARFMS go als  is to satisfy amateu rs. Th en   virtual obj ect s  can  be  add e d  by DR-marker.  CG  obj e c ts  ca n be  bu ilt in the p r e-p r odu ction  sta ge.  And they  can  be  simply  an d effectively  controlle d  by  Kinect. Th en ceforwa r d  the  VFX movie  will   be fini she d  re al time. It wo rks thro ugh out  the typical fil mmaki ng th re e sta g e s  p r o c ess, which a r e   pre - produ ctio n, prod uctio n  and po st-pro ductio n  sta g e s . After the directo r  finishe d  previo us  work,   the film can  be shot by ARFMS.  In the remaining section, we  will introduce two import ant  comp one nts  of ARFMS be low.           Figure 1. Gen e ral ARF M S Wo rkflo w           Figure 2.The  Frame w o r k of ARFMS  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     ARFMS: An AR-b ased WYSIWYG Filmm a king System  (Chen Li ng)  4347 2.1. CG Ch ar acte r  Con t ro l  A  range of tools ori g inall y  designe d for high -en d  grap hics are  used for PreV iz: from  Maya and Mo tionbuilde r , to  3D Studio M a x, Softimage XSI, and Pose r .  Each of these p r og ra ms  has its own strength s  and wea k n e sse s  but all of  them allow for some kind of staging of events   on virtual sets as  well a s  a  definition of virtual  cam e ra angle s  to ward the  re sulti ng scen es.  T hey  are  widely  u s ed i n  tra d itional PreV iz  nowaday s. Howeve r ,  tra d i t ional techno logy to han d l e   motion data  use s  motion  captu r ed d a ta whi c h are  attached to th e CG charact e r .   Then the  use r   can natu r ally  control the  virtual characte r .  Howe ver ,  the motion captu r ed  equipment is   expen sive, inconve n ient a nd un comfo r table.   The  state of  the art i s  u s ed several cameras i n  th e studi o [6] to get the  mo del an d  action. But it need s a p r of ession al studi o. It does not  suit for am ateur u s e r s.  W e  take Kine ct  as  a chea p and easy motion  captu r ed devi c e. Kinect is attache d  to the MikuMi ku Dan c e (MM D ) to  control the CG cha r a c ter a s  sho w n inFi g u re3.  The to p  right corner fi gure i s   the user ’ s  real actio n   got by a Kinect, and it controls  CG boy to do the sa m e  action. In this way ,  we  ca n easily gain the  roug h a c tion.  It will be ap proximately acceptable fo r a n  animatio n .  Then the  use r  ca n control the  cha r a c ter m a nually to get the better a c ti on.  Then  the  action  will be  saved a s  a m o tion file “vmd”.  The file will b e  con n e c ted  with the dif f erent  cha r a c ter model  in  the actual sho o ting  on-site.   After finished  the virtual c hara c te r and moti on, the user can use  them in the  ARFMS.  Firstly ,  the CG cha r a c ter is adde d on the actual  on -si t e image, its  size positio n and dire ction  will  be manu ally adju s ted.  The n , the actor  can  play with the CG objec t s  in realtime.          Figure 3. Kinec t is  Attac hed to the MMD to  Control   Figure 4. The  Disa ppe are d  Marker i s  the   Action of the CG Characte r unde r the Virtual  C h ar ac te r      2.2. DR-mark e r  There are two types of  AR regi stratio n   nowa days:   AR regist rati on based on  marke r   method [7] a nd  AR regi stration ba sed o n  marke r le ss  method[8]. Due to highly visual feeli n g s , a   spe c ial ma rker will be un accepta b le. Hen c e t he m a rkerl e ss wa y will be popular . Ho weve r ,  it  alway s  o c cu rs to  CG  o b ject s’  flutter usin g the  markerl e ss a ppro a ch. Flu tter mean s t h e   comp uter-ge nerate d  mod e ls will  shift their po si tion,  due to cal c ulation erro r .   Then ce we use   marker meth od.  Then we  use diminishing realit y (DR) techn o lo gy for removing the speci a l  marker fro m  a live video stream of the use r ’ s  re al environm ent. W e  call this  approa ch as  DR- marker[9].O u r  appro a ch is based on a simple set up a nd neither re quire s any pre-p r o c e ssi ng nor  any informati on on the st ru cture a nd lo cation of the object s  to be removed.   While  A R  ha s alway s  bee n  rest ricte d  to addin g   artifici al co ntent to the re al enviro n ment,  DR allo ws for removing re a l  world conte n t. Existing a ppro a che s  re quire  compl e x setups an d are  not applicabl e in real-tim e to seamle ssly delete  v i sual content  from the observe r ’ s vie w  in   uncon strain e d  enviro n me nts. Ou r DR-marke r  a pproach do es  n o t have any  distan ce  or 3D  environment struct ure information and  uses a si ngl e ca mera only . The illustration is shown   inFigu re4 tha t  a CG cha r a c ter i s  su peri m posed into  a real  sce ne.   The marke r  is und er the  CG   model. Ho we ver ,  it is not been seen.     2.2.1. Marker  Dete ction a nd Projectin g Model   DR-ma r ker b egin s  with  th e ma rker  det ection. It  can  be fa st an d  stably d e tect ed in  re al  time usin g th e app roa c h  ARTool kit (ht t p://www.hitl .wa s hin g ton.e du/artool kit/).  This i s  the  most  Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 6, June 20 14:  4345 – 4 352   4348 famous meth ods in A R . After the  qua drate ma rker   d e tected,  we  can o b tain the  tran sform a tion   matrix. Mean while, the all - roun d ma rker coo r din a te  can be b u ilt. The coordinate s  of the a r tificial  objects will transl a te into  the marker coordinate by  a transformation matrix.  In fact, the  m a rker ha s  a l o t of p r ior  kn owle dge.  On e of the  imp o rtant info rmat ion i s  the  size an d the l o catio n  of th e sq ua re ma rker. A c co rdin g  to  this kn o w led ge,  the region of  interest  (ROI)  can  be  picke d  u p . F i rstly, we  can  get th e a c tu al sce ne i m a ge  without  m a rker. S e con d ly,  we  put the  m a rker into th e  image.  The   ma rker will  b e  dete c ted  an d the ve rtexe s   V i  ( i =1, 2, 3 ,  4)  are g a ined,  clea rly sh own in Figu re5.  Here,  we d e cid e  the ROI by the points a r ou nd  the  vertexes. The  points  P i  can  be defined u s ing the follo wing formula:        00 /( ) ii i i PS i z e P S i z e V V V V         (1)      4 0 1 1/ 4 i i VV            (2)     Whe r e Si ze  ( V i ) den otes th at the si de l e ngth of the  m a rker. Si ze  ( P i ) de note s  tha t  the sid e  le n g th   of the  ROI, which  is the  ou ter recta ngle  i n  the  Figu re  5.  V 0  pre s e n ts the  centroid  of the ve rtex es.  The  ROI i s  bi gger than  the  marke r . Th e  rea s o n  i s  th at the a r ea  a r oun d the  ma rke r   ha s a  pri o ri   kno w le dge which  will be use d  in the followin g  se ction. Becau s e the marker is squ a re, the   proje c ting  mo del is th e rectangula r  mo d e l. Once  the  ROI is  dete r minate, the i m age of th e  ROI  will be  save d  as the  texture  of the p r oje c ting mo del . As illustrated in  Figure 6, a  q uadrate ma rker  is on a pi cture in Figure 6(c). The n ceforwardthe  ROI is co mpute d  and the texture in Figu re 6(b )   will su pe rimp ose th e marker. In this  wa y, the  speci a l   marker ha s been remove d  from  the scene,  as sho w n inF i gure 6 ( a ) .When the AR  marker i s  det ected first time, the ROI is picke d  up.  The   affine tran sfo r mation  matri x  can  be  det ermin ed. Th e n  the  quad ra te ROI  will  b e  tran sfo r me d,  whi c h ta ke s  place di storti on. The  imag e of ROI will   be a  qua drat e mod e l. Thi s  is the  proje c ting  model. Wh en  the live vide o strea m  com e s, the tran sformatio n  matrix will be cal c ulate d  fast a fter  marker dete c tion.  And  the proje c ting mo del  will  cha n g e  it, just like  a com pute r-g enerated m o del   in the AR app lication.         Figure 5. The  spe c ial ma rker of Figu re   6   Figure 6. Proj ecting mo del  of DR-marke r  (a)  marker  DR-m arker h a s b e e n  remove d from  the scene; (b ) original im ag e; (c) the texture of  proje c ting m o del       2.2.2. Projecting Model Adjustmen t   Due to lightin g cha nge, the  texture of th e proje c ting  model will be  not con s iste nt. So we  need to adj ust the proje c tin g  model in ti me. Here we  adju s t the HS V (Hue Satu ration Intensit y)   of the texture  to match th e  environ ment.  The  RO I  is arou nd  the m a rker and  it  i s   big ger. Wh en   the came ra  capture s  the i m age s, part  of ROI c an b e  see n . That mean s the area is overl a p ped  betwe en th e  real  scen e  an d the  proje c ting m odel. So  we  adj ust  th e texture  HS V via compa r ing  with the sam e  points’  HSV in the texture and  the real i m age. It is de termine d  as f o llows:     Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     ARFMS: An AR-b ased WYSIWYG Filmm a king System  (Chen Li ng)  4349 4 1 () / ( ) HS V i i i HS V P HS V V          (3)     Whe r e  HSV ( V i ) is th e  HSV of the vert exes  of the  marker.  HSV ( P i ) is  HSV of  the ROI vert exes.   λ HSV  is the  co efficient that  the p r oje c ting   model  will  ch ange.  λ HSV ra n ges from  0  to λ max .  λ ma x i s  t he  s u perior limit . In our experiment, it t a k e s  two. Onc e λ HSV  is d e termin ed, the ne w texture  HSV new ( tex j ) will be obtained by:     () [ 1 ( 1 ) ] () new j H S V H S V j HS V t ex HS V t ex        (4)     Her e   HSV ( tex j )  den otes t hat HSV of t he pixel i n  th e proje c ting  model  and  HSV ne w ( tex j ) is the  new one. α HSV  is th e weight  for different  function s of  h ue, saturatio n  and  inten s it y. In the actu al  situation, the  intensity ch a nge s the mo st, so the α V  wi ll be bigg er t hen α H  an d α S  In this pap er,   α H  is 0.15,  α S  is 0.15, and α V  is 1.In fact, light will not cha nge at a ll times, so the  projectin g  mod e l is  not adj uste d  every fra m e.  In this pa per,  we  ma ke  th e texture  adj usted  auto m atically eve r y  30  frames. Note that the automatic  exposure of the camera shoul d be turned off. Otherwi se the  image s will chang e at any time. The  brig htness will b e  out of control .   A DR-ma r ke r simulatio n  re sult is exhi bited in  Figu re  7, which is  a real -time cont inuou s  seq uen ce. According to th e top left co rner of  eve r y image, the fra m es p e r  se cond a r e ave r age  30fps. T h e r e  is a  sp eci a l  marker on  th e groun d in   F i gure  7(a). It i s  a  ra w  ca ptured  fram e.  And   the other thre e figure s  are other three p o st-p ro ce ssin g frame s , usi ng DR-m arke r. In Figure 7 ( b)- (d), an a rro w indicate s the area  whi c h  the speci a l  marker exi s ts in the origin al frame. If you  watch not  carefully, you will not  find the difference. It's worth no ting that the projecting m o del   adjustment can fit the illumination envi r onm ent whi c h is  relatively  stable. However, it is hard to   be suita b le in  the actual co mplicate d  out door e n viro n m ent.          Figure 7. Proj ecting Mo del  Adjustme nt Simulati on Results. (a) o r igin al frame, (b ) the 31 st  frame  (the arro w is  pointing to th e r egio n  of DR-m arke r), (c) the 241 st  fra m e, and (d ) the 421 st  fram e      2.2.3. Tracki ng  Whe n  the live video stre a m  come s, the AR  marker will be detected. It processe s fast.  However,  for  the influence  of t he li ght, the transform a tion m a trix   will happen t o  change  a li ttle.  The vis ual feeling is  flutter. So we try to  wi pe o u t it by  Euclide an di stance fo rmula  as follows:          2 n o t  c h an ge  T ch an ge  T ot h (1 , 2 , 3 , 4 ) ers l a st current ii VV r i        (5)     Her e   T  is  the trans formation matrix.  V i last presents th e vertexes of  the  marker i n  the last fra m e .   V i current  denotes th e ve rtexes  of the  ma rker in  the  cu rrent frame.  r i s  the  threshol d of the  allo wed  moving rang e ,  which is kno w n in Figu re5.  Equation  (5 )  tells that if all  four ve rtexe s  move  a little ,   the transformation matri x  will hold on. The expe rimental result  show s that the computer- gene rated m odel s do not flutter after this method p r o c e s ses.   In the film and TV sho o t, image s will b e  shot   steady . That mean s the pictu r e s  will not   rapidly  ch ang e. And 80%  shots a r e  stati c . The r efo r e,  we utili ze  a h o ld-o n mo de  to achi eve thi s   Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 6, June 20 14:  4345 – 4 352   4350 goal. Figu re  8 sho w s the  result of the hold-on  mo d e . Whe n  the  came ra i s  re ady and  will not  move. The transfo rmatio n  matrix is  sav ed. Then t he  marker  co ord i nates  will n o t cha nge. In t h is   way, the m a rker can  be  re moved  from t he  scene  and  the  CG  obje c ts  ca n al so   be regi stered  in  the scen e. Of cou r se, the  marker  ca n b e  occlu ded  cl early sho w n i n Figu re8. Althoug h the ma rke r   is occlu ded b y  the hand, the CG obj ect i s  still able to registe r .            2.2.4. Virtual-to -real O ccl usion   DR-ma r ker h a s  bee n impl emented  a s   stated  above .  In an  ordin a ry AR regi stration,  grap hical obj ects a r e a d d ed on the m a rker. On  th e  other ha nd, it means  real  object s  will  be  occlud ed by comp uter-ge nerate d  one s. Real obj e c ts always app ear o ccl ude d  by virtual ones,   rega rdl e ss of their actu al spatial relatio n s hip.  The s e  simple app roa c he s cann ot handl e occlu s ion  betwe en diffe rent type s of  obje c ts in  the  scen e.  Ho we ver, DR-m arker i s  al ways the ba ckg r ou n d   of the scene i n  the pra c tica l situation. If the projecti n g   model i s  in front of the rea l  object, it do es   not meet the actual expe rien ce. It seems not  re al . So DR-ma rker  con s id ers the occlu s i on  betwe en proj ecting mo del  and the re al scen e.  Here, we  con s ide r  that  det ection  only in  front  of  previously  define d  textured  pl ane s in   the re al sce n e . The m e th od is in spire d  by F. Jan  et.al [10]. First, a refere n c e b a ckg r o u nd is   selected  and saved. Th en, once  a frame comes,  the reference  background will  compare with  the curre n t ca mera ima ge. We ad opt “ad aptive  HSV” criterio n to ach i eve pixel co mpari s o n :     ( , ) ( ,) ( , ) ( 1 ( ,) ) ( ,) o x y x y H xy xy V x y       ( 6 )     Whe r e ∆ H ( x, y )is the  hue  di fference  of pi xel (x, y) i n  t he  referen c e  backg rou nd  and th e  cu rre nt   came ra im ag e.  ∆ V ( x, y ) is t he inten s ity difference of two ima g e s ,  α ( x, y ) i s  a wei ght. Formul a  (6)  is an  ada ptive HSV me thod. Ordina ry ba ckgr o u nd subtracti on only thin ks th e inten s ity  difference. T hat means they simp ly utilize the influence factor of  brightness. If the color of  the   foreg r ou nd i s  clo s e to  ba ckgroun d, it can’t be  re cog n ize d . The r ef ore, a daptive  HSV criteri o n is   employed. It con s id ers the  hue effect. The wei ght fun c tion s is dete r mine d as foll ows:      ( , ) ( ,) / ( ( , ) ( ,) ) m i n ( ( , ) , ( ,) ) re f c urr ent x y H xy H x y V xy V x y V xy    (7)     Her e ,  V ref ( x, y ) is the inten s ity of pixel ( x , y) in  the referen c e ima ge.  V current ( x, y ) is the intensity  ofthe co rre sp ondin g  pixel in the cu rre nt  image. min(• )  is minimi ze d value.  β is a weight. In this  function, we kno w   that  if min( V ref ( x, y ), V current ( x, y )) i s  bigge r, the α ( x, y )  will be  bigger. It means  whe n  the ima ge is too bri g ht, the image will loo k  pale.  The colo r is  hard to be  re cog n ized. So the   intensity is th e prin cip a l fa ctor.  When th e  ∆ H ( x, y ) i s  b i gger, the  α ( x,y ) de pen ds  o n  the color. In  a   s i milar  re as on , w h en ∆ V ( x, y ) i s  la rge,  α ( x, y ) will  be  small. So we can utilize light ness to  com p are.  For hole s  in t he  com pari s o n  ima ge, it  sh ould  be  sm oo thed. Th en  we con s ide r   whether the  pix e l  sho u ld be o c clud ed or n o t:      1 ( ,) ( , ) ( 1 ( ,) ) (, )   oth r   s 0e HV ox y x y t x y t occlu s io n x y           (8)  Fi g ure 9 . I llustration of Occlusio n   Fi g ure 8. Hol d -on M ode   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     ARFMS: An AR-b ased WYSIWYG Filmm a king System  (Chen Li ng)  4351 Whe r e  t H  an d  t V  are the  respe c tive threshold  of hu e and inte nsi t y. After the formula  (8),  we  deci de which  pixel need s  not to be dra w n. Ultimatel y  the proje c ting mod e l is  modified a n d  the   image will b e  rend ered. Th e result is sh own in  Fig u re  9. The DR-m a rker i s  on the boo k and h a rd   to be  re cog n ize d  by th e  na ked  eye.  The  finge rs occlu de th e  DR-m ar ke r.  A f t e r o ccl us ion  algorith m , it looks like valid due to the a c tual spatial relation ship.     3. Results a nd Discu ssi on   In this p ape r, we e m ploy  Micro s oft Vis ual Stu d io  2008 to  impl ement the  software.   ARTool kit, O pen CV a nd  Open GL  are  combi ned  to  impleme n t th e p r op osed  method. A  sq uare   marker,  like  i n  Figu re  6(b),  is  dete c ted fi rst. Th en  a p r ojectin g  mo d e l is built,  whi c h i s  th e texture  in Figure  6(c). Finally the output image will  not  see the A R  marker in  Figure  6(a). Next the   artificial CG  obje c ts can b e  sup e rim p o s ed on the p r ojectin g  mod e l. The re sult  can be  se en  in   Figure 4 a nd  Figure 7. Th e  com put er-ge nerate d   cha r acter is j u st  t he real  scene  without  seei ng  spe c ial  markers.  The  virtu a l-to-real  o ccl usio n i s   sho w n in Fi gure9.  Finge rs are i n  front  of the  AR  marker. After our  occlu s io n algo rithm, t he real  o b je cts will  not ap pear o ccl ude d by the virtu a l  obje c ts  as ot her A R   appli c ation s . In t h is  ca se, th e  proj ectin g   model  ha s t he a c tual  sp atia l  relation shi p . Here, due to  a priori  kno w led ge of  the marker, we  can ju st con s ide r  the are a  of  marker, omitti ng the extra p i xels  to s i mplify c a lc ulation.  In the experi m ent, we ma ke  some  sh ort VFX f ilms, and ea ch o ne i s  abo ut 2 min u tes. In  Table  1, m a rker d e tectio n  and  tra c king  proces s i s  i n  real tim e ,  whi c h  co sts  about  32.7m s p e r  frame. After the proj ectin g  model first time, t he total  pro c e ss time  will be 39.7m s. That mean s   the fram e p e r se co nd  of DR-m arke r i s   25fps.  Ho wev e r,  if we co nsider  th e  o c clu s ion   alg o rith m,  due to the da ta read time, it will have 211ms computi ng time. So the frame pe r se con d  will drop  to 4fps. In the future work,  we will o perate GPU to reduce the  computing time.  DR-ma r ker ta ke s the adva n tage s of two AR r egist rati on method s. Becau s e it u s e s  the   marker m e th od, DR-ma r ker is  stable  and low-co m putation. It will rarely occur to flut ter.  Furthe rmo r e,  DR-ma r ker  remove s the  marker fr om  the image.  It achieves t he re sult of  th e   markerl e ss m e thod. Somet i mes it is hard to diminish   reality. Theref ore, we  can p u t the marke r  in   a sim p le  envi r onm ent, such a s  the  sim p le texture  d e sktop. Fo r i n stan ce, th e  sofa i s   only  one  colo r, bla ck,  in Figure 1 0 . In Figure  10(a ) , there  is an AR  marker  abov e the sofa.  It is   insufferable f o r users. The n  we re move the mark er u s ing the pro p o s ed  DR-ma r ker. The re sult  is  s h ow n in  F i gu r e  1 0 ( b ) .  N e xt, w e  p l ac e  a  CG   c h ar ac te r  to s i t in  the  so fa  in F i gu r e  1 0 ( c ) .  So th is   method can b e  use d  in filmmakin g  syste m  as we pro p o se d ARFMS  in the other p aper.       Table 1. DR-marker P r oce ssi ng Power    Computing time  Frames pe r second   Marker detection  and tracking  32.7ms  30.6fps  DR-ma rker  w i tho u t occlusion total process time  39.7ms  25.2fps  DR-ma rker  w i th  occlusion total pr ocess time   211ms  4.7fps          Figure 10. Co nce p tual Illust ration  of DR-marker  (a) An  AR marker a bove the sofa ; (b) The resu lt  of taking out the marke r ; (c) A CG ch ara c ter ad ded o n  the image.      In fact, the  DR-m arke r me thod is sim p li city  of the o p e rato r for the  amateu r u s e r s. T hey  only need to  put a marker on the ground. The n   he ca n sho o t  their VFX film. First, as an   amateu r, a u s er  want s to m a ke  a  sho r t VFX film.  The  story i s  that a  virt ual CG b o y  dances in t he  study. The n   a Kine ct is  a ttached to  th e MMD,  and  he d a n c e s   by himself to cont rol the   CG   cha r a c ter a s   sho w n in Fig u re 3. A rou gh actio n  of CG boy is o b tained q u ickly. Afterwa r d the  use r  co ntrol s  the characte r manu ally to get the  better action. The  motion file is finishe d . Next,  Evaluation Warning : The document was created with Spire.PDF for Python.
                               ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 12, No. 6, June 20 14:  4345 – 4 352   4352 the amate u r  use r  p u ts a  speci a l ma rker on the  boo kcase, a s   sh own in the to p l e ft corner im age  in Figu re 1 1 .  He u s e s  a  la ptop to remo ve the marke r  an d ad d th e CG  boy o n  the re al on -site   image,  who s e si ze  po sitio n  an d di re cti on i s  m anu all y  adju s ted. T hen th e d a n c ing m o tion fil e  is  con n e c ted to  the boy. Fi n a lly, the  user ca n shoot th e film re al ti me that the   CG  boy da nces i n   the study in F i gure 11. If the VFX film is  wonder ful, post-production modi fication phase will ski p   and the VFX  film has b een  finished. If some det ail s   want to be  chang ed, he  can utilize th e  CG   boy and ra w  seq uen ce to  synthe size a better film. In   sum, it is very easy for an a m ateur to u s e .           Figure 11. DR-m arke r Simulation Result. The top  left corne r  imag e is the ra w frame, and the  other five ima ges a r e real-ti m e pro c e s sin g  output fram es      4. Conclusio n s and Fu tur e  Work     This pa per p r esents a n e w  type film  and TV  sho o t  system, ARFMS. Its goal is to   achi eve WYS I WYG VFX filmmaki ng. As the beginni n g  of the ARF M S proje c t, we imple m en t a n   ARFMS proto t ype. ARFMS demon strate s it is lo w  co st and e a sy t o  use. T he a m ateur u s e r   will  mak e  a VFX film with jus t  an ordinary  came r a , a  sp ec ia l ma rk e r  an d s o ftw ar e .   However, A R FMS still has  some  problems. It is  just  a prototype.  The first problem is the  pro c e ssi ng p o we r of occl usio n algo rithm. In  the prototype, due  to the data read time, the  occlu s ion  alg o rithm of th e  DR-ma r ker i s  not re al ti me, which is  4fps . In the future work , we will   operate GP U to redu ce  the comput ing time.A nother issue o f  DR-m a rke r  is illumination  con s i s ten c y. Due to lightin g cha nge, th e texture  of the proje c ting  model will b e  not co nsi s t ent.  Although p r oj ecting m odel  adju s tment wants to  so lve  this proble m , the method  can be  only u s ed   in the illumi nation environment is rel a tively st able. It is hard  to be suitabl e in the act ual  compli cate d outdoo r environment. The  next phase,  we will  con s id er the outdo o r  appli c ation.   This  pap er is just th e b egi nning  of the   proje c t. We  wish mo re  re sea r che r s wo uld p a y  clo s e attentio n to the WYSIWYG filmma king  system.       Referen ces   [1] Nitsche  M.  Experi m e n ts in the use of game te chno lo gy for  pre-visu al i z a t io n.  Proceed ings  of the 20 0 8   Confer ence  on  F u ture Pla y : R e searc h , Pla y ,  Share. 20 08: 1 60-1 65.   [2]  W eng ENG, K han  RU, Adr u c e  SAZ , et al.  Mobil e  C a mer a  as  a Hum an  Visio n  in  Augm ented  Re alit y.   T E LKOMNIKA Indon esi an Jou r nal of Electric al Eng i ne eri n g .  2012; 1 1 (7): 3 568- 357 5.   [3]  Ismail AW , Su nar MS. Intu itiv eness  3D  o b je cts Inte raction  i n  Au gme n ted  Real it y Us ing   S-PI Algor ithm .   T E LKOMNIKA Indon esi an Jou r nal of Electric al Eng i ne eri n g .  2013; 1 1 (7): 3 561- 356 7.   [4]  Ichikari R,  T enmoku R, Shiba t a F ,  et al. Mixed r eal it y  pr e-v i sual izati on for f ilm making: on-set camera- w o rk auth o rin g  and actio n  reh earsa l.  Internat ion a l Jour na l of Virtual Re ality .  2008; 7(4): 2 5 - 32.  [5] Sziebig  G.  Achievi ng tota l i m mers ion: T e chno logy tre n d s be hin d  au gmente d  rea lit y - A survey .  WSEAS Internatio nal Co nf erenc e. Proceedi ngs.  Mathe m atics and C o mputers in  Scienc e and   Engi neer in g. 2009: 45 8-4 63.   [6]  Starck J, Maki  A, Nobuh ara S ,  Hilton  A, Matsu y ama  T .   T he Multiple- C am era 3-D Pro d u c tion Studi o.   IEEE Transactions on C i rcuits  and Syste m s for Vide o Techn o lo gy . 200 9; 19 (6): 856-8 69.    [7]  Kato H, Billi ng hurst M.  Marker T r acking  an d HMD Ca libr a tion for a Vid e o -bas ed Au g m ented R e a lity   Confer enci ng System.  2nd I EEE and  ACM Internation a l  W o rkshop o n   Augmente d  Realit y .  Sa n   F r ancisco. 19 9 9 : 85-94.   [8]  Klein G, Murr ay  D.  Par a ll el  tracking an d ma pp ing for s m a ll AR w o rkspaces.  6th IEEE and  A C M   Internatio na l Symp osi u m on  Mixed a nd  Aug m ented R eal it y .  2007: 22 5-23 4.  [9]  Lin g  C, Z hao J, Z hang W .   DR-Marker: A Novel Di mi ni shin g-Re ality-B a sed AR Re gi stration . 201 3   Seventh Inter n ation a l Co nfere n ce onI ma ge a nd Graph ics. Qing dao. 2 013:  716- 720.   [10]  F  Jan, R Hol g e r , B Gregor y .   D e tecting  dyn a m ic occlus io n in f r ont  of static b a ckgro unds f o r AR scen e s .  Procee din g s of  the  w o rksho p  on V i rtu a l env ir onme n ts. Z u rich. 2003: 1 53-1 61.     Evaluation Warning : The document was created with Spire.PDF for Python.