I nte rna t io na l J o urna l o f   I nfo r m a t ics a nd   Co mm u n ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l. 7 ,   No . 3 ,  Dec em b er   201 8 ,   p p .   1 4 1 ~ 1 4 5   I SS N:  2252 - 8776 ,   DOI : 1 0 . 1 1 5 9 1 /i j i ct. v 7 i3 . p p 1 4 1 - 145           141       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / I JI C T   Address ing  La ten cy  Iss ues in 2D  to  3 D Conv ersio n:  D eplo y ing   Av a ila ble Synthet ic Data ba se       N.   L .   M a na s a   G NI T S ,   JN T UH ,   H y d e ra b a d ,   In d i a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   2 0 ,   2 0 1 8   R ev i s ed   A u g   6 ,   2 0 1 8   A cc ep ted   A u g   2 0 ,   2 0 1 8     Co n v e n ti o n a l  2 D  to   3 D  re n d e rin g   tec h n iq u e s  i n v o lv e   a   se q u e n ti a l   p ro c e ss   o f   g ro u p i n g   o f   th e   in p u t  im a g e s  b a se d   o n   e d g e   in f o rm a ti o n   a n d   p re d ictiv e   a lg o rit h m s  to   a ss ig n   d e p t h   v a lu e s  to   p ix e ls  w i th   sa m e   h u e .   T h e   it e ra ti v e   c a lcu latio n s  a n d   v o l u m e   o f   d a ta  u n d e r  sc ru ti n y   to   a ss ig n   ‘re a l - ti m e ’  v a lu e s   ra ise   late n c y   is su e s  a n d   c o st  c o n sid e ra ti o n s.  F o r  c o m m e r c ial  c o n su m p ti o n ,   w h e re   sp e e d   a n d   a c c u ra c y   d e f in e   th e   v iab il it y   o f   a   p ro d u c t,   th e re   is  a   n e e d   to   re o rien t  th e   a p p ro a c h   u se d   in   th e   p re se n t  m e th o d o l o g ies .   In   p re d ictiv e   m e th o d o lo g ies   o n e   o f   th e   c o re   in tere sts  is  a c h iev in g   th e   in it ial  a p p ro x im a ti o n   a s  c lo se   to   th e   ‘re a l’  v a lu e   a s  p o ss ib le.  In   th is  w o rk ,   ‘s y n th e ti c ’  d a tab a se   is   u se d   to   p r o v id e   th e   f irst  a p p ro x i m a ti o n   th r o u g h   c o m p a riso n   tec h n iq u e s  a n d   f e d   to   th e   p re d ictiv e   t o o l.   It  is  b e l iev e d   th a t  t h is  w o rk   w il l  p ro v id e   a   b a sis  f o r  d e v e lo p in g   a n   e f f icie n t  2 D t o   3 D  c o n v e rsio n   m e th o d o lo g y .   K ey w o r d s :   3 D  g r ap h ical  r en d er in g   3 D  s ter eo s co p ic  v id eo s   Dep th   p er ce p tio n   Gau s s ia n   Mix t u r e  m o d el   Co p y rig h t  ©   2 0 1 8   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   N.   L .   Ma n a s a ,    GNI T S,  J NT UH,   Hy d er ab ad ,   I n d ia   E m ail:  Nad ip all y . m @ g m ail. co m ; N ad ip all y . m @ g n i ts . ac . in .       1.   I NT RO D UCT I O N   I n   th e  la s t  d ec ad e,   th e  n ee d   an d   co n s eq u e n t  d e m a n d   f o r   3 D  ( 3   Dim e n s io n al)   i m ag e s   an d   v id eo s   h a s   g r o w n   o w i n g   to   it s   u ti lit y   in   d if f er e n t  f ield s ,   s u ch   a s   m ed ical  an d   en g i n ee r in g   d iag n o s t ics  an d   r esto r ativ e   in ter v e n tio n s   [ 1 ] .   I n   ad d itio n ,   th e   en t er tain m e n t  in d u s tr y   u s es  i t  to   ad d   t h e  ‘ r ea l   f ee l ’   f ac to r   f o r   i m p r o v ed   co n s u m p tio n .   A s   s u c h ,   th e  n e ed   f o r   f aster   co n v er s io n   tech n iq u es  o f   co n v e n tio n al  2 D  ( 2   Di m e n s io n al)   to   3 D  i m a g er y   h as   g ain ed   w id er   atte n tio n   in   d if f er e n t  i n d u s tr ies.  A lt h o u g h   d i f f er en t  a p p r o ac h e s   h a v e  b ee n   tr ied   to   m o d u late  p la n ar   i m a g e s   to   3 D  i m a g es  f o r   b etter   v i s u al   ex p er ien ce   to   co n s id er ab le  ex te n t,  t h er e  s till   e x i s t s   n ee d   f o r   b etter   q u alit y   t h at  is   b o th ,   f aster   a n d   co m m er ciall y   v iab le.   Am o n g s t  th e  p r i n cip al  co n ce r n s   i n v o lv ed   in   th e  co n v er s io n   o f   p lan ar ,   2 D  i m a g es  to   3 D  v i s u al s   is   to   r ec r ea te  th e  ‘ d ep t h ’   an d   ‘ co lo r ’   ( h u e)   p ar a m eter   f r o m   t h e  o r ig in a l  i m ag e s .   So m e  o f   t h e  n o tab le  an d   w id el y   u s ed   tec h n iq u e s   i n   t h e  p u r s u it  o f   g en er ati n g   t h e  ‘ d ep th   asp ec t  f r o m   co n v e n tio n al  2 D  i m a g es   in c lu d e   s ter eo s co p ic  v is io n   ( to   allo w   f o r   tr ian g u latio n ) ,   ac ti v e  ( d y n a m ic)   m et h o d s ,   an d   3 D  g r ap h ical  ( al g o r ith m ic ,   s o f t w ar e - b ased )   r en d er in g   tec h n iq u es.  W h ile  t h e  f ir s t  t w o   t ec h n iq u es  m en tio n ed   ( s ter eo s co p ic  im a g er y   a n d   ac tiv e  s e n s o r s   r eq u ir e  s p ec if ic ,   an d   co n te m p o r ar il y   h i g h - co s t  eq u ip m e n t  to   h elp   ass e s s   a n d   r en d er   th e  ‘ d ep th   p ar am eter ,   t h e  t h ir d   ( 3 D  g r ap h ical  r en d er in g )   tec h n iq u e  i n v o l v es  t i m e - co n s u m in g   iter a tiv e  s eq u en ce .   T h e   s ter eo s co p ic  m et h o d s   r eq u ir e  m u ltip le  ca m er as  to   ca p tu r e  2 D  i m a g es  a n d   th er eb y   a s s e s s   t h e  d ep th   r eq u ir ed   to   cr ea te  th e  v is u all y   co m p lia n t  3 D  v er s io n .   I n   th e  ac ti v e   i m ag e  ca p t u r in g   m et h o d s ,   p h o to g r ap h er s   an d   v id eo g r ap h er s   u s e  d i f f er e n t  s en s o r s   s u c h   as  ti m e - of - f li g h t   an d   s tr u ct u r ed   lig h t  ca p ab ili ties   to   esti m ate  t h e   d ep th   f ac to r   o f   2 D  i m a g e s .   S u ch   r ec o r d s   ar e  n o t  co m m er cial l y   f ea s ib le[ 2 ]   o w i n g   to   s k il ls   r eq u ir ed   to   o p er ate   s p ec iall y   d ev is ed   eq u ip m en t  an d   th e  ec o n o m ic  f ea s ib ili t y   ap ar t  f r o m   ac ce s s   to   s u c h   eq u ip m e n t.  T h e  th ir d   m et h o d   o f   g r ap h ical  r e n d er in g   tec h n iq u es   u s ed   co n v en tio n all y   i s   u s u all y   a   s k illed   a n d   e x p er ien tial   m a n u al   p r o ce s s   r eq u ir in g   ted io u s   a n d   ti m e - co n s u m i n g   en g a g e m en t ,   th er eb y   m ak in g   it  u n f ea s ib l e  f o r   co m m er cial,   lar g e - s ca le  co n s u m p t io n .   O f   late,   th er e   is   a  g r o w i n g   ac ce n t  o n   d ev e lo p in g   au to m ated   p r o ce s s es  t h at  ca n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8776   IJ - I C T   Vo l.  7 ,   No .   3 ,   Dec em b er   20 1 8   :   1 41 –   1 45   142   co n v er t  2 D  i m ag e s   to   3 D  v i s u als  b y   in teg r ati n g   t h e  m i s s i n g   th ir d   ‘ d ep th ’   p ar a m eter   in   th e  p lan ar   i m a g es   o b tain ed   in   co n v e n tio n al  p h o t o /v id eo .     I n   o r d er   to   i m p r o v e  th e   q u ali t y   o f   3 D  r e n d er in g ,   d esi g n er s   ar e  u s i n g   d i f f er e n t  p r ed icti v e  tech n iq u es   an d   d ev elo p in g   al g o r ith m s   t h at  w o r k   f aster   an d   m o r e  ac cu r atel y   an d   ap p r o ac h   ‘ r ea l - t i m e ’   ex p er ien ce   s o u g h t   b y   co n s u m er s   i n   d if f er en t  ap p licatio n s .   T h e  h u m an   e y e  es ti m atio n   o f   d ep th   i s   ac h iev ed   th r o u g h   co m b i n ed   ef f ec t  an d   s u p er p o s itio n   o f   b in o cu lar   an d   m o n o cu lar   d ep th   p er ce p tio n   [ 3 ] .   W h er ea s ,   in   th e  b in o cu lar   v is u al,   h u m a n s   ar e  ab le  to   d ec o d e   th e  th ir d   d i m e n s io n   th r o u g h   co n v er g e n ce   o f   d i f f er e n tial  e le m e n ts   f r o m   b o th   v is io n s   a n d   co r r ec tl y   e s ti m at e  th e  d ep th ,   th e   m o n o cu lar   p ar am eter s   ar e  also   ca p ab le  o f   r ep r o d u cin g   th e   d esire d   in f o r m atio n   u s in g   s i m ilar   p r o p er ties   an d   in d u ctin g   t h e  d if f er en tial s .   Su c h   cu e s   ar e:  d y n a m ic  p ar allax ,   p lan ar   p r o p o r tio n al  m ea s u r es ,   th e  r elativ e  te x t u r e  ch a n g e s ,   an d   f o ca l  d is ta n ce s .   T h e  i m p licatio n   o f   t h e  d is cu s s io n   i s   t h at  m o n o cu lar   i m a g es/ v id eo s   ca n   b e  u s ed   to   p r o d u ce   3 D  v is u al s .   E x p er i m en tal  s u p p o r t  an d   p r ac tical  ap p licatio n   o f   V is u al   p ar am e ter s   a n d   d is p ar ities   th a t p r o v id e  th e  m e n tio n ed   c u es   h av e   b ee n   p r o v id ed   b y   d i f f er en t st u d ies to   g en er at e  3 D  f r o m   co n v e n tio n al  i m ag e s .     T h e  v ar io u s   m et h o d s   th at  h a v e  atte m p ted   2 D  to   3 D   r en d er in g   u s e  t w o   m ain   t y p e s :   Si n g le - f r a m e   Me th o d   an d   M u ltip le - f r a m e  Me th o d s .   No tab le  a m o n g   Si n g le - f r a m e  Me t h o d s   is   th e  a tte m p t  b y   B attiato   [ 4 ]   w h o   m ad e  u s e   o f   m u ltip le   cu es,  a  p r o g r es s io n   o v er   s o m e   o th er   m eth o d s   th a t  co n ce n tr at ed   o n   s in g le   cu e s   –   f o ca l  p r o x i m it y   [ 5 ] ,   m a ch i n e  lear n in g   al g o r ith m s   [ 6 - 7 ] ,   an d   2   D  p r o p o r tio n al  d i m en s io n s   ( h eig h t  an d   w id t h   r atio )   an d   tex tu r e  ch an g es  [ 8 ]   an d   g eo m etr ic  m ea s u r e m en ts .   A   s i g n i f ica n t  d ev elo p m en t  in   Mu lti - f r a m e   Me th o d   is   th e   s u cc es s f u l  h y b r id izatio n   o f   MT D  ( Mo d if ie d   T im e  Di f f er en ce )   a n d   C I D   ( C o m p u ted   I m a g e  Dep th )   ac h ie v ed   b y   I i n u m a  et  al. ,   [ 9 ]   th at  u s es  tr ian g u latio n   s u cc e s s f u ll y   to   g e n er ate  clo s e  to   r ea l  3 D  im a g es.   R ec en t  ap p r o ac h es  [ 1 8 ] - [ 2 0 ]   th at  s h o w ed   co m m e n d ab le  r esu lt s   w h en   u til ized   in   a  d i f f er en t  ap p lica tio n   b u t  ca n   al s o   b e  d ep lo y ed   to   s o lv e  f o r   2 D  to   3 D  r e n d er in g .   S ter eo s co p ic  f o o tag e  a n d   d ep t h   a s s es s m en t  f r o m   m o tio n   p r o v id e  t h e  r eq u ir ed   d ata  f o r   tr ian g u latio n   [ 1 0 – 1 3 ] .   An al y s i s   o f   Mo tio n   p ar allax   o f f er s   th e  te m p o r al  co r r esp o n d en ce   b r o u g h t  ab o u t   b y   t h e  e x is tin g   d i s p ar it y .   T h e   m o tio n   v ec to r   ( MV )   th u s   e x t r ac ted   is   co n v er ted   to   d is p ar ity   v ec to r   ( DV) .   I n   an   alter n ate  m et h o d ,   th e  d ep th   m ap   is   n o t  p r o d u ce d ,   in s tead   a  s ter e o s co p ic  v is io n   co m p r is in g   o f   r ig h t - e y e  an d   th e  lef t  e y e  v i s io n .   Ho w ev er ,   s u c h   m et h o d s   r eq u ir e  th e  d ep lo y m e n t  o f   m o tio n   ca m er a.   As  s tated   ea r lier ,   a  co m b in at io n   o f   m o n o cu lar   an d   b in o cu lar   s tr ate g ie s   ap p ea r   to   h av e  th e  p o ten tia l  to   d eliv er   th e  d esire d   q u alit y   ef f i cien tl y .       1 . 1   Sin g le - f ra m e  M et ho ds   P ar k   et  al. ,   [ 5 ]   laid   em p h as is   o n   th e  clar it y   co n te n t  o f   d if f er en t  ar ea s   m ea s u r ed   b y   t h e  d is t an ce   f r o m   th e  f o ca l  p lan e  to   esti m ate  t h e  r elati v e  d ep th   o f   ele m e n t s   in   th e   2   D  i m a g e.   T h e  i m ag e  is   d iv id ed   i n to   r ec tan g u lar   b lo ck s   t h at  f o r m   a   m atr i x   a n d   th e   b lu r r i n ess   o f   ea ch   b lo ck   i s   co n s id er ed   to   es ti m ate   th e   d ep th   o f   th at  p ar t  o f   th e  i m a g e  f r o m   t h e  v ie w er .   T h e  lim itat io n   o f   s u ch   esti m atio n   i s   clea r l y   th e  n u m b er   o f   d is ce r n ib le  b lo ck s   th a t  ca n   b e  ac co m m o d ated   lead in g ,   i n   t u r n   to   i n co n s is ten c y   i n   r ea d - o f f   v al u es  a m o n g s t  n o n - ad j ac en t   p atch es  o f   s a m e  s h ad es,  a n d   t h e  ac cu r ac y   o f   th e  m ea s u r i n g   d ev ice  to   m ea s u r e  g r ad u all y   ch an g i n g   h u es  th at   m a y   v ar y   b y   i n f in i tesi m all y   s m all  a m o u n ts .   T h is   m et h o d   i s   also   ca lled   th e  C I D  ( C o m p u ted   I m a g e  Dep th ) .   T h e  m ac h i n e  lear n in g   m et h o d o lo g y   w as  u s ed   b y   Ho ie m   [ 7 ]   w h o   m ap p ed   th e  i m a g e  to   as s ess   t h e  d ep th   a n d   th en   ad d ed   th e  ex tr ac ted   p ar a m eter   to   th e  2 D  i m a g e  to   o b tain   th e  3 D  v is u al.   I n   m ac h in e  lear n i n g   m et h o d o lo g y ,   t h e  o b j ec ts   an d   d is tan ce s   ar e  a s s i g n ed   p r o g r ess i v el y   t h r o u g h   tr ai n ed   cl ass es,  a n d   p o s e  th e   p o ten tial  s k ip p in g   o f   ca s es  i n   th e  in itial  tr ain in g   p h ase  ca u s i n g   p er ce p tib le  in ac cu r ac y   in   t h e  f i n al  r en d itio n ,   as  t h e  p r o g r ess iv e   s ta g es   d ep en d   h ea v il y   o n   t h e  p r ec ed in g   f ee d .   T h u s ,   m is s ed   ca s es   ca n   l ea d   to   u n ac ce p tab le  d is r u p tio n   f r o m   t h e  d esire d   o u tco m e.   T h e  g eo m etr ic  m et h o d   u s ed   b y   T s ai  [ 1 4 ]   em p lo y s   t h e  ‘ v a n i s h in g   p o in t ’   co n ce p t  to   ad d   th e  th ir d   d i m e n s io n   f r o m   s i n g le  f r a m e s .   J u n g   et  al. ,   [ 8 ]   u s ed   t h e  i n f o r m ati o n   ac cr u ed   f r o m   th e   ed g es  an d   tr ied   t o   co n s o lid ate  th e  p r o ce s s   w it h   th e  h e lp   o f   k n o w n   d ata  ( h u e  a g ain s t  d ep th )   to   esti m ate  th e   r eq u ir ed   q u an tit y   ( d ep th )   -   p er h ap s   a  f ir s t  s tep   to w ar d s   p r ed ictiv e  ex tr ac tio n .   T h e  ab o v e  m et h o d s   m a y   b e  s u cc e s s f u ll y   d ep lo y ed   in   ce r ta in   s p ec i f ic  ca s es  in d i v id u all y   an d   li m i ted   to   s h o r ter   d ep th   esti m atio n   i n   i m ag e s   u s ed .   L o s s   o f   o th er   p ar a m etr ic  v alu e s   t h an   t h e  o n es  u n d er   co n s id er atio n   m a k es  t h e  m eth o d s   u s in g   s i n g le   p ar am eter s   p r o n e  to   o v er lo o k in g   o t h er   s ig n i f ica n t  p r o p er ties   th at  ad d   to   th e  d ep th   p er ce p tio n .   C o n s eq u e n t l y ,   th e  g e n er ated   3 D  i m a g es a r e  m o s t li k el y   to   s u f f er   f r o m   lo s s   o f   te m p o r al  co h er en ce   an d   s p ik i n g .       1 . 2   M ulti - f r a m e  M et ho ds   T h e  w o r k   o n   2 D  to   3 D   co n v er s io n   u s in g   Mu l ti - f r a m es   h a s   t o   co n ten d   w it h   t h e  is s u e   o f   d e p th   w it h i n   an   o b j ec t  in   t h e  f r a m e s   a n d   r ela tio n al  d ep th   in f o r m at io n   o f   all  o b j ec ts   i n   t h e  f r a m e s .   A   m et h o d o lo g y   o f   g r o u p in g   o f   p ix el s   w it h   s a m e  h u e   an d   s p atia l  o r ien tatio n   i s   t h e  b asic  n ee d   f o r   o b tain in g   d e s ir ed   u n if o r m it y   i n   d ep th   esti m a tio n .   So m e  ea r lie r   w o r k s   h av e  u s ed   m o tio n   p ar allax   as  t h e  p r i m ar y   cu e  to   all o w   f o r   g r o u p i n g   o f   p ix els  w it h in   t h e  f r a m e s .   Ho w e v er ,   s o m e  p i x els   ca r r y   d i f f er en t   s el f   MV ’ s   lead i n g   to   er r o r - p r o n e  d ep th   in f o r m atio n .   T h u s   th e  co n te n tio n   s ee m s   to   r ev o lv e  ar o u n d   th e  m et h o d o lo g y   n ee d ed   to   g r o u p   p ix els  d ep th   v alu e s   to   p r ed ict  th e  d ep th   o f   in d iv id u al  o b j ec ts   an d   f o r   r ela tio n al  d ep th   esti m atio n .   T h is   p ap er   atten d s   to   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - I C T     I SS N:  2252 - 8776       A d d r ess in g   La ten cy   I s s u es in   2 D  to   3 D  C o n ve r s io n :  Dep lo y in g   A va ila b le  S yn th etic  …   ( N .   L.  Ma n a s a )   143   is s u e  o f   d ep th   p r ed ictio n   t h r o u g h   a  n o v el  s c h e m e  o f   r e f er e n tial  d ep th   a s s i g n m e n t  p r ese n ted   in   th e  f o llo w i n g   s ec tio n .   Su c h   in itializatio n   v a lu e  h elp s   ac ce ler ate  t h e  f o llo w - u p   iter ati v e  e s ti m atio n   p r o ce s s .   E x p er i m e n tal   r esu lt   m ea s u r e m e n t  an d   f ee d b ac k   f r o m   co n s u m er s   o f   t h e  v i d eo   f ee d   s u p p o r ts   th e  co n ten ti o n   th at  th e  o u tp u t  is   v is u all y   p leas in g   a n d   co m p ar ab le  to   s y n t h etic  v id eo - g a m e  ex p er ien ce ,   w h ic h   i s   it s elf   r at ed   a s   v er y   clo s e   to   ‘ r ea l’ .   Sect io n   2   p r esen ts   th e  p r o p o s ed   s y s te m .   Sectio n   3   p r esen t s   th e  o u tco m e  o f   th e  e x p er i m en tal  r ig o r   an d   d is cu s s es  t h e  co m p lex it y   an d   ac cu r ac y   as  co m p ar ed   to   o th e r   co n ten tio n s   r eg ar d i n g   d ep th   esti m atio n .   Fi n all y   s ec tio n   4   an d   5   s u m m ar iz e  th e   p ap er   an d   s u g g e s ts   p o s s ib le  ar ea s   o f   f u r th er   w o r k .       2.   P RO P O SE D  SYS T E M   C o m m er cial  v iab ilit y   a n d   ti m e  co n s u m ed   to   ad d   th e  d ep th   p er ce p tio n   th r o u g h   iter ati v e  p r ed ictio n s   ar e  n o t  p r ac tical  w h e n   s tr ea m in g   li v e  e v e n ts .   Mo s t  o f   t h e  ‘ p ix el  g r o u p in g ’   m et h o d o lo g ies  s ee m   to   s er v e  a t   b est  ac ad em ic  i n ter est s .   T h o u g h   s u ch   m et h o d o lo g ies  o f   3 D  r en d er in g   ar e  p o ten tiall y   v er y   clo s e  to   ‘ r ea l ’   p er ce p tio n   o f   o b s er v atio n s   to   th e  h u m a n   e y e,   t h e  ti m e  la g   b et w ee n   i m a g e  ca p tu r e  an d   f i n al  o u tp u t  d eli v er ed   f o r   co n s u m p tio n   i s   r ar el y   w it h in   ac ce p tab le  li m its .   T h e  s ta g es  an d   s eq u en ce   ( s tar ti n g   f r o m   lef t:  lef t  g r ad ien t,   lef t  b o tto m ,   b o tto m - u p ,   r ig h t  b o tto m ,   r i g h t)   o f   h u e  g r ad in g   to   ass es s   d ep th   t h at  co n v er ts   2 D  to   3 D  u s u all y   f o llo w s   t h e  s eq u e n ce   d ep icted   in   F i g u r e   1 .             Fig u r e  1 .   [ 1 5 ]       T h e  p r o p o s ed   s y s te m   atte m p t s   to   i m p r o v e   th e   esti m atio n   p r o ce s s   b y   u s in g   e x i s ti n g   r ef er e n tial  d ep t h   cu e  i n s tead   o f   tr y in g   to   esti m ate  th e   s a m e  f r o m   th e   f r a m es   th at   h a v e  to   b e  co n v er ted .   S u ch   r ef er e n ce   h u e   g r ad ien t  h elp s   in   ac ce ler ati n g   t h e  esti m at io n   p r o ce d u r al  s p ee d   b y   p r o v id in g   th e  d i f f icu lt f ir s t e s ti m atio n   s tep .   Use o f   e x is tin g   g o o d   q u alit y   3   D  s ter eo s co p ic  v id eo s   ca n   b e  u s ed   to   p r o v id e  th e  r e f er en tia l  d ep th   cu e   f o r   th e  i m a g es  t h at  n ee d   to   b e  p r o ce s s ed   to   d eliv er   3 D  f o r   liv e  s tr ea m i n g .   A p p r o p r i ate  3   D  v id eo   g a m es  m a y   b e  u s ed   as  r ef er e n tial  i n p u t  t h at  co r r esp o n d s   m o s t  clo s el y   to   th e  i m ag e s   u n d er   co n s id er atio n .   I n   t h is   w o r k   liv e   s tr ea m i n g   o f   s o cc er   g a m es i s   a tte m p ted .     T h e  m o s t   ac ce p tab le  q u ali t y   v id eo   g a m e s   p r o v id e  th e   m o s t a p p r o p r iate  d ep th   p er c ep tio n   cu e  th r o u g h   th e  tex t u r e  g r ad ien t  u s ed   to   d ev elo p   s u ch   g a m es.  T h e  r est  o f   th e  p r o ce s s   u tili ze s   ap p r o p r iate  iter ativ e   alg o r ith m s   b ased   o n   a  s o u n d   in itial  v al u e.   T h u s ,   t h is   p r o ce s s   u tili ze s   th e  e x is tin g   h ig h - q u al it y   i n   v id eo   g a m e s   ( th at  r ese m b le  r ea l  ‘ f ee l ’   v er y   clo s el y )   a n d   ca n   p r o v id e  a p p r o p r iate  r ef er en tial   h u e  g r a d ien t  c u es  f o r   d ep th   esti m atio n .   T h e  r est   o f   th e   p r o ce s s   is   a u to m a tic  as   i n   o th er   m et h o d s ,   to o .   T h is   p r o ce s s   i m p r o v es  t h e  co n v er s io n   p r o ce s s   m ai n l y   b y   r ed u cin g   t h e  p r o ce s s i n g   ti m e  th r o u g h   s p atial  ( h eig h t  a n d   w i d th )   ass i g n m en t   o f   d ep th   g r ad ien t  i n f er r ed   f r o m   th e  ‘ m a n u f ac t u r ed ’   r ef er e n ti al  v id eo   g a m e s .   A s   t h is   p r o ce s s   u s es  e x is t in g   s ter eo s co p ic  3 D  f r a m es  a s   r ef er en ce   cu es,  t h e  p r o p o s ed   s y s te m   i s   d o m ai n - s p ec if ic.   He n c e,   th e  alg o r it h m   i s   n o t  g en er ic.   T h e  p r o p o s ed   alg o r ith m   w i ll  h a v e  to   b e  m o d u lated   b ased   u p o n   t h e  co n t ex tu a l  d ata.   I t  al s o   i m p lies   t h at  ea c h   f r a m e  m a y   n ee d   a  co r r esp o n d in g   d ata  f r a m e  f o r   r ef er e n ce .   T h u s   f o r   ea ch   g e n er atio n ,   t h e   p r o ce s s   w o u ld   r ef er   to   a  d atab ase  o f   s i m ilar   3 D  v id eo   g a m es;  ass u r i n g   th at  th e  r e n d er in g   is   o f   g o o d   q u alit y   an d   th e  o u tp u t  i s   v is u all y   p le asin g .   T h is   i s   an   i m p r o v e m e n t  o v er   e x is t in g   g en er ic  m et h o d o lo g ies  th at  m a y   s u f f er   f r o m   late n c y   is s u e s   t o   d eliv er   ac ce p tab le  q u alit y   s ter eo s co p ic  v i s u a l,  w h e th e r   s tatic  ( i m a g e s )   o r   d y n a m ic  ( li v e  v id eo   s tr ea m s ) .         3.   M E T H O DO L O G Y   As i s   e v id en t   f r o m   F i g u r e  2 ,   t h e  t w o   m a in   co m p o n e n ts   t h at  h elp   cr ea te  t h e   d ep th   d i m en s io n   f r o m   th e   2 D  i m a g es   f o r   p r o p er   g r ad ien t  h u e  ar e:   1 )   th e   S - R GB D   ( s y n th e tic -   R GB   an d   Dep th )   d at ab ase  f r o m   s i m i lar   i m a g es  el s e w h er e  ca n   b e  u s ed   as  a  r ef er e n ce ,   u s i n g   th e  o n es   th at  m o s t  c lo s el y   m a tch e s   w i th   t h e  i n p u t  i m a g e   s ec to r s ;  2 )   Ob j ec t  m as k i n g   t h at  w o u ld   h e lp   d e - li n ea te  ed g e  p r o f ile s   an d   cr ea te   s h ar p er   d ep th   p er ce p tio n ,   w h ic h   o t h er w is e   w o u ld   cr ea te   b lu r r in e s s   at  t h e  ed g es   d u e  t o   o v er lap p in g   d ep th   v al u es.  T h e  ac c u m u la tio n   o f   S - R GB D  i m a g er y   co u ld   b e  a  d au n ti n g   tas k ,   as  m a n y   d i f f er en t  co llectio n s   w o u ld   b e  r eq u ir ed   th is   is s u e  ca n   b e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8776   IJ - I C T   Vo l.  7 ,   No .   3 ,   Dec em b er   20 1 8   :   1 41 –   1 45   144   h an d led   b y   ca te g o r izin g   i m a g es  b ased   o n   s itu a tio n ,   s ce n er y - b ased   v alu e,   e v en t - b ased   i m a g es/ v id eo s   an d   o th er   s u c h   co m b in at io n s   i n   ad d itio n   to   v id eo   g a m es  t h at  b es t  in co r p o r ate  d if f er en t  i m a g er y   w i th   q u a lit y   d ep th   an d   h u e  c u es.   Ma s k i n g   i n v o l v es  s ep ar ati n g   d if f er en t   o b j ec t  b o u n d ar ies  t h at  i s   ac h ie v ed   b y   p r ep r o ce s s in g   t h e   in p u t   i m ag e s   b ased   o n   ap p ea r an ce ,   h u e,   a n d   m o tio n .   Fo r   clo s e - u p s ,   lo ca l  f ea t u r es   s u ch   as  m att in g - b ased   ap p r o ac h   ar e  u s ed   t h at   in v o l v es  i n itiatio n   u s i n g   tr aj ec to r y   s eg m e n tat io n   [ 1 6 ] ,   [ 1 7 ]   f o r   n o n - c lo s e - u p   i m a g es   th e  GM M  ( Gau s s ia n   Mi x t u r e  Mo d el)   p r o ce s s in g   d eliv er s   t h e  r eq u ir ed   co n ten t o f   f in e  q u a l it y .             Fig u r e  2 .   T h e  co n ce p tu al  p r o c ess   s eq u e n ce   i s   d ep icted   in   Fi g u r e   2       T h e  o v er ar ch in g   co n ce p t  is   t h at  o f   Gr ad ien t - b ased   co n v er s i o n .   T h e  g r ad ien t  in   th e  h u e  co r r esp o n d s   to   d ep th   o f   th e  o b j ec ts   an d   ca n   b e  u s ed   to   ass i g n   co r r esp o n d i n g   v al u es.  I n   o r d er   to   ac h iev e  ac cu r ate   ass i g n m e n t,  t h e  i n p u t  i m a g e  is   d if f er en tiated   in   n   x   n   b lo ck s   a n d   th e n   co m p ar ed   w it h   s i m ilar   i m a g e s   th a t  ass i g n   th e  d ep th   v al u es  ac co r d in g   to   th e  h u e  i n   th e  r e f er en ce   i m a g e  ( S - R GB D  d atab ase) .   T h e  m as k ed   i m a g es   w it h   c lear   d if f er en tiatio n   o f   o b j ec ts   ad d   to   th e  clar it y ,   b o th   in   h u e  a n d   d ep th .     T h e  p ictu r e  q u alit y   a n d   co m p u tatio n a l  d if f ic u ltie s   f o r m   t h e   b asis   o f   t h e  tr ad e - o f f   p o i n ts   w h er e  t h e   co n v er s io n   p r o ce s s   i s   r eq u ir ed   to   ac h iev e   a  b alan ce   b et w ee n   t h ese  t w o   p ar a m eter s .   T h e  co m p u tatio n a l   d if f ic u lt y   ar i s es  f r o m   t h e  n u m b er   o f   b lo ck s   cr ea ted   to   ac h iev e   a  v is u all y   p leas in g   3 D  i m a g e.   T h e  d u r atio n   r eq u ir ed   f o r   m o r e  n u m b er   o f   b lo ck s   i s   O( e 5E - 5n ) ,   w h er e,   n   is   th e   n u m b er   o f   b lo ck s .   Fi g u r e   3   b elo w   ill u s tr ate s   th e  co m p u tatio n al  d u r atio n .           Fig u r e  3 .   C o m p u tat io n al  co m p lex it y   [ 1 5 ]       4.   DIS CU SS I O N   T h e  b asic  b en ch m ar k   ca te g o r ies  f o r   3 D  p er ce p tio n   in   i m a g es  ar e  b ased   o n   th r ee   ca teg o r ies:   v is u al   p leasan t n es s ,   d ep th   q u alit y ,   an d   p ictu r e  q u alit y .   V is u a l  p leasan t n es s /d is co m f o r t  is   th e  p h y s io lo g ica l  d is co m f itu r e  s u c h   as  v is u al  s tr ain ,   h ea d ac h e  o n   co n ti n u o u s   v ie w i n g   an d   o t h er   s y m p to m s .   T h e  d ep th   q u alit y   i s   m ea s u r ed   as  a  p er ce p tio n   o f   en v i s ag ed   d ep th .   T h e  tr an s m is s io n   p ar a m e ter s   an d   t h e  en co d in g   f r a m e w o r k   af f ec t  t h e  p ictu r e  q u a lit y .   Si n ce   d ep th   q u alit y   an d   v is u al  p l ea s an t n es s   ar e  q u alita tiv e  p ar a m eter s ,   as s es s m en t   s h o u ld   in v o l v e  s h o w i n g   d if f er en t   3 D  i m ag e s   g en er ated   b y   d if f er e n t  tec h n iq u es   to   th e  s a m e  s e t  o f   v ie w er s /r e s p o n d en ts   to   g et  a  f air er   g r ad in g .   S u c h   i m ag e s / v id eo s   ca n   b e  s h o w n   f o r   s h o r t d u r atio n s   i n   a  r an d o m   s eq u en ce ,   a n d   allo w   t h e  v i e w er s   to   r ate  th e m   o n   asc en d in g   o r d er   o f   q u alit y ,   m ar k ed   b y   d is ti n ct   n u m b er s / g r ad es  ( b ad ,   p o o r ,   f air ,   g o o d ,   ex ce llen t)   f o r   d ep th   q u alit y   a n d   o n   a  s i m i lar   g r ad in g   t h at  s tar ts   at  v er y   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - I C T     I SS N:  2252 - 8776       A d d r ess in g   La ten cy   I s s u es in   2 D  to   3 D  C o n ve r s io n :  Dep lo y in g   A va ila b le  S yn th etic  …   ( N .   L.  Ma n a s a )   145   u n co m f o r tab le  an d   asce n d s   to   v er y   co m f o r tab le  f o r   v is u al  co m f o r t.  I n   a  r an d o m   s t u d y   c ar r ied   o u t  th u s ,   th e   i m a g es p r o d u ce d   b y   t h e  p r esen ted   tech n iq u e  s co r ed   v er y   h i g h   in   t h e  q u ali t y   a s s es s m en t o n   b o th   co u n t s .         5.   CO NCLU SI O N    T h is   p ap er   h as  in tr o d u ce d   a n   in n o v ati v e  m et h o d   f o r   2 D  t o   3 D  co n v er s io n   o f   i m a g es/ v id eo s .   T h e   s tr en g th   o f   th e  p r o p o s al  lies   in   f a s ter   co n v er s io n   r ate.   T h e  q u alit y   o f   th e  r en d er ed   3 D  im ag e  i s   also   r ated   h ig h l y   b y   v ie w er s .   T h e  m ai n   p r o ce s s es  in v o l v ed   ar e  th o s e   o f   S - R GB D  d atab ase  co llated   f r o m   s i m ilar   v id eo s   o r   f r o m   v id eo   g a m e s   an d   ed g e   in f o r m atio n .   T h e  o v er ar ch in g   s ch e m a  is   t h e  s q u ar e  m atr i x   b lo ck   s eg m e n tatio n   th at  is   e v en t u all y   m o d i f ied   f o l lo w i n g   d ep th   h u e  g r ad atio n   cu es  an d   co m p ar is o n   w it h   r ef er e n tial  d atab ase.   T h e  m ai n   co n tr ib u tio n   o f   th e  p ap er   is   th at  o f   d o m ai n   ce n ter ed   in itial  p r ed ictio n   v alu e s .   Ma tr ix   b ased   ed g e   in f o r m atio n   r e m o v e s   th e  b o u n d ar y   d is co n t in u itie s ,   an d   u s e  o f   ex is tin g ,   q u ali t y   i m a g es ,   th at  ad d s   to   th e   g r ad ien t  d i s ce r n m e n t.  T h u s   t h e  m et h o d   r eso lv e s   t w o   m aj o r   is s u es  –   th at   o f   late n c y   an d   i n v e s t m en t  r eq u ir ed   f o r   2 D  to   3 D  co n v er s io n .   A   p o s s ib le  li m itat io n   co u ld   b e  th e  d i v er s e  a n d   q u alit y   d ata b ase  r eq u ir ed   to   i m p le m en t  t h e  p r o ce s s   p r esen ted   in   t h is   w o r k .   Seco n d ly ,   t h i s   s y s te m   is   n o t g e n er ic  -   a  s ac r if ice  f o r   q u alit y   an d   r e d u ctio n   i n   laten c y .       RE F E R E NC E S:    [1 ]   C.   R.   M a d a n ,   “ Cre a ti n g   3 D v i su a li z a ti o n s  o f   M RI  d a ta:  A   b ri e f   g u id e , ”   F1 0 0 0 Res e a rc h ,   v o l .   4 ,   A u g .   2 0 1 5 .   [2 ]   A .   Zele n e r,   “ S u rv e y   o f   o b jec t  c las si f ica ti o n   in   3 d   ra n g e   sc a n s,”   T e c h .   Rep . ,   2 0 1 5 .   [3 ]   W .   J.  T a m   a n d   L .   Zh a n g ,   “ 3 D - T V   Co n ten t  G e n e ra ti o n :  2 D - to - 3 D  Co n v e rsio n , ”   in   2 0 0 6   IEE E  In ter n a t io n a l   Co n fer e n c e   o n   M u lt im e d i a   a n d   E x p o ,   2 0 0 6 ,   p p .   1 8 6 9 – 1 8 7 2 .   [4 ]   S .   Ba tt iato ,   S .   C u rti ,   M .   L .   Ca sc ia,  M .   T o rto ra ,   a n d   E.   S c o r d a to ,   “ De p th   ma p   g e n e ra ti o n   b y   ima g e   c la ss if ica ti o n , ”   p re se n ted   a t  t h e   T h re e - Di m e n sio n a l  Im a g e   Ca p tu re   a n d   A p p li c a ti o n s V I,   2 0 0 4 ,   v o l.   5 3 0 2 ,   p p .   9 5 – 1 0 5 .   [5 ]   J.  P a rk   a n d   C.   Kim ,   “ Extra c ti n g   fo c u se d   o b jec t  fro m  l o w  d e p th - of - fi e ld   ima g e   se q u e n c e s , ”   p re se n ted   a t  t h e   Visu a l  Co m m u n ica ti o n s a n d   Im a g e   P ro c e ss in g   2 0 0 6 ,   2 0 0 6 ,   v o l.   6 0 7 7 ,   p .   6 0 7 7 1 O.   [6 ]   P .   V.  Ha rm a n ,   J.  F lac k ,   S .   F o x ,   a n d   M .   Do w le y ,   “ Ra p id   2 D - to - 3 D  c o n v e rs io n , ”   p re se n ted   a t  th e   S tere o sc o p ic  Disp lay s a n d   V irt u a l  Re a li ty   S y st e m s IX ,   2 0 0 2 ,   v o l .   4 6 6 0 ,   p p .   7 8 – 87.   [7 ]   D.  Ho iem ,   A .   A .   E f ro s,  a n d   M .   He b e rt,   “ Au to m a ti c   Ph o to   P o p - up , ”   in   A CM   S IGG R A P H  2 0 0 5   P a p e rs,  Ne w   Yo rk ,   NY ,   USA ,   2 0 0 5 ,   p p .   5 7 7 – 5 8 4 .   [8 ]   Y.  J.  Ju n g ,   A .   Ba ik ,   J.  Kim ,   a n d   D.  P a rk ,   “ A  n o v e l  2 D - to - 3 D   c o n v e rs io n   tec h n iq u e   b a se d   o n   re la ti v e   h e ig h t - d e p t h   c u e , ”   p re se n ted   a t  t h e   S tere o sc o p i c   Disp lay s a n d   A p p li c a ti o n s XX ,   2 0 0 9 ,   v o l.   7 2 3 7 ,   p .   7 2 3 7 1 U.   [9 ]   T .   Iin u m a ,   H.  M u ra ta,  S .   Ya m a sh it a ,   a n d   K.  O y a m a d a ,   “ 5 4 . 2 :  Na tu ra l  S ter e o   De p th   Cre a ti o n   M e th o d o l o g y   fo r  a   Rea l - ti me   2 D - to - 3 D Im a g e   C o n v e rs io n , ”   S ID S y m p .   Dig .   T e c h .   P a p . ,   v o l .   3 1 ,   n o .   1 ,   p p .   1 2 1 2 – 1 2 1 5 ,   M a y   2 0 0 0 .   [1 0 ]   J.  y   Ch a n g ,   C.   c   Ch e n g ,   S .   y   Ch ien ,   a n d   L .   g   Ch e n ,   “ Rela ti v e   De p th   L a y e r  Extra c ti o n   fo r  M o n o sc o p ic  Vi d e o   b y   Us e   o f  M u lt i d ime n si o n a l  Fi l ter , ”   in   2 0 0 6   IE EE   I n tern a ti o n a l  C o n f e re n c e   o n   M u l ti m e d ia an d   Ex p o ,   2 0 0 6 ,   p p .   2 2 1 – 2 2 4 .   [1 1 ]   Y.  L .   Ch a n g ,   C.   Y.  F a n g ,   L .   F .   Din g ,   S .   Y.  Ch e n ,   a n d   L .   G .   C h e n ,   “ De p th   M a p   Ge n e ra ti o n   fo r  2 D - to - 3 D Co n v e rs io n   b y   S h o rt - T e rm   M o ti o n   Assiste d   Co lo r  S e g me n ta t io n , ”   in   2 0 0 7   I EE E  In tern a ti o n a l  C o n f e re n c e   o n   M u l ti m e d ia  a n d   Ex p o ,   2 0 0 7 ,   p p .   1 9 5 8 – 1 9 6 1 .   [1 2 ]   C. - H.  C h o i,   B. - H.  Kw o n ,   a n d   M . - R.   C h o i ,   “ A   re a l - ti m e   f ield - se q u e n ti a l  ste re o sc o p ic  im a g e   c o n v e rter,”  IEE E  T ra n s .   Co n su m.   El e c tro n .   v o l.   5 0 ,   n o .   3 ,   p p .   9 0 3 – 9 1 0 ,   A u g .   2 0 0 4 .   [1 3 ]   C. - C .   Ch e n g ,   C. - T .   L i,   P . - S .   Hu a n g ,   T . - K.  L in ,   Y.  M .   T sa i,   a n d   L .   G .   Ch e n ,   “ A  b l o c k - b a se d   2 D - to - 3 D  c o n v e rs io n   sy ste m  wit h   b il a ter a l  fi lt e r , ”   in   2 0 0 9   Dig e st  o f   T e c h n ica l  P a p e rs  I n tern a ti o n a l  Co n f e re n c e   o n   C o n su m e r  El e c tro n ics ,   2 0 0 9 ,   p p .   1 – 2.   [1 4 ]   Y.  M .   T sa i,   Y.  L .   Ch a n g ,   a n d   L .   G .   Ch e n ,   “ Bl o c k - b a se d   Va n i sh in g   L i n e   a n d   Va n ish i n g   Po i n t  De tec ti o n   fo r 3 D S c e n e   Rec o n stru c ti o n , ”   in   2 0 0 6   I n tern a t io n a l  S y m p o siu m   o n   In telli g e n t  S ig n a l  P r o c e ss in g   a n d   Co m m u n ica ti o n s,  2 0 0 6 ,   p p .   586 – 5 8 9 .   [1 5 ]   C .   C.   C h e n g ,   C.   T .   L i,   a n d   L .   G .   Ch e n ,   “ A   n o v e l  2 D - to - 3 D  c o n v e rsio n   sy ste m   u sin g   e d g e   in f o rm a ti o n , ”   IEE E  T ra n s.  Co n su m.   El e c tro n .   v o l.   5 6 ,   n o .   3 ,   p p .   1 7 3 9 – 1 7 4 5 ,   A u g .   2 0 1 0 .   [1 6 ]   A .   L e v in ,   D.  L isc h in sk i,   a n d   Y.  W e iss,  “ A   Clo se d - F o rm   S o lu ti o n   to   Na t u ra l  Im a g e   M a tt in g , ”   IEE E  T ra n s.  P a tt e r n   An a l .   M a c h .   In tell . ,   v o l.   3 0 ,   n o .   2 ,   p p .   2 2 8 – 2 4 2 ,   F e b .   2 0 0 8 .   [1 7 ]   P .   Oc h s,  J.  M a li k ,   a n d   T .   Bro x ,   “ S e g m e n tatio n   o f   M o v in g   Ob jec ts  b y   L o n g   T e r m   V id e o   An a ly sis,”   IEE E  T ra n s.   Pa tt e rn   A n a l.   M a c h .   In tell ., v o l .   3 6 ,   n o .   6 ,   p p .   1 1 8 7 – 1 2 0 0 ,   Ju n .   2 0 1 4 .   [1 8 ]   L e e ,   Jo n g w o n ,   H y u n ju   L e e ,   Do n g g y u n   Yu ,   a n d   Ho e k y u n g   Ju n g ,   " Bo d y   in f o r m a ti o n   a n a l y sis   b a se d   p e rso n a l  e x e r c ise   m a n a g e m e n t  s y ste m . "   In ter n a ti o n a l  J o u rn a l  o f   El e c trica l  a n d   Co m p u ter   E n g i n e e rin g   ( IJ ECE )   8 ,   n o .   1 ,   2 0 1 8 .   [1 9 ]   Z a k a ri a   B o u lo u a rd ,   Ami n e   El   Ha d d a d i,   e t  a l,   “ Ba t - Clu ste r:   A   Ba t  A lg o rit h m - Ba se d   A u to m a ted   G ra p h   Clu ste ri n g   A p p ro a c h ” ,   In ter n a ti o n a l  J o u rn a l   o f  El e c trica l   a n d   C o mp u ter   En g i n e e rin g   ( IJ ECE )   8 ,   n o .   1 ,   2 0 1 8 .   [2 0 ]   M a d h u   Ch a n d ra ,   “ F ra m e wo rk   f o r  Co n tex t u a l  Ou tl ier  Id e n ti f ica ti o n   u sin g   M u lt iv a riate   A n a l y sis  a p p ro a c h   a n d   Un su p e rv ise d   L e a rn in g ” ,   In ter n a t io n a l  J o u rn a l  o f  El e c trica l  a n d   C o mp u ter   E n g in e e rin g   ( IJ ECE )   8 ,   n o .   1 ,   2 0 1 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.