I nte rna t io na l J o urna l o f   I nfo r m a t ics a nd   Co mm u n ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l. 7 ,   No . 3 Dec em b er   201 8 ,   p p .   1 4 1 ~ 1 4 5   I SS N:  2252 - 8776 ,   DOI : 1 0 . 1 1 5 9 1 /i j i ct. v 7 i3 . p p 1 4 1 - 145           141       J o ur na l ho m ep a g e h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / I JI C T   Address ing  La ten cy  Iss ues in 2D  to  3 D Conv ersio n:  D eplo y ing   Av a ila ble Synthet ic Data ba se       N.   L .   M a na s a   G NI T S ,   JN T UH ,   H y d e ra b a d ,   In d i a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   2 0 ,   2 0 1 8   R ev i s ed   A u g   6 ,   2 0 1 8   A cc ep ted   A u g   2 0 ,   2 0 1 8     Co n v e n ti o n a 2 to   3 re n d e rin g   tec h n iq u e i n v o lv e   a   se q u e n ti a l   p ro c e ss   o f   g ro u p i n g   o f   th e   in p u im a g e b a se d   o n   e d g e   in f o rm a ti o n   a n d   p re d ictiv e   a lg o rit h m to   a ss ig n   d e p t h   v a lu e to   p ix e ls  w i th   sa m e   h u e .   T h e   it e ra ti v e   c a lcu latio n a n d   v o l u m e   o f   d a ta  u n d e sc ru ti n y   to   a ss ig n   ‘re a l - ti m e ’  v a lu e s   ra ise   late n c y   is su e a n d   c o st  c o n sid e ra ti o n s.  F o c o m m e r c ial  c o n su m p ti o n ,   w h e re   sp e e d   a n d   a c c u ra c y   d e f in e   th e   v iab il it y   o f   a   p ro d u c t,   th e re   is  a   n e e d   to   re o rien th e   a p p ro a c h   u se d   in   th e   p re se n m e th o d o l o g ies .   In   p re d ictiv e   m e th o d o lo g ies   o n e   o f   th e   c o re   in tere sts  is  a c h iev in g   th e   in it ial  a p p ro x im a ti o n   a c lo se   to   th e   ‘re a l’  v a lu e   a p o ss ib le.  In   th is  w o rk ,   ‘s y n th e ti c ’  d a tab a se   is   u se d   to   p r o v id e   th e   f irst  a p p ro x i m a ti o n   th r o u g h   c o m p a riso n   tec h n iq u e a n d   f e d   to   th e   p re d ictiv e   t o o l.   It  is  b e l iev e d   th a t h is  w o rk   w il p ro v id e   a   b a sis  f o d e v e lo p in g   a n   e f f icie n 2 D t o   3 c o n v e rsio n   m e th o d o lo g y .   K ey w o r d s :   3 g r ap h ical  r en d er in g   3 s ter eo s co p ic  v id eo s   Dep th   p er ce p tio n   Gau s s ia n   Mix t u r m o d el   Co p y rig h ©   2 0 1 8   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   N.   L .   Ma n a s a   GNI T S,  J NT UH,   Hy d er ab ad ,   I n d ia   E m ail:  Nad ip all y . m @ g m ail. co m ; N ad ip all y . m @ g n i ts . ac . in .       1.   I NT RO D UCT I O N   I n   th la s d ec ad e,   th n ee d   an d   co n s eq u e n d e m a n d   f o r   3 ( 3   Dim e n s io n al)   i m ag e s   an d   v id eo s   h a s   g r o w n   o w i n g   to   it s   u ti lit y   in   d if f er e n f ield s ,   s u ch   a s   m ed ical  an d   en g i n ee r in g   d iag n o s t ics  an d   r esto r ativ e   in ter v e n tio n s   [ 1 ] .   I n   ad d itio n ,   th e   en t er tain m e n in d u s tr y   u s es  i to   ad d   t h r ea l   f ee l   f ac to r   f o r   i m p r o v ed   co n s u m p tio n .   A s   s u c h ,   th n e ed   f o r   f aster   co n v er s io n   tech n iq u es  o f   co n v e n tio n al  2 ( 2   Di m e n s io n al)   to   3 i m a g er y   h as   g ain ed   w id er   atte n tio n   in   d if f er e n i n d u s tr ies.  A lt h o u g h   d i f f er en a p p r o ac h e s   h a v b ee n   tr ied   to   m o d u late  p la n ar   i m a g e s   to   3 i m a g es  f o r   b etter   v i s u al   ex p er ien ce   to   co n s id er ab le  ex te n t,  t h er s till   e x i s t s   n ee d   f o r   b etter   q u alit y   t h at  is   b o th ,   f aster   a n d   co m m er ciall y   v iab le.   Am o n g s th p r i n cip al  co n ce r n s   i n v o lv ed   in   th co n v er s io n   o f   p lan ar ,   2 i m a g es  to   3 v i s u al s   is   to   r ec r ea te  th d ep t h   an d   co lo r   ( h u e)   p ar a m eter   f r o m   t h o r ig in a i m ag e s .   So m o f   t h n o tab le  an d   w id el y   u s ed   tec h n iq u e s   i n   t h p u r s u it  o f   g en er ati n g   t h d ep th   asp ec f r o m   co n v e n tio n al  2 i m a g es   in c lu d e   s ter eo s co p ic  v is io n   ( to   allo w   f o r   tr ian g u latio n ) ,   ac ti v ( d y n a m ic)   m et h o d s ,   an d   3 g r ap h ical  ( al g o r ith m ic ,   s o f t w ar e - b ased )   r en d er in g   tec h n iq u es.  W h ile  t h f ir s t w o   t ec h n iq u es  m en tio n ed   ( s ter eo s co p ic  im a g er y   a n d   ac tiv s e n s o r s   r eq u ir s p ec if ic ,   an d   co n te m p o r ar il y   h i g h - co s eq u ip m e n to   h elp   ass e s s   a n d   r en d er   th d ep th   p ar am eter ,   t h t h ir d   ( 3 g r ap h ical  r en d er in g )   tec h n iq u i n v o l v es  t i m e - co n s u m in g   iter a tiv s eq u en ce .   T h e   s ter eo s co p ic  m et h o d s   r eq u ir m u ltip le  ca m er as  to   ca p tu r 2 i m a g es  a n d   th er eb y   a s s e s s   t h d ep th   r eq u ir ed   to   cr ea te  th v is u all y   co m p lia n 3 v er s io n .   I n   th ac ti v e   i m ag ca p t u r in g   m et h o d s ,   p h o to g r ap h er s   an d   v id eo g r ap h er s   u s d i f f er e n s en s o r s   s u c h   as  ti m e - of - f li g h t   an d   s tr u ct u r ed   lig h ca p ab ili ties   to   esti m ate  t h e   d ep th   f ac to r   o f   2 i m a g e s .   S u ch   r ec o r d s   ar n o co m m er cial l y   f ea s ib le[ 2 ]   o w i n g   to   s k il ls   r eq u ir ed   to   o p er ate   s p ec iall y   d ev is ed   eq u ip m en an d   th ec o n o m ic  f ea s ib ili t y   ap ar f r o m   ac ce s s   to   s u c h   eq u ip m e n t.  T h th ir d   m et h o d   o f   g r ap h ical  r e n d er in g   tec h n iq u es   u s ed   co n v en tio n all y   i s   u s u all y   a   s k illed   a n d   e x p er ien tial   m a n u al   p r o ce s s   r eq u ir in g   ted io u s   a n d   ti m e - co n s u m i n g   en g a g e m en t ,   th er eb y   m ak in g   it  u n f ea s ib l f o r   co m m er cial,   lar g e - s ca le  co n s u m p t io n .   O f   late,   th er e   is   g r o w i n g   ac ce n o n   d ev e lo p in g   au to m ated   p r o ce s s es  t h at  ca n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8776   IJ - I C T   Vo l.  7 ,   No .   3 ,   Dec em b er   20 1 8   :   1 41   1 45   142   co n v er 2 i m ag e s   to   3 v i s u als  b y   in teg r ati n g   t h m i s s i n g   th ir d   d ep th   p ar a m eter   in   th p lan ar   i m a g es   o b tain ed   in   co n v e n tio n al  p h o t o /v id eo .     I n   o r d er   to   i m p r o v th e   q u ali t y   o f   3 r e n d er in g ,   d esi g n er s   ar u s i n g   d i f f er e n p r ed icti v tech n iq u es   an d   d ev elo p in g   al g o r ith m s   t h at  w o r k   f aster   an d   m o r ac cu r atel y   an d   ap p r o ac h   r ea l - t i m e   ex p er ien ce   s o u g h t   b y   co n s u m er s   i n   d if f er en ap p licatio n s .   T h h u m an   e y es ti m atio n   o f   d ep th   i s   ac h iev ed   th r o u g h   co m b i n ed   ef f ec an d   s u p er p o s itio n   o f   b in o cu lar   an d   m o n o cu lar   d ep th   p er ce p tio n   [ 3 ] .   W h er ea s ,   in   th b in o cu lar   v is u al,   h u m a n s   ar ab le  to   d ec o d e   th th ir d   d i m e n s io n   th r o u g h   co n v er g e n ce   o f   d i f f er e n tial  e le m e n ts   f r o m   b o th   v is io n s   a n d   co r r ec tl y   e s ti m at th d ep th ,   th e   m o n o cu lar   p ar am eter s   ar also   ca p ab le  o f   r ep r o d u cin g   th e   d esire d   in f o r m atio n   u s in g   s i m ilar   p r o p er ties   an d   in d u ctin g   t h d if f er en tial s .   Su c h   cu e s   ar e:  d y n a m ic  p ar allax ,   p lan ar   p r o p o r tio n al  m ea s u r es ,   th r elativ te x t u r ch a n g e s ,   an d   f o ca d is ta n ce s .   T h i m p licatio n   o f   t h d is cu s s io n   i s   t h at  m o n o cu lar   i m a g es/ v id eo s   ca n   b u s ed   to   p r o d u ce   3 v is u al s .   E x p er i m en tal  s u p p o r an d   p r ac tical  ap p licatio n   o f   V is u al   p ar am e ter s   a n d   d is p ar ities   th a t p r o v id th m e n tio n ed   c u es   h av e   b ee n   p r o v id ed   b y   d i f f er en t st u d ies to   g en er at 3 f r o m   co n v e n tio n al  i m ag e s .     T h v ar io u s   m et h o d s   th at  h a v atte m p ted   2 to   3 D   r en d er in g   u s t w o   m ain   t y p e s :   Si n g le - f r a m e   Me th o d   an d   M u ltip le - f r a m Me th o d s .   No tab le  a m o n g   Si n g le - f r a m Me t h o d s   is   th a tte m p b y   B attiato   [ 4 ]   w h o   m ad u s e   o f   m u ltip le   cu es,  p r o g r es s io n   o v er   s o m e   o th er   m eth o d s   th a co n ce n tr at ed   o n   s in g le   cu e s     f o ca p r o x i m it y   [ 5 ] ,   m a ch i n lear n in g   al g o r ith m s   [ 6 - 7 ] ,   an d   2   p r o p o r tio n al  d i m en s io n s   ( h eig h an d   w id t h   r atio )   an d   tex tu r ch an g es  [ 8 ]   an d   g eo m etr ic  m ea s u r e m en ts .   A   s i g n i f ica n d ev elo p m en in   Mu lti - f r a m e   Me th o d   is   th e   s u cc es s f u h y b r id izatio n   o f   MT ( Mo d if ie d   T im Di f f er en ce )   a n d   C I D   ( C o m p u ted   I m a g Dep th )   ac h ie v ed   b y   I i n u m et  al. ,   [ 9 ]   th at  u s es  tr ian g u latio n   s u cc e s s f u ll y   to   g e n er ate  clo s to   r ea 3 im a g es.   R ec en ap p r o ac h es  [ 1 8 ] - [ 2 0 ]   th at  s h o w ed   co m m e n d ab le  r esu lt s   w h en   u til ized   in   d i f f er en ap p lica tio n   b u ca n   al s o   b d ep lo y ed   to   s o lv f o r   2 to   3 r e n d er in g .   S ter eo s co p ic  f o o tag a n d   d ep t h   a s s es s m en f r o m   m o tio n   p r o v id t h r eq u ir ed   d ata  f o r   tr ian g u latio n   [ 1 0 1 3 ] .   An al y s i s   o f   Mo tio n   p ar allax   o f f er s   th te m p o r al  co r r esp o n d en ce   b r o u g h ab o u t   b y   t h e x is tin g   d i s p ar it y .   T h e   m o tio n   v ec to r   ( MV )   th u s   e x t r ac ted   is   co n v er ted   to   d is p ar ity   v ec to r   ( DV) .   I n   an   alter n ate  m et h o d ,   th d ep th   m ap   is   n o p r o d u ce d ,   in s tead   s ter e o s co p ic  v is io n   co m p r is in g   o f   r ig h t - e y an d   th lef e y v i s io n .   Ho w ev er ,   s u c h   m et h o d s   r eq u ir th d ep lo y m e n o f   m o tio n   ca m er a.   As  s tated   ea r lier ,   co m b in at io n   o f   m o n o cu lar   an d   b in o cu lar   s tr ate g ie s   ap p ea r   to   h av th p o ten tia to   d eliv er   th d esire d   q u alit y   ef f i cien tl y .       1 . 1   Sin g le - f ra m M et ho ds   P ar k   et  al. ,   [ 5 ]   laid   em p h as is   o n   th clar it y   co n te n o f   d if f er en ar ea s   m ea s u r ed   b y   t h d is t an ce   f r o m   th f o ca p lan to   esti m ate  t h r elati v d ep th   o f   ele m e n t s   in   th e   2   i m a g e.   T h i m ag is   d iv id ed   i n to   r ec tan g u lar   b lo ck s   t h at  f o r m   a   m atr i x   a n d   th e   b lu r r i n ess   o f   ea ch   b lo ck   i s   co n s id er ed   to   es ti m ate   th e   d ep th   o f   th at  p ar o f   th i m a g f r o m   t h v ie w er .   T h lim itat io n   o f   s u ch   esti m atio n   i s   clea r l y   th n u m b er   o f   d is ce r n ib le  b lo ck s   th a ca n   b ac co m m o d ated   lead in g ,   i n   t u r n   to   i n co n s is ten c y   i n   r ea d - o f f   v al u es  a m o n g s n o n - ad j ac en t   p atch es  o f   s a m s h ad es,  a n d   t h ac cu r ac y   o f   th m ea s u r i n g   d ev ice  to   m ea s u r g r ad u all y   ch an g i n g   h u es  th at   m a y   v ar y   b y   i n f in i tesi m all y   s m all  a m o u n ts .   T h is   m et h o d   i s   also   ca lled   th C I ( C o m p u ted   I m a g Dep th ) .   T h m ac h i n lear n in g   m et h o d o lo g y   w as  u s ed   b y   Ho ie m   [ 7 ]   w h o   m ap p ed   th i m a g to   as s ess   t h d ep th   a n d   th en   ad d ed   th ex tr ac ted   p ar a m eter   to   th 2 i m a g to   o b tain   th 3 v is u al.   I n   m ac h in lear n i n g   m et h o d o lo g y ,   t h o b j ec ts   an d   d is tan ce s   ar a s s i g n ed   p r o g r ess i v el y   t h r o u g h   tr ai n ed   cl ass es,  a n d   p o s th e   p o ten tial  s k ip p in g   o f   ca s es  i n   th in itial  tr ain in g   p h ase  ca u s i n g   p er ce p tib le  in ac cu r ac y   in   t h f i n al  r en d itio n ,   as  t h p r o g r ess iv e   s ta g es   d ep en d   h ea v il y   o n   t h p r ec ed in g   f ee d .   T h u s ,   m is s ed   ca s es   ca n   l ea d   to   u n ac ce p tab le  d is r u p tio n   f r o m   t h d esire d   o u tco m e.   T h g eo m etr ic  m et h o d   u s ed   b y   T s ai  [ 1 4 ]   em p lo y s   t h v a n i s h in g   p o in t   co n ce p to   ad d   th th ir d   d i m e n s io n   f r o m   s i n g le  f r a m e s .   J u n g   et  al. ,   [ 8 ]   u s ed   t h i n f o r m ati o n   ac cr u ed   f r o m   th e   ed g es  an d   tr ied   t o   co n s o lid ate  th p r o ce s s   w it h   th h e lp   o f   k n o w n   d ata  ( h u a g ain s d ep th )   to   esti m ate  th e   r eq u ir ed   q u an tit y   ( d ep th )   -   p er h ap s   f ir s s tep   to w ar d s   p r ed ictiv ex tr ac tio n .   T h ab o v m et h o d s   m a y   b s u cc e s s f u ll y   d ep lo y ed   in   ce r ta in   s p ec i f ic  ca s es  in d i v id u all y   an d   li m i ted   to   s h o r ter   d ep th   esti m atio n   i n   i m ag e s   u s ed .   L o s s   o f   o th er   p ar a m etr ic  v alu e s   t h an   t h o n es  u n d er   co n s id er atio n   m a k es  t h m eth o d s   u s in g   s i n g le   p ar am eter s   p r o n to   o v er lo o k in g   o t h er   s ig n i f ica n p r o p er ties   th at  ad d   to   th d ep th   p er ce p tio n .   C o n s eq u e n t l y ,   th g e n er ated   3 i m a g es a r m o s t li k el y   to   s u f f er   f r o m   lo s s   o f   te m p o r al  co h er en ce   an d   s p ik i n g .       1 . 2   M ulti - f r a m M et ho ds   T h w o r k   o n   2 to   3 D   co n v er s io n   u s in g   Mu l ti - f r a m es   h a s   t o   co n ten d   w it h   t h is s u e   o f   d e p th   w it h i n   an   o b j ec in   t h f r a m e s   a n d   r ela tio n al  d ep th   in f o r m at io n   o f   all  o b j ec ts   i n   t h f r a m e s .   A   m et h o d o lo g y   o f   g r o u p in g   o f   p ix el s   w it h   s a m h u e   an d   s p atia o r ien tatio n   i s   t h b asic  n ee d   f o r   o b tain in g   d e s ir ed   u n if o r m it y   i n   d ep th   esti m a tio n .   So m ea r lie r   w o r k s   h av u s ed   m o tio n   p ar allax   as  t h p r i m ar y   cu to   all o w   f o r   g r o u p i n g   o f   p ix els  w it h in   t h f r a m e s .   Ho w e v er ,   s o m p i x els   ca r r y   d i f f er en t   s el f   MV s   lead i n g   to   er r o r - p r o n d ep th   in f o r m atio n .   T h u s   th co n te n tio n   s ee m s   to   r ev o lv ar o u n d   th m et h o d o lo g y   n ee d ed   to   g r o u p   p ix els  d ep th   v alu e s   to   p r ed ict  th d ep th   o f   in d iv id u al  o b j ec ts   an d   f o r   r ela tio n al  d ep th   esti m atio n .   T h is   p ap er   atten d s   to   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - I C T     I SS N:  2252 - 8776       A d d r ess in g   La ten cy   I s s u es in   2 to   3 C o n ve r s io n Dep lo y in g   A va ila b le  S yn th etic    ( N .   L.  Ma n a s a )   143   is s u o f   d ep th   p r ed ictio n   t h r o u g h   n o v el  s c h e m o f   r e f er e n tial  d ep th   a s s i g n m e n p r ese n ted   in   th f o llo w i n g   s ec tio n .   Su c h   in itializatio n   v a lu h elp s   ac ce ler ate  t h f o llo w - u p   iter ati v e s ti m atio n   p r o ce s s .   E x p er i m e n tal   r esu lt   m ea s u r e m e n an d   f ee d b ac k   f r o m   co n s u m er s   o f   t h v i d eo   f ee d   s u p p o r ts   th co n ten ti o n   th at  th o u tp u is   v is u all y   p leas in g   a n d   co m p ar ab le  to   s y n t h etic  v id eo - g a m ex p er ien ce ,   w h ic h   i s   it s elf   r at ed   a s   v er y   clo s e   to   r ea l’ .   Sect io n   2   p r esen ts   th p r o p o s ed   s y s te m .   Sectio n   3   p r esen t s   th o u tco m o f   th e x p er i m en tal  r ig o r   an d   d is cu s s es  t h co m p lex it y   an d   ac cu r ac y   as  co m p ar ed   to   o th e r   co n ten tio n s   r eg ar d i n g   d ep th   esti m atio n .   Fi n all y   s ec tio n   4   an d   5   s u m m ar iz th e   p ap er   an d   s u g g e s ts   p o s s ib le  ar ea s   o f   f u r th er   w o r k .       2.   P RO P O SE SYS T E M   C o m m er cial  v iab ilit y   a n d   ti m co n s u m ed   to   ad d   th d ep th   p er ce p tio n   th r o u g h   iter ati v p r ed ictio n s   ar n o p r ac tical  w h e n   s tr ea m in g   li v e v e n ts .   Mo s o f   t h p ix el  g r o u p in g   m et h o d o lo g ies  s ee m   to   s er v a t   b est  ac ad em ic  i n ter est s .   T h o u g h   s u ch   m et h o d o lo g ies  o f   3 r en d er in g   ar p o ten tiall y   v er y   clo s to   r ea l   p er ce p tio n   o f   o b s er v atio n s   to   th h u m a n   e y e,   t h ti m la g   b et w ee n   i m a g ca p tu r an d   f i n al  o u tp u d eli v er ed   f o r   co n s u m p tio n   i s   r ar el y   w it h in   ac ce p tab le  li m its .   T h s ta g es  an d   s eq u en ce   ( s tar ti n g   f r o m   lef t:  lef g r ad ien t,   lef b o tto m ,   b o tto m - u p ,   r ig h b o tto m ,   r i g h t)   o f   h u g r ad in g   to   ass es s   d ep th   t h at  co n v er ts   2 to   3 u s u all y   f o llo w s   t h s eq u e n ce   d ep icted   in   F i g u r e   1 .             Fig u r 1 .   [ 1 5 ]       T h p r o p o s ed   s y s te m   atte m p t s   to   i m p r o v e   th e   esti m atio n   p r o ce s s   b y   u s in g   e x i s ti n g   r ef er e n tial  d ep t h   cu i n s tead   o f   tr y in g   to   esti m ate  th e   s a m f r o m   th e   f r a m es   th at   h a v to   b co n v er ted .   S u ch   r ef er e n ce   h u e   g r ad ien h elp s   in   ac ce ler ati n g   t h esti m at io n   p r o ce d u r al  s p ee d   b y   p r o v id in g   th d i f f icu lt f ir s t e s ti m atio n   s tep .   Use o f   e x is tin g   g o o d   q u alit y   3   s ter eo s co p ic  v id eo s   ca n   b u s ed   to   p r o v id th r e f er en tia d ep th   cu e   f o r   th i m a g es  t h at  n ee d   to   b p r o ce s s ed   to   d eliv er   3 f o r   liv s tr ea m i n g .   A p p r o p r i ate  3   v id eo   g a m es  m a y   b u s ed   as  r ef er e n tial  i n p u t h at  co r r esp o n d s   m o s clo s el y   to   th i m ag e s   u n d er   co n s id er atio n .   I n   t h is   w o r k   liv e   s tr ea m i n g   o f   s o cc er   g a m es i s   a tte m p ted .     T h m o s t   ac ce p tab le  q u ali t y   v id eo   g a m e s   p r o v id th e   m o s t a p p r o p r iate  d ep th   p er c ep tio n   cu th r o u g h   th tex t u r g r ad ien u s ed   to   d ev elo p   s u ch   g a m es.  T h r est  o f   th p r o ce s s   u tili ze s   ap p r o p r iate  iter ativ e   alg o r ith m s   b ased   o n   s o u n d   in itial  v al u e.   T h u s ,   t h is   p r o ce s s   u tili ze s   th e x is tin g   h ig h - q u al it y   i n   v id eo   g a m e s   ( th at  r ese m b le  r ea f ee l   v er y   clo s el y )   a n d   ca n   p r o v id a p p r o p r iate  r ef er en tial   h u g r a d ien c u es  f o r   d ep th   esti m atio n .   T h r est   o f   th e   p r o ce s s   is   a u to m a tic  as   i n   o th er   m et h o d s ,   to o .   T h is   p r o ce s s   i m p r o v es  t h co n v er s io n   p r o ce s s   m ai n l y   b y   r ed u cin g   t h p r o ce s s i n g   ti m th r o u g h   s p atial  ( h eig h a n d   w i d th )   ass i g n m en t   o f   d ep th   g r ad ien i n f er r ed   f r o m   th m a n u f ac t u r ed   r ef er e n ti al  v id eo   g a m e s .   A s   t h is   p r o ce s s   u s es  e x is t in g   s ter eo s co p ic  3 f r a m es  a s   r ef er en ce   cu es,  t h p r o p o s ed   s y s te m   i s   d o m ai n - s p ec if ic.   He n c e,   th alg o r it h m   i s   n o g en er ic.   T h p r o p o s ed   alg o r ith m   w i ll  h a v to   b m o d u lated   b ased   u p o n   t h co n t ex tu a d ata.   I al s o   i m p lies   t h at  ea c h   f r a m m a y   n ee d   co r r esp o n d in g   d ata  f r a m f o r   r ef er e n ce .   T h u s   f o r   ea ch   g e n er atio n ,   t h e   p r o ce s s   w o u ld   r ef er   to   d atab ase  o f   s i m ilar   3 v id eo   g a m es;  ass u r i n g   th at  th r e n d er in g   is   o f   g o o d   q u alit y   an d   th o u tp u i s   v is u all y   p le asin g .   T h is   i s   an   i m p r o v e m e n o v er   e x is t in g   g en er ic  m et h o d o lo g ies  th at  m a y   s u f f er   f r o m   late n c y   is s u e s   t o   d eliv er   ac ce p tab le  q u alit y   s ter eo s co p ic  v i s u a l,  w h e th e r   s tatic  ( i m a g e s )   o r   d y n a m ic  ( li v v id eo   s tr ea m s ) .         3.   M E T H O DO L O G Y   As i s   e v id en t   f r o m   F i g u r 2 ,   t h t w o   m a in   co m p o n e n ts   t h at  h elp   cr ea te  t h e   d ep th   d i m en s io n   f r o m   th e   2 i m a g es   f o r   p r o p er   g r ad ien h u ar e:   1 )   th e   S - R GB D   ( s y n th e tic -   R GB   an d   Dep th )   d at ab ase  f r o m   s i m i lar   i m a g es  el s e w h er ca n   b u s ed   as  r ef er e n ce ,   u s i n g   th o n es   th at  m o s c lo s el y   m a tch e s   w i th   t h i n p u i m a g e   s ec to r s 2 )   Ob j ec m as k i n g   t h at  w o u ld   h e lp   d e - li n ea te  ed g p r o f ile s   an d   cr ea te   s h ar p er   d ep th   p er ce p tio n ,   w h ic h   o t h er w is e   w o u ld   cr ea te   b lu r r in e s s   at  t h ed g es   d u t o   o v er lap p in g   d ep th   v al u es.  T h ac c u m u la tio n   o f   S - R GB i m a g er y   co u ld   b d au n ti n g   tas k ,   as  m a n y   d i f f er en co llectio n s   w o u ld   b r eq u ir ed   th is   is s u ca n   b e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8776   IJ - I C T   Vo l.  7 ,   No .   3 ,   Dec em b er   20 1 8   :   1 41   1 45   144   h an d led   b y   ca te g o r izin g   i m a g es  b ased   o n   s itu a tio n ,   s ce n er y - b ased   v alu e,   e v en t - b ased   i m a g es/ v id eo s   an d   o th er   s u c h   co m b in at io n s   i n   ad d itio n   to   v id eo   g a m es  t h at  b es in co r p o r ate  d if f er en i m a g er y   w i th   q u a lit y   d ep th   an d   h u c u es.   Ma s k i n g   i n v o l v es  s ep ar ati n g   d if f er en t   o b j ec b o u n d ar ies  t h at  i s   ac h ie v ed   b y   p r ep r o ce s s in g   t h e   in p u t   i m ag e s   b ased   o n   ap p ea r an ce ,   h u e,   a n d   m o tio n .   Fo r   clo s e - u p s ,   lo ca f ea t u r es   s u ch   as  m att in g - b ased   ap p r o ac h   ar u s ed   t h at   in v o l v es  i n itiatio n   u s i n g   tr aj ec to r y   s eg m e n tat io n   [ 1 6 ] ,   [ 1 7 ]   f o r   n o n - c lo s e - u p   i m a g es   th GM ( Gau s s ia n   Mi x t u r Mo d el)   p r o ce s s in g   d eliv er s   t h r eq u ir ed   co n ten t o f   f in q u a l it y .             Fig u r 2 .   T h co n ce p tu al  p r o c ess   s eq u e n ce   i s   d ep icted   in   Fi g u r e   2       T h o v er ar ch in g   co n ce p is   t h at  o f   Gr ad ien t - b ased   co n v er s i o n .   T h g r ad ien in   th h u co r r esp o n d s   to   d ep th   o f   th o b j ec ts   an d   ca n   b u s ed   to   ass i g n   co r r esp o n d i n g   v al u es.  I n   o r d er   to   ac h iev ac cu r ate   ass i g n m e n t,  t h i n p u i m a g is   d if f er en tiated   in   n   x   n   b lo ck s   a n d   th e n   co m p ar ed   w it h   s i m ilar   i m a g e s   th a ass i g n   th d ep th   v al u es  ac co r d in g   to   th h u i n   th r e f er en ce   i m a g ( S - R GB d atab ase) .   T h m as k ed   i m a g es   w it h   c lear   d if f er en tiatio n   o f   o b j ec ts   ad d   to   th clar it y ,   b o th   in   h u a n d   d ep th .     T h p ictu r q u alit y   a n d   co m p u tatio n a d if f ic u ltie s   f o r m   t h e   b asis   o f   t h tr ad e - o f f   p o i n ts   w h er t h e   co n v er s io n   p r o ce s s   i s   r eq u ir ed   to   ac h iev e   b alan ce   b et w ee n   t h ese  t w o   p ar a m eter s .   T h co m p u tatio n a l   d if f ic u lt y   ar i s es  f r o m   t h n u m b er   o f   b lo ck s   cr ea ted   to   ac h iev e   v is u all y   p leas in g   3 i m a g e.   T h d u r atio n   r eq u ir ed   f o r   m o r n u m b er   o f   b lo ck s   i s   O( e 5E - 5n ) ,   w h er e,   n   is   th e   n u m b er   o f   b lo ck s .   Fi g u r e   3   b elo w   ill u s tr ate s   th co m p u tatio n al  d u r atio n .           Fig u r 3 .   C o m p u tat io n al  co m p lex it y   [ 1 5 ]       4.   DIS CU SS I O N   T h b asic  b en ch m ar k   ca te g o r ies  f o r   3 p er ce p tio n   in   i m a g es  ar b ased   o n   th r ee   ca teg o r ies:   v is u al   p leasan t n es s ,   d ep th   q u alit y ,   an d   p ictu r q u alit y .   V is u a p leasan t n es s /d is co m f o r is   th p h y s io lo g ica d is co m f itu r s u c h   as  v is u al  s tr ain ,   h ea d ac h o n   co n ti n u o u s   v ie w i n g   an d   o t h er   s y m p to m s .   T h d ep th   q u alit y   i s   m ea s u r ed   as  p er ce p tio n   o f   en v i s ag ed   d ep th .   T h tr an s m is s io n   p ar a m e ter s   an d   t h en co d in g   f r a m e w o r k   af f ec t h p ictu r q u a lit y .   Si n ce   d ep th   q u alit y   an d   v is u al  p l ea s an t n es s   ar q u alita tiv p ar a m eter s ,   as s es s m en t   s h o u ld   in v o l v s h o w i n g   d if f er en t   3 i m ag e s   g en er ated   b y   d if f er e n tec h n iq u es   to   th s a m s e o f   v ie w er s /r e s p o n d en ts   to   g et  f air er   g r ad in g .   S u c h   i m ag e s / v id eo s   ca n   b s h o w n   f o r   s h o r t d u r atio n s   i n   r an d o m   s eq u en ce ,   a n d   allo w   t h v i e w er s   to   r ate  th e m   o n   asc en d in g   o r d er   o f   q u alit y ,   m ar k ed   b y   d is ti n ct   n u m b er s / g r ad es  ( b ad ,   p o o r ,   f air ,   g o o d ,   ex ce llen t)   f o r   d ep th   q u alit y   a n d   o n   s i m i lar   g r ad in g   t h at  s tar ts   at  v er y   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - I C T     I SS N:  2252 - 8776       A d d r ess in g   La ten cy   I s s u es in   2 to   3 C o n ve r s io n Dep lo y in g   A va ila b le  S yn th etic    ( N .   L.  Ma n a s a )   145   u n co m f o r tab le  an d   asce n d s   to   v er y   co m f o r tab le  f o r   v is u al  co m f o r t.  I n   r an d o m   s t u d y   c ar r ied   o u th u s ,   th e   i m a g es p r o d u ce d   b y   t h p r esen ted   tech n iq u s co r ed   v er y   h i g h   in   t h q u ali t y   a s s es s m en t o n   b o th   co u n t s .         5.   CO NCLU SI O   T h is   p ap er   h as  in tr o d u ce d   a n   in n o v ati v m et h o d   f o r   2 t o   3 co n v er s io n   o f   i m a g es/ v id eo s .   T h e   s tr en g th   o f   th p r o p o s al  lies   in   f a s ter   co n v er s io n   r ate.   T h q u alit y   o f   th r en d er ed   3 im ag i s   also   r ated   h ig h l y   b y   v ie w er s .   T h m ai n   p r o ce s s es  in v o l v ed   ar th o s e   o f   S - R GB d atab ase  co llated   f r o m   s i m ilar   v id eo s   o r   f r o m   v id eo   g a m e s   an d   ed g e   in f o r m atio n .   T h o v er ar ch in g   s ch e m is   t h s q u ar m atr i x   b lo ck   s eg m e n tatio n   th at  is   e v en t u all y   m o d i f ied   f o l lo w i n g   d ep th   h u g r ad atio n   cu es  an d   co m p ar is o n   w it h   r ef er e n tial  d atab ase.   T h m ai n   co n tr ib u tio n   o f   th p ap er   is   th at  o f   d o m ai n   ce n ter ed   in itial  p r ed ictio n   v alu e s .   Ma tr ix   b ased   ed g e   in f o r m atio n   r e m o v e s   th b o u n d ar y   d is co n t in u itie s ,   an d   u s o f   ex is tin g ,   q u ali t y   i m a g es ,   th at  ad d s   to   th e   g r ad ien d i s ce r n m e n t.  T h u s   t h m et h o d   r eso lv e s   t w o   m aj o r   is s u es    th at   o f   late n c y   an d   i n v e s t m en r eq u ir ed   f o r   2 to   3 co n v er s io n .   A   p o s s ib le  li m itat io n   co u ld   b th d i v er s a n d   q u alit y   d ata b ase  r eq u ir ed   to   i m p le m en t h p r o ce s s   p r esen ted   in   t h is   w o r k .   Seco n d ly ,   t h i s   s y s te m   is   n o t g e n er ic  -   s ac r if ice  f o r   q u alit y   an d   r e d u ctio n   i n   laten c y .       RE F E R E NC E S:    [1 ]   C.   R.   M a d a n ,   Cre a ti n g   3 D v i su a li z a ti o n o f   M RI  d a ta:  A   b ri e f   g u id e ,   F1 0 0 0 Res e a rc h ,   v o l .   4 ,   A u g .   2 0 1 5 .   [2 ]   A .   Zele n e r,   S u rv e y   o f   o b jec c las si f ica ti o n   in   3 d   ra n g e   sc a n s,”   T e c h .   Rep . ,   2 0 1 5 .   [3 ]   W .   J.  T a m   a n d   L .   Zh a n g ,   3 D - T V   Co n ten G e n e ra ti o n 2 D - to - 3 Co n v e rsio n ,   in   2 0 0 6   IEE In ter n a t io n a l   Co n fer e n c e   o n   M u lt im e d i a   a n d   E x p o ,   2 0 0 6 ,   p p .   1 8 6 9 1 8 7 2 .   [4 ]   S .   Ba tt iato ,   S .   C u rti ,   M .   L .   Ca sc ia,  M .   T o rto ra ,   a n d   E.   S c o r d a to ,   De p th   ma p   g e n e ra ti o n   b y   ima g e   c la ss if ica ti o n ,   p re se n ted   a t h e   T h re e - Di m e n sio n a Im a g e   Ca p tu re   a n d   A p p li c a ti o n s V I,   2 0 0 4 ,   v o l.   5 3 0 2 ,   p p .   9 5 1 0 5 .   [5 ]   J.  P a rk   a n d   C.   Kim ,   Extra c ti n g   fo c u se d   o b jec fro l o d e p th - of - fi e ld   ima g e   se q u e n c e s ,   p re se n ted   a t h e   Visu a Co m m u n ica ti o n s a n d   Im a g e   P ro c e ss in g   2 0 0 6 ,   2 0 0 6 ,   v o l.   6 0 7 7 ,   p .   6 0 7 7 1 O.   [6 ]   P .   V.  Ha rm a n ,   J.  F lac k ,   S .   F o x ,   a n d   M .   Do w le y ,   Ra p id   2 D - to - 3 c o n v e rs io n ,   p re se n ted   a th e   S tere o sc o p ic  Disp lay s a n d   V irt u a Re a li ty   S y st e m s IX ,   2 0 0 2 ,   v o l .   4 6 6 0 ,   p p .   7 8 87.   [7 ]   D.  Ho iem ,   A .   A .   E f ro s,  a n d   M .   He b e rt,   Au to m a ti c   Ph o to   P o p - up ,   in   A CM   S IGG R A P 2 0 0 5   P a p e rs,  Ne w   Yo rk ,   NY ,   USA ,   2 0 0 5 ,   p p .   5 7 7 5 8 4 .   [8 ]   Y.  J.  Ju n g ,   A .   Ba ik ,   J.  Kim ,   a n d   D.  P a rk ,   n o v e 2 D - to - 3 D   c o n v e rs io n   tec h n iq u e   b a se d   o n   re la ti v e   h e ig h t - d e p t h   c u e ,   p re se n ted   a t h e   S tere o sc o p i c   Disp lay s a n d   A p p li c a ti o n s XX ,   2 0 0 9 ,   v o l.   7 2 3 7 ,   p .   7 2 3 7 1 U.   [9 ]   T .   Iin u m a ,   H.  M u ra ta,  S .   Ya m a sh it a ,   a n d   K.  O y a m a d a ,   5 4 . 2 Na tu ra S ter e o   De p th   Cre a ti o n   M e th o d o l o g y   fo a   Rea l - ti me   2 D - to - 3 D Im a g e   C o n v e rs io n ,   S ID S y m p .   Dig .   T e c h .   P a p . ,   v o l .   3 1 ,   n o .   1 ,   p p .   1 2 1 2 1 2 1 5 ,   M a y   2 0 0 0 .   [1 0 ]   J.  y   Ch a n g ,   C.   c   Ch e n g ,   S .   y   Ch ien ,   a n d   L .   g   Ch e n ,   Rela ti v e   De p th   L a y e Extra c ti o n   fo M o n o sc o p ic  Vi d e o   b y   Us e   o M u lt i d ime n si o n a Fi l ter ,   in   2 0 0 6   IE EE   I n tern a ti o n a C o n f e re n c e   o n   M u l ti m e d ia an d   Ex p o ,   2 0 0 6 ,   p p .   2 2 1 2 2 4 .   [1 1 ]   Y.  L .   Ch a n g ,   C.   Y.  F a n g ,   L .   F .   Din g ,   S .   Y.  Ch e n ,   a n d   L .   G .   C h e n ,   De p th   M a p   Ge n e ra ti o n   fo 2 D - to - 3 D Co n v e rs io n   b y   S h o rt - T e rm   M o ti o n   Assiste d   Co lo S e g me n ta t io n ,   in   2 0 0 7   I EE In tern a ti o n a C o n f e re n c e   o n   M u l ti m e d ia  a n d   Ex p o ,   2 0 0 7 ,   p p .   1 9 5 8 1 9 6 1 .   [1 2 ]   C. - H.  C h o i,   B. - H.  Kw o n ,   a n d   M . - R.   C h o i ,   A   re a l - ti m e   f ield - se q u e n ti a ste re o sc o p ic  im a g e   c o n v e rter,”  IEE T ra n s .   Co n su m.   El e c tro n .   v o l.   5 0 ,   n o .   3 ,   p p .   9 0 3 9 1 0 ,   A u g .   2 0 0 4 .   [1 3 ]   C. - C .   Ch e n g ,   C. - T .   L i,   P . - S .   Hu a n g ,   T . - K.  L in ,   Y.  M .   T sa i,   a n d   L .   G .   Ch e n ,   b l o c k - b a se d   2 D - to - 3 c o n v e rs io n   sy ste wit h   b il a ter a fi lt e r ,   in   2 0 0 9   Dig e st  o f   T e c h n ica P a p e rs  I n tern a ti o n a Co n f e re n c e   o n   C o n su m e El e c tro n ics ,   2 0 0 9 ,   p p .   1 2.   [1 4 ]   Y.  M .   T sa i,   Y.  L .   Ch a n g ,   a n d   L .   G .   Ch e n ,   Bl o c k - b a se d   Va n i sh in g   L i n e   a n d   Va n ish i n g   Po i n De tec ti o n   fo r 3 D S c e n e   Rec o n stru c ti o n ,   in   2 0 0 6   I n tern a t io n a S y m p o siu m   o n   In telli g e n S ig n a P r o c e ss in g   a n d   Co m m u n ica ti o n s,  2 0 0 6 ,   p p .   586 5 8 9 .   [1 5 ]   C .   C.   C h e n g ,   C.   T .   L i,   a n d   L .   G .   Ch e n ,   A   n o v e 2 D - to - 3 c o n v e rsio n   sy ste m   u sin g   e d g e   in f o rm a ti o n ,   IEE T ra n s.  Co n su m.   El e c tro n .   v o l.   5 6 ,   n o .   3 ,   p p .   1 7 3 9 1 7 4 5 ,   A u g .   2 0 1 0 .   [1 6 ]   A .   L e v in ,   D.  L isc h in sk i,   a n d   Y.  W e iss,  A   Clo se d - F o rm   S o lu ti o n   to   Na t u ra Im a g e   M a tt in g ,   IEE T ra n s.  P a tt e r n   An a l .   M a c h .   In tell . ,   v o l.   3 0 ,   n o .   2 ,   p p .   2 2 8 2 4 2 ,   F e b .   2 0 0 8 .   [1 7 ]   P .   Oc h s,  J.  M a li k ,   a n d   T .   Bro x ,   S e g m e n tatio n   o f   M o v in g   Ob jec ts  b y   L o n g   T e r m   V id e o   An a ly sis,”   IEE T ra n s.   Pa tt e rn   A n a l.   M a c h .   In tell ., v o l .   3 6 ,   n o .   6 ,   p p .   1 1 8 7 1 2 0 0 ,   Ju n .   2 0 1 4 .   [1 8 ]   L e e ,   Jo n g w o n ,   H y u n ju   L e e ,   Do n g g y u n   Yu ,   a n d   Ho e k y u n g   Ju n g ,   " Bo d y   in f o r m a ti o n   a n a l y sis   b a se d   p e rso n a e x e r c ise   m a n a g e m e n s y ste m . "   In ter n a ti o n a J o u rn a o f   El e c trica a n d   Co m p u ter   E n g i n e e rin g   ( IJ ECE )   8 ,   n o .   1 ,   2 0 1 8 .   [1 9 ]   Z a k a ri a   B o u lo u a rd ,   Ami n e   El   Ha d d a d i,   e a l,   Ba t - Clu ste r:   A   Ba A lg o rit h m - Ba se d   A u to m a ted   G ra p h   Clu ste ri n g   A p p ro a c h ,   In ter n a ti o n a J o u rn a l   o El e c trica l   a n d   C o mp u ter   En g i n e e rin g   ( IJ ECE )   8 ,   n o .   1 ,   2 0 1 8 .   [2 0 ]   M a d h u   Ch a n d ra ,   F ra m e wo rk   f o Co n tex t u a Ou tl ier  Id e n ti f ica ti o n   u sin g   M u lt iv a riate   A n a l y sis  a p p ro a c h   a n d   Un su p e rv ise d   L e a rn in g ,   In ter n a t io n a J o u rn a o El e c trica a n d   C o mp u ter   E n g in e e rin g   ( IJ ECE )   8 ,   n o .   1 ,   2 0 1 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.