I n t ern a t i o n a l   J o u rn a l   o f   A d v a n ces   i n   A p p l i ed   S ci en ces   ( I J A A S )   V o l .   7 ,   N o .   3 ,   S ep t em b er   201 8 ,   p p.   2 20~ 2 25   I S S N 225 2 - 88 14 ,   D O I 10. 115 91 /ij a a s . v7 . i 3 . p p22 0 - 2 25             2 20       Jo u r n al   h om e pa ge h t t p : / / i a e s co r e . c o m/ o n l i n e / i n d e x . p h p / I J A A S   D e pt h E s t i ma t i on f ro D e f oc us ed I ma ges :  a   Sur ve y       J y o t i   B.   K u l k a r n i 1 ,   C .   M.   S h e e l a   R an i 2 ,     1 D e pa rt m e nt  o Com put e r S c i e n c e   a nd  E ngi ne e ri ng,  K .  L .  U ni v e r s i t y ,  V a dd e s w a r a m  (A .  P . ) ,  Ind i a     2 D e pa rt m e nt  o Com put e r S c i e n c e   a nd  E ngi ne e ri ng,  K .  L .  U ni v e r s i t y ,  V a dd e s w a r a m  (A .  P . ) ,  Ind i a       A rt i cl I n f o     A B S T RA C T   Ar t i c l e   h i s t o r y :   R ecei v ed   Ju n   1 ,   201 7   Re v i s e d   F e 5 ,   2 0 1 8   A ccep t e d   Ma y   11 ,   2 01 8       A n  i m p o r t a n t   s t e p  i n   3 D   d a t a  g e n e r a t i o n  i s  t h e   ge ne r a t i o n of  de pt h   m ap .  D ep t h   m ap  i s  a b l ack  an d   w h i t e i m a g e w h i ch  h as   ex act l y  t h s a m e   s i z e   o f   t h e   o r i g i n a l   c a p t u r e d   2 D   i m a g e   t h a t   i n d i c a t e s   t h e   r e l a t i v e   di s t a nc e  of   e a c h pi xe l   f r om   t he   o bs e r ve r  t t he  ob je c t s  i t he  r e a l   w o rl d .  T h i s   p a p e p re s e n t s  a  s u r ve y  o f  D e pt h P e r c e pt i on  f r om   D e f oc us e or   b l ur s   i m a ge s   a s   we l l   a s   im a ge   f r om   m ot i on.   T he   c ha nge   o f   d i s t an ce  o f  t h o b j ect  f r o m  t h e cam er a h a s  d i r ect   r el at i o n   w i t h  t h e   a m ount   of  bl u r r i n of   o b je c t  i n t he  i m a ge .  T he  a m ou nt  of   bl u r r i n g   w i l l  b e  c a l c u l a t e d  w i t h   a c o m p ar i s o n  i n   f r o n t   o f  t h e cam er a d i r ect l y   a nd  c a n  be  s e e w i t h t he  c ha nge s  a t  g r a y  l e ve l  a r o un d t he  e d ge s   of   o b j ect s .   Ke y wo r d :   A r t i f i c i a l   I n t e l l i g e n c e   Cl a s s i f i c a t i o n   Cl u s t e r i n g   D a t a   M i n i n g   I n t r u s i o n   D e t e c t i o n   S y s t e m     S of t   C om put i n g     Copy r i ght  ©   201 8   Ins t i t ut e  o f   A d v anc e d  E ngi n e e r i ng and S c i e nc e   A l l  ri g h t s re se rv e d .   C or r e s po n di n A u t h or :   J y o t i   B.   K u l k a r n i     D e pa r t m e nt   Of   C om put e r   S c i e nc e   a nd   E ngi ne e r i ng ,   K .  L .   U n i v e r s i t y ,   V a d d e s w a ra m   (A.   P . ),   I n d i a .   E m a i l :   m a i l j y o t i k u l k a r n i @ g m a i l . c o m       1.   I N T R O D U C T I O N     T h er e  ar e m an y  ev o l u t i o n s ,  f r o m  b l ack - an d - w h i t e  T e l e v i s i o n  t o  c o l o r e d   T e l e v i s i o n ,  a n d   H i g h - D e f i ni t i on T e l e vi s i o n i s  no w  t he   m os t  pop ul a r  T e l e vi s i o n i n t he  m a r ke t ,   f r o m  t h e  b i r t h  o f  t e l e v i s i o n .  T h e   de ve l opm e nt   o f   3D  T e l e vi s i o s y s t e m   ha s   g r a b be m or e   a nd   m or e   a t t e nt i on   a f t e r   t ha t .   D ep t h  es t i m at i o n   o r  e x t r act i o n  i s  a  m eas u r e o f  t h e d i s t a n c e o f ,  i d eal l y ,  each  p o i n t  o f  t h e s een  s cen e   t o   t h e   S t e r e o  V i s i o n  r e s e a r c h  f i e l d .  I n a bs e nc e   of  t he  i n f or m a t i on f or  a bs ol ut e   de pt m e a s ur e m e nt s  s uc h a s   m oti on,   de f oc u s ,  bi n oc ul a r   di s pa r i t y ,  t he  a b s ol ut e  di s t a nc e   be t w e e n t he   ob s e r ve r  o r  c a m e r a  a n d t he   ob je c t s  i t he  s c e ne  o r  im a ge  c a nnot  be   m e a s ur e d .  T he  de pt e s t im a ti on i s  ve r y  i m por t an t  as p ect  i n  v ar i o u s   ap p l i cat i o n s .  S o ,   w h e n  t h d i s t an ce o f  t h ca m er as  an d  s o m e ca m er a p ar am et er s  w h e n  ch a n g ed ,  t h e n  t h e   d ep t h  es t i m at i o n  i s  u s e f u l  t o  cal cu l at e ex act  d i s t an ce o f  ca m er a f r o m  i m ag e   i n bot h t he  c a s e s  a s  di s c us s e d   i n [ 8] .  T he  i n f or m a t i on o f   s h a di n g,  e d ge s  a nd  j u nc t i ons  m a y  pr ovi de   3 - D  m ode l  but  i t   w i l l  not   gi ve  t he  e xa c s cal o f   t h s p a ce.   T he r e  a r e  m a ny  w a y s  t o r e t r i e ve  3 D  i n f o r m a t i on.  T he  m os t  c om m on a nd s t r a i ght f o r wa r d m e t hod i s   t o  u s e “act i v d ev i ce” i . e .  act i v e cam er as ,  w h i ch  ca n  ca p t u r e  t he   or i gi na l   im a ge  of  t he  s c e ne  a nd  de t e c t  t he   d ep t h  o f  eac h  o f   p i x el s   o f  t h e s cen e s i m u l t an eo u s l y .  T h ex am p l es  ar e i n f r ar e d  cam er as ,  s o n ar  cam er as ,  et c.   H o we ve r ,   m os t   o f   t he   a c t i ve   de vi c e s   ne e a d di t i ona l   s e ns or   t obt a i d e pt h   i nf o r m a ti on,   s t he y   a r g en e r al l y   m o r e ex p e n s i v e co m p ar ed  t o   co m m o n  ca m e r as .   W h er eas ,  s i n ce t h ey   h av e  s p eci f i d es i g n ed  s en s o r s ,  m o s t   o f   t h e t i m es  t h d et ect ed   d e p t h  m ap s  ar e m o r e acc u r at e.  I n  ad d i t i o n  t o  a ct i v e d e v i ce,   w e ca n  al s o   u s e t h “p as s i v d ev i c e”,  w h i c h  r e q u i r es  s o m pos t  pr oc e s s i n g a f t e r  t he  a c q ui s i t i on  of  t he  s c e n e  of  i nt e r e s t ,  s uc h a s   bi n oc ul a r  c a m e r a s  a n d c om m on c a m e r a s   a r e  w i t h f oc us  t uni n g f unc t i ona l i t y .  C om pa r e d t o a c t i ve   de vi c e s ,   p as s i v d e v i ces  ar e m u ch  ch eap er ,  an d  w i t h o u t  t h e l i m i t a t i o n  o f  s en s o r   en er g y  i s s u e b ecau s o f   t h e act i v e   de vi c e s ,   pa s s i v e   de vi c e s   c a g e ne r a t e   a   hi ghe r   r e s ol ut i on   o f   de pt m a p.   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       D e pt E s t i m at i on   f r o D e f oc us e I m age s :   a   S ur v e y   ( J y o t i   B .   Ku l k a r n i )   2 21   I n  t h e ar ea  o f   p as s i v e m et h o d s ,  s i n g l e c o m m o n  ca m er a i s  t h e m o s t  p r ef e r r e d  cam er a s i n ce i t  can  b e   a c qui r e f r om  ge ne r a l  m a r ke t s  a n d i t  i s  e a s y  t o us e  f or  m os t  o f  t h e p e o p l e.  H o w e v er ,  t h l ack  o f  i n f o r m at i o n   f r om  a ddi t i ona l  s e ns o r s  l i ke  t he  a c t i ve  de v i c e s  or  di f f e r e nt  a n gl e s  of   v i e w  f r om  a ddi t i ona l  c a m e r a ,  t he   bi n oc ul a r  c a m e r a s  m a ke  t he   c a l c ul a t i on  of   de pt h m a p f r o m  a  s i ngl e  im a ge   ve r y   di f f i c u l t .  T o c om pe ns a t e  t hi d ef ect ,  a s e r i es  o f  i m ag es  o f   a s cen e ca n  b e  cap t u r ed   o n  d i f f er e n t  f o cu s   p l an es  t o  g at h er  m o r e i n f o r m at i o n   t ha jus t   a   s i n g l e   im a ge   a l one .   T he   r e s ul t   i t he   p r e vi ou s   w or ks   t u r ns   o ut   t be   be t t e r   t ha j us t   a   s i ngl e   i m a ge   al o n a n d   m an y   al g o r i t h m s   ar ev e n   s u i t a b l e   f o r   f u t u r e   h a r d w a r e   i m p l e m e n t a t i o n   f o r   r e a l   t i m e   a p p l i c a t i o n .   A l s o,   D e pt p e r c e pt i o n f r om  s t e r e vi s i on  i s  ba s e o n t h e  t r i a ng ul a t i on  pr i nc i pl e  [ 9] .  W e  c a us e   t wo c a m e r a s  w i t pr oje c t i ve  opt i c s  a n d a r r a nge  t he m  s i de  by  s i de ,  s uc h  t ha t  t he i r   vi e w   f i e l d s  o v e r l a p  a t  t h e   d es i r e d  o b j ect  d i s t an ce.  B y  t ak i n g  a p i ct u r w i t h  each  cam er a,  w e ca n  ca p t u r e t h e s ce n e f r o m   t w o  d i f f er e n t   vi e w poi nt s .   T h e   a b ove   s c ope   c on s i de r s   f oc u s e i m a ge s .   D e pt f r om   De f o c us   i s   t he   c ha l l e nge   i pe r c e pt i on  o f   accu r at d ep t h  as  a l l  t h e o b j ect s  i n  t h e s c en e ar n o t  f o cu s e d  al w ay s   [ 1 0 ] .  T h e cam er a p o s i t i o n s ,   l i g h t   i nt e ns i t y  a n f oc a l  l e n gt hs  o f  c a m e r a  m a y  va r y   w hi c h y i e l d i n  bl ur  i m a ge s .   S o,  i n t hi s   pa pe r ,  s u r v e y  on   D e pt f r om   D e f oc us   i s   d o ne   f r om   t he   a b o ve   m oti va t i on.   T h e r em ai n i n g  pa r t  of  t hi s  pa pe r  i s  a r r a n ge d  a s  f ol l ow s :   S e ct i o n  I I   d es cr i b es  s o m e l i t er at u r e s u r v ey   t ha t  ha s  d on e  i n t he  f i e l d of   de pt h f r om  im a ge s .  S e c t i on  I I I  p r e s e nt s  s om e  e xpe r i m e nt a l  r e s ul t s  of  t h e   l i t e r a t u r e .   S e c t i o n   I V   g i v e s   t h e   c o n c l u s i o n .         2.   LI TER A TU R S U R V E Y     I a   na t ur a l   i m a ge ,   o b je c t s   o n   t he   f oc us   pl a n e   a r e   s ha r pe r   t ha t h os e   out   of   f oc us   d ue   t o   t he   de pt of   t he  o bje c t s .  T h os e  w o r ks   or  a l go r i t hm s  t ha t   a na l y z e  t he  s h a r p ne s s   or   bl u r  of  a n o b je c t  a s  t he i r  i nf o r m a t i on o f   d ep t h   a r cat eg o r i ze d   as   D e p t h   F r o m   F oc us i ng”   o r  “ D e pt F r om   De f oc us i ng”   a l g or i t hm s .   E i t he r  “ D e pt F r om  F oc u s i n g  or  “ De pt h F r om  De f oc u s i n g”  a l g or i t hm  ne e ds  f oc us  m e a s ur e   w hi c h   f i n ds  o ut  t he   s ha r p ne s s   of   a n o b je c t  t de t e r m i ne  i t s   de pt h.  T he r e   a r e  pl e nt y  of   w a y s  t o m e a s ur e  t he   s h ar p n es s ,   ei t h e r   i s pa t i a l   do m a i or   f r e q ue nc y   dom a i n.   A l l   of   t he m   a r e   jus t   di f f e r e nt   a s pe c t s   of   s om e   s or t   o f   h i g h   p a s s   f i l t e r s   i n   d i f f e r e n t   p o i n t   o f   v i e w .     T a y e be h R a ja bz a de h,   A be di n V a he di a n,  i n  t he i r  pa pe r   [ 1 ] ,  w e r e  i nt r o du c e d a  ne w m e tho w hi c h   u s e d  s i m i l ar  ch ar ac t e r i s t i c s   o f  de f oc us  bl ur .  I t  w a s   f ou n out  i n pa pe r  [ 1 ]  t ha t  t he  c ha n ge  i o bje c t   di s t a nc e   f r om  t he  c a m e r a  ha s  di r e c t  r e l a t i on w i t h  t he  a m ount  o f   de f oc u s  bl ur  i n t h e  im a ge .  T he  p r o p os e d  m e t hod [ 1 ]   c om pa r e d t o c on ve nt i ona l   de f oc us  a n d ot he r  m e t hods ,  w a s  s h o w n t o be   a  bl i nd m e t hod.  i . e .  n o f oc u s  s t a te   ob je c t  i m a ge  i s  r e qui r e d.  A n ot he r  a d va nt a g e  of  t hi s  m e t hod  [ 1]  i s  t ha t  i t  i s  i nde pe n de nt   f r om  t he  3 - D   at t r i b u t es   o f   o b j ect s   o r   t h s ce n e.   T h e   co m p l ex i t y   i s   al s o   l es s   co m p ar ed   t o   s i m i l ar   m et h o d s . .   T he  a ut ho r s  C a s s a n dr a  S w a i n,  a l a n P e t e r s ,  a nd  ka z u hi k o  ka wa m ur a ,  i n  pa pe r  [ 2] ,  im pr o ve d t h e   a c c ur a c y   of   de pt f r om  de f oc us   us i n g F uz z y  L o gi c  T e c h ni que .  F uz z y  L o gi c  i n [ 1]  i s  c o m bi ne d wi t h a   de pt h   f r om   De f oc us   t e c hni que   t c o r r e c t   f o r   unc e r t a i nt y   a nd   i m pr e c i s i on  i de pt h   e s t i m a t i o n .   C as s an d r a  S w ai n ,   A l an   P et er s ,  an d   K a z uh iko   K a w a m ur a  [ 2]  ha ve  g i ve n   t w i n p u t s   t o f uz z y   a l go r i t hm   a r e   f oc u s   qua l i t y   a nd  f oc a l   e r r o r .   F oc u s   qua l i t y   i s   a   m e a s ur e   of   t he   a m ount   of   d e f oc us   i t he   i m a ge .   E x p e r i m e n t a l   r e s u l t s  i n  [ 2 ]  s h o w  t h a t  f u z z y  l ogi c  s i gni f i c a nt l y  im pr o ve s  de pt h e s t i m a t i on c om pa r e d t no n f uz z y   de pt f r om   de f oc us .   J unl a Ya n g,   D a n  S c on f e l d,  i n [ 3] ,   pr e s e n t e d a   no ve l  m e t ho d f o r   vi r t u a l  f oc us  a n d o bje c t   de pt h   e s t im a ti on  f r o m   de f oc us e v i de c a pt u r e by   a   m ovi ng  c a m e r a .   T he y   u s e t he   t e r m   vi r t ua l   f oc us   t r e f e r   t a   ne w  a p pr oa c i n [ 3]  f or   pr o d uc i n g i n - f oc us  im a ge  s e q ue n c e s  by   pr oc e s s i ng  bl u r r e vi d e os  c a pt u r e d  b y  out - of - f oc us  c a m e r a s .  T he  m e t hod us e d i n pa pe r  [ 3]  r e l i e s  on  t he  c onc e pt  o f  De pt h - fro m - D e fo c u s  ( DF D ) .  T h e   a ut h or s   e x pl o r e s e ve r a l   bl u r   m ode l s   w hi c h c a be   us e t o   r e c o ve r   a r bi t r a r y   t r a n s f e r   f u n c t i ons .   S a n gji K i m ,   E u ns u n g L e e ,   M ons o n H .   H a y e s s  r e s e a r c wo r k  [ 4]  us e s   a  n ove l  a p pr oa c h t de pt e s t i m a t i o n   u s i n g  a  m u l t i p l e   c o l o r - f i l t e r  a p e r t u r e  ( M CA )  c a m e r a  a n d  i t s  a p p l i c a t i o n   t o  m u l t i f o c u s i n g .   A n   i m ag e acq u i r e d  b y  t h e M C A  cam er i n  [ 4 ]   c o n t a i n s  s p a t i a l l y   va r y i ng m i s a l i gnm e nt  a m ong R G B  c ol or   ch an n el s ,   w h er e t h d i r ect i o n  an d  l en g t h   o f   t h e m i s al i g n m en t  i s  a f u n ct i o n   o f  t h d i s t an ce o f  an  o b j ect  f r o m   t he  pl a ne   of   f oc us .  T he r e f o r e ,  i f  t he  m i s a l i gnm e nt  i s  e s t im a t e d f r o m   t he  M C A   out put  i m a ge   i n [ 4] ,   m ult i f oc us i n g   a nd   de pt h   e s t i m a t i on  be c om e   p os s i bl e   us i ng   a   s e t   of   i m a ge   pr oc e s s i ng   a l g or i t hm s .     T he   M C A  c a m e r a   i [ 4]   w i t pr op os e i m a ge   pr oc e s s i n g a l go r i t hm s   e na bl e s   a ut om a t i c ,   c om put a t i ona l l y  e f f i c i e nt  m ult i f oc us i ng  us i n g a  t h r e e - s t e pr oc e s s  t ha t  i n vol ve s :  ( i )  i m a ge  s e gm e nt a t i on f or   c l a s s i f y i n g  c l u s t e r s ,  ( i i )  c o l o r  s h i f t  m o d e l b a s e d  r e g i s t r a t i o n  a n d  f u s i o n ,  a n d  ( i i i )  i m a g e  r e s t o r a t i o n .  M o r e   s p eci f i cal l y ,  an  i m ag e acq u i r e d  b y  t h e M C A  ca m er a i s  f i r s t  s eg m en t ed  i n t o  m u l t i p l e cl u s t er s ,  each   o f   w h i ch   ha s  t he   uni f o r m  c ol o r ,  a nd t he n t he  c o r r e s po n di n g r e c t a n gul a r  r e gi o n i s  ge ne r a t e d t ha t  e nc l os e s  e a c c l us t e r .   T h e M C A  ca m er s i gni f i c a nt l y  e nha nc e  t he   vi s ua l   qua l i t y  of  a n  i m a ge  c ont a i ni ng  m ul ti pl e  ob je c t s  o f   di f f e r e nt  di s t a nc e s  [ 4] .  I n t h e  pa pe r  [ 5]  by  W i de d M i l e d,  J e a n - C hr i s t o p h e P es q u et  an d  M i ch el  P ar e n t ,  t h ey   pr e s e nt e d  a   ne w  m e t hod  f o r   a dd r e s s i ng  r ob us t  de pt h  e s t i m a t i on  f r om  a  s te r e pa i r  u n de r  va r y i n g i l l um ina t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN :   2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   3 ,   S e p t em b er   201 8   220     2 25   2 22   c o n d i t i o n s .  F i r s t ,  a  s p a t i a l l y   v a r y i n g  m u l t i p l i c a t i v e   m o d e l  i s  d e v e l o p e d   i n  [ 5 ] ,  t o  a c c o u n t  f o r   b r i g h t n e s s   ch a n ge s   i n d uc e be t we e l e f t   a nd  r i ght   vi e w s .   T he   de pt e s t im a t i on  pr o bl e m ,   ba s e o t hi s   m ode l   [ 5] ,   i s   t he f o r m ul a t e d a s  a  c ons t r a i ne d  opt i m i z a ti on  pr o bl e m   i n w hi c h a n a p p r o pr i a t e  c o n ve ob je c t i ve   f u nc t i on i s   m i nim i z e u n d e r   va r i o us   c o n ve x   c o ns t r a i nt s   m ode l i ng  pr i o r   kn ow l e d ge   a nd   o bs e r ve i n f o r m a ti on.   T h e  r e s u l t i n g   m u l t i c o n s t r a i n e d  o p t i m i z a t i o n  p r o b l e m  i n  [ 5 ]  i s  f i n a l l y  s o l v e d  v i a  a   p a r a l l e l  b l o c k   i t e r a t i v e  a l g o r i t h m  w h i c h  o f f e r s  g r e a t  f l e x i b i l i t y  i n  t h e  i n c o r p o r a t i o n  o f  s e v e r a l  c o n s t r a i n t s .  E x p e r i m e n t a l   re s ul t s  o bot h s y nt h e t i c  a n d r e a l  s t e r e pa i r s  [ 5]  de m ons t r a t e  t he  g oo pe r f o r m a nc e  of   ou r  m e tho d t o   e f f i c i e nt l y  r e c ove r  de pt h a n d i l l um i na t i on  va r i a t i on  f i e l ds ,  s i m ul t a ne o us l y .  T he  a ut h or s  i pa pe r  [ 5]  ha ve   pr o pos e d a  c o nve pr o gr a m m i ng a p p r oa c h f o r  t he  p r o b l e m  o f  d i s p a r i t y  e s t i m a t i o n  i n  t h e  p r e s e n c e   o f   i l l u m i na t i on va r i a t i ons . I n a   pa pe r  by  C .  P a r a m a na nd  a n A .  N .  R a ja g o pa l a [ 6] ,  t he   ob j e c t i ve  w a s  t r e c ove r   t h e   3 - D   s t r uc t u r e   of   a   s c e ne   f r om   m oti on  bl u r / o pt i c a l   de f oc us .   I t he   pr o p os e a p pr oa c [ 6] ,   t he   di ffe re n c e   o f   bl u r  be t w e e n  t wo  o bs e r va t i o ns  i s   us e d a s   a  c ue   f o r  r e c o ve r i ng  de pt h,   w i t hi n a   r e c ur s i ve  s t a t e  e s t i m a t i on   fra m e wo r k .   F or  m ot i on bl ur  i n [ 6] ,  t he  a ut h or s  us e d  a un bl u r r e d  ( f oc u s e d ) bl u r r e d i m a ge  pa i r .  S i nc e  t he   r e l a t i ons hi be t w e e n t he  o bs e r va t i o n a nd t he  s c a l e  f a c t or  of  t he  p oi nt  s pr e a d f u nc t i o n  a s s oc i a t e w i t h t he   de pt a t   a   poi n t   i s   no nl i ne a r ,   t he y   p r o p os e a nd   de ve l o pe a   f o r m ul a t i on  o f   u ns c e nt e Ka l m a f i l t e r   f or   d e pt e s t i m a t i o n .   D e pt h e s t i m a t ion  f r om  a  s i ng l e  im a ge  i s  a  c ha l l e ngi ng  p r o bl e m   i n c o m pu t e r  vi s i o r e s e a r c [ 7] .  B y   a na l y z i ng t he  de f oc u s  c ue s  pr od uc e d by  t he  de pt h o f  f i e l d of  l e ns ,  t he  i nf or m a t ion  of   de pt h c a n b e   d et er m i n ed .   P a t ri c k  P .   K .  C h a n ,  B i n g - Z hon J ing ,  W i n g W .   Y.  N g,  D a n ie S .  Y e un i n t he i r   w ok  [ 7 ]   e m p l o y ed   r ev e r s h eat   e q u a t i o n ,   w h i c h   i s   s i m p l e   a n d   e f f e c t i v e ,   f o r   t h i s   a n a l y s i s .   B e c a us e  t he  d e pt h m a p i s  r e qui r e d t be  s m oot h i n m a ny  a ppl i c a t i on s ,  a  m e a n s hi f t   s e gm e nt a t i on   a nd  g r a p h c ut   ba s e d m e t hod  i s  pr o pos e d i [ 7]  t o i nf e r  t h e  de pt h m a p o f   t he  s c e n e .  T he  c o nf i de nc e   o f   d e pt e s t im a ti on i s  i nc o r po r a t e d i n t o t he  e ne r gy   f u nc t i o of   g r a ph  c ut  t pr e s e r ve  de t a i l s   o f  t he   de pt h  m a p [ 7] .   E x pe r i m e nt a l  r e s ul t s  [ 7]  s ho w  t ha t  t he   pr o pos e d m e t hod  c a n p r o d uc e  a   go o d de pt h m a p e ve n f r om  a   s i ngl e   i m ag e.       3.   E X P ER I M EN TA R ES U L TS   O F   L I T ER A TU R E   S U R VE Y   T h e au t h o r s  i n  p ap er   [ 3 ]  t es t  P T F  es t i m at i o n   w i t h  a s eq u en ce  A L ARM   a s  s how n i F ig ur e   1 ;  ( a s h o w s  t h e  fi rs t  fra m e   a nd   (b )   s h o w s   t h e  b l u rre d  fi rs t   f r am e as  a  r es u l t  o f  a   s y n t h e t i c  O T F   c o n s i s t i n g  o f   a   G au s s i an   MT F  a nd  a n  a r b itr a r y P T F .   F igur e  1   ( c)  s h o w s  t h r ec o n s t r u ct i o n   r e s u l t  u s i n g  Re s t o r a t i o n   f r o m   Ma g n itud e  ( R F M) .   I t  i s  a   t e c hni que   [3 ]   ba s e d o n p r o je c t i on  ont o c o nve x s e t  ( P O C S ) ,   w h i l e  t h e   t wo c on ve x   s et s   ar t h e   s et   o f   s p ace - l i m i t e d   f u n c t i o n s   a n d   t h e   s e t   o f   a l l   f u n c t i o n s   t h a t   h a v e   a   F o u r i e r   t r a n s f o r m   m a g n i t u d e   eq u al   t o a   pr e s c r i be d f u nc t i on .  F i gu r e   ( d )  s ho w s  t he  r e c o ns t r uc t i o n r e s ul t   us ing on ly p r op o s e d  O T F   m a g n i t u d e   e s t i m a t i o n   [ 3 an d   P T F   i s   c o n s i d er ed   t o   b zer o .   F igu r e   (e s h o w s   t h e   re c o n s t ru c t i o n   re s u l t   u s ing  bot h p r op os e d  OT F  m a gni t u d e es t i m a t i o n  an d   p h as e es t i m at i o n  [ 3 ] .   I t  can  b s een   t h at  t h e r es t o r at i o n   i nc l udi ng  P T F   e s t im a ti on  pe r f or m s  be t t e r  t ha n t he  r e s t or a t i o w i t ho ut   p ha s e  a n r e s t o r a t i on  u s i n g R F M  [ 3] .   Fi g ure   2 s how s  t he  t w d i ffe r e nt  s i ngl e - a p e rt ure  m ode l s .           Fi gure   1 Com pa ri s on of fo c us e i m a ge  re c ons t ru c t i on  m e t hods  fo r vi de o  A L A RM :   [3]     (a )  ori g i na l  i m a ge ;   (b) bl urre d  i m a g e ,  ( c foc us e i m a ge  r e c ons t ru c t i on us i ng re s t or a t i on from  m a gni t ude  (RF M ),   (d) foc us e d  i m a g e  re c ons t ruc t i on  us i ng bl ur   fun c t i on m a gni t ude  e s t i m a t i o n,   (e ) fo c us e d i m a g e  re c ons t ruc t i on  us i ng bl ur fun c t i on m a gni t ude  a n pha s e  e s t i m a t i on  [3]       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       D e pt E s t i m at i on   f r o D e f oc us e I m age s :   a   S ur v e y   ( J y o t i   B .   Ku l k a r n i )   2 23         (a )   (b)     Fi g ure   2.  T w o d i ffe re nt  s i ngl e - a p e rt ure  m ode l s  [4 ] .  (a ) A pe r t ure  i s  a l i gne d  on  th e  o p tic a a x is  o f  th e  c a m e r a   (b)  A pe r t ure   i s  s hi ft e d  a w a y   f rom  t he  opt i c a l   a xi s ,  w hi c h  produ c e s  va r i ous  c onv e rge nc e  pos i t i on s  a c c ord i ng   t o t h e  di s t a nc e  o f a n ob j e c t       A s  s ho w n i F i g ur e   3   ( b ) ,  t h e   s i n g l e - e y e  r a n ge  m e t ho d m os t l y  f a i l e d t o e s t im a t e   de pt of  t he   d ef o c u s ed  s ce n ba c k g r o u nd  i [ 4] .   O n t h e  ot he r   ha nd ,  t h e  p r o p os e d  de pt h e s t im a t i on m e t hod  [ 4]  p r od uc e s   t h e   b e s t   r e s u l t   a s   s h o w n   i n   F i g ur e   3   ( c ).             (a )   (b)   (c )     Fi g ure   3.  Com pa ri s on of de p t e s t i m a t i on  of t h re e  di ffe r e nt  a l gor i t hm s   [4] .   (a ) Inpu t  i m a g e ac q u i r ed  b y  t h e  M C A  cam e r a   (b) Re s ul t  of d e p t h e s t i m a t i on   us i ng t he  s i ngl e - e ye  ra ng e  m e t hod   (c ) Re s ul t  of  t he   prop os e d de pt h   e s t i m a t i on  a l gor i t hm           Fi g ure   4.  Re s ul t s  on t h e  S hrub s t e re o pa i r.  E s t i m a t e d di s pa r i t y  m a p  us i ng [5]  (a )   S D  w i t h a f fi ne  i l l um i na t i on.  (b)  N orm a l i z e c ros s  c orre l a t i on .   (c )  G C w i t i s t ogra m  t ra n s form .  (d)  M RF  w i t h ra nk   t ra ns form .  (e )  S G M   a l gori t hm .  ( f)  P ropos e d m e t hod     F r o m  F i g u r e   4 ,  i t  i s  n o t i c e d  t h a t  l o c a l   m e t h o d s  g i v e  n o i s y  r e s u l t s  a n d  a r e   v e r y  s e n s i t i v e  t o   i l l u m i n a t i o c h a nge s   [ 5] ,   w hi l e   t he   S G M   a l g or i t hm   a nd  t he   pr o pos e m e t h od  i [ 5]   a l l ow   obt a i ni n a   s m oot d i s p a r i t y   m a p  w i t h  s h a r p  d e p t h  d i s c o n t i n u i t i e s .  Bo t h  G a n d  M RF  a l g o r i t h m s  c o m b i n e d  w i t h  a   h i s t o g r a m   a nd r a n k t r a ns f or m ,  r e s pe c t i v e l y  i n [ 5] ,  a l s o s ho w  g oo d pe r f or m a nc e  f o r  t hi s  s t e r e o pa i r ,  due  t o t he   pr e s e nc e   of   l a r ge   h om og e ne o us   r e gi o ns .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN :   2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   3 ,   S e p t em b er   201 8   220     2 25   2 24   I n  F i g ur e   5,  t h e  p r o p os e d m e t ho [ 6]   ha s  t he  a d di t i ona l  a dva nt a ge  t ha t  i t  c a be  a p pl i e d t D F D   w i t ho ut  c o ns t r a i ni ng t he  P S F  t o be   Ga us s i a n.  B y  e n f o r c i n g s pa r s i t y  c o ns t r a i nt  [ 6] ,   t he  a ut h or s  a l s o a dd r e s s e t he   p r obl e m   of   de pt e s t i m a ti on  whe a o bs e r va t i o u nde r goe s   s i m ul t a ne ous   m ot i on  a n opt i c a l   bl ur .           F ig ur e   5 .   ( a )   R ef er e n ce  i m ag e   (b )   S i m ul t a ne ous l y   bl u r r e o bs e r va t i o n   ( c )   K now op t i c a l   b l u r   ( d )   E s t i m a t e d   m oti on  ke r ne l   (e E s t i m a t e d   d e p t h   by   pr o pos e m e t hod  [ 6]             ( a)   ( b)   ( c)     F i gure   6 (a )   T h e  i m a ge s  of  M i dd l e bur y  S t e re o  D a t a s e t s ;  (b)  T he  gr ound t rut h  de pt h  m a p;  ( c ) T h e  d e pt h m a e s t i m a t e d  b y   propos e d m e t ho d [7]       T he  e x pe r i m e n t a l  r e s ul t s  i n t he  pa pe r   [ 7]  i F igu r e   6  s h o w  t h a t  t h i s  d e p t h  e s t i m a t i o n  t e c h n i q u e  i s   r e l i a bl e .  I n t hi s  pa pe r  [ 7] ,  a u t ho r s  i l l us t r a t e  pa s s i ve  de pt h  e s t im a t i on  m e t ho d t o e xt r a c t  de pt h m a p f r om  a   s i ngl e  i m a ge  c a pt u r e d i n a  na r r ow  de pt of   f i e l d s e t t i ng.   T hi s  m e t ho d [ 7]  e m pl oy s  r e ve r s e  he a t  e q ua t i o n f or   p re - p r oc e s s  a n us e  t he   p r o p os e d hi e r a r c hy  m e a n s hi f t  s e g m e nt a t i on a n gr a p h c ut   wi t a  c o nf i de nc e  t o i n f e r   t he   de pt h   m a p.   F r om  a bo ve  l i t e r a t ur e  s u r ve y ,  i t  ha s  be e ob s e r ve d t ha t  t he  de f oc u s e or   bl u r  im a ge  a nd  t he  De p t h   e s t i m a t e d  f r o m  i t ,  i s  a  b i g   c h a l l e n g e .  B u t  i f   f o c a l   l e n g t h ,  f o c a l  e r r o r   o f  t h e  l e n s  i s   kn o w n  a n d t he  i nt e ns i t y  of   l i ght  i s  a l s k no w n,  t he by  va r i ous  a p pr o a c he s ,   de pt m a p c a be  e s t im a t e d t o r e c ons t r uc t   3 D  vi e w f r om   t h a t .       4.   C O N CL U S I O N     F oc us   qu a l i t y   is   a   m e a s ur e   of   t he   a m ount   of   de f oc us   i n   t he   i m a ge .   De pt h   f r om   De f oc us   o r   De pt f r om   M o t i o n   Bl u r   i s   a  c h a l l e n g e .       R EF ER E N C ES   [1]   T a y eb eh  R aj ab z ad eh , A b ed i n  V ah ed i an , “ S t at i c  O b j ect  D ep t h   E s t i m at i o n  U s i n g  D ef o cu s  B l u r   L ev e l s  F eat u r es , ”  978 - 1 - 4244 - 3709 - 2/ 2010,   IE E E   e xpl ore r .     [2]   Ca s s a ndra  S w a i n,  a l a n  P e t e rs ,   a nd ka z uhi ko  k a w a m ura ,  “ D e pt h E s t i m a t i on fr om  Im a ge  D e fo c us  us i ng F uz z y   L ogi c ,  0 - 7803 - 1896 - X / 94,  199 4,   I EE E.   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       D e pt E s t i m at i on   f r o D e f oc us e I m age s :   a   S ur v e y   ( J y o t i   B .   Ku l k a r n i )   2 25   [3]   J unl a n Y a ng,  D a n S c onfe l d,  “ V i rt ua l  F oc us  a nd de pt h  E s t i m a t i on  from  D e foc ue s  V i de o  s e que nc e s ,    105 7 - 7149/ 2010,   IE E E .   [4]   S a ngj i n K i m ,  E uns ung L e e ,  M o ns on H .  H a y e s   M ul t i foc us i ng a nd D e pt h E s t i m a t i on U s i ng a  Col orS hi ft  M ode l - Ba s e d Com put a t i ona l  Ca m e ra ,   I E E E   T r ans ac t i o ns   o Im age  P r oc e s s i ng , V O L . 2 1 , N O . 9 , S E P T E M B E R  2 0 1 2 .   [5]   W i d ed   M i l ed , J ean - Chri s t ophe  P e s que t   a nd  M i c he l  P a r e nt ,  “ A  Conve x O pt i m i z a t i o n A pproa c h for D e pt h   E s t i m a t i on U nd e r Il l um i na t i on  V a ri a t i on” ,   I E E E   T r ans ac t i ons   o n Im age  P r oc e s s i ng V O L . 1 8 , N O .  4   A P RIL  2009.   [6]   C.  P a ra m a na nd  a nd A .  N .  Ra j a gopa l a n ,  S e ni or  M e m be r,  IE E E ,  “ D e pt h F rom   M ot i on a nd O pt ic a l B lu r  W ith   a n   U n s cen t ed  K al m an  F i l t er I E E E   T r ans ac t i ons   o n Im age   P r oc e s s i ng ,  VOL .  2 1 ,  NO.  5 ,  MAY 2 0 1 2 .   [7]   P at r i ck  P . K .  C h an , B i n g - Z hong   J i ng,  W i ng W .   Y .  N g,  D a n i e l  S .  Y e ung , “ D e p th  Es tim a tio n   f ro a   Si ngl e  Im ag e   U s i ng D e f oc us  Cue s ,  P roc e e di ngs  of t he   2011 Int e rna t i ona l  Confe re nc e  on M a c hi n e  L e a rni ng  a nd C y b e rne t i c s ,   G ui l i n,  10 - 13 J ul y ,  2011 .   [8]   A  proj e c t  on  “ A  P ol y nom i al   B as e D e pt h E s t i m at i on  f ro a   Si ng l e  Im age , K au s h i k  K T i w ar i .   [9]   O bt a i ni ng D e pt h Inform a t i on from  S t e re o Im a ge s - w hi t e p a pe r ,  2012  E ns e ns o und ID S  I m a gi ng D e ve l opm e nt   S y s t em s  G m b H . A l l e R ech t e v o r b eh al t en .   [10]   L a ure n Be c k  a n d T os hi ro K ubot a ,  “ A c c ura c y  of  V i s ua l  D e pt h P e rc e pt i on i n a n O pe n F i e l d” ,   B i o l ogy  D e par t m e nt ,   Sus que hanna U ni v e r s i t y ,  S e l i ns gr ove  P A  17870.   Evaluation Warning : The document was created with Spire.PDF for Python.