I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 9 ,   N o .   2 A ugus t   20 20 ,   pp .   1021 ~ 1027   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 19 .i 2 . pp 102 1 - 1027             1021       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   D e p t h   i m a g e   c o r r e c t i o n   f o r   i n t e l   r e a l s e n se  d e p t h   c a m e r a       H yu n   Ju n   P ar k 1 ,   K w an Bae k   K i m 2   1 D i v i s i o o f   S o f t w a r e   C o nv e r g e nc e ,   C h e o ng j U n i v e r s i t y ,   K o r e a   2 D e pa r t m e n t   o f   C o m put e r   E ng i ne e r i ng ,   S i l l a   U n i v e r s i t y ,   K o r e a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e J a n   4 ,   20 20   R e v i s e M a r   2,   202 0   A c c e pt e M a r   1 6 ,   20 20       I nt e l   R e a l S e n s e   de pt c a m e r a   pr o v i de s   de p t i m a g e   us i ng   i nf r a r e d   pr o j e c t o r   a nd  i nf r a r e c a m e r a .   U s i ng   i nf r a r e d   r a d i a t i o m a ke s   i t   po s s i bl e   t o   m e a s ur e   t he   de p t w i t h i g a c c ur a c y ,   but   t h e   s ha do w   o f   i nf r a r e r a d i a t i o m a ke s   de pt unm e a s u r e r e g i o ns .   I nt e l   R e a l S e ns e   S D K   p r o v i de s   a   po s t pr o c e s s i ng   a l g o r i t hm   t o   c o r r e c t   i t .   H o w e v e r ,   t h i s   a l g o r i t hm   i s   no t   e no ug t o   be   us e a nd  ne e d s   t o   be   i m pr o v e d.   T he r e f o r e ,   w e   pr o po s e   a   m e t ho t o   c o r r e c t   t h e   d e pt i m a g e   us i ng   i m a g e   pr o c e s s i ng   t e c hn i qu e s .   T he   pr o po s e m e t ho c o r r e c t s   t he   de pt us i ng   t h e   a d j a c e n t   de pt i nf o r m a t i o n.   E x pe r i m e nt a l   r e s ul t s   s h o w e t ha t   t he   p r o po s e m e t ho c o r r e c t s   t he   d e p t i m a g e   m o r e   a c c ur a t e l y   t ha t he   I nt e l   R e a l S e ns e   S D K .   Ke y w or d s :   Co m put e v i s i o n   D e pt c a m e ra   D e pt i m a ge   c o rr e c t i o n   Im a ge   p r o c e s s i n g   Int e l   r e a l s e n s e   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   K w a n B a e K i m ,     D i v i s i o n   o f   Co m put e a nd  I n f o rm a t i o E n gi n e e r i n g ,     S i l l a   U ni v e r s i t y ,     B us a n   46958 ,   K o r e a .   E m a i l :   gb ki m @ s i l l a . a c . k r       1.   I N TR O D U C TI O N     T h e   f i e l of   c o m put e r   v i s i o n   ha s   g r o w n   r a p i dl y   w i t h   t h e   de v e l o pm e n t   o f   d e e l e a r ni n t e c hni que s .     It   ha s   r e a c h e t h e   l e v e l   t h a t   c a r e c o gn i z e   v a ri o us   o bj e c t s   f r om   t h e   i m a ge   w i t h i g h   a c c ura c y   [1 - 6 ].   H ow e v e r ,   i t   i s   s t i l l   h a rd  t o   m e a s uri n t h e   di s t a n c e   b e t w e e n   t h e   c a m e ra   a n o b j e c t s .   T h e   c o n v e n t i o n a l   m e t h o t o   s o l ve   t h i s   p r o b l e m   i s   t o   us e   e qui pm e n t   s uc h   a s   s t e r e o   v i s i o n   o r   l a s e r   s e n s o r s .   S t e r e o   v i s i o n   h a s   a   p r o b l e m   w i t h   a c c ur a c y   be c a us e   i t   r e c o gn i z e s   e a c h   o bj e c t   f r o m   i m a ge s   a c qui r e by   t w o   c a m e r a s   a n m e a s u r e s   t h e   di s t a n c e   b e t w e e n   t h e   o bj e c t s   a n t h e   c a m e ra   by   m a t h e m a t i c a l   c a l c ul a t i o n s   [ 7 ].   O n   t h e   o t h e r   ha n d,   l a s e r   s e n s o r s   ha v e   hi g a c c ura c y ,   b ut   t h e s e   a r e   e xpe n s i v e   a nd  c a m e a s u r e   t h e   d i s t a n c e   o nl y   fo r   a   p r e s e t   n a rr o w   r e gi o n   [ 8 ].   In   r e c e n t   y e a r s ,   t h e   di s t a n c e   i s   m e a s u r e us i n a   de pt h   c a m e ra   (o r   3D   c a m e r a [ 9 - 11 ] .   S t a rt i ng  w i t K i n e c t   [ 12 ],   d e pt h   c a m e ra s   b e c a m e   po pul a r.   K i n e c t ,   a   k i n of   de pt h   c a m e ra ,   i s   a   m o t i o de t e c t i o n   s e n s o r   f o r   X - bo ga m e   c o n s o l e s   r e l e a s e by   M i c r o s of t .   Curr e n t l y ,   a   v a ri e t y   of   d e pt h   c a m e ra s   h a v e   b e e n   de v e l o pe a n a r e   o n   t h e   m a r ke t ,   a n I n t e l   R e a l S e n s e   de pt h   c a m e r a s   a r e   u s e i n   m a n y   r e s e a r c h   f i e l ds   i n c l ud i n A R   [1 3 ],   V R   [1 4 ],   r o b o t i c s   [1 5 ],   a n d r o n e s   [1 6 ]   b e c a us e   of   t h e   a dv a n t a ge   o f   s m a l l   s i z e   a n d   l i g h t w e i ght .   A l s o ,     i t   c a n   w o r w i t h   O pe n CV   w h i c h   i s   t h e   m o s t   po pul a r   c o m put e r   v i s i o n   o pe n   l i b ra r y   a n i s   a v a i l a b l e   fo r   a   r e a s o na b l e   p r i c e .   Int e l   R e a l S e n s e   de pt h   c a m e r a   p r o v i de s   n o t   o n l y   R G B   c ol o r   i m a ge   b ut   a l s o   de pt h   i n f o r m a t i o n     by   r e c o gn i z i n i n f ra r e do t s   us i n i n f ra r e p r o j e c t o r   a nd  i n f r a r e c a m e ra   [1 7 - 1 9 ].   U s i n g   i n f ra r e ra di a t i o n   (IR m a ke s   i t   po s s i b l e   t o   m e a s ur e   t h e   di s t a n c e   w i t h   hi g h   a c c ur a c y   b ut   i t   ha s   a   d i s a dv a nt a ge   t ha t   t h e   s h a do w   r e gi o n   of   IR   a ppe a r s   a s   b l a c h o l e s   i n   a   de pt h   i m a ge .   B e c a us e   w h e n   t h e   s ha do w   of  IR   o c c ur s ,   c a m e r a s   c a n   n o t   m e a s u r e   t h e   de pt h   o f   t h e   s ha do w   r e gi o n .   I n t e l   R e a l S e n s e   S D K   (S of t w a r e   D e v e l o pm e n t   K i t [ 20 p r o v i de s   a   po s t pr o c e s s i n a l go ri t hm   t ha t   f i l l s   t h e   b l a c h o l e s   (s h a do w   r e gi o n s ),   b ut   t hi s   a l go r i t hm   i s   s o   s i m pl e   t ha t   i t   n e e ds   t o   b e   i m p r o v e d .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 9 ,   N o .   2 A ugus t   20 20  :     1021   -   1027   1022   F i gu r e   s h o w s   a n   e xa m p l e   of   t h e   po s t pr o c e s s i n o f   t h e   Int e l   R e a l S e n s e   S D K .   F i gur e   (a i s   a n   R G B   c o l o r   i m a ge ,   a n F i gu r e   (b i s   a n   o ri gi na l   de pt h   i m a g e .   B l a c pi xe l s   i n   F i gu r e   (b m e a n   w h e r e   de pt i n f o r m a t i o n   i s   n o t   m e a s u r e by   I R   s h a do w s   r e gi o n .   F i g u r e   (c i s   a   c o r r e c t e de pt h   i m a ge   ge n e r a t e by   In t e l   R e a l S e n s e   S D K   p o s t pr o c e s s i n g .   T h e   p o s t pr o c e s s i n p r o v i de s   i na c c ura t e   c o r r e c t i o n   b e c a us e   i t   s i m pl y   c o pi e s   t h e   l e f t   de pt h   v a l ue   of   t h e   IR   s h a do w s   r e gi o n   t o   de pt h   u nm e a s u r e r e gi o n ,   s o   t h e   s h a pe   o f   h a n d   i s   a l m o s t   di s a ppe a r e d   o t h e   l e f t   s i de   o f   t h e   de pt h   i m a ge .             (a R G B   i m a ge   (b D e pt i m a ge   (c )   P o s t pr o c e s s i n r e s ul t     F i gu r e   1 .   P o s t p r o c e s s i n g   e xa m pl e   o f   Int e l   R e a l S e n s e   SDK       T h e r e f o r e ,   t hi s   pa pe r   p r o po s e s   a   n e w   de pt h   c o rr e c t i o n   m e t h o t o   i m p r o v e   t h e   po s t pr o c e s s i n g.     T h e   p r o po s e m e t h o d   f i n ds   t h e   s a m e   o b j e c t   of   t h e   de pt h   u nm e a s u r e r e gi o a n d   e s t i m a t e s   t h e   n e w   de pt us i n t h e   t h e   de pt i n f o rm a t i o o f   t h e   s a m e   o bj e c t .   It   c o rr e c t s   de pt h   v a l ue s   o f   t h e   IR   s h a do w   r e gi o n   m o r e   a c c ur a t e l y .       2.   D EP TH   I M A G E   C O R R EC TI O N   M E TH O D   T h e   po s t pr o c e s s i n o f   In t e l   R e a l S e n s e   S D K   us e s   o n l y   a dj a c e n t   p i xe l s   i n   t h e   de pt h   i m a ge     fo r   e s t i m a t i n t h e   de pt h s   o t h e   IR   s h a do w   r e gi o n .   H ow e v e r ,   s i n c e   i t   i s   a l r e a dy   l os t   t h e   de pt h   i n f o rm a t i o n   a t   t h e   IR   s h a do w   r e gi o n   i n   t h e   de pt h   i m a ge ,   t h e   a c c ur a c y   of   t h e   de pt h   e s t i m a t i o n   c a nn o t   b e   h i g h.   T h e r e f o r e ,     i n   t hi s   p a pe r,   t h e   p r o po s e m e t h o us e s   n o t   o n l y   de pt h   i m a g e   b ut   a l s o   R G B   i m a ge   t o   e s t i m a t e   t h e   de pt o f   I s h a do w   r e gi o n   a n d   m a ke s   t h e   f o l l ow i n a s s um p t i o n s .       A s s um pt i o n   1 .   P i xe l s   ha v i n s i m i l a r   c o l o r s   w i t h i a   gi v e n   s m a l l   r e gi o n   c o rr e s po n t o   t h e   s a m e   o b j e c t .   A s s um pt i o n   2 .   T h e   de pt h   o f   a   p i xe l   i s   s i m i l a r   t o   t h e   de pt o f   a n   a dj a c e n t   s a m e   o b j e c t .     A c c o r di n t o   t h e   A s s um p t i o n   1,   i t   c a de t e rm i n e   t h a t   w h i c h   o b j e c t   i s   c o n t a i n i n a   D U P   (D e pt U n m e a s u r e P i xe l ) ,   w h i c h   i s   t h e   p i xe l   w i t h o ut   a   de pt h   v a l ue   i n   a   de pt i m a ge ,   b y   us i n i t s   po s i t i o n   a n d   c o l o r .   In   A s s um p t i o n   2 ,   s i n c e   t h e   de pt h   o a   s pe c i f i c   po s i t i o n   i s   a s s um e t o   be   s i m i l a r   t o   t h e   de pt h   o a n   a dj a c e nt   s a m e   o bj e c t ,   t ha t   i s ,   a   r e gi o n   h a v i n a   s i m i l a r   c o l o r ,   t h e   d e pt h   o f   t h e   o bj e c t   c a n   b e   e s t i m a t e d .   T h e r e f o r e ,     i n   t h i s   p a pe r,   t h e   p r o po s e m e t h o ge n e ra t e s   a   c r i t e ri o n   u s i ng  R G i m a ge   f o r   de t e r m i ni n w hi c h   o b j e c t   c o n t a i ni n g   a   D U P ,   a n t h e   de pt o f   t h e   D U P   i s   e s t i m a t e d   u s i ng  de pt i n f o r m a t i o o f   a dj a c e n t   p i xe l s   o f   t h e   ob j e c t   i n c l u di n g   t h e   D U P .   F i gu r e   s h o w s   t h e   e n t i r e   p r o c e s s   of   t h e   p r o po s e m e t h o d.           F i gu r e   2 T h e   p r o c e s s   of   t h e   p r o po s e m e t h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e pt h   i m ag e   c or r e c t i on   f or   i n t e l   r e al s e ns e   de p t c am e r a   ( H y un  J un  P ar k )   1023   2. 1 .   R G B   i m age   s e gm e n tat i o n   b c o l o r s   T h i s   s t e i s   t h e   p r o c e s s   of   g e n e ra t i n a   c r i t e ri o n   t o   f i n t h e   ob j e c t   c o n t a i ni n a   D U P .   I n   A s s um pt i o 1,   p i xe l s   w i t h   s i m i l a r   c o l o r s   i a   gi v e n   s m a l l   r e gi o n   a r e   t h e   s a m e   o bj e c t ,   t hi s   p r o c e s s   a i m s   t o   r e p r e s e nt   r e gi o n s   w i t h   s i m i l a r   c o l o r s   a s   a   s i ngl e   c o l o r   (o b j e c t i n   a R G B   i m a ge .   F i r s t ,   t h e   p r o po s e m e t h o r e m o ve s   t h e   n o i s e   a nd  s i m pl i f i e s   t h e   R G B   i m a ge .   I t   c a b e   do n e   e ffe c t i ve l y   by   r e m ov i n g   t h e   t e x t u r e .   T h e   m e a n s hi f t   f i l t e r   [ 21 ],   a   w e l l - k n o w n   m e t h o f o r   r e m o v i n t e xt u r e s ,     i s   v e r y   s l ow   a n un s u i t a b l e   fo r   r e a l - t i m e   pr o c e s s i n g.   T h e r e fo r e ,   i n   t h i s   p a pe r,   e dge   pr e s e r v a t i o n   s m o o t h i ng  t h a t   c a n   p r e s e r v e   t h e   bo un da r y   be t w e e n   o bj e c t s   w h i l e   s i m p l i fy i n t h e   t e xt u r e   o t h e   i m a ge   i s   us e d.     E dge   p r e s e r v i n s m o o t hi n i n c l ude   m e di a n   f i l t e r   [ 22 ] ,   b i l a t e ra l   f i l t e r   [2 3 ] ,   e dge   p r e s e r v i n g   f i l t e r   [2 4 ] ,   a n s o   o n .   T h e   p r o po s e m e t h o us e s   e dge   pr e s e r v i n f i l t e r   w hi c h   i s   f a s t   a n h a s   go o pe r f o r m a n c e .   F i gu r e   s h o w s   a n   e xa m p l e   o f   e dge   pr e s e r v i n f i l t e ri n g .   T h e   n o i s e   a nd  t e xt u re   i n   F i gu r e   3( a )   a r e   e f f e c t i v e l y   r e m ov e d.               (a O ri gi na l   i m a ge   (b E dge   pe r s e r v i n g   f i l t e r i ng     F i gu r e   3 .   A e xa m pl e   o f   e dge   p r e s e r v i n g   f i l t e r i ng       T h e n,   t h e   p r o po s e m e t h o a pp l i e s   c o l o r   qua n t i z a t i o n   t o   t h e   e dge   pr e s e r v i n f i l t e r e i m a ge .     A s   t h e   c o l o r   qua nt i z a t i o n   i s   a   m e t h o t o   r e duc e   c o l o r s   i n   a n   i m a ge ,   i t   c a n   r e p r e s e n t   m a n y   s i m i l a r   c o l o r s   i o n e   c o l o r .   It   m e a n s   s i m i l a r   c o l o r   r e gi o n s   c a n   b e   r e pr e s e n t e d   a s   s a m e   c o l o r ,   s o   i t   i s   e qui v a l e n t   t o   t h e   pu r po s e   of   R G B   i m a ge   s e gm e n t a t i o n   s t e p.   A m o ng  t h e   v a ri o us   c o l o r   qu a nt i z a t i o n   m e t h o d s   [ 25 - 28 ] ,   t he   p ro po s e d   m e t h o us e s   c o l o r   q ua nt i z a t i o us i ng  c o l o r   i m po rt a n c e - b a s e s e l f - o rg a ni z i ng   m a p   (S O M [2 5] .   S i n c e   t hi s   c o l o qu a nt i z a t i o m e t h o d   l e a rns   a l l   p i xe l s   i t he   i m a ge   us i ng   S O M ,   i t   r e duc e s   c o l o r s   e f f e c t i v e l y   w i t a   s m a l l   e rro r.   F i gu r e   4(a s h o w s   a n   e xa m p l e   of   a ppl y i n c o l o r   qua n t i z a t i o n   t o   F i gur e   3(b ).   R e gi o n s   w i t h   s i m i l a c o l o r s   a r e   r e p r e s e n t e i n   t h e   s a m e   c o l o r ,   s o   i t   s h o w s   c o n t o ur - l i ke   s h a pe s .   I t hi s   pa pe r,   t h e   n u m b e r   o   t h e   c o l o r s   i n   t h e   R G B   i m a ge   i s   r e duc e t o   16  c o l o r s .   N o w ,   t o   de t e rm i n e   w hi c h   o bj e c t   c o n t a i n s   a   pi xe l   o f   a   c e r t a i n   c oo r di na t e ,   i t   o n l y   n e e ds   t o   f i n a dj a c e nt   pi xe l s   o f   t h e   s a m e   c o l o r .   F i g u r e   4(b s h ow s   t h e   r e s ul t   o c o n v e r t i n a   qua nt i z e i m a ge   t o   a   gr a y s c a l e   i m a ge .   It   c a n   d e t e r m i n e   w h e t h e r   t h e   s a m e   c o l o r   o r   n o t   by   us i n R G B   v a l ue s ,   b ut   t h e   p r o po s e m e t h o us e s   g ra y s c a l e   i m a ge   b e c a us e   i t   i s   f a s t e t o   c o m pa r e   o n e   c h a nn e l .           (a Co l o r   qu a n t i z e d   i m a ge   (b G ra y s c a l e   i m a ge     F i gu r e   4 .   A e xa m pl e   o f   i m a ge   s e gm e n t a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 9 ,   N o .   2 A ugus t   20 20  :     1021   -   1027   1024   2. 2 .   D e p th   c o r r e c ti o n   D e pt h   c o rr e c t i o n   s t e i s   a   p r o c e s s   of   e s t i m a t i ng  de pt h   o D U P   us i n t h e   de pt h   i n f o rm a t i o n   o a dj a c e n t   s a m e   o b j e c t s .   F i gur e   s h o w s   a n   e x a m p l e   o f   D U P s   i n   t h e   de pt i m a ge .   F i gu r e   (a s h o w s   t h e   R G i m a ge ,   (b s h o w s   t h e   ra w   de pt h   i m a ge ,   a n d   (c s h o w s   t h e   D U P s   i r e d.   D e pt c o rr e c t i o s t e p   e s t i m a t e s     t h e   de pt f o r   e v e r y   pi xe l   m a r ke d   i r e d.             (a R G B   i m a ge   (b R a w   de pt h   i m a ge   (c D e pt h   u nm e a s u r e pi xe l s     F i gu r e   5 .   A e xa m pl e   o f   d e pt h   u nm e a s u r e d   pi xe l s       F i r s t ,   t hi s   s t e f i n ds   t h e   D U P   i n   t h e   de pt i m a ge .   T o   do   t h i s ,   t h e   p r o po s e m e t h o us e s   t h e   G ra s s F i r e   a l go ri t hm   [2 9 ] ,   w hi c i s   us e a s   a   l a b e l i n g   a l go ri t hm ,   t o   f i n b l a c k   pi xe l s .   T h e   G ra s s f i r e   a l go ri t hm   i s   a   m e t h o of   s e que n t i a l l y   v i s i t i n a dj a c e n t   p i xe l s   l i ke   f i r e   s pr e a di n o n   d r y   gr a s s   s t a r t i n f r o m   s e e d,   s o   i t   f i n ds   D U P s   s e que n t i a l l y .   T h e n ,   t h e   p r o po s e m e t h o c o rr e c t s   t h e   de pt h   o f   D U P s   us i n (1)  a nd  (2).   T h e   E qu a t i o n   (1)  de f i n e s   a   m e t h o o f   f i n di ng  a   de p t h   o f   a   s pe c i f i c   c oo r di na t e   i a   de pt i m a ge .     ( , ) , ( , ) ( , , ) 0, d e p th x y if c o lor c o lor x y d e p th x y c o lor o the rwise   (1)     w he r e   x   a nd  y   a r e   t h e   c o o r di na t e s   o f   t h e   p i xe l ,   d e pt h ( x y i s   t h e   de pt o f   t h e   x   a n d   y   c o o r di na t e s ,   a nd  c ol or ( x y i s   t h e   c o l o r   o f   t h e   x   a n d   y   c o o r di na t e s .   O nl y   t h e   de pt h   o f   t h e   s a m e   o bj e c t   i s   n e e de t o   c o rr e c t   t h e   de pt h.   T h e r e f o r e ,   i f   t h e   c o l o r   i s   t h e   d i f f e r e n t   t h e n   i t   gi v e s   0.   T h e   E q ua t i o n   (2)  de f i n e s   a   m e t h o f o r   de pt c o r r e c t i o n .     11 11 ( , , ( , ) ) ( , ) wh x w y h d e p t h x y c o l o r w h n e w d e p t h w h c o u n t     (2)     w h e r e   w   a n d   h   a r e   c o o r di n a t e s   a n d   c ount   i s   t h e   n u m b e r   o f   de pt v a l ue s .   T hi s   i s   t h e   a v e r a ge   o f   t h e   de pt h s   o f   t h e   pi xe l s   c o rr e s po n di ng  t o   t h e   s a m e   o bj e c t   a m o ng   t h e   8 - c o nn e c t e a dj a c e n t   pi xe l s   o f   ( w h pi xe l s   di v i de by   t h e   n u m b e r .   T h e   E qu a t i o n   (2)  m e a n s   t h a t   t h e   s u m   o f   t h e   de pt h s   c o r r e s po n d i n t o   t h e   s a m e   o bj e c t   a m o ng  8 - c o nn e c t e a dj a c e n t   p i xe l s   o ( w ,   h c oo r di na t e   i s   di v i de by   c ount ,   w h i c h   i s   a n   a v e r a ge   de pt h   v a l ue .   T h e   p r o po s e m e t h o pe r f o r m s   t hi s   s t e u n t i l   t h e   de p t h   c o rr e c t i o n   f o r   a l l   D U P s   i s   c o m pl e t e .         3.   EX P ER I M EN TA R ES U L TS   T h e   e xpe r i m e n t a l   e n v i r o n m e n t   f o r   e v a l ua t i n t h e   p r o po s e d   m e t h o i s   a s   fo l l ow s .   W e   us e l a pt o p   c o m put e r   w i t h   I n t e l   i 7 - 7500U   2. 70  G H z   CP U   a n 8 . G B   RA M ,   a n t h e   pr o po s e m e t h o i s   i m pl e m e n t e i V i s ua l   S t ud i o   2017  w i t M F C - b a s e + +   l a n gu a ge .   F o de p t c a m e ra ,   I n t e l   R e a l S e n s e   D 435   a n d   I nt e l   R e a l S e n s e   S D K   2. 0   w e r e   us e d,   a n d   O pe nCV   3 . 4 . w a s   us e a s   a n   i m a ge   p r o c e s s i n l i b ra r y .   F i gu r e   s h o w s   t h e   c o m pa r i s o n   b e t w e e n   t h e   p r o po s e m e t ho a n t h e   po s t pr o c e s s i n r e s ul t s   o f   t h e   Int e l   R e a l S e n s e   S D K .   I F i g u r e   ( a ),   t h e   p r o po s e m e t h o r e p r e s e n t e t h e   f a n ,   b o o kc a s e ,   a n d   t h e   h e i g ht   o t h e   o bj e c t s   m o r e   a c c u r a t e l y .   T h e   r i g ht   r e g i o n   o f   t h e   b a s s   g ui t a r   i n   F i gu r e   6   (b ),   t h e   da rk  p a s s a ge   r e gi o n   i n   F i gu r e   (c ),   t h e   s ha pe   o f   t h e   r a b b i t   do l l   i F i gu r e   ( d),   t h e   s ha pe   o f   t h e   ra b b i t   do l l   a n d   b a c kgr o u n i F i gu r e   (e ),   a n d   t h e   s ha pe   o f   t h e   ha n d   a nd  t h e   m o n i t o r   i n   F i gu r e   (f w e r e   r e p r e s e n t e b y   t h e   p r o po s e m e t h o d   m o r e   a c c u r a t e l y .   E xpe r i m e nt a l   r e s ul t s   s h o w   t ha t   t h e   p r o po s e m e t h o c o r r e c t s   t h e   s ha pe   o f   o bj e c t s   be t t e r   t ha n   t h e   Int e l   R e a l S e n s e   S D K   w h e n   D U P   i s   o c c ur r e by   I R   s h a do w .   H ow e v e r ,   i f   t h e r e   a r e   o t h e r   o b j e c t s   o r   b a c kgr o un ds   w i t s i m i l a r   c o l o r s   a r o un d   t h e   o b j e c t ,   t h e   p r o po s e m e t h o m a y   n o t   a c c ura t e l y   e s t i m a t e   t h e   de pt h.   It   i s   c a us e by   t h e   A s s u m pt i o 1 ,   s o   i t   c a b e   i m p r o v e by   m a ki ng  o b j e c t   s e gm e n t a t i o m o r e   a c c ura t e .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e pt h   i m ag e   c or r e c t i on   f or   i n t e l   r e al s e ns e   de p t c am e r a   ( H y un  J un  P ar k )   1025     R G B   i m a ge   Int e l   R e a l S e n s e   SDK   T h e   p r o po s e m e t h o d   (a )         (b )         (c )         (d)         (e )         (f )           F i gu r e   6 .   T h e   r e s ul t s   o f   t h e   I nt e l   R e a l S e n s e   S D K   a nd  t h e   p r o po s e m e t h o d         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 9 ,   N o .   2 A ugus t   20 20  :     1021   -   1027   1026   4.   C O N C LU S I O N   In   t h i s   p a pe r ,   w e   pr o po s e a   de pt h   i m a ge   c o rr e c t i o n   m e t h o d   t o   i m p r o v e   t h e   po s t pr o c e s s i n o f   In t e l   R e a l S e n s e   de pt h   c a m e ra .   T h e   I nt e l   R e a l S e n s e   S D K   us e s   o n l y   a   de pt h   i m a ge   f o r   de pt h   c o rr e c t i o n .   H ow e v e r ,   s i n c e   t h e   de pt i n f o rm a t i o i s   a l r e a dy   m i s s i n g ,   de pt c o rre c t i o n   r e s ul t s   c a nn o t   b e   a c c ura t e .   F i r s t ,   i t hi s   pa pe r,   w e   m a de   t w o   a s s um pt i o n s   t ha t   t h e   a dj a c e n t   s a m e   ob j e c t   h a s   s i m i l a r   c o l o r s   a n t h e   de pt h   c a n   b e   e s t i m a t e b a s e o n   t h e   de pt h   o f   t h e   a dj a c e nt   s a m e   o bj e c t .   T h e   p r o po s e m e t h o c o n s i s t s   o f   R G B   i m a ge   s e gm e n t a t i o n   a nd  de pt h   c o rr e c t i o n .   I t h e   R G B   i m a ge   s e gm e nt a t i o s t e p,   e dge   p r e s e r v i n f i l t e r   a nd  c o l o r   qua n t i z a t i o n   i s   a pp l i e t o   s i m p l i f y   t h e   R G B   i m a ge .   T h i s   i s   us e a s   a   b a s i s   fo r   de t e rm i ni n w hi c h   pi xe l s   a m o ng  a dj a c e n t   pi xe l s   a r e   i n c l ude i t h e   s a m e   o b j e c t .   I n   t h e   de pt c o rr e c t i o n   s t e p,   t h e   de pt i s   e s t i m a t e b a s e o n   t h e   a dj a c e nt   de pt i n f o r m a t i o o f   t h e   s a m e   o b j e c t .   E xpe r i m e n t a l   r e s ul t s   s h o w e t ha t   t h e   p r o po s e d   m e t h o c o r r e c t s   t h e   de pt o f   obj e c t s   m o r e   a c c u r a t e l y   t h a t he   Int e l   R e a l S e n s e   S D K .   H ow e v e r ,   w h e n   di f f e r e n t   ob j e c t s   w i t h   s i m i l a r   c o l o r s   a r e   a dj a c e n t   t o   e a c h   o t h e r ,   a c c ura t e   c o rr e c t i o n   m a y   n o t   be   p o s s i b l e .   In   f ut ur e     w o r k,   w e   w i l l   i m p r o v e   t h e   e s t i m a t i o n   m e t h o i n   de pt h   c o r r e c t i o n   s t e t o   ob t a i n   m o r e   a c c u r a t e   de pt c o r r e c t i o r e s ul t s .       R EF ER EN C ES   [ 1]   J .   R e dm o n,   S .   D i v v a l a ,   R .   G i r s h i c k,   a n A .   F a r h a di ,   Y o o nl y   l o o o nc e :   U ni f i e d,   r e a l - t i m e   o bj e c t   d e t e c t i o n,     In   P r o c e e di ngs   of   t he   I E E E   c on f e r e nc e   on   c om p ut e r   v i s i on   and   p at t e r r e c og ni t i on ,   p p.   77 9 - 788,   2 016 .   [ 2]   M .   L i a ng   a nd  X .   H u ,   R e c ur r e n t   c o nv o l ut i o na l   ne u r a l   ne t w o r f o r   o bj e c t   r e c og ni t i o n ,   In   P r oc e e di ng s   o f   t he   I E E E   c onf e r e nc e   o c om pu t e r   v i s i on  and   pa t t e r n   r e c o gn i t i on ,   pp .   3 367 - 3 375,   2 015 .   [ 3]   Z .   F u,   T .   X i a ng ,   E .   K o di r o v ,   a nd  S .   G o ng ,   Z e r o - s ho t   o bj e c t   r e c og ni t i o by   s e m a nt i c   m a ni f o l d i s t a nc e ,   In   P r o c e e di ngs   of   t he   I E E E   c on f e r e nc e   on   c om p ut e r   v i s i on   and   p at t e r r e c og ni t i on ,   p p.   26 35 - 2644 ,   201 5.   [ 4]   M .   T .   M .   K ha i r i ,   S .   I br a hi m ,   M .   A .   M .   Y un us ,   a nd  A .   R .   W a ha p ,   D e t e c t i o o f   f o r e i g o bj e c t s   i m i l k   us i ng   a n   ul t r a s o n i c   s y s t e m ,   I nd one s i a J our n al   of   E l e c t r i c a l   E ng i ne e r i n and  C om p ut e r   S c i e nc e   ( I J E E C S) ,   v o l .   15 ,   no .   3,     pp.   12 41 - 1249 ,   201 9.   [ 5]   T .   B a t hi ni   a nd  B .   G a dg a y ,   H y br i e nha nc e I C A   &   K S V M   ba s e br a i t um o r   i m a g e   s e g m e n t a t i o n,   I nd one s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e   ( I J E E C S) ,   v o l .   14 ,   no .   1,   pp .   47 8 - 489,   2 019 .   [ 6]   G .   R a m kum a r   a nd  E .   L og a s ha nm ug a m ,   M ul t i m o da l   v e r g e   f o r   s c a l e   a n po s e   v a r i a n t   r e a l   t i m e   f a c e   t r a c ki ng   a nd  r e c o g ni t i o n,   I nd one s i a J o ur na l   o f   E l e c t r i c al   E n gi ne e r i ng  an d   C om put e r   S c i e nc e   ( I J E E C S) ,   v o l .   13 ,   no .   2 ,     pp.   66 5 - 670,   2 019 .   [ 7]   B .   T i pp e t t s ,   D .   J .   L e e ,   K .   L i l l y w hi t e ,   a n J .   A r c hi ba l d,   R e v i e w   o f   s t e r e o   v i s i o a l g o r i t hm s   a nd  t he i r   s ui t a b i l i t y   f o r   r e s o ur c e - l i m i t e d   s y s t e m s ,   J o ur n al   o f   R e a l - T i m e   I m a ge   P r oc e s s i ng ,   v o l .   11 ,   no .   1,   pp .   5 - 25 ,   2016 .   [ 8]   K .   K o no l i g e ,   J .   A ug e nbr a un ,   N .   D o na l d s o n,   C .   F i e b i g ,   a nd  P .   S h a h,   A   l o w - c o s t   l a s e r   di s t a nc e   s e n s o r ,   In   2008   I E E E   I n t e r na t i o na l   C o nf e r e nc e   on   R o bo t i c s   and   A u t om a t i on ,   I E E E ,   pp .   3002 - 30 08 ,   M a y   2008 .   [ 9]   K .   K ho s he l h a m ,   A c c ur a c y   a na l y s i s   o f   ki n e c t   de pt d a t a ,   In   I S P R w or k s hop  l a s e r   s c ann i ng ,   v o l .   38,   no .   1,     pp.   13 3 - 138,   A ug .   201 1.   [ 10]   J .   B i s w a s   a nd  M .   V e l o s o ,   D e p t c a m e r a   ba s e i ndo o r   m o bi l e   r o bo t   l o c a l i z a t i o a nd  n a v i g a t i o n,   In   20 12  I E E E   I nt e r n at i on al   C o n f e r e nc e   on   R ob ot i c s   a nd  A ut om at i o n ,   I E E E ,   M a y   2012 .   [ 11]   S .   M a t y uni n,   D .   V a t o l i n ,   Y .   B e r dn i ko v ,   a nd  M .   S m i r no v ,   T e m po r a l   f i l t e r i ng   f o r   de pt m a p s   g e ne r a t e by   ki ne c t   de pt c a m e r a ,   In   2 011  3D T V   C on f e r e nc e :   T he   T r ue   V i s i on - C a pt ur e ,   T r a ns m i s s i on  and  D i s p l ay   of   3D   V i de o   ( 3D T V - C O N ) ,   I E E E ,   p p.   1 - 4 ,   M a y   2011 .   [ 12]   Z .   Z ha ng ,   M i c r o s o f t   k i ne c t   s e ns o r   a n i t s   e f f e c t ,   I E E E   m u l t i m e di a ,   v o l .   19 ,   no .   2,   pp .   4 - 10 ,   2 012 .   [ 13]   J .   G i m e no ,   P .   M o r i l l o ,   J .   M .   O r duñ a ,   a nd  M .   F e r nde z ,   A   ne w   A R   a ut ho r i ng   t o o l   us i ng   de pt m a ps   f o r   i nd us t r i a l   pr o c e dur e s ,   C om put e r s   i n   I n dus t r y ,   v o l .   64,   no .   9 ,   pp.   1 263 - 127 1,   2013 .   [ 14]   C .   C a m po r e s i ,   M .   K a l l m a nn,   a n J .   J .   H a n,   V R   s o l ut i o ns   f o r   i m p r o v i ng   ph y s i c a l   t h e r a py ,   In   2013  I E E E   V i r t u al   R e al i t y   ( V R ) ,   pp .   77 - 78 .   I E E E ,   M a r .   2013 .   [ 15]   A .   O l i v e r ,   S .   K a ng ,   B .   C .   W üns c he ,   a nd  B .   M a c D o na l d ,   U s i ng   t he   K i n e c t   a s   a   n a v i g a t i o s e n s o r   f o r   m o bi l e   r o bo t i c s ,   In   P r oc e e di ngs   o f   t he   27t c on f e r e nc e   on  i m age   and  v i s i on  c om pu t i ng  N e w   Z e al and .   A C M ,   pp .   50 9 - 514,   N ov .   201 2.   [ 16]   K .   B o udj i t ,   C .   L a r be s ,   a nd  M .   A l o ua c he ,   C o nt r o l   o f   f l i g ht   o pe r a t i o o f   a   qua r o t o r   a r .   dr o ne   u s i ng   de p t m a p   f r o m   m i c r o s of t   ki ne c t   s e n s o r ,   I nt e r n at i on al   J o ur na l   of   E n gi ne e r i ng  and  I nn ov a t i v e   T e c hnol og y   ( I J E I T ) ,   v o l .   3,     no .   3 ,   pp.   1 5 - 19,   20 08.   [ 17]   L .   K e s e l m a n ,   J .   I .   W oo df i l l ,   A .   G r un ne t - J e p s e n ,   a nd  A .   B ho w m i k,   I nt e l   ( r )   r e a l s e ns e   ( t m )   s t e r e o s c o pi c   de pt h   c a m e r a s ,   In   20 17  I E E E   C on f e r e nc e   on  C om put e r   V i s i on  an P at t e r R e c og ni t i on  W or k s h ops   ( C V P R W ) ,   I E E E ,     pp.   12 67 - 1276 ,   J u l .   2 017 .   [ 18]   M .   D r a e l o s ,   Q .   Q i u,   A .   B r o ns t e i n,   a nd  G .   S a pi r o ,   I nt e l   r e a l s e ns e =   r e a l   l o w   c o s t   g a z e ,   In   20 15  I E E E   I n t e r nat i on al   C onf e r e nc e   on   I m age   P r oc e s s i ng   ( I C I P ) ,   I E E E ,   pp.   2 520 - 252 4,   S e p .   2015 .   [ 19]   I nt e l   R e a l s e ns e   d e p t h   c a m e r a ,   A v a i l a b l e :   h t t p s : / / s o f t w a r e . i n t e l . c o m / e n - us / r e a l s e n s e / d 4 35 ,   [ A c c e s s e d:   A ug us t   2 7 ,   20 1 9]   [ 20]   I nt e l   R e a l s e ns e   S D K   2. 0 ,   I nt e l r e a l s e ns e [ O nl i n e ]   A v a i l a b l e :   ht t ps : / / s o f t w a r e . i nt e l . c o m / e n - us / r e a l s e n s e / s dk ,   [ A c c e s s e d:   A ug us t   27 ,   2 019]   [ 21]   G .   W u,   X .   Z h a o ,   S .   L uo ,   a nd  H .   S h i ,   H i s t o l o g i c a l   i m a g e   s e g m e n t a t i o us i ng   f a s t   m e a s hi f t   c l u s t e r i ng   m e t ho d,   B i om e di c al   e ngi ne e r i ng  on l i ne ,   v o l .   14,   no .   24 ,   pp .   1 - 12 ,   20 15.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e pt h   i m ag e   c or r e c t i on   f or   i n t e l   r e al s e ns e   de p t c am e r a   ( H y un  J un  P ar k )   1027   [ 22]   K .   V e r m a ,   B .   K .   S i ng h,   a nd  A .   S .   T ho ke ,   A e nh a nc e m e n t   i n   a da p t i v e   m e d i a f i l t e r   f o r   e dg e   pr e s e r v a t i o n ,   P r oc e di C om put e r   Sc i e nc e ,   v o l .   48 ,   pp .   29 - 3 6 ,   2015 .   [ 23]   C .   T o m a s i   a nd   R .   M a nduc hi ,   B i l a t e r a l   f i l t e r i ng   f o r   g r a y   a nd  c o l o r   i m a g e s ,   S i x t I n t e r nat i o nal   C on f e r e nc e   on  C om put e r   V i s i on  ( I E E E   C at .   N o. 98C H 36 271) ,   pp .   839 - 84 6,   J a n.   1 9 98.   [ 24]   E .   S .   G a s t a l   a nd  M .   M .   O l i v e i r a ,   D o m a i t r a ns f o r m   f o r   e dg e - a w a r e   i m a g e   a nd  v i d e o   pr o c e s s i ng ,   I A C M   T r ans ac t i ons   on   G r aph i c s ,   v o l .   30 ,   no .   4,   pp .   69 - 79 ,   A ug .   2011 .   [ 25]   H .   J .   P a r k ,   K .   B .   K i m ,   a nd  E .   Y .   C ha ,   A e f f e c t i v e   c o l o r   qua nt i z a t i o m e t ho us i ng   c o l o r   i m po r t a nc e - ba s e s e l f - o r g a ni z i ng   m a ps ,   N e ur a l   N e t w or k   W or l d ,   v o l .   25 ,   no .   2 ,   pp .   121 - 1 37,   20 15.   [ 26]   H .   J .   P a r k,   K .   B .   K i m ,   a n E .   Y .   C h a ,   A e f f e c t i v e   c o l o r   qua n t i z a t i o m e t ho us i ng   o c t r e e - ba s e s e l f - o r g a ni z i ng  m a ps ,   C om pu t a t i o nal   i n t e l l i ge nc e   an ne u r os c i e nc e ,   v o l .   2 016 ,   pp.   1 - 11 ,   2 016 .   [ 27]   M .   E .   C e l e bi ,   Q .   W e n,   a n S .   H w a ng ,   A e f f e c t i v e   r e a l - t i m e   c o l o r   qua nt i z a t i o m e t ho ba s e o di v i s i v e   hi e r a r c hi c a l   c l us t e r i ng ,   J ou r na l   of   R e al - T i m e   I m age   P r oc e s s i n g ,   v o l .   1 0,   pp .   329 - 34 4,   20 12 .   [ 28]   K .   L .   C hu ng ,   Y .   H .   H ua ng ,   J .   P .   W a ng ,   a nd  M .   S .   C he ng ,   S pe e dup   o f   c o l o r   pa l e t t e   i nde xi ng   i s e l f - o r g a ni z a t i o o f   ko ho ne f e a t ur e   m a p,   E x pe r t   Sy s t e m s   w i t h   A pp l i c a t i ons ,   v o l .   39 ,   n o .   3,   p p.   24 27 - 2432 ,   201 2.   [ 29]   R .   C .   G o nz a l e z   a nd   R .   E .   W o o ds ,   D i g i t al   i m age   p r oc e s s i n g 3 r e d i t i o n ,   P r e n t i c e   H a l l ,   N ue v a   J e r s e y ,   200 8       B I O G R A P H I ES   O F   A U T H O R S       H y u n   Ju n   P a r k H e   r e c e i v e h i s   M . S .   a nd   P h . D .   de g r e e s   f r o m   t he   D e pa r t m e nt   o f   C o m put e r   E ng i ne e r i ng ,   P us a N a t i o na l   U ni v e r s i t y ,   B us a n,   K o r e a ,   i 20 09  a n 201 7,   r e s pe c t i v e l y .   I 2017,   he   w a s   a   po s t do c t o r a l   r e s e a r c he r   a t   B K 21P L U S ,   C r e a t i v e   H u m a R e s o ur c e   D e v e l o pm e nt   P r o g r a m   f o r   I T   C o nv e r g e nc e ,   P us a N a t i o na l   U ni v e r s i t y ,   K o r e a .   F r o m   2018  t o   t he   p r e s e n t ,   he   i s   a a s s o c i a t e   p r o f e s s o r   a t   t h e   D i v i s i o o f   S o f t w a r e   C o nv e r g e nc e ,   C he o ng j U ni v e r s i t y ,   K o r e a .   H i s   r e s e a r c i nt e r e s t s   i nc l u de   c o m put e r   v i s i o n,   i m a g e   pr o c e s s i ng ,   f a c t o r y   a ut o m a t i o n,   ne u r a l   ne t w o r k ,   a nd   de e p   l e a r ni ng   a pp l i c a t i o ns .         K w an B ae k   K i m .   K w a ng   B a e K i m   r e c e i v e hi s   M . S .   a nd  P h . D .   de g r e e s   f r o m   t he   D e pa r t m e nt   o f   C o m put e r   S c i e nc e ,   P us a n   N a t i o na l   U n i v e r s i t y ,   B us a n ,   K o r e a ,   i n   1993  a nd   199 9,   r e s pe c t i v e l y .   F r o m   1997  t o   t he   pr e s e n t ,   he   i s   a   pr o f e s s o r   a t   t h e   D e pa r t m e nt   o f   C o m put e r   E ng i ne e r i ng ,   S i l l a   U ni v e r s i t y ,   K o r e a .   H e   i s   c ur r e nt l y   a a s s o c i a t e   e d i t o r   f o r   J o ur na l   o f   I nt e l l i g e nc e   a nd  I nf o r m a t i o S y s t e m s   a n T he   O pe C o m put e r   S c i e nc e   J o ur n a l   ( U S A ) .   H i s   r e s e a r c i nt e r e s t s   i nc l ude   de e p   ne ur a l   n e t w o r k   a n a pp l i c a t i o ns ,   bi o i nf o r m a t i c s ,   c o m put e r   v i s i o n   a nd  i m a g e   p r o c e s s i ng .     Evaluation Warning : The document was created with Spire.PDF for Python.