I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 9 ,   N o .   2 ,  A ugus t   20 20 ,   pp .   1021 ~ 1027   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 19 .i 2 . pp 102 1 - 1027             1021       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   D e p t h   i m a g e   c o r r e c t i o n   f o r   i n t e l   r e a l s e n se  d e p t h   c a m e r a       H yu n   Ju n   P ar k 1 ,   K w an g  Bae k   K i m 2   1 D i v i s i o n  o f   S o f t w a r e   C o nv e r g e nc e ,   C h e o ng j u  U n i v e r s i t y ,   K o r e a   2 D e pa r t m e n t   o f   C o m put e r   E ng i ne e r i ng ,   S i l l a   U n i v e r s i t y ,   K o r e a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d  J a n   4 ,   20 20   R e v i s e d  M a r   2,   202 0   A c c e pt e d  M a r   1 6 ,   20 20       I nt e l   R e a l S e n s e   de pt h  c a m e r a   pr o v i de s   de p t h  i m a g e   us i ng   i nf r a r e d   pr o j e c t o r   a nd  i nf r a r e d  c a m e r a .   U s i ng   i nf r a r e d   r a d i a t i o n  m a ke s   i t   po s s i bl e   t o   m e a s ur e   t he   de p t h  w i t h  h i g h  a c c ur a c y ,   but   t h e   s ha do w   o f   i nf r a r e d  r a d i a t i o n  m a ke s   de pt h  unm e a s u r e d  r e g i o ns .   I nt e l   R e a l S e ns e   S D K   p r o v i de s   a   po s t pr o c e s s i ng   a l g o r i t hm   t o   c o r r e c t   i t .   H o w e v e r ,   t h i s   a l g o r i t hm   i s   no t   e no ug h  t o   be   us e d  a nd  ne e d s   t o   be   i m pr o v e d.   T he r e f o r e ,   w e   pr o po s e   a   m e t ho d  t o   c o r r e c t   t h e   d e pt h  i m a g e   us i ng   i m a g e   pr o c e s s i ng   t e c hn i qu e s .   T he   pr o po s e d  m e t ho d  c o r r e c t s   t he   de pt h  us i ng   t h e   a d j a c e n t   de pt h  i nf o r m a t i o n.   E x pe r i m e nt a l   r e s ul t s   s h o w e d  t ha t   t he   p r o po s e d  m e t ho d  c o r r e c t s   t he   d e p t h  i m a g e   m o r e   a c c ur a t e l y   t ha n  t he   I nt e l   R e a l S e ns e   S D K .   Ke y w or d s :   Co m put e r  v i s i o n   D e pt h  c a m e ra   D e pt h  i m a ge   c o rr e c t i o n   Im a ge   p r o c e s s i n g   Int e l   r e a l s e n s e   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   K w a n g  B a e k  K i m ,     D i v i s i o n   o f   Co m put e r  a nd  I n f o rm a t i o n  E n gi n e e r i n g ,     S i l l a   U ni v e r s i t y ,     B us a n   46958 ,   K o r e a .   E m a i l :   gb ki m @ s i l l a . a c . k r       1.   I N TR O D U C TI O N     T h e   f i e l d  of   c o m put e r   v i s i o n   ha s   g r o w n   r a p i dl y   w i t h   t h e   de v e l o pm e n t   o f   d e e p  l e a r ni n g  t e c hni que s .     It   ha s   r e a c h e d  t h e   l e v e l   t h a t   c a n  r e c o gn i z e   v a ri o us   o bj e c t s   f r om   t h e   i m a ge   w i t h  h i g h   a c c ura c y   [1 - 6 ].   H ow e v e r ,   i t   i s   s t i l l   h a rd  t o   m e a s uri n g  t h e   di s t a n c e   b e t w e e n   t h e   c a m e ra   a n d  o b j e c t s .   T h e   c o n v e n t i o n a l   m e t h o d  t o   s o l ve   t h i s   p r o b l e m   i s   t o   us e   e qui pm e n t   s uc h   a s   s t e r e o   v i s i o n   o r   l a s e r   s e n s o r s .   S t e r e o   v i s i o n   h a s   a   p r o b l e m   w i t h   a c c ur a c y   be c a us e   i t   r e c o gn i z e s   e a c h   o bj e c t   f r o m   i m a ge s   a c qui r e d  by   t w o   c a m e r a s   a n d  m e a s u r e s   t h e   di s t a n c e   b e t w e e n   t h e   o bj e c t s   a n d  t h e   c a m e ra   by   m a t h e m a t i c a l   c a l c ul a t i o n s   [ 7 ].   O n   t h e   o t h e r   ha n d,   l a s e r   s e n s o r s   ha v e   hi g h  a c c ura c y ,   b ut   t h e s e   a r e   e xpe n s i v e   a nd  c a n  m e a s u r e   t h e   d i s t a n c e   o nl y   fo r   a   p r e s e t   n a rr o w   r e gi o n   [ 8 ].   In   r e c e n t   y e a r s ,   t h e   di s t a n c e   i s   m e a s u r e d  us i n g  a   de pt h   c a m e ra   (o r   3D   c a m e r a )  [ 9 - 11 ] .   S t a rt i ng  w i t h  K i n e c t   [ 12 ],   d e pt h   c a m e ra s   b e c a m e   po pul a r.   K i n e c t ,   a   k i n d  of   de pt h   c a m e ra ,   i s   a   m o t i o n  de t e c t i o n   s e n s o r   f o r   X - bo x  ga m e   c o n s o l e s   r e l e a s e d  by   M i c r o s of t .   Curr e n t l y ,   a   v a ri e t y   of   d e pt h   c a m e ra s   h a v e   b e e n   de v e l o pe d  a n d  a r e   o n   t h e   m a r ke t ,   a n d  I n t e l   R e a l S e n s e   de pt h   c a m e r a s   a r e   u s e d  i n   m a n y   r e s e a r c h   f i e l ds   i n c l ud i n g  A R   [1 3 ],   V R   [1 4 ],   r o b o t i c s   [1 5 ],   a n d  d r o n e s   [1 6 ]   b e c a us e   of   t h e   a dv a n t a ge   o f   s m a l l   s i z e   a n d   l i g h t w e i ght .   A l s o ,     i t   c a n   w o r k  w i t h   O pe n CV   w h i c h   i s   t h e   m o s t   po pul a r   c o m put e r   v i s i o n   o pe n   l i b ra r y   a n d  i s   a v a i l a b l e   fo r   a   r e a s o na b l e   p r i c e .   Int e l   R e a l S e n s e   de pt h   c a m e r a   p r o v i de s   n o t   o n l y   R G B   c ol o r   i m a ge   b ut   a l s o   de pt h   i n f o r m a t i o n     by   r e c o gn i z i n g  i n f ra r e d  do t s   us i n g  i n f ra r e d  p r o j e c t o r   a nd  i n f r a r e d  c a m e ra   [1 7 - 1 9 ].   U s i n g   i n f ra r e d  ra di a t i o n   (IR )  m a ke s   i t   po s s i b l e   t o   m e a s ur e   t h e   di s t a n c e   w i t h   hi g h   a c c ur a c y   b ut   i t   ha s   a   d i s a dv a nt a ge   t ha t   t h e   s h a do w   r e gi o n   of   IR   a ppe a r s   a s   b l a c k  h o l e s   i n   a   de pt h   i m a ge .   B e c a us e   w h e n   t h e   s ha do w   of  IR   o c c ur s ,   c a m e r a s   c a n   n o t   m e a s u r e   t h e   de pt h   o f   t h e   s ha do w   r e gi o n .   I n t e l   R e a l S e n s e   S D K   (S of t w a r e   D e v e l o pm e n t   K i t )  [ 20 ]  p r o v i de s   a   po s t pr o c e s s i n g  a l go ri t hm   t ha t   f i l l s   t h e   b l a c k  h o l e s   (s h a do w   r e gi o n s ),   b ut   t hi s   a l go r i t hm   i s   s o   s i m pl e   t ha t   i t   n e e ds   t o   b e   i m p r o v e d .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 9 ,   N o .   2 ,  A ugus t   20 20  :     1021   -   1027   1022   F i gu r e   1  s h o w s   a n   e xa m p l e   of   t h e   po s t pr o c e s s i n g  o f   t h e   Int e l   R e a l S e n s e   S D K .   F i gur e   1  (a )  i s   a n   R G B   c o l o r   i m a ge ,   a n d  F i gu r e   1  (b )  i s   a n   o ri gi na l   de pt h   i m a g e .   B l a c k  pi xe l s   i n   F i gu r e   1  (b )  m e a n   w h e r e   de pt h  i n f o r m a t i o n   i s   n o t   m e a s u r e d  by   I R   s h a do w s   r e gi o n .   F i g u r e   1  (c )  i s   a   c o r r e c t e d  de pt h   i m a ge   ge n e r a t e d  by   In t e l   R e a l S e n s e   S D K   p o s t pr o c e s s i n g .   T h e   p o s t pr o c e s s i n g  p r o v i de s   i na c c ura t e   c o r r e c t i o n   b e c a us e   i t   s i m pl y   c o pi e s   t h e   l e f t   de pt h   v a l ue   of   t h e   IR   s h a do w s   r e gi o n   t o   de pt h   u nm e a s u r e d  r e gi o n ,   s o   t h e   s h a pe   o f   h a n d   i s   a l m o s t   di s a ppe a r e d   o n  t h e   l e f t   s i de   o f   t h e   de pt h   i m a ge .             (a )  R G B   i m a ge   (b )  D e pt h  i m a ge   (c )   P o s t pr o c e s s i n g  r e s ul t     F i gu r e   1 .   P o s t p r o c e s s i n g   e xa m pl e   o f   Int e l   R e a l S e n s e   SDK       T h e r e f o r e ,   t hi s   pa pe r   p r o po s e s   a   n e w   de pt h   c o rr e c t i o n   m e t h o d  t o   i m p r o v e   t h e   po s t pr o c e s s i n g.     T h e   p r o po s e d  m e t h o d   f i n ds   t h e   s a m e   o b j e c t   of   t h e   de pt h   u nm e a s u r e d  r e gi o n  a n d   e s t i m a t e s   t h e   n e w   de pt h  us i n g  t h e   t h e   de pt h  i n f o rm a t i o n  o f   t h e   s a m e   o bj e c t .   It   c o rr e c t s   de pt h   v a l ue s   o f   t h e   IR   s h a do w   r e gi o n   m o r e   a c c ur a t e l y .       2.   D EP TH   I M A G E   C O R R EC TI O N   M E TH O D   T h e   po s t pr o c e s s i n g  o f   In t e l   R e a l S e n s e   S D K   us e s   o n l y   a dj a c e n t   p i xe l s   i n   t h e   de pt h   i m a ge     fo r   e s t i m a t i n g  t h e   de pt h s   o f  t h e   IR   s h a do w   r e gi o n .   H ow e v e r ,   s i n c e   i t   i s   a l r e a dy   l os t   t h e   de pt h   i n f o rm a t i o n   a t   t h e   IR   s h a do w   r e gi o n   i n   t h e   de pt h   i m a ge ,   t h e   a c c ur a c y   of   t h e   de pt h   e s t i m a t i o n   c a nn o t   b e   h i g h.   T h e r e f o r e ,     i n   t hi s   p a pe r,   t h e   p r o po s e d  m e t h o d  us e s   n o t   o n l y   de pt h   i m a g e   b ut   a l s o   R G B   i m a ge   t o   e s t i m a t e   t h e   de pt h  o f   I R  s h a do w   r e gi o n   a n d   m a ke s   t h e   f o l l ow i n g  a s s um p t i o n s .       A s s um pt i o n   1 .   P i xe l s   ha v i n g  s i m i l a r   c o l o r s   w i t h i n  a   gi v e n   s m a l l   r e gi o n   c o rr e s po n d  t o   t h e   s a m e   o b j e c t .   A s s um pt i o n   2 .   T h e   de pt h   o f   a   p i xe l   i s   s i m i l a r   t o   t h e   de pt h  o f   a n   a dj a c e n t   s a m e   o b j e c t .     A c c o r di n g  t o   t h e   A s s um p t i o n   1,   i t   c a n  de t e rm i n e   t h a t   w h i c h   o b j e c t   i s   c o n t a i n i n g  a   D U P   (D e pt h  U n m e a s u r e d  P i xe l ) ,   w h i c h   i s   t h e   p i xe l   w i t h o ut   a   de pt h   v a l ue   i n   a   de pt h  i m a ge ,   b y   us i n g  i t s   po s i t i o n   a n d   c o l o r .   In   A s s um p t i o n   2 ,   s i n c e   t h e   de pt h   o f  a   s pe c i f i c   po s i t i o n   i s   a s s um e d  t o   be   s i m i l a r   t o   t h e   de pt h   o f  a n   a dj a c e nt   s a m e   o bj e c t ,   t ha t   i s ,   a   r e gi o n   h a v i n g  a   s i m i l a r   c o l o r ,   t h e   d e pt h   o f   t h e   o bj e c t   c a n   b e   e s t i m a t e d .   T h e r e f o r e ,     i n   t h i s   p a pe r,   t h e   p r o po s e d  m e t h o d  ge n e ra t e s   a   c r i t e ri o n   u s i ng  R G B  i m a ge   f o r   de t e r m i ni n g  w hi c h   o b j e c t   c o n t a i ni n g   a   D U P ,   a n d  t h e   de pt h  o f   t h e   D U P   i s   e s t i m a t e d   u s i ng  de pt h  i n f o r m a t i o n  o f   a dj a c e n t   p i xe l s   o f   t h e   ob j e c t   i n c l u di n g   t h e   D U P .   F i gu r e   2  s h o w s   t h e   e n t i r e   p r o c e s s   of   t h e   p r o po s e d  m e t h o d.           F i gu r e   2 .  T h e   p r o c e s s   of   t h e   p r o po s e d  m e t h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       D e pt h   i m ag e   c or r e c t i on   f or   i n t e l   r e al s e ns e   de p t h  c am e r a   ( H y un  J un  P ar k )   1023   2. 1 .   R G B   i m age   s e gm e n tat i o n   b y  c o l o r s   T h i s   s t e p  i s   t h e   p r o c e s s   of   g e n e ra t i n g  a   c r i t e ri o n   t o   f i n d  t h e   ob j e c t   c o n t a i ni n g  a   D U P .   I n   A s s um pt i o n  1,   p i xe l s   w i t h   s i m i l a r   c o l o r s   i n  a   gi v e n   s m a l l   r e gi o n   a r e   t h e   s a m e   o bj e c t ,   t hi s   p r o c e s s   a i m s   t o   r e p r e s e nt   r e gi o n s   w i t h   s i m i l a r   c o l o r s   a s   a   s i ngl e   c o l o r   (o b j e c t )  i n   a n  R G B   i m a ge .   F i r s t ,   t h e   p r o po s e d  m e t h o d  r e m o ve s   t h e   n o i s e   a nd  s i m pl i f i e s   t h e   R G B   i m a ge .   I t   c a n  b e   do n e   e ffe c t i ve l y   by   r e m ov i n g   t h e   t e x t u r e .   T h e   m e a n s hi f t   f i l t e r   [ 21 ],   a   w e l l - k n o w n   m e t h o d  f o r   r e m o v i n g  t e xt u r e s ,     i s   v e r y   s l ow   a n d  un s u i t a b l e   fo r   r e a l - t i m e   pr o c e s s i n g.   T h e r e fo r e ,   i n   t h i s   p a pe r,   e dge   pr e s e r v a t i o n   s m o o t h i ng  t h a t   c a n   p r e s e r v e   t h e   bo un da r y   be t w e e n   o bj e c t s   w h i l e   s i m p l i fy i n g  t h e   t e xt u r e   o f  t h e   i m a ge   i s   us e d.     E dge   p r e s e r v i n g  s m o o t hi n g  i n c l ude   m e di a n   f i l t e r   [ 22 ] ,   b i l a t e ra l   f i l t e r   [2 3 ] ,   e dge   p r e s e r v i n g   f i l t e r   [2 4 ] ,   a n d  s o   o n .   T h e   p r o po s e d  m e t h o d  us e s   e dge   pr e s e r v i n g  f i l t e r   w hi c h   i s   f a s t   a n d  h a s   go o d  pe r f o r m a n c e .   F i gu r e   3  s h o w s   a n   e xa m p l e   o f   e dge   pr e s e r v i n g  f i l t e ri n g .   T h e   n o i s e   a nd  t e xt u re   i n   F i gu r e   3( a )   a r e   e f f e c t i v e l y   r e m ov e d.               (a )  O ri gi na l   i m a ge   (b )  E dge   pe r s e r v i n g   f i l t e r i ng     F i gu r e   3 .   A n  e xa m pl e   o f   e dge   p r e s e r v i n g   f i l t e r i ng       T h e n,   t h e   p r o po s e d  m e t h o d  a pp l i e s   c o l o r   qua n t i z a t i o n   t o   t h e   e dge   pr e s e r v i n g  f i l t e r e d  i m a ge .     A s   t h e   c o l o r   qua nt i z a t i o n   i s   a   m e t h o d  t o   r e duc e   c o l o r s   i n   a n   i m a ge ,   i t   c a n   r e p r e s e n t   m a n y   s i m i l a r   c o l o r s   i n  o n e   c o l o r .   It   m e a n s   s i m i l a r   c o l o r   r e gi o n s   c a n   b e   r e pr e s e n t e d   a s   s a m e   c o l o r ,   s o   i t   i s   e qui v a l e n t   t o   t h e   pu r po s e   of   R G B   i m a ge   s e gm e n t a t i o n   s t e p.   A m o ng  t h e   v a ri o us   c o l o r   qu a nt i z a t i o n   m e t h o d s   [ 25 - 28 ] ,   t he   p ro po s e d   m e t h o d  us e s   c o l o r   q ua nt i z a t i o n  us i ng  c o l o r   i m po rt a n c e - b a s e d  s e l f - o rg a ni z i ng   m a p   (S O M )  [2 5] .   S i n c e   t hi s   c o l o r  qu a nt i z a t i o n  m e t h o d   l e a rns   a l l   p i xe l s   i n  t he   i m a ge   us i ng   S O M ,   i t   r e duc e s   c o l o r s   e f f e c t i v e l y   w i t h  a   s m a l l   e rro r.   F i gu r e   4(a )  s h o w s   a n   e xa m p l e   of   a ppl y i n g  c o l o r   qua n t i z a t i o n   t o   F i gur e   3(b ).   R e gi o n s   w i t h   s i m i l a r  c o l o r s   a r e   r e p r e s e n t e d  i n   t h e   s a m e   c o l o r ,   s o   i t   s h o w s   c o n t o ur - l i ke   s h a pe s .   I n  t hi s   pa pe r,   t h e   n u m b e r   o f    t h e   c o l o r s   i n   t h e   R G B   i m a ge   i s   r e duc e d  t o   16  c o l o r s .   N o w ,   t o   de t e rm i n e   w hi c h   o bj e c t   c o n t a i n s   a   pi xe l   o f   a   c e r t a i n   c oo r di na t e ,   i t   o n l y   n e e ds   t o   f i n d  a dj a c e nt   pi xe l s   o f   t h e   s a m e   c o l o r .   F i g u r e   4(b )  s h ow s   t h e   r e s ul t   o f  c o n v e r t i n g  a   qua nt i z e d  i m a ge   t o   a   gr a y s c a l e   i m a ge .   It   c a n   d e t e r m i n e   w h e t h e r   t h e   s a m e   c o l o r   o r   n o t   by   us i n g  R G B   v a l ue s ,   b ut   t h e   p r o po s e d  m e t h o d  us e s   g ra y s c a l e   i m a ge   b e c a us e   i t   i s   f a s t e r  t o   c o m pa r e   o n e   c h a nn e l .           (a )  Co l o r   qu a n t i z e d   i m a ge   (b )  G ra y s c a l e   i m a ge     F i gu r e   4 .   A n  e xa m pl e   o f   i m a ge   s e gm e n t a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 9 ,   N o .   2 ,  A ugus t   20 20  :     1021   -   1027   1024   2. 2 .   D e p th   c o r r e c ti o n   D e pt h   c o rr e c t i o n   s t e p  i s   a   p r o c e s s   of   e s t i m a t i ng  de pt h   o f  D U P   us i n g  t h e   de pt h   i n f o rm a t i o n   o f  a dj a c e n t   s a m e   o b j e c t s .   F i gur e   5  s h o w s   a n   e x a m p l e   o f   D U P s   i n   t h e   de pt h  i m a ge .   F i gu r e   5  (a )  s h o w s   t h e   R G B  i m a ge ,   (b )  s h o w s   t h e   ra w   de pt h   i m a ge ,   a n d   (c )  s h o w s   t h e   D U P s   i n  r e d.   D e pt h  c o rr e c t i o n  s t e p   e s t i m a t e s     t h e   de pt h  f o r   e v e r y   pi xe l   m a r ke d   i n  r e d.             (a )  R G B   i m a ge   (b )  R a w   de pt h   i m a ge   (c )  D e pt h   u nm e a s u r e d  pi xe l s     F i gu r e   5 .   A n  e xa m pl e   o f   d e pt h   u nm e a s u r e d   pi xe l s       F i r s t ,   t hi s   s t e p  f i n ds   t h e   D U P   i n   t h e   de pt h  i m a ge .   T o   do   t h i s ,   t h e   p r o po s e d  m e t h o d  us e s   t h e   G ra s s F i r e   a l go ri t hm   [2 9 ] ,   w hi c h  i s   us e d  a s   a   l a b e l i n g   a l go ri t hm ,   t o   f i n d  b l a c k   pi xe l s .   T h e   G ra s s f i r e   a l go ri t hm   i s   a   m e t h o d  of   s e que n t i a l l y   v i s i t i n g  a dj a c e n t   p i xe l s   l i ke   f i r e   s pr e a di n g  o n   d r y   gr a s s   s t a r t i n g  f r o m   s e e d,   s o   i t   f i n ds   D U P s   s e que n t i a l l y .   T h e n ,   t h e   p r o po s e d  m e t h o d  c o rr e c t s   t h e   de pt h   o f   D U P s   us i n g  (1)  a nd  (2).   T h e   E qu a t i o n   (1)  de f i n e s   a   m e t h o d  o f   f i n di ng  a   de p t h   o f   a   s pe c i f i c   c oo r di na t e   i n  a   de pt h  i m a ge .     ( , ) , ( , ) ( , , ) 0, d e p th x y if c o lor c o lor x y d e p th x y c o lor o the rwise   (1)     w he r e   x   a nd  y   a r e   t h e   c o o r di na t e s   o f   t h e   p i xe l ,   d e pt h ( x ,  y )  i s   t h e   de pt h  o f   t h e   x   a n d   y   c o o r di na t e s ,   a nd  c ol or ( x ,  y )  i s   t h e   c o l o r   o f   t h e   x   a n d   y   c o o r di na t e s .   O nl y   t h e   de pt h   o f   t h e   s a m e   o bj e c t   i s   n e e de d  t o   c o rr e c t   t h e   de pt h.   T h e r e f o r e ,   i f   t h e   c o l o r   i s   t h e   d i f f e r e n t   t h e n   i t   gi v e s   0.   T h e   E q ua t i o n   (2)  de f i n e s   a   m e t h o d  f o r   de pt h  c o r r e c t i o n .     11 11 ( , , ( , ) ) ( , ) wh x w y h d e p t h x y c o l o r w h n e w d e p t h w h c o u n t     (2)     w h e r e   w   a n d   h   a r e   c o o r di n a t e s   a n d   c ount   i s   t h e   n u m b e r   o f   de pt h  v a l ue s .   T hi s   i s   t h e   a v e r a ge   o f   t h e   de pt h s   o f   t h e   pi xe l s   c o rr e s po n di ng  t o   t h e   s a m e   o bj e c t   a m o ng   t h e   8 - c o nn e c t e d  a dj a c e n t   pi xe l s   o f   ( w ,  h )  pi xe l s   di v i de d  by   t h e   n u m b e r .   T h e   E qu a t i o n   (2)  m e a n s   t h a t   t h e   s u m   o f   t h e   de pt h s   c o r r e s po n d i n g  t o   t h e   s a m e   o bj e c t   a m o ng  8 - c o nn e c t e d  a dj a c e n t   p i xe l s   o f  ( w ,   h )  c oo r di na t e   i s   di v i de d  by   c ount ,   w h i c h   i s   a n   a v e r a ge   de pt h   v a l ue .   T h e   p r o po s e d  m e t h o d  pe r f o r m s   t hi s   s t e p  u n t i l   t h e   de p t h   c o rr e c t i o n   f o r   a l l   D U P s   i s   c o m pl e t e .         3.   EX P ER I M EN TA L  R ES U L TS   T h e   e xpe r i m e n t a l   e n v i r o n m e n t   f o r   e v a l ua t i n g  t h e   p r o po s e d   m e t h o d  i s   a s   fo l l ow s .   W e   us e d  l a pt o p   c o m put e r   w i t h   I n t e l   i 7 - 7500U   2. 70  G H z   CP U   a n d  8 . 0  G B   RA M ,   a n d  t h e   pr o po s e d  m e t h o d  i s   i m pl e m e n t e d  i n  V i s ua l   S t ud i o   2017  w i t h  M F C - b a s e d  C  + +   l a n gu a ge .   F o r  de p t h  c a m e ra ,   I n t e l   R e a l S e n s e   D 435   a n d   I nt e l   R e a l S e n s e   S D K   2. 0   w e r e   us e d,   a n d   O pe nCV   3 . 4 . 2  w a s   us e d  a s   a n   i m a ge   p r o c e s s i n g  l i b ra r y .   F i gu r e   6  s h o w s   t h e   c o m pa r i s o n   b e t w e e n   t h e   p r o po s e d  m e t ho d  a n d  t h e   po s t pr o c e s s i n g  r e s ul t s   o f   t h e   Int e l   R e a l S e n s e   S D K .   I n  F i g u r e   6  ( a ),   t h e   p r o po s e d  m e t h o d  r e p r e s e n t e d  t h e   f a n ,   b o o kc a s e ,   a n d   t h e   h e i g ht   o f  t h e   o bj e c t s   m o r e   a c c u r a t e l y .   T h e   r i g ht   r e g i o n   o f   t h e   b a s s   g ui t a r   i n   F i gu r e   6   (b ),   t h e   da rk  p a s s a ge   r e gi o n   i n   F i gu r e   6  (c ),   t h e   s ha pe   o f   t h e   r a b b i t   do l l   i n  F i gu r e   6  ( d),   t h e   s ha pe   o f   t h e   ra b b i t   do l l   a n d   b a c kgr o u n d  i n  F i gu r e   6  (e ),   a n d   t h e   s ha pe   o f   t h e   ha n d   a nd  t h e   m o n i t o r   i n   F i gu r e   6  (f )  w e r e   r e p r e s e n t e d  b y   t h e   p r o po s e d  m e t h o d   m o r e   a c c u r a t e l y .   E xpe r i m e nt a l   r e s ul t s   s h o w   t ha t   t h e   p r o po s e d  m e t h o d  c o r r e c t s   t h e   s ha pe   o f   o bj e c t s   be t t e r   t ha n   t h e   Int e l   R e a l S e n s e   S D K   w h e n   D U P   i s   o c c ur r e d  by   I R   s h a do w .   H ow e v e r ,   i f   t h e r e   a r e   o t h e r   o b j e c t s   o r   b a c kgr o un ds   w i t h  s i m i l a r   c o l o r s   a r o un d   t h e   o b j e c t ,   t h e   p r o po s e d  m e t h o d  m a y   n o t   a c c ura t e l y   e s t i m a t e   t h e   de pt h.   It   i s   c a us e d  by   t h e   A s s u m pt i o n  1 ,   s o   i t   c a n  b e   i m p r o v e d  by   m a ki ng  o b j e c t   s e gm e n t a t i o n  m o r e   a c c ura t e .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       D e pt h   i m ag e   c or r e c t i on   f or   i n t e l   r e al s e ns e   de p t h  c am e r a   ( H y un  J un  P ar k )   1025     R G B   i m a ge   Int e l   R e a l S e n s e   SDK   T h e   p r o po s e d  m e t h o d   (a )         (b )         (c )         (d)         (e )         (f )           F i gu r e   6 .   T h e   r e s ul t s   o f   t h e   I nt e l   R e a l S e n s e   S D K   a nd  t h e   p r o po s e d  m e t h o d         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   1 9 ,   N o .   2 ,  A ugus t   20 20  :     1021   -   1027   1026   4.   C O N C LU S I O N   In   t h i s   p a pe r ,   w e   pr o po s e d  a   de pt h   i m a ge   c o rr e c t i o n   m e t h o d   t o   i m p r o v e   t h e   po s t pr o c e s s i n g  o f   In t e l   R e a l S e n s e   de pt h   c a m e ra .   T h e   I nt e l   R e a l S e n s e   S D K   us e s   o n l y   a   de pt h   i m a ge   f o r   de pt h   c o rr e c t i o n .   H ow e v e r ,   s i n c e   t h e   de pt h  i n f o rm a t i o n  i s   a l r e a dy   m i s s i n g ,   de pt h  c o rre c t i o n   r e s ul t s   c a nn o t   b e   a c c ura t e .   F i r s t ,   i n  t hi s   pa pe r,   w e   m a de   t w o   a s s um pt i o n s   t ha t   t h e   a dj a c e n t   s a m e   ob j e c t   h a s   s i m i l a r   c o l o r s   a n d  t h e   de pt h   c a n   b e   e s t i m a t e d  b a s e d  o n   t h e   de pt h   o f   t h e   a dj a c e nt   s a m e   o bj e c t .   T h e   p r o po s e d  m e t h o d  c o n s i s t s   o f   R G B   i m a ge   s e gm e n t a t i o n   a nd  de pt h   c o rr e c t i o n .   I n  t h e   R G B   i m a ge   s e gm e nt a t i o n  s t e p,   e dge   p r e s e r v i n g  f i l t e r   a nd  c o l o r   qua n t i z a t i o n   i s   a pp l i e d  t o   s i m p l i f y   t h e   R G B   i m a ge .   T h i s   i s   us e d  a s   a   b a s i s   fo r   de t e rm i ni n g  w hi c h   pi xe l s   a m o ng  a dj a c e n t   pi xe l s   a r e   i n c l ude d  i n  t h e   s a m e   o b j e c t .   I n   t h e   de pt h  c o rr e c t i o n   s t e p,   t h e   de pt h  i s   e s t i m a t e d  b a s e d  o n   t h e   a dj a c e nt   de pt h  i n f o r m a t i o n  o f   t h e   s a m e   o b j e c t .   E xpe r i m e n t a l   r e s ul t s   s h o w e d  t ha t   t h e   p r o po s e d   m e t h o d  c o r r e c t s   t h e   de pt h  o f   obj e c t s   m o r e   a c c u r a t e l y   t h a n  t he   Int e l   R e a l S e n s e   S D K .   H ow e v e r ,   w h e n   di f f e r e n t   ob j e c t s   w i t h   s i m i l a r   c o l o r s   a r e   a dj a c e n t   t o   e a c h   o t h e r ,   a c c ura t e   c o rr e c t i o n   m a y   n o t   be   p o s s i b l e .   In   f ut ur e     w o r k,   w e   w i l l   i m p r o v e   t h e   e s t i m a t i o n   m e t h o d  i n   de pt h   c o r r e c t i o n   s t e p  t o   ob t a i n   m o r e   a c c u r a t e   de pt h  c o r r e c t i o n  r e s ul t s .       R EF ER EN C ES   [ 1]   J .   R e dm o n,   S .   D i v v a l a ,   R .   G i r s h i c k,   a n d  A .   F a r h a di ,   “ Y o u  o nl y   l o o k  o nc e :   U ni f i e d,   r e a l - t i m e   o bj e c t   d e t e c t i o n, ”     In   P r o c e e di ngs   of   t he   I E E E   c on f e r e nc e   on   c om p ut e r   v i s i on   and   p at t e r n  r e c og ni t i on ,   p p.   77 9 - 788,   2 016 .   [ 2]   M .   L i a ng   a nd  X .   H u ,   “ R e c ur r e n t   c o nv o l ut i o na l   ne u r a l   ne t w o r k  f o r   o bj e c t   r e c og ni t i o n , ”   In   P r oc e e di ng s   o f   t he   I E E E   c onf e r e nc e   o n  c om pu t e r   v i s i on  and   pa t t e r n   r e c o gn i t i on ,   pp .   3 367 - 3 375,   2 015 .   [ 3]   Z .   F u,   T .   X i a ng ,   E .   K o di r o v ,   a nd  S .   G o ng ,   “ Z e r o - s ho t   o bj e c t   r e c og ni t i o n  by   s e m a nt i c   m a ni f o l d  d i s t a nc e , ”   In   P r o c e e di ngs   of   t he   I E E E   c on f e r e nc e   on   c om p ut e r   v i s i on   and   p at t e r n  r e c og ni t i on ,   p p.   26 35 - 2644 ,   201 5.   [ 4]   M .   T .   M .   K ha i r i ,   S .   I br a hi m ,   M .   A .   M .   Y un us ,   a nd  A .   R .   W a ha p ,   “ D e t e c t i o n  o f   f o r e i g n  o bj e c t s   i n  m i l k   us i ng   a n   ul t r a s o n i c   s y s t e m , ”   I nd one s i a n  J our n al   of   E l e c t r i c a l   E ng i ne e r i n g  and  C om p ut e r   S c i e nc e   ( I J E E C S) ,   v o l .   15 ,   no .   3,     pp.   12 41 - 1249 ,   201 9.   [ 5]   T .   B a t hi ni   a nd  B .   G a dg a y ,   “ H y br i d  e nha nc e d  I C A   &   K S V M   ba s e d  br a i n  t um o r   i m a g e   s e g m e n t a t i o n, ”   I nd one s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e   ( I J E E C S) ,   v o l .   14 ,   no .   1,   pp .   47 8 - 489,   2 019 .   [ 6]   G .   R a m kum a r   a nd  E .   L og a s ha nm ug a m ,   “ M ul t i m o da l   v e r g e   f o r   s c a l e   a n d  po s e   v a r i a n t   r e a l   t i m e   f a c e   t r a c ki ng   a nd  r e c o g ni t i o n, ”   I nd one s i a n  J o ur na l   o f   E l e c t r i c al   E n gi ne e r i ng  an d   C om put e r   S c i e nc e   ( I J E E C S) ,   v o l .   13 ,   no .   2 ,     pp.   66 5 - 670,   2 019 .   [ 7]   B .   T i pp e t t s ,   D .   J .   L e e ,   K .   L i l l y w hi t e ,   a n d  J .   A r c hi ba l d,   “ R e v i e w   o f   s t e r e o   v i s i o n  a l g o r i t hm s   a nd  t he i r   s ui t a b i l i t y   f o r   r e s o ur c e - l i m i t e d   s y s t e m s , ”   J o ur n al   o f   R e a l - T i m e   I m a ge   P r oc e s s i ng ,   v o l .   11 ,   no .   1,   pp .   5 - 25 ,   2016 .   [ 8]   K .   K o no l i g e ,   J .   A ug e nbr a un ,   N .   D o na l d s o n,   C .   F i e b i g ,   a nd  P .   S h a h,   “ A   l o w - c o s t   l a s e r   di s t a nc e   s e n s o r , ”   In   2008   I E E E   I n t e r na t i o na l   C o nf e r e nc e   on   R o bo t i c s   and   A u t om a t i on ,   I E E E ,   pp .   3002 - 30 08 ,   M a y   2008 .   [ 9]   K .   K ho s he l h a m ,   “ A c c ur a c y   a na l y s i s   o f   ki n e c t   de pt h  d a t a , ”   In   I S P R S  w or k s hop  l a s e r   s c ann i ng ,   v o l .   38,   no .   1,     pp.   13 3 - 138,   A ug .   201 1.   [ 10]   J .   B i s w a s   a nd  M .   V e l o s o ,   “ D e p t h  c a m e r a   ba s e d  i ndo o r   m o bi l e   r o bo t   l o c a l i z a t i o n  a nd  n a v i g a t i o n, ”   In   20 12  I E E E   I nt e r n at i on al   C o n f e r e nc e   on   R ob ot i c s   a nd  A ut om at i o n ,   I E E E ,   M a y   2012 .   [ 11]   S .   M a t y uni n,   D .   V a t o l i n ,   Y .   B e r dn i ko v ,   a nd  M .   S m i r no v ,   “ T e m po r a l   f i l t e r i ng   f o r   de pt h  m a p s   g e ne r a t e d  by   ki ne c t   de pt h  c a m e r a , ”   In   2 011  3D T V   C on f e r e nc e :   T he   T r ue   V i s i on - C a pt ur e ,   T r a ns m i s s i on  and  D i s p l ay   of   3D   V i de o   ( 3D T V - C O N ) ,   I E E E ,   p p.   1 - 4 ,   M a y   2011 .   [ 12]   Z .   Z ha ng ,   “ M i c r o s o f t   k i ne c t   s e ns o r   a n d  i t s   e f f e c t , ”   I E E E   m u l t i m e di a ,   v o l .   19 ,   no .   2,   pp .   4 - 10 ,   2 012 .   [ 13]   J .   G i m e no ,   P .   M o r i l l o ,   J .   M .   O r duñ a ,   a nd  M .   F e r ná nde z ,   “ A   ne w   A R   a ut ho r i ng   t o o l   us i ng   de pt h  m a ps   f o r   i nd us t r i a l   pr o c e dur e s , ”   C om put e r s   i n   I n dus t r y ,   v o l .   64,   no .   9 ,   pp.   1 263 - 127 1,   2013 .   [ 14]   C .   C a m po r e s i ,   M .   K a l l m a nn,   a n d  J .   J .   H a n,   “ V R   s o l ut i o ns   f o r   i m p r o v i ng   ph y s i c a l   t h e r a py , ”   In   2013  I E E E   V i r t u al   R e al i t y   ( V R ) ,   pp .   77 - 78 .   I E E E ,   M a r .   2013 .   [ 15]   A .   O l i v e r ,   S .   K a ng ,   B .   C .   W üns c he ,   a nd  B .   M a c D o na l d ,   “ U s i ng   t he   K i n e c t   a s   a   n a v i g a t i o n  s e n s o r   f o r   m o bi l e   r o bo t i c s , ”   In   P r oc e e di ngs   o f   t he   27t h  c on f e r e nc e   on  i m age   and  v i s i on  c om pu t i ng  N e w   Z e al and .   A C M ,   pp .   50 9 - 514,   N ov .   201 2.   [ 16]   K .   B o udj i t ,   C .   L a r be s ,   a nd  M .   A l o ua c he ,   “ C o nt r o l   o f   f l i g ht   o pe r a t i o n  o f   a   qua d  r o t o r   a r .   dr o ne   u s i ng   de p t h  m a p   f r o m   m i c r o s of t   ki ne c t   s e n s o r , ”   I nt e r n at i on al   J o ur na l   of   E n gi ne e r i ng  and  I nn ov a t i v e   T e c hnol og y   ( I J E I T ) ,   v o l .   3,     no .   3 ,   pp.   1 5 - 19,   20 08.   [ 17]   L .   K e s e l m a n ,   J .   I .   W oo df i l l ,   A .   G r un ne t - J e p s e n ,   a nd  A .   B ho w m i k,   “ I nt e l   ( r )   r e a l s e ns e   ( t m )   s t e r e o s c o pi c   de pt h   c a m e r a s , ”   In   20 17  I E E E   C on f e r e nc e   on  C om put e r   V i s i on  an d  P at t e r n  R e c og ni t i on  W or k s h ops   ( C V P R W ) ,   I E E E ,     pp.   12 67 - 1276 ,   J u l .   2 017 .   [ 18]   M .   D r a e l o s ,   Q .   Q i u,   A .   B r o ns t e i n,   a nd  G .   S a pi r o ,   “ I nt e l   r e a l s e ns e =   r e a l   l o w   c o s t   g a z e , ”   In   20 15  I E E E   I n t e r nat i on al   C onf e r e nc e   on   I m age   P r oc e s s i ng   ( I C I P ) ,   I E E E ,   pp.   2 520 - 252 4,   S e p .   2015 .   [ 19]   I nt e l   R e a l s e ns e   d e p t h   c a m e r a ,   A v a i l a b l e :   h t t p s : / / s o f t w a r e . i n t e l . c o m / e n - us / r e a l s e n s e / d 4 35 ,   [ A c c e s s e d:   A ug us t   2 7 ,   20 1 9]   [ 20]   “ I nt e l   R e a l s e ns e   S D K   2. 0 , ”   I nt e l r e a l s e ns e ,  [ O nl i n e ]   A v a i l a b l e :   ht t ps : / / s o f t w a r e . i nt e l . c o m / e n - us / r e a l s e n s e / s dk ,   [ A c c e s s e d:   A ug us t   27 ,   2 019]   [ 21]   G .   W u,   X .   Z h a o ,   S .   L uo ,   a nd  H .   S h i ,   “ H i s t o l o g i c a l   i m a g e   s e g m e n t a t i o n  us i ng   f a s t   m e a n  s hi f t   c l u s t e r i ng   m e t ho d, ”   B i om e di c al   e ngi ne e r i ng  on l i ne ,   v o l .   14,   no .   24 ,   pp .   1 - 12 ,   20 15.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       D e pt h   i m ag e   c or r e c t i on   f or   i n t e l   r e al s e ns e   de p t h  c am e r a   ( H y un  J un  P ar k )   1027   [ 22]   K .   V e r m a ,   B .   K .   S i ng h,   a nd  A .   S .   T ho ke ,   “ A n  e nh a nc e m e n t   i n   a da p t i v e   m e d i a n  f i l t e r   f o r   e dg e   pr e s e r v a t i o n , ”   P r oc e di a  C om put e r   Sc i e nc e ,   v o l .   48 ,   pp .   29 - 3 6 ,   2015 .   [ 23]   C .   T o m a s i   a nd   R .   M a nduc hi ,   “ B i l a t e r a l   f i l t e r i ng   f o r   g r a y   a nd  c o l o r   i m a g e s , ”   S i x t h  I n t e r nat i o nal   C on f e r e nc e   on  C om put e r   V i s i on  ( I E E E   C at .   N o. 98C H 36 271) ,   pp .   839 - 84 6,   J a n.   1 9 98.   [ 24]   E .   S .   G a s t a l   a nd  M .   M .   O l i v e i r a ,   “ D o m a i n  t r a ns f o r m   f o r   e dg e - a w a r e   i m a g e   a nd  v i d e o   pr o c e s s i ng , ”   I n  A C M   T r ans ac t i ons   on   G r aph i c s ,   v o l .   30 ,   no .   4,   pp .   69 - 79 ,   A ug .   2011 .   [ 25]   H .   J .   P a r k ,   K .   B .   K i m ,   a nd  E .   Y .   C ha ,   “ A n  e f f e c t i v e   c o l o r   qua nt i z a t i o n  m e t ho d  us i ng   c o l o r   i m po r t a nc e - ba s e d  s e l f - o r g a ni z i ng   m a ps , ”   N e ur a l   N e t w or k   W or l d ,   v o l .   25 ,   no .   2 ,   pp .   121 - 1 37,   20 15.   [ 26]   H .   J .   P a r k,   K .   B .   K i m ,   a n d  E .   Y .   C h a ,   “ A n  e f f e c t i v e   c o l o r   qua n t i z a t i o n  m e t ho d  us i ng   o c t r e e - ba s e d  s e l f - o r g a ni z i ng  m a ps , ”   C om pu t a t i o nal   i n t e l l i ge nc e   an d  ne u r os c i e nc e ,   v o l .   2 016 ,   pp.   1 - 11 ,   2 016 .   [ 27]   M .   E .   C e l e bi ,   Q .   W e n,   a n d  S .   H w a ng ,   “ A n  e f f e c t i v e   r e a l - t i m e   c o l o r   qua nt i z a t i o n  m e t ho d  ba s e d  o n  di v i s i v e   hi e r a r c hi c a l   c l us t e r i ng , ”   J ou r na l   of   R e al - T i m e   I m age   P r oc e s s i n g ,   v o l .   1 0,   pp .   329 - 34 4,   20 12 .   [ 28]   K .   L .   C hu ng ,   Y .   H .   H ua ng ,   J .   P .   W a ng ,   a nd  M .   S .   C he ng ,   “ S pe e dup   o f   c o l o r   pa l e t t e   i nde xi ng   i n  s e l f - o r g a ni z a t i o n  o f   ko ho ne n  f e a t ur e   m a p, ”   E x pe r t   Sy s t e m s   w i t h   A pp l i c a t i ons ,   v o l .   39 ,   n o .   3,   p p.   24 27 - 2432 ,   201 2.   [ 29]   R .   C .   G o nz a l e z   a nd   R .   E .   W o o ds ,   D i g i t al   i m age   p r oc e s s i n g ,  3 r d  e d i t i o n ,   P r e n t i c e   H a l l ,   N ue v a   J e r s e y ,   200 8       B I O G R A P H I ES   O F   A U T H O R S       H y u n   Ju n   P a r k .  H e   r e c e i v e d  h i s   M . S .   a nd   P h . D .   de g r e e s   f r o m   t he   D e pa r t m e nt   o f   C o m put e r   E ng i ne e r i ng ,   P us a n  N a t i o na l   U ni v e r s i t y ,   B us a n,   K o r e a ,   i n  20 09  a n d  201 7,   r e s pe c t i v e l y .   I n  2017,   he   w a s   a   po s t do c t o r a l   r e s e a r c he r   a t   B K 21P L U S ,   C r e a t i v e   H u m a n  R e s o ur c e   D e v e l o pm e nt   P r o g r a m   f o r   I T   C o nv e r g e nc e ,   P us a n  N a t i o na l   U ni v e r s i t y ,   K o r e a .   F r o m   2018  t o   t he   p r e s e n t ,   he   i s   a n  a s s o c i a t e   p r o f e s s o r   a t   t h e   D i v i s i o n  o f   S o f t w a r e   C o nv e r g e nc e ,   C he o ng j u  U ni v e r s i t y ,   K o r e a .   H i s   r e s e a r c h  i nt e r e s t s   i nc l u de   c o m put e r   v i s i o n,   i m a g e   pr o c e s s i ng ,   f a c t o r y   a ut o m a t i o n,   ne u r a l   ne t w o r k ,   a nd   de e p   l e a r ni ng   a pp l i c a t i o ns .         K w an g  B ae k   K i m .   K w a ng   B a e k  K i m   r e c e i v e d  hi s   M . S .   a nd  P h . D .   de g r e e s   f r o m   t he   D e pa r t m e nt   o f   C o m put e r   S c i e nc e ,   P us a n   N a t i o na l   U n i v e r s i t y ,   B us a n ,   K o r e a ,   i n   1993  a nd   199 9,   r e s pe c t i v e l y .   F r o m   1997  t o   t he   pr e s e n t ,   he   i s   a   pr o f e s s o r   a t   t h e   D e pa r t m e nt   o f   C o m put e r   E ng i ne e r i ng ,   S i l l a   U ni v e r s i t y ,   K o r e a .   H e   i s   c ur r e nt l y   a n  a s s o c i a t e   e d i t o r   f o r   J o ur na l   o f   I nt e l l i g e nc e   a nd  I nf o r m a t i o n  S y s t e m s   a n d  T he   O pe n  C o m put e r   S c i e nc e   J o ur n a l   ( U S A ) .   H i s   r e s e a r c h  i nt e r e s t s   i nc l ude   de e p   ne ur a l   n e t w o r k   a n d  a pp l i c a t i o ns ,   bi o i nf o r m a t i c s ,   c o m put e r   v i s i o n   a nd  i m a g e   p r o c e s s i ng .     Evaluation Warning : The document was created with Spire.PDF for Python.