I n t ern a t i o n a l   J o u rn a l   o f   A d v a n ces   i n   A p p l i ed   S ci en ces   ( I J A A S )   V o l .   7 ,   N o .   2 ,   J une   201 8 ,   p p .   1 56 ~ 1 61   IS S N :   225 2 - 88 14 ,   D OI 10. 115 91 /ij a a s . v7 . i 2 . p p 15 6 - 1 61             1 56       Jo u r n al   h om e pa ge h t t p : / / i a e s co r e . c o m/ o n l i n e / i n d e x . p h p / I J A A S   V i s i o n B a s e d A p pr oa c t o  Si g n L a ng uage   R ec og ni t i o n       H i m a ns hu  G u pt a A ni r ud dh   R a m j i w a l ,   J a s m i T J o s e   S c hool  of Com p ut e E ngi ne e ri ng ,   V IT  U ni ve rs i t y,  V e l l ore - 63201 4,  Indi a       A rt i cl I nf o     A BS TR A C   Ar t i c l e   h i s t o r y :   R ecei v ed   D ec   1 9 ,   2 01 7   Re v i s e d   M ar   4 ,   2 0 1 8   A ccep t e d   Ma 2 ,   20 1 8       W e  propos e  a n a l gori t hm  for a ut om a t i c a l l y  re c og ni z i ng s om e  c e rt a i n a m ount   of ge s t ure s  from  ha nd m ove m e nt s  t o he l p de a f a nd dum b a nd ha rd he a ri n g   pe opl e .  H a nd   ge s t ure  re c ogni t i on  i s  qui t e  a  c ha l l e ngi ng probl e m  i n i t s  form .   W e  ha ve  c ons i de re d a  fi x e d s e t  of m a nua l  c om m a nds  a nd  a  s pe c i fi c   e nvi ronm e nt ,  a n d d e ve l op a   e ff e c t i v e ,  pro c e dur e   for ge s t ure  r e c o gni t i on.  O ur  a pproa c c ont a i ns  s t e ps  for s e g m e nt i ng t he  ha n d r e gi on,  l o c a t i n g t he  fi nge rs ,   a nd fi na l l y  c l a s s i f y i ng t he  g e s t ur e  w hi c h i n ge n e ra l  t e rm s  m e a ns  de t e c t i ng ,   t ra c k i ng a nd  r e c ogni s i ng .  T h e  a l gori t hm  i s   non - c ha ngi ng  t o rot a t i ons ,   t ra ns l a t i ons  a n d s c a l e  of t h e  ha nd.  W e  w i l l  be  de m ons t ra t i ng t he   ef f ec t i v en es s  o f   t he  t e c hn i que   on   re a l  i m a ge r y .   Ke y wo r d :   D e t e c t i o n   G e s tur e   R e c o g n i t i o n ,   S eg m en t   T r ack   Copy r i ght  ©  201 8   Ins t i t ut e  o f   A d v anc e d  E ngi n e e r i ng and S c i e nc e   A l l  ri g h t s re se rv e d .   C or r e s po n di n A u t h or :   H i m a ns hu  G up t a ,     S c h ool   o f   C om put e r   E ngi ne e r i ng ,   V IT   U n i v e r s i t y ,   V e l l o r e - 632 014 ,   I n d ia .   E m a i l :   gupt a hi m a ns h u1 2@ g m a i l . c o m       1.   I N T R O D U C T I O N     T he  s i gn  l a n g ua ge  i s   ba s i c a l l y  a  l a ng ua ge  i w hi c h t he r e  i s  m a nua l   c om m uni c a t i on t o  c on ve y   m e a ni ng,   c o nt r a r y  t o c o n ve y e d s ou n d pa t t e r ns .  T hi s  i n v ol v e s  s im ul t a ne o u s   c om bi na t i ons  of   or i e nt a t i on ,  ha n d   s ha pe s  a nd m ove m e nt  of  t h e  pe r s o n’ s  ha nds ,  a r m s  a nd  b ody  t o  e x pr e s s  hi s  t ho u gh t s . A   num be r   o f  s i g n   l a ng ua ge s   s ha r e   a l ot   of   s im il a r i t i e s   w i t t he   s po ke l a ng ua ge s ,   t ha t   de pe n ds   pr i m a r i l y   o s o un d,   a nd  l i ng ui s t s   c on s i de r e b o t t be   t he   t y pe s   of   na t u r a l   l a ng ua ge .   A l t h o ug t he r e   a r e   m a ny   s i gni f i c a nt   di f f e r e nc e s   be t w e e n   s po ke n a n d  s i gne  l a n gua g e s ,  l i ke  a s  h o w t he y   us e   s p a c e  g r a m m a t i c a l l y ,  s i gn l a ng ua ge s  s ho w t h e  s a m e   l i n g u i s t i p r o p er t i es   an d   u s t h s am l an g u ag f acu l t y   as   d s pok e n   la ngu a g e s .   S t i l l   i t   i s   not   k no w t ha t   h o w   m a ny   s i gn  l a n gua ge s   e xi s t s . O ne   o f   t he   ve r y   c om m on  m i s c onc e pt i o i s   a l l  s i gn l a n g ua ge s  a r e  s a m e  w o r l d w i de   o r  s i gn l a ng ua ge  i s  i nt e r na t i ona l .  A s i de  f r om  t he  pi d gi n  I nt e r n a t i ona l   S i gn , a l m os t   e ve r y   c o unt r y   h a s   i t s   ow n,   na t i v e   s i gn   l a n gua g e ,   a n s om e   c ount r i e s   ha ve   m or e   t ha n   o ne   b e c a us e   of   di f f e r e nt  l a ng ua ge s  i n t he  c ou nt r y  i t s e l f  ba s e d o n t he  r e gi o ns .  T he  2 0 13 e di t i on  of   E t hn ol o g ue  l i s t s  1 3 7   s i gn l a n g ua ge s .  S om e  s i gn l a ng ua ge s  ha ve   a c hi e ve d s om e  f or m  of  l e ga l   r eco g n i t i o n ,   w h i l e t h er e ar m an y   ot he r s   w hi c h a ve   no   s t a t us   a t   a l l .   I n S out h A s i a ,  I nd o - P a ki s t a n i  S i gn L a n g ua ge  ( I P S L )  i s  t he  p r e d om i na nt  s i gn l a ng ua g e  us e by  a l e a s t  s e ve r a l  h un d r e d t h o us a nd  de a f  s i g ne r s .  As  w i t h m a ny  s i gn l a n g u a ge s ,  i t  i s  hi g hl y  di f f i c u l t  t o  c o u n t   num be r s   wi t a ny   c e r t a i nt y ,   a s   t he   C e ns us   of   I n di a   ha s   n o t   l i s t e s i gn  l a ng ua ge s   a n m os t   o f   t he   s t u di e s   ha ve   f oc us e on   t he   no r t h   a n ur ba a r e a s .     G e s t ur e s  a r e   ve r y   p owe r f ul  m ode  o f  c om m uni c a t i on a m on g  h um a ns .   A m ongs t   di f f e r e nt  t y pe s   of   m oda l i ty  of  b o dy ,  t he   ha n g e s t ur e  i s  t he  s i m pl e s t  a nd na t ur a l   wa y  of   c o m m uni c a t i on  m ode .  T he  R e a l  t im e ,   vi s i o n ba s e ha n ge s t u r e   r e c o g ni t i on i s  m or e  pr oba bl e  be c a us e   of   t he  l a t e s t  a dv a nc e s  i n  t he   f i e l d o f   c om put e r   vi s i o a nd   pa t t e r r e c og ni t i on   a n d   im a ge   pr oc e s s i ng  b ut   i t   ha s   y e t ,   t be   t ot a l l y   e x pl o r e f or   H um a n   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       V i s i on  B as e A ppr o ac t o   Si g L a ng u age   R e c og ni t i on   ( H i m ans h Gu pt a )   1 57   Co m p u t e r   I n t e r a c t i o n  ( H CI ) .   W i t h  t h e   w i d e  a p p l i c a t i o n s  o f   H CI ,  n o w  d a y s ,  i t  b e c o m e s  a c t i v e  f o c u s   o f   r es ear c h .   I n   r ece n t  y ear s ,  v i s i o n - ba s e a ut om a t i c  ha nd ge s t ur e  r e c o gni t i o ha s  be e n a n  a c t i ve  r e s ear ch  t o p i c   w i t h a l ot  o f  m ot i va t i ng  a p pl i c a t i ons  s uc h a s  s i gn l a ng ua ge  i nt e r p r e t a t i on ,  r o b ot  c o nt r ol   a nd  h um a n c om put e r   i nt e r a c t i on  ( H C I ) .  B ut  t he     pr obl e m  i s  c ha l l e ngi ng  be c a us e  o f  a  n u m be r  of  i s s ue s  w hi c h i nc l u de s  t he   co m p l i cat ed   n at u r o f   d y n am i an d   s t a t i c   ha nd  ge s t u r e s ,   oc c l us i o ns   a n c om pl e ba c k gr ou n ds .   W e   ne e ve r y   i n t e n s i v e  c o m p u t e r  r e s o u r c e s  t o  a t t a c k  a  p r o b l e m  i n  i t s  g e n e r a l i t y  w h i c h  r e q u i r e s  e l a b o r a t e  a l g o r i t h m s .  O u r   m oti va t i on t do t hi s  w o r k i s  a  r ob ot  na vi ga t i on  p r o bl e m ,  be c a us e  we  a r e  hi g h l y  i n t e r e s t e d  i n  c o n t r o l l i n g  a   r o b ot  by   ha nd  s i g ns   gi ve by  a   h um a n b e i ng.   W e  a r e   i nt e r e s t e d  i n c om put a t i ona l l y  e f f i c i e nt  a l g o r i t hm   b ecau s e o f  r ea l - t im e  ope r a t i o na l  r e q ui r e m e nt s .  I n ha n d g e s t ur e  r e c o gni t i on p r obl e m  in e a r l i e r  a p p r oa c he s   t h er w as  a  u s e o f   m a r ke r s   o n t he  f i nge r  t i p s  i n a   r ob ot  c o nt r ol  c o nt e xt .   T o i de nt i f y   w h i c h a r e  t he   f i n g e r s  t ha t   ar e act i v e i n  t h e g es t u r e t o   d et ect  t h e co l o r  an d   p r es e n ce  o f  t h e m ar k er s ,  an  as s o ci at ed  al g o r i t h m  w as  u s ed .   B ut  w ha t  m a ke s  t hi s  a s  a n  i nf e a s i bl e  a p pr oa c h i s   pl a c i ng m a r ke r s  o n t he  us e r s   ha n w hi c h i s  ve r y   i n co n v e n i en t .  R ecen t   m et h o d s  u s e m o r e accu r at e co m p u t er  t ech n i q u es  an d  t h ey  d o n t  r e q u i r e m ar k er s .   H an d   ge s t u r e  r e c o gn i t i on i s  pe r f or m e d t hr ou g h a  c ur va t u r e  s pa c e   m e t hod i n,   w hi c h i n vol ve s  f i n di n g t he   b ou n da r y   c ont ou r s   of  t he  ha n d.   I t  i s  a  r ob us t  a p p r oa c h  t ha t  i s  t r a ns l a t i on,  s c a l e  a nd  r ot a t i o n i n va r i a nt  o n t he   ha n d p os e ,   y e t  i t  i s  c o m p u t a t i o n a l l y  d e m a n d i n g .   A  m u l t i - s y s t e m  c a m e r a  i s  us e d t pi c k t he  C O G   of  t he   ha n d a n p oi nt s   i t  w i t h   f a r t h e s t  d i s t a n c e s   f r o m  t h e  c e nt e r ,   gi vi n g  us  t he  l oc a t i on s   of  t he  f i n ge r  t i ps ,   w hi c h  a r e  t he us e d t o   o b t a i n   a   s k e l e t o n   i m a g e ,   a n d   t h e n   f i n a l l y   f o r   t h e   g e s t u r e   r e c o g n i t i o n   a n d   i t   i s   p r o p o s e d   i n   a   v i s i o n - ba s e ha n pos e   r e c o g ni t i on  t e c h ni q ue   u s i ng  s ke l e t on  i m a ge s .   A   t e c h ni q ue   wa s   p r o p os e f or   ge s t ur e   r e c o gni t i o n   f or   s i g l a ng ua ge  r e c o gni t i o n.  P a r t i c l e  f i l t e r s ,   F our i e r   de s c r i pt or s ,  pr i nc i pa l  c om pone nt  a na l y s i s ,   or i e nt a t i o n   hi s t o gr a m s ,  ne ur a l  ne t w o r ks   a nd s pe c i a l i z e d m a ppi ngs  a r c hi t e c t ur e  a r e   i nc l ude d i n t h e  3D  a nd  2D  ha n d   g es t u r r eco g n i t i on  w hi c a r e   t he   c om put e r   vi s i o t o ol s .   O ur   f oc u s   i s   t he   r e c o g ni t i on  o f   a   f i xe s e t   o f   m a nua l   c om m a nds  by   a  r o bot ,  i n a  r e a s o na bl y  s t r uc t ur e d e n vi r o nm e nt  i n r e a l  t im e .  T he r e f or e  t h e  im por t a nt  t hi ng  f o r   u s   i s   s p e e d ,   h e n c e   s i m p l i c i t y   o f   t h e   a l g o r i t h m .   W e   de ve l o p   a n i m pl e m e nt   s uc a   p r o c e d ur e   i n   t hi s   w or k.   O ur   w a y  i n vol ve s  s e gm e nt i ng  t he   ha nd  ba s e on  s i z e  c o ns t r a i nt s  a n d   s ki n  c ol or  s t a t i s t i c s .  B a s e d  o n t he   pr e pr oc e s s i ng  s t e ps  w hi c h a r e  f i ndi n g t he  f a r t he s t  p oi nt  f r om   t he  c e nt e r  of  g r a vi t y  a nd f i n di n g t he   cen t er  o f   gr a vi t y  ( C O G)  of  t he  ha n d r e gi o n,   we  w i l l  de r i ve  a  s i g na l  w hi c h c a r r i e s  i nf or m a t i on o n t he  a c t i vi t y  of  t he   f i n g e r s  i n  t h e   s i g n .  F i n a l l y  w e  i d e n t i f y  t h e  s i g n   b a s e d   o n  t h a t  s i g n a l .  O u r  a l g o r i t h m  i s  n o n - c h a ng ing  to  r o t a t i o n s ,  t r a n s l a t i o n s  a n d  s c a l e   of  t he   ha n d.   A l s o,  t hi s  t e c h ni q ue  d oe s   not  ne e d a ny  s t or a ge  o f  a  ha n d g e s t ur e   da t a ba s e   i t he   r ob ot s   m e m o r y .       2.   R ELA TED   W O R K   E v e n   af t er   m u ch   o f   t h ef f o r t s   t h er ar m an y   s ch o l ar l y   ar t i cl es   i n   w h i c h   d i f f er e n t   au t h o r s   h av u s e d   di f f e r e nt   t e c h n i que s .   I [ 1]   t h au t h o r   i n t e n d s   t o   c r eat t w o   d ev i ce  o n   w e ar ab l a n d   a n o t h er   o n t h at   i s   d es k   ba s e d.  T he   de v i c e  w i l l  r e c or vi de o o f  pe r s o n t a l ki ng i n a s l .   W e a r a bl e  de v i c e  wi l l  r e c or t he  vi de o of   pe r s o w e a r i ng i t  w hi l e  de s ba s e wi l l  r e c or vi d e o o f  ot he r   pe opl e .   W h i l e  t h e r e  a r e  t w o  a u t h o r s  yun ta o  c ui y a n j ohn  w e ng z  [ 2 ]  r es ear ch e d   d i s cr i m i n an t  an a l y s i s  w h i ch  a r e  ch ar act e r i zed  as  f o l l o w s :   o n h as  t w o  t y p es   o f   m u l t i v ar i at e o b s er v at i o n s .  T h e f i r s t ,  cal l ed  t r ai n i n g  s am p l es ,  ar e t h o s w h o s e cl as s  i d en t i t y  ar e k n o w n .   T h s e c o nd t y pe ,  r e f e r r e d t o a s  t e s t  s a m pl e s ,  c ons i s t s  o f  o bs e r va t i o ns  f or   w hi c h c l a s s  i de n t i t y a r e  un kn o wn a n d   w hi c h ha ve  t o be  a s s i g ne d t o  one  o f  t he  c l a s s .  O ne   of  t he   a ut h or  s a i d t ha t  a  s e r i e s  of  hy pot he s e s  a n d t e s t s ,   w h e r e a  h y p o t h es i s  o f  m o d el  p ar am et er s  at  each  s t e p  i s   g en e r at ed  i n  t h d i r ect i o n  o f  t h e p a r am et er  s p ace   ( f r om  t he  pr e vi ous   hy p ot he s i s )  a c hi e vi n g t he  gr e a t e s t  d ec r e as e i n  m i s - co r r es p o n d e n ce [ 3 ] .  W h i l t h er e w as   a   cat eg o r y  i n  w h i ch  a ap p r o ac h  cal l ed  “r u l e d   b as e d  ap p r o ac h ” i s  u s ed .  R u l e - b a s ed   a p pr oa c he s  c ons i s t   of  a  s e t   of  m a nua l l y  e nc o de d r ul e s   be t we e n f e a t ur e  i np ut s .   G i ve n a n i n p ut  ge s t u r e a  s et  o f  f eat u r es  as  i n   [ 4 ]  ar e xt r a c t e d   a n c om pa r e t t he   e nc ode r ul e s ,   t he   r ul e   t ha t   m a t c he s   t he   i n pu t   i s   o ut p ut t e a s   t he   ge s t u r e .   T h er e   h as   b ee n   m a ny   r e vi e w s   wr i t t e on   hi dd e m a r ko m ode l .   Hi d de n - m a r kov - m o d e l s   (H M M )   a re   a  ve r y  s t r o ng  a nd  p ow e r f ul  t e c hni que  f or   d e t a i l e d e xa m i n a t i on  of   no n de t e r m i ni s t i c  t im e  s i gna l s .  T he y  a r e   w i de l y  us e d i n  ge s t ur e   r e c o g ni t i on,  s pe e c h r e c o g ni t i on a n d s i g n l a ng ua g e  r e c o gni t i o n,   s i nc e  t he y  ha v e  t he   a b i l i t y   t o  h a n d l e  s p a t i o - t e m p o r a l  v a r i a t i ons .  I n 2 00 2 s ua t   a ky ol  [ 5 ]  f o u n d  a s p eci al  cl as s  o f  H M M s ,  t h e s o   c a l l e d l i ne a r  m ode l s ,  onl y  ha ve   f o r w a r d t r a ns i t i on s ,  i . e .  A  t r a ns i t i o n ne ve r  l e a ds  t o  a not he r  s t a t e ,  whi c h   co n n ect s   d i r e c t l y   o r   i n d i r e c t l y   t o   t h e   c u r r e n t   s t a t e .   T h i s   t o p o l o g y   i s   s u p p o s e d   t o   m o d e l   t h e   c a u s a l i t y   c o n d i t i o n   o f   t i m e   s i g n a l s .   T h er h as   b een   s i g n i f i can t   a m o u n t   o f   r es e a r c ba s e o s ki c ol or .   I [ 6 ]   ex t r act s   s k i n ,   cl o t h es   an d   e l bo r e gi on  b y   m a t c hi ng  t e m pl a t e   of   i ni t i a l   pe r s o n’ s   r e gi on .   T he n   i t   t r a c ks   t he   f a c e ,   ha nds   a n e l bo w   a t   e a c f r a m e  us i ng s k i n c ol o u r  a n d t e m pl a t e  of  s h a pe .  W hi l e   i n 9 0s   [ 7 ]  t he r e  ha ve  be e n e f f or t s  f o r  c ol or   o f  h um a s ki w hi c h i s   de s c r i be d  by  s phe r i c a l  i nf l ue nc e  f i e l d  o f  c o l or   pr ot ot y pe s .  I t s  r e p r es e n t at i v e co l o r   f eat u r es  ar e   e xt r a c t e by  u s i ng t he  m e t hod  of  c ol o r  p r ot ot y pe   de ns i t y  e s t im a t i on i n r c e  t r a i ni ng  pr oc e du r e .  I a  pa pe r   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN :   2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   2 ,   J un e   201 8 :    156     1 61   1 58   pu bl i s he i 2 00 a ut ho r s   l i wi c ki ,   s t e p ha n,   a nd  m a r e ve r i ng ha m   [ 8 ]   c l a s s i f i e s   pi xe l s   a s   ha n or   no n - ha n by   a   c om bi na t i on of  t h r e e  c om pone nt s :  a  s i gne r - s p e c i f i c  s k i n  c o l o r  m o d e l ,  a  s p a t i a l l y - v a r yin g  ‘ non - s k in’  c o l or   m ode l ,  a nd a  s pa t i a l  c ohe r e nc e  p r i o r .  E m i l   m .  P e t r i u  e t  a l . [ 9 ]  h a a r  l i k e  f e a t u r e s  t o  t e l l  t h e  r a t i o  b e t w e e n  d a r k   a nd   b r i g ht   a r e a s ,   c a ope r a t e   m uc f a s t e r     t h a pi xe l   ba s e d s y s t e m .   I t   a l s r o b us t s   n oi s e   a nd   l i ght i n c ha nge s .   H o we ve r ,  i t  i s  di f f i c ul t  t o s e p a r a t e  o ut  h a n f r om  t he  im a ge  be c a us e   of  m i xt ur e  o f  s ki n c ol o r  i n t ha t   s t i l l  s o m e  a u t h o r s   r e s e a r c he d a bo ut  t ha t .  I n  [ 10 ]  pe r f or m i ng  r e gi o n - ba s e d s e gm e nt a t i on  of  t he  ha nd ,   e l i m i n a t i n g  s m a l l  f a l s e - al ar m  r eg i o n s  t h a t  w er e d ecl ar e d  as  “h a n d - l i k e ,  b a s e d  o n  t h e i r  c o l o r  s t a t i s t i c s .   F i ndi ng t he  c e nt e r   of   gr a vi t y  ( c o g)   o f  t he   ha nd  r e gi o n a s   w e l l  a s  t he  f a r t h e s t  di s t a nc e  i t he  ha n d r e gi o n f r om   t he  c og .  I on e   of  t he  pa pe r s  w i t h t he  he l of  ki ne t i c  s e ns or s   w e  c a n a c qui r e  c ol o ur  i m a ge  i nput  a n d de pt h   m a p i np ut  a s  s a i d i n [ 1 1 ] .   W i t h t he  he l p o f   bot h,   ha n d c a n  be  s e pa r a t e o ut .  C ol o u r  i m a ge  i n put   w i l l  he l p t o   l o c a t e   t h e   h a n d   w h i l e   d e p t h   i m a g e   i n p u t   w i l l   d i s t i n g u i s h   ha nd  f r om   ot he r   ob je c t s   i s c r e e r e m ovi n pr obl e m   f r om   c l ut t e r e d ba c k g r o u nds  o r  ot he r  bo dy  p a r t s   m i xi ng wi t h ha n ds .   S om e   a ut ho r s  di s c us s e i n   t he i r  pa pe r s   a nd  t r i e t s ol ve   i l l um i na t i on  pr o bl e m   by   a ddi n a n ot he r   l e ve l   t ha n de t e c t i on  but   [ 1 2 ]   doe s   n ot   s o   w ca n   s a y  t ha t  t hi s  w i l l  be  t he  l e a s t e f f e c t i ve  m e tho d.   I t  us e s   ht s  a l go r i t hm  f or  ha n d t r a c ki n g  a nd s e gm e nt a t i on.  I t   us e s   e d ge   de t e c t i on  t e c hni que   t i t .   A   n um be r   o f   a ut h or s   c o nd uc t e t he i r   r e s e a r c ba s e on  t he   f r a m e s .   I [ 1 3 ]   a     t r a c k i n g   s y s t e m   i s   u s ed   t o o bt a i n  he a a nd  ha n p os i t i ons ,  t he s e  c o - or di na t e s  a r e  t he n  c l us t e r e d  t obt a i n a   q ua nt i z e de s c r i pt i on  f o r   each  f r am e w h i ch  ar e t h en  t em p o r al l y  co n c at en at ed  t o  cr e at e b i f r am e f ea t u r es .  I n   2 0 1 3   o n e  o f  t h e   a u t h or  in  h er  t ech n i q u s ai d  [ 1 4 ]  t h a t  i t  u s e s  vi de o i np ut  f r om   m i c r os of t   ki ne t i c  3ge a r  t e c h nol o gy  w hi c h s e n s e  t he   m o t i o n  o f  t h e  h an d  i n  a s k el et al  f r a m es   an d   g i v e t h v al u e o f  co o r d i n at es  i n  each  f r am e.  T h e p r o p o s ed   m e t hod  t a ke s   i nt a c c o unt   bo t t he   l oc a l   a n gl oba l   f e a t u r e s   as s o ci at ed  w i t h   g es t u re .   In   [ 15 ]   f o r   r e c o gn ition  of   dy na m i c  ge s t ur e s  i m pl i e s   t he  a na l y s i s  of  t e m por a l  s e q u e nc e s  o f  f r a m e s ,  w hi c h c o nt a i n t he  va r i ous   pos e s   a s s um e by   t h e   ha nd   d u r i n i t s   m ove m e nt .   S t e by   S t e p   P r oc e s s   of   P r o p os e W o r k   a s   s h own   in  F igur e   1 .           F i gu r e   1.   S te b y   s t e p   p r oc e s s   o f   pr op os e w or k     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       V i s i on  B as e A ppr o ac t o   Si g L a ng u age   R e c og ni t i on   ( H i m ans h Gu pt a )   1 59   3.   P R O P O SE D   W O R K   W e   a s us e r   t o   u pl oa t he   vi d e of   hi s   ha n w he r e   he   i s   us i ng   s i g l a ng ua ge   t o   c om m unic a t e .   Vi de o   i s  co l l ect i o n   o f  f r am es  t h at  ar e p l ay ed  t o g et h er .  I f  w e  d i v i d e t h v i d e o  i n t o  f r am es  an d   co n s i d er  each   f r am e   one   by  o ne .   W e  pr oc e s s  e a c h  f r a m e  a s  s i ngl e  im a ge  a nd m ove   o n t ne xt  f r a m e  t il l  t he   e nd  of  t he  vi d e o w e   w i l l   b a b l t o   p r o ces s   each   f r a m i n   v i d eo .     3. 1.     L oc al i s i n H an d   R e gi o n   W e  a s s um e  t ha t  t he   us e r  ha s  u pl oa de d t he   vi de o i n a c c e p t a bl e  f or m a t  a nd   d e c e n qu a lity.  T h e n our   f i r s t  t a s k i s  t o s e gm e nt  out  t h e  ha n d i n t he   vi de o f r om  t he  ba c k gr o un d.   W e  a c hi e ve  t h i s  r e s ul t  i n t w o s t e ps .   F i r s t ,   we   f i n t he   pi xe l s   t ha t   b e l on t o   t he   ha nd   r e g i o n .   R e fe r   F i g ur e   1 .   I t  i s  be e o bs e r ve d t ha t  YC bC r  c ol o u r  s p a c e   g i v e s   b e t t e r  c l u s t e r i n g  r e s u l t  a n d  c o m p u t a t i o n a l   e f f i c i e nc y   [ 1 6] .   S we   c on ve r t   ou r   i m a ge   i nto  Y C bC r   c ol o u r   s pa c e   (re fe t o   E q .   1 ).   I n   Y C b C c o l o u s p a c e ,   Y   i s   l um i na nc e ,   C a n C r   a r e   c hr om a t i c i t y   o f   bl u e   a n r e c ol o ur .   C a nd   c r   a r e   t w di m e ns i o n a l   i n d e p e nde nt .   D e m ons t r a t e i F i g ur e   t he   c on ve r t e R G B   c ol o ur   s pa c e   t Y C bC r  c ol o ur   s pa c e   :       = 0 . 2 9 9 0 0 . 5 8 7 0 0 . 1 4 4 0 0 . 1 6 8 7 0 . 3 3 1 3 0 . 5 0 0 0 0 . 5 0 0 0 0 . 4 1 8 7 0 . 0 8 1 3 + 0 1 2 8 1 2 8   ( 1)     A f t er  co n v er t i n g  t h e i m ag e w e e x t r act  t h s k i n   r e g i o n  i n  t h e i m ag e.  F o r   o u r  s y s t em  t o  accep t  p e o p l e   w i t di f f e r e nt   s ki t one s   we   a ppl y   s ki n   t hr e s hol t o   s e pa r a t e   o ut   t he   s ki [ 17] .   8 0≤ C b≤ 1 20     a n     13 3≤ C r 17 3           F i g ur e   2 .   Co n v e r t e d   i m a g e   f r o m   RG t o   Y C b Cr   c o l o r   s p a c e       3. 2.     F i n d i n g   C e n t r o i d     A f t e r  we   f o un d out   t he   s ki n c ol o ur e r eg i o n s  i n  o u r  i m ag e w e cal c u l at e cen t r o i d ,  cen t r e o f  g r a v i t y   ( CO G )   b y   u s i n g   f o l l o w i n g   f o r m u l a     ̅ =   = 0         = = 0   ( 2)     Wh e re   x j   an d   y j   ar x   an d   y   co o r d i n at es   o f   t h j th  pi xe l   i t h e   ha n a r e a ,   a n de n ot e s   t he   num be r   o f   pi x e l s   i n   t h ar ea .     A f t e r  w e  o b t a i n  c e n t r o i d   ( r e f e r  t o E q.  2 )   we  f i n d t he  di s t a nc e  f r om  t h e   m os t  e xt r e m e  poi nt  i n t he   ha n d t o t h e  c e nt r e ,  n or m a l l y   t hi s  f a r t he s t   di s t a nc e  i s  t he   di s t a nc e  f r om  t he  c e nt r oi d  t o t i of  t he  l on ge s t  a c t i ve   f i n g e r   i n   t h e   p a r t i c u l a r   g e s t u r e   [ 4 ].   W e t h e n  d r aw  a ci r cl e o f  w h o s e   r a d i u s  i s   f a r t h e s t  d i s t a n c e  f r o m  c e n t r o i d .  T h i s  c i r c l e  c o n t a i n  t h e   w h o l g es t u r e.       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN :   2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   2 ,   J un e   201 8 :    156     1 61   1 60       F i g ur e . 3 . E x p ec t ed   i m ag es   af t er   c o n v er s i o n       3 . 3 .     G e s tu r e  Cl a s s i fi c a ti o n   N o w e   ha ve   t i de nt i f y   wha t   t he   ge s t u r e   m e a ns .   F o r   t hi s   w e   ha ve   us e t e m pl a t e   m a t c hing  d ue   t i t s   s i m p l i c i t y  a n d  p r e d i c t a b l e  r e s p o n s e   w i t h  a  l i m i t e d  t r a i n i n g  s e t .  T e m p l a t e   m a t c h i n g  i s  b a s i c a l l y   t h e  t w o   di m e ns i ona l  c r os s - c o r r el at i o n  o f  a  g r ay s cal e  i m ag e w i t h  a  g r ay s cal e t em p l at e,  h en ce  es t i m at i n g  t h d eg r ee o f   s i m i l ar i t y  b et w een  t h e t w o .  W e co m p ar t he  u nk n ow n g e s t ur e  w i t h t he  pr e s e t  t e m pl a te   m ode l s  of  i n di vi d ua l   g es t u r es .       4.   C O N CL U S I O N     D e a f   a n D um pe opl e   r e l y   o s i gn  l a n g ua g e   i nt e r pr e t e r s   f or   c om m uni c a t i on.   Ho w e ve r ,   t he y   c a nn ot   de pe n d o n i nt e r p r e t e r s  e ve r y  da y  i n l i f e  m a i nl y  due  t o t he  hi g h c os t s   a nd t he  di f f i c ul t y  i n f i ndi ng a n s c h e d u l i n g  q u a l i f i e d  i n t e r p r e t e r s .  T h i s  s y s t e m  w i l l  h e l p  d i s a b l e d  p e r s o n s  i n  i m p r o v i n g  t h e i r  q u a l i t y   o f  l i f e   s i g n i f i c a n t l y .   T hi s  pa pe r  p r o pos e s  a  ha n ge s t u r e  r e c o gn i t i on m e t ho d b a s e on  Y C bC r  c ol ou r  s p a c e ,  C OG  a n d   t e m p l a t e   m a t c hi n g.  T he  p r op os e d m e t hod c a n de t e c t  ha n d  ge s t u r e  f r om  ba c k g r o u nd .  I t  a c c e pt s  di f f e r e nt  s ki n   t one s  a n d di f f e r e nt  i l l um i na t ion c o ndi t i o ns .   T hi s  m e t hod  u s e s  c h r om a t i c ity  i n YC bC r  c o l ou r  s pa c e ,  a vo i di n g   t h e ef f ect   o n  h an d  g e s t u r e a n d   u s es  C O G  t o  s eg m en t   t he  h a nd .  I t   t he n r e c og ni s e s   t he  ge s t ur e  wi t t he  h e l o f   t e m pl a t e   m a t c hi n g.   T hi s  m e tho d i s  r ob us t  t di f f e r e nt  ba c kg r ou n ds  a nd   pr o vi de s   be t t e r  r e s ul t .  T hi s  m e t ho d   w i l l   be   a   g oo a ddi t i o t o   t he   on g oi n r e s e a r c i n   t he   f i e l of   H um a C o m put e r   I nt e r f a c e   ( H C I ).       A C K N O W L E D G E ME NT S     W e   w o ul d l i ke  t o t ha n k a l l  t h e  r e s e a r c he r s   wo r ki n on  t hi s  f i e l d  w h o i n   one  w a y  o r  a n ot he r   gui de d   us   on   a c hi e vi n ou r   goa l s .   W e   w oul a l s o   l i ke   t o   e x pr e s s   o ur   a p pr e c i a t i o n   t ou r   gui de   a t   VI T   Uni ve r s i t y   wh w a s   ki n e n ou gh   t s ha r e   he r   vi e w s   wi t us   a nd   o f f e r e s o m e   s ug ge s t i o ns   i m a ki ng  t hi s   p r o je c t   a   s uc c e s s       R EF ER E N C ES     [1]   S t ar n er , T h ad , J o s h u a W eav er , a n d  A l ex  P en t l an d . " R eal - t i m e  a m e ri c a n s i gn l a n gua ge  re c ogn i t i o n us i ng de s k a nd  w ear ab l e co m p u t er  b as ed  v i d eo . "   IE E E  T ra ns a c t i ons   on P a t t e rn  A na l y s i s   a nd M a c hi n e  Int e l l i ge n c e   20 . 12 (1998) :   1371 - 1375.   [2]   T an i b at a ,  N obuhi ko,  N obut a k a  S hi m a da ,  a nd Y o s hi a ki  S hi ra i .  " E xt ra c t i on of ha n d fe a t ur e s  for re c ogni t i on of s i g n   l a ngua g e  w ords . "   Int e r nat i ona l   c onf e r e nc e  on  v i s i on i nt e r f ac e .  20 02 .   [3]   Coope r ,  H e l e n,   a nd Ri c h a rd Bo w de n.  " L e a rni n g s i gns  from  s ubt i t l e s :  A  w e a kl y  s upe rvi s e a pproa c t o s i g l a ngua g e  r e c ogn i t i on. "   Com put e r  V i s i on  and P a t t e r n R e c ogni t i on,  2009.  C V P R  20 09.  IE E E  Conf e r e nc e  on . I E E E ,   2009.   [4]   M a l i m a ,  A s a nt e ra bi  K i ghom a ,   E rol  Ö z gür ,   a nd  M üj da t  Çe t i n.   " A  fa s t  a l gori t h m  for vi s i on - ba s e d ha nd ge s t ur e   re c ogni t i on fo r r obot  c on t rol . "  (2 006):  1 - 4.   [5]   C h en , Q i n g , N i c o l as  D . G eo r g an as , an d  E m i l  M . P et r i u . " R eal - ti m e  v is io n - ba s e d ha nd ge s t ure  re c ogni t i on us i n g   h aar - l i k e  f ea t u r es . "   Ins t rum e nt a t i o n a nd M e a s ure m e nt  T e c hno l og y  Confe r e nc e  P roc e e d i ngs ,  200 7.  IM T C 2007.   I E E E . I E E E , 2 0 0 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       V i s i on  B as e A ppr o ac t o   Si g L a ng u age   R e c og ni t i on   ( H i m ans h Gu pt a )   1 61   [6]   D ong ,  G uo,   Y onghua  Y a n,  a nd M .  X i e .  " V i s i on - ba s e d  ha nd g e s t ure  re c ogn i t i on  f or hum a n - v eh i cl i n t er act i o n ."   P r oc .  o f   t he  Int e r nat i onal   c onf e r e n c e  on Cont r ol ,   A ut om at i on  and Co m put e r  V i s i on .   V ol .  1 .  1998 .   [7]   Re n,   Z hou,  J i ng j i ng M e ng,  a nd J uns ong Y ua n.  " D e pt h c a m e ra  b a s e d ha nd  ge s t ur e  re c ogni t i on a n d i t s  a pp l i c a t i on s   i n hum a n - c om put e r - in te r a c tio n . "   Inf or m at i on ,  Com m uni c at i ons  and Si gnal  P r oc e s s i ng ( IC ICS)  2011  8t h   Int e r nat i ona l  Co nf e r e nc e  on . I E E E , 2 0 1 1 .   [8]   G a rg,  P ra ga t i ,  N a ve e n A gg a rw a l ,  a nd S a n j e e v  S ofa t .  " V i s i on b a s e d ha nd ge s t ur e  re c o gni t i on . "   Wor l d A c ade m y  of   Sc i e n c e ,  E ng i ne e r i ng and T e c hn ol ogy   49 . 1 (2009 ):  972 - 977.   [9]   P ort a ,  Ma r c o .  " Vi si o n - ba s e d us e r i n t e rf a c e s :  m e t hods  a nd  a ppl i c a t i ons . "   Int e r nat i onal  J our nal  of   H um an - Com put e r   St udi e s   57 . 1 (20 02):  27 - 73.   [10]   G eet h a ,  M . ,  e t   a l .  " A  vi s i on  ba s e d d y n a m i c  ge s t ure  re c ogni t i o n of i ndi a n s i gn  l a ngua g e  on k i ne c t  b a s e d d e pt h   i m ag es ."   E m e r gi ng T r e nds  i n Com m uni c at i on,  C ont r ol ,  Si gnal  P r oc e s s i ng  &   Co m put i ng A ppl i c a t i ons  ( C2SP CA ) ,   2013 Int e r nat i on al  Conf e r e nc e  o n .  IE E E ,  2013 .   [11]   M urt h y ,  G .  R.  S . ,  a nd R.  S .  J a do n.  " A  re vi e w  of  vi s i on ba s e d ha nd ge s t ure s  re c og ni t i on. "   Int e r nat i onal  J our nal  of   Inf or m at i on T e c hnol ogy  and  Kn owl e dge  Manag e m e nt   2. 2   (2009) :  405 - 410.   [12]   A k y ol ,  S ua t ,   a n d U l ri c h  Ca n z l e r.  " A n i nform a t i on t e rm i na l  us i n g vi s i on b a s e d s i gn l a ngua ge  re c ogni t i on . "   I T EA  Wor k s hop on V i r t ual  H om e  E n v i r onm e nt s ,  V H E   Mi ddl e war e  Con s or t i um .  V ol .  12.  2002.   [13]   G hot ka r,  A rc ha na  S . ,  a nd G a j a na n K .  K ha ra t e .  " H a nd s e gm e nt a t i on t e c hni qu e s  t o ha nd ge s t ure  re c ogni t i on fo r   na t ura l  hum a c om put e r i nt e ra c t i on. "   Int e r nat i on al  J our nal  of  H um an Com put e r  Int e r ac t i on ( IJ H CI)   3. 1 (2012):   15.   [14]   Cui ,  Y unt a o ,  a nd J u y a ng  W e ng.  " A ppe a ra n c e - b a s e ha nd s i gn re c ogni t i on from  i nt e ns i t y   i m ag s eq u en ces ."   Co m put e r  V i s i on  a nd Im age  U nde r s t andi ng   78. 2  (2 000):  157 - 176.   [15]   L i w i c ki ,  S t e pha n,  a nd M a rk E ve ri ngh a m .  " A ut om a t i c   re c o gni t i on   of fi ng e rs pe l l e d w ords  i n bri t i s h s i gn   l an g u ag e."   Com put e r  V i s i on an d P at t e r n R e c og ni t i on Wor k s hop s ,  2009.  CV P R   Wor k s hops  2009 .  IE E E  Com put e r   Soc i e t y  Con f e r e nc e  on .  I E E E ,  20 09.   [16]   Qi u - y u ,  Z ha ng ,   e t  a l .  " H a nd ge s t ure  s e gm e nt a t i o n m e t hod ba s e d on Y CbCr c ol or s pa c e  a nd k - m e a ns  c l us t e r i ng. "   Int e rna t i ona l  J ou rna l  of  S i gna l  P r oc e s s i ng,  Im a g e   P roc e s s i ng a nd   P a t t e rn  Re c ogn i t i o n 8. 5  (2015):  1 05 - 116.   [17]   Ba s i l i o,  J orge  A l be rt o M a rc i a l ,  e t  a l .  " E xp l i c i t  i m a ge  d e t e c t i on  us i ng Y CbCr s pa c e  c ol or  m ode l  a s   s ki n de t e c t i on. "   A ppl i c a t i ons  of   M a t he m a t i c s  a n d Com put e r E ng i ne e r i ng (2011) :   123 - 128.   Evaluation Warning : The document was created with Spire.PDF for Python.