I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 8 ,   N o .   1 A p r i l   20 20 ,   p p.   361 ~ 367   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 8 .i 1 . pp 361 - 367             361       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   E m p l o y m e n t   o f   b a b y   s i g n   l a n g u a g e   i n   i n t e r a c t i v e   l e a r n i n g   f o r   h e a r i n g - i m p a i r e d   p e o p l e   i n   M a l a y s i a       N .   T .   J.   O n g 1 ,   A l i   S .   H .   A 2 Y u s o ff  A .   H .   M 3   1 , 2 F a c ul t y   o f   E l e c t r i c a l   a nd   E l e c t r o ni c   E ng i ne e r i ng   ( F K E E ) ,   U n i v e r s i t i   T un   H us s e i O nn  M a l a y s i a   ( U T H M )   3 F a c ul t y   of   M e c ha n i c a l   a n M a nuf a c t ur i ng   E ng i ne e r i ng   ( F K M P ) ,   U ni v e r s i t i   T un   H u s s e i n   O nn   M a l a y s i a   ( U T H M )       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e A ug  20 ,   201 9   R e v i s e O c t   21 ,   2 019   A c c e pt e N o v   1 5 ,   201 9       C o m m uni c a t i o i s   v e r y   i m po r t a nt   f o r   pe o pl e   i nc l ud i ng   a dul t s   a nd   ba bi e s   t o   e xc ha ng e   t h e i r   t ho ug ht s ,   v i e w s   a nd  i nf o r m a t i o n.   T h e y   c a e xpr e s s   t he i r   t ho ug ht s   v e r ba l l y   a nd  no n - v e r ba l l y .   B a b y   s i g l a ng ua g e   i s   no n - ve r ba l   t y pe   t ha t   c o ns i s t s   o f   a   s e t   o f   s t a nda r d   a nd   o r g a ni s e d   f o r m   o f   ha nd  g e s t ur e s   m o t i o n   t o   r e p r e s e nt   di f f e r e nt   w o r d .   T h i s   l a ng ua g e   a l l o w s   t he   c h i l dr e w ho   ha v e   he a r i ng   i m p a i r m e n t   pr o b l e m   t o   c o m m uni c a t e   w i t o t he r s .   I a ddi t i o n,   i t   c a n   a l s o   b e   t a ug ht   t o   no r m a l   ba b i e s   t o   c o n v e y   t he i r   ne e be f o r e   t he y   ha v e   t he   a bi l i t y   t o   s pe a k.   I t   i s   v e r y   c ha l l e ng i ng   f o r   a dul t s   t o   und e r s t a nd  b a bi e s   a nd   c hi l d r e w i t he a r i ng   i m p a i r e pr o bl e m .   T hus ,   a   r e a l - t i m e   ha n g e s t u r e   r e c o g ni t i o s y s t e m   ha s   b e e de v e l o pe f o r   a d u l t   t o   i n t e r a c t i v e l y   l e a r t he   ba by   s i g l a ng ua g e .   F i r s t l y ,   t he   f a c e   r e g i o w a s   d e t e c t e i o r de r   t o   us e   t h e   s ki n   c o l o ur   m o de l   o f   t he   f a c e   t o   de t e c t   t he   h a nd .   A f t e r   t ha t ,   t he   h a nd  s ha p e   w a s   de t e r m i ne by   f i ndi ng   t he   pa l m   c e nt r e   a nd  c o n v e hul l .   C o nv e xi t y   d e f e c t s   w h i c r e pr e s e nt i ng   g a ps   be t w e e t he   f i ng e r s   w e r e   us e t o   de t e r m i ne   t he   num b e r   o f   f i ng e r t i ps   w he r e a s   t h e   m o v e m e nt   of   t he   ha nd  w a s   de t e c t e d   ba s e o m o t i o a na l y s i s .   B y   s e t t i ng   t he   ba c kg r o und  c o l o ur   t o   bl u e   a n a ddi ng   e xt r a   l i g ht   i f r o n t   o f   t he   l a pt o p,   t he   s y s t e m   s uc c e s s f ul l y   obt a i ne a a c c ur a c y   hi g he r   t ha 85 %   r a t e   f o r   s i g m o m ,   e a t   a nd  m i l k”   w he t e s t e d   o M a l a y ,   C hi ne s e   a nd   I ndi a n   r a c e s   i n   M a l a y s i a .     Ke y w or ds :   B a by   s i gn  l a n gu a ge   H a n ge s t u r e   r e c o gn i t i o n   Int e ra c t i v e   l e a rni n g   P r o fo un d   h e a r i ng  i m p a i rm e n t   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   S i t i   H a j a A m i n a B i n t i   A l i ,     D e pa rt m e n t   o f   E l e c t r o n i c   E n g i n e e r i ng,     F a c ul t y   of   E l e c t r i c a l   a n d   E l e c t r o n i c   E n g i n e e r i ng  (F K E E ) ,     U n i v e r s i t i   T u n   H us s e i O nn  M a l a y s i a   (U T H M ).     E m a i l :   a m i na hh @ ut hm . e du. m y       1.   I N TR O D U C TI O N     W o r l H e a l t h   O rga ni z a t i o n   (W H O h a s   c l a s s i f i e t h e   h e a ri n i m p a i rm e n t   i nt o   c a t e go r i e s   w h i c a r e   t y p e   0   o n o   i m pa i rm e n t   (w i t   25   dB   m e a h e a ri n g   l o s s ),   t y pe   o s l i g ht   i m pa i rm e nt   (w i t 26 - 40   dB  m e a n   h e a ri n l o s s ),   t y pe   o r   m o de r a t e   i m p a i rm e n t   (w i t h   41 - 60  dB   m e a n   h e a r i ng  l o s s ),   t y pe   o r   s e v e r e   i m p a i rm e n t   (w i t h   6 0 - 80  dB   m e a n   h e a r i ng  l o s s a n t y pe   o r   p r o fo un i m p a i rm e n t   (w i t h   ≥  81  dB   m e a h e a ri n l o s s [1].   T y p e   a n t y pe   a r e   t r e a t a b l e   us i n s u rg e r y ,   w h i l e   t y pe   a n t y pe   r e qui r e   t h e   h e l of  h e a ri n g   a i ds   t o   e n a b l e   h e a r i ng  p r o c e s s   t o   oc c ur .   H ow e v e r ,   b o t h   s u rgi c a l   a n h e a r i n g   a i ds   a r e   u na b l e   t ov e r c o m e   t y pe   h e a r i n i m p a i rm e n t .   T o   e n a b l e   c o m m u n i c a t i o n   f o r   pe o pl e   w i t h   t y pe   h e a ri n l o s s   t o   o c c ur ,   c oc h l e a r   i m pl a nt ,   l i p - r e a di n g   a nd  e m p l oy m e n t   o f   s i gn  l a n gu a ge   c a n   b e   us e [1].   S t a t i s t i c s   f r o m   [2 e s t i m a t e 16  m i l l i o n s   (12 - 2 m i l l i o n s c h i l d r e n   h a h e a r i n i m pa i r m e nt   e xc l udi n g   t y pe   (≥  35  dB i n   2 011  a nd  i t   i s   e xpe c t e t o   i n c r e a s e   e a c h   y e a r .   T h e   c o s t   f o r   h e a r i ng  i m p a i r m e nt   t r e a t m e n t   f o r   l o w - i n c o m e   c o un t ri e s   i s   hi g h   [3],   t h e r e f o r e   s i g n   l a n gu a ge   i s   us u a l l y   b e c o m e   t h e   m a i c h o s e n   s o l ut i o n   f o r   c o m m u n i c a t i o f o r   t h o s e   w h o   a r e   ha v i n h e a ri n g   l o s s .     Chi l d r e n   w i t h   h e a ri n i m p a i rm e nt   p r o b l e m   us ua l l y   h a v e   t he   c o m m uni c a t i o n   di f f i c ul t y   w i t h   o t h e r   pe o pl e .   T h e y   a r e   m o r e   l i ke l y   t h a v e   n e ga t i v e   be h a v i o ur s   a s   t h e y   be c o m e   f r us t r a t e w h e n   t h e i r   m e s s a ge   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 8 ,   N o .   1 A p r i l   20 20  :     3 6 1   -   3 6 7   362   n o t   u n de r s t o o by   o t h e r   pe o pl e   c a us i n g   t h e m   t o   b e   h o t - t e m pe r e a n po s s e s s   r a ge   a t   a l l   t i m e   [4 - 7] .   T h e s e   n e ga t i v e   be h a v i o ur s   a r e   us ua l l y   oc c ur r e w h e n   i s   t h e   c h i l d re n   a r e   t r y i n t o   e xpr e s s   t h e i r   b a s i c   n e e ds   s uc h   a s   h u nge r,   t h i r s t   o r   d r o w s i n e s s   t o   t h e i r   pa r e n t s .   If   t h e y   f a i l   t o   g e t   w h a t   t h e y   w a n t ,   t h e y   w i l l   b e c o m e   a gi t a t e a nd  c r y   a l l   t h e   t i m e .   N o r m a l l y   pa r e nt s   w i l l   s e n d   t h e s e   c hi l d r e n   t o   a t t e n a   f o r m a l   s i g n   l a ngua ge   c l a s s e s   o r   h i r e   a   pr o f e s s i o n a l   b a by s i t t e r   t o   l o o a f t e r   t h e i c hi l d r e n.   H ow e v e r ,   fo r   t h o s e   w h o   a r e   f r o m   l o w - i n c o m e   f a m i l y ,   t h e y   c a n n o t   a f f o r t o   pa y   h i g h   s a l a r y   of   t h e   b a by s i t t e r   a n h i g h   c o ur s e   fe e .   A s   t h e   c o n s e que n c e ,   t h e s e   l ow - i n c o m e   pa r e nt s   w i l l   c h o o s e   n e i t h e o f   t h e s e   t w o   i n s t e a t h e y   ne gl e c t   t h e i c hi l d r e c a us i n g   t h e m   t o   l o s e   t h e   o ppo r t u n i t i e s   f o r   l e a rni n g .     It   i s   i m po r t a n t   f o r   a l l   o f   us   t o   l e a r n   b a by   s i gn   l a ngua ge   a s   b a by   s i gn   l a n gu a ge   i s   t h e   po w e r f ul   m e a of   c o m m u n i c a t i o a m o n g   c hi l d r e n,   n o t   o n l y   fo r   b a b i e s   w i t p r o fo un h e a ri n i m pa i r m e n t   p r o b l e m   b ut   a l s o   fo r   n o r m a l   b a b i e s .   F o r   n o rm a l   i n f a nt s ,   l e a rni n b a by   s i gn   l a n g ua ge   w i l l   h e l t h e   i n f a n t s   b e l ow   t w o   y e a r s   o l d   t o   e xpr e s s   t h e i r   n e e ds   [8 - 9]  b e fo r e   t h e y   c a n   l e a rn   t o   s pe a pro pe r l y .   In   a dd i t i o n,   r e s e a r c h   f r o m   [10 h a s   s t a t e d   t h a t   a b o ut   20%   o f   b a b i e s   w i t h e a r i ng  p r o b l e m   h a v e   pa r e n t s   w h o   c a n   h e a n o rm a l l y .   T h us ,   t h e r e   i s   a   s m a l l   pr o b a b i l i t y   fo r   e v e r y o n e   t o   ha v e   a   c hi l d   w i t h   h e a ri n g   i m pa i rm e n t .   D ue   t o   i t s   i m po rt a n c e ,   t h i s   r e s e a r c h   fo c us s e s   o n   l e a rni n b a by   s i g n   l a n g ua ge   a m o n g   a du l t s ,   s o   t ha t   i t   c a b e   us e t o   t e a c h   t h e   i n f a nt s .   N ow a da y s ,   t h e r e   a r e   m a n y   ki n ds   o f   m e di um   o f   i nt e ra c t i v e   l e a rni n s uc h   a s   t h e   I nt e rn e t   a nd  m o b i l e   a pps   w h i c h   c a n   h e l pub l i c   pe o pl e   t l e a rn   t h e   b a by   s i gn   l a ngua ge   by   t h e m s e l v e s   w i t h o ut   a t t e n di ng  a n y   b a b y   s i g n   l a n gu a ge   l e a rni n c o ur s e .   O n e   o f   t h e   s i g n   l a n gu a ge   t ra n s l a t i o n   s y s t e m   h a s   b e e n   de v e l o p e fo r   A ra b i c   s i g n   l a n gu a ge   w h i c h   c a n   b e   a c c e s s e o n   m o b i l e   de v i c e s   w h i c h   t r a n s l a t i n g   t e xt   i n t o   s i g n   l a ngua ge   a n i m a t i o n   [1 1 - 12] .   I a d di t i o t o   t hi s ,   t h e r e   i s   a l s o   a   de v e l o pm e n t   o f   s i gn  l a n gu a ge   t ra n s l a t i o n   f o r   l e a rn i ng  E n gl i s h   s i g n   l a n gu a ge   [13]  a n l e a rn i ng  I n di a n   s i g n   l a n gu a ge   [14].   H a ndh e l m o b i l e   s y s t e m   h a s   a l s o   b e e n   c r e a t e f o r   l e a rn i ng  A ra b i c   s i gn   l a n gu a ge   w h e r e   us e r s   c a n   r e f e r   gra p h i c   a ppl i c a t i o n s   t o   l e a rn   s i g n   l a n gu a ge   [15] .   T h e r e   w a s   a   r e s e a r c h   do n e   t o   de v e l o p   s i gn   l a ngua ge   a ni m a t i o o n   m ob i l e   de v i c e s   fo r   l e a rn i ng  C h i n e s e   s i gn  l a n gu a ge   by   pr o v i di n 3 - D   v i rt ua l   h u m a n   m o de l   t o   t e a c h   t h e   s i g n   l a ngua ge   [1 6].   H ow e ve r ,   t h e r e   a r e   s t i l l   s o m e   l i m i t a t i o n s   o n   t h e   s y s t e m   due   t o   t h e   de ve l o pm e n t   o f   t h e   t ra n s l a t i o n   s y s t e m   t h a t   i s   s pe c i f i c   fo r   c e r t a i c o un t r y ’s   l a ngua ge .   W i t h   t h e   h e l p   o f   h a n ge s t u r e s   t o   l e a rn   b a by   s i gn   l a ngua ge ,   c h i l d r e n   e s pe c i a l l y   t h o s e   w i t p r o fo un h e a ri n i m p a i rm e n t   p r o b l e m   c a n   c o m m u n i c a t e   w i t h   o t h e r   pe o pl e   m o r e   n a t u r a l l y   a n e xp r e s s i v e l y .   T hi s   i s   b e c a us e   t h e   h a nd  ge s t u r e   f r o m   t h e m   w i l l   b e   de t e c t e a n t ra n s l a t e a ut o m a t i c a l l y .   It   t a ke s   a   g r e a t   e ff o r t   fo r   c h i l d r e n   w i t h   p r o f o un h e a ri n i m pa i r m e n t   t o   m a ke   a   w o r a n d   s e nt e n c e   t o   c o m m u n i c a t e   t o   t h e i pa r e nt s . T h e   r e c o gn i t i o n   o f   f i n ge r   de t e c t i o n   f o r   a l p ha b e t s   fo r   S pa n i s h   s i g n   l a n gu a ge   us i n c o nt o ur   a n a l y s i s - b a s e d   c o m put e r   v i s i o n   w i t h   i n p ut   gl o v e   o n   t h e   h a nd  h a s   f o un t o   be   s ui t a b l e   fo r   m o s t   l e t t e r s   a s   i t   c a n   r e a c h   9 o a c c ur a c y   fo r   s o m e   of   t h e   l e t t e r s   [17] .   B o un da r y - t ra c e   b a s e d   f i n ge r   de t e c t i o n   t e c hn i q ue   f o r   a l p ha b e t s   o f   t h e   A m e ri c a n   S i g n   L a n g ua ge   (A S L w i t h o ut   a n y   i n pu t   o f   s uc h   s pe c i a l   m a r ke r s   o r   gl o v e s   o n   t h e   ha n ha s   f o un d   t h a t   i t   w o r ks   a c c u r a t e l y   fo r   95 o f   t h e   l e t t e r s   t e s t e i n   t h e   r e s e a r c h   w o r [18] .   H ow e v e r ,   t h e s e   t e c hni que s   c a o n l y   t ra n s l a t e   t h e   a l p h a b e t s .     S i n c e   l e a rni n g   ha n ge s t u r e   f o r   b a by   s i gn   l a n gu a ge   i s   go o t o   un de r s t a nd  i n f a n t s   e s pe c i a l l y   f o r   t h o s e   w h o   r e qui r e   s pe c i a l   n e e d,   a   r e a l - t i m e   d y n a m i c   h a n ge s t u r e s   r e c o gn i t i o n   s y s t e m   i s   de ve l o p e d.   D y n a m i c   h a nd  ge s t ur e   r e c o gn i t i o n   by   us i n c o n t o ur   a n a l y s i s   t r e c o gn i s e   A r a b i c   l a ngua ge   ha s   85. 6 7%  r e c o gn i t i o n   ra t e   w h e r e   t h e   t e s t i n h a s   b e e n   do n e   by   di ffe r e n t   pe r s o n   w i t h   t h e   s a m e   i nt e n s i t y   of   l i ght   [19] .   A   d y n a m i c   h a n d   ge s t ur e   r e c o gn i t i o by   us i n g   i m a ge   p r o c e s s i n m o dul e   w h i c de v e l o p e i O pe n CV   ha s   f o un t h a t   9   o f   11   ha n ge s t u r e s   ha s   w o r ke pr o pe r l y   w i t h   a n   e ff i c i e n c y   of   7 0%  w i t h   t h e   s a m e   b a c kgr o u n c o l o ur   [20].   T h e   ge s t ur e   r e c o gn i t i o n   s y s t e m   by   us i n S uppo r t   V e c t o r   M a c h i ne   (S V M h a s   f o un t h a t   t h e   de v e l o pe s y s t e m   i s   a b l e   t o   r e c o gn i s e   t h e   s i g n   l a n gu a ge   a c c ur a t e l y   a n i t   ha s   t o   b e   i n   w h i t e   b a c kgr o u n [21] .   A   f e w   r e a l - t i m e   r e c o gn i t i o s y s t e m s   h a v e   b e e n   de v e l o pe b ut   t h e   s ui t a b l e   b a c kgr o und  c o l o ur   ha s   n o t   y e t   b e e n   s t udi e d .   T h e   m a j o r   o b j e c t i v e s   of   t h i s   r e s e a r c h   i s   t o   de ve l o a n   i n t e r a c t i v e   l e a rni n o f   b a by   s i gn   l a ngua ge   t h a t   c a n   b e   l e a rn t   e f f e c t i v e l y   us i n M i c r o s o f t   F o un da t i o n   Cl a s s   (M F C)  A ppl i c a t i o n   a nd  t o   i n v e s t i ga t e   t h e   pe r f o r m a n c e   o d y n a m i c   h a n ge s t u r e   r e c o gn i t i o n   s y s t e m   i n   t e rm s   of   a c c ur a c y   a m o n t hr e e   m a i n   r a c e s   i n   M a l a y s i a .   T h i s   p r o j e c t   i s   p r i m a ri l y   c o n c e rn e o n   t h e   m o t i o n   ha n ge s t u r e   de t e c t i o n .   T h e   s c o pe s   of   t hi s   s t udy   a r e   a b o ut   t hr e e   b a s i c s   b a by   s i gn   l a n gu a ge   us e s uc a s   m o m ,   e a t   a n m i l k .   I t hi s   r e s e a r c h,   a   b ui l t - i w e b - c a m e r a   o f   a   l a p t o w a s   us e t o   c a pt u r e   t h e   i m a ge   f r a m e   o f   t h e   s i gn   l a ngua ge .   T w o   pr e - s e t t i n e xpe r i m e nt s   ha v e   b e e n   c a rri e o ut   w h i c h   w e r e   t e s t i n o n   d i ff e r e n t   l i g h t   c o n di t i o n   a nd  di f f e r e n t   b a c kgr o u n c o l o r   t o   g a i t h e   h i g h e s t   a c c u r a c y   r a t e .   T h e   r e s t   of   t h e   pa pe r   i s   o r ga ni s e a s   fo l l ow s .   T h e   pr o po s e a r c h i t e c t u r e   fo r   i m a ge   pr o c e s s i n i s   di s c us s e i n   de t a i l   i n   S e c t i o n   2.   I n   s e c t i o n   3 ,   t h e   r e s ul t s   of   t h e   pr o po s e s y s t e m   a r e   di s c us s e d.   S e c t i o n   c o n c l ude s   t h e   pa pe r.         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E m pl o y m e n t   of   bab y   s i gn  l angu age   i n   i nt e r ac t i v e   l e ar ni ng   f o r   he ar i ng - i m p ai r e d   p e op l e   i n …  ( N.   T .   J .   O ng )   363   2.   R ES EA R C H   M ET H O D     A   s y s t e m   of   r e a l - t i m e   dy n a m i c   h a nd  ge s t u r e s   r e c o gn i t i o i s   c o n t r i b ut e by   fo ur   m a j o r   p a r t s   w h i c h   a r e ;   (1)  a   r e gul a r   w e b - c a m e r a ,   (2)  M i c r o s of t   V i s ua l   S t udi o   2013,   (3)  O pe n CV   2 . 4. 11  a n ( 4)  M F A ppl i c a t i o n.   F i gu r e   s h o w s   t h e   pr o po s e s y s t e m   a r c hi t e c t u re   of   t h e   d y n a m i c   h a nd  ge s t u r e s .   F i r s t l y ,   a n   i m a ge   f r a m e   i s   c a pt u r e f r o m   t h e   l a pt o w e b - c a m e r a .   N e xt ,   t h e   i m a ge   f ra m e   i s   pa s s e t o   t h e   i m a ge   p r o c e s s i n mo dul e   c o n s i s t s   o f   t h e   i m a ge   f i l t e r i n g ,   i m a ge   p r e - p r o c e s s i n g   a nd  c o n v e h u l l   a n d   c o n v e xi t y   de fe c t s   c o m put a t i o n   b e fo r e   be i n c l a s s i f i e by   us i n M i c r o s of t   V i s ua l   S t udi o   2013  a n O pe n CV .   F i na l l y ,   M F L i b r a r y   i s   us e t o   ge n e ra t e   t h e   a pp l i c a t i o n s   i n   s t a b l e   r e l e a s e   s t a t e   w i t h o ut   r u nni n t h e   p r o gra m   c o de s   r e pe a t e dl y .   I n   t h i s   p r o j e c t ,   M F a pp l i c a t i o i s   us e t o   v i s ua l i s e   t h e   r e a l - t i m e   dy n a m i c   ha n d   ge s t u r e s   a n d   t r a n s l a t e   t h e   ge s t u r e s   i n t o   a pp r o p r i a t e   m e a ni n g .   T h e   de t a i l   of   i m a ge   p r o c e s s i n m o dul e   i s   di s c us s e i n   t h e   fo l l ow i n g   s ub s e c t i o n s .             F i gu r e   1 .   T h e   f l o w c h a r t   o f   t h e   dy n a m i c   h a nd  ge s t u r e   r e c o gn i t i o n       2 .1 .      I m age   A c q u i s i ti o n   an d   S k i n   C o l ou r   M o d e l l i n g   Im a ge   A c qui s i t i o n   s t a ge   i s   t h e   f i r s t   s t a ge   o f   a n y   v i s i o n   s y s t e m .   I n   t hi s   s t a ge ,   t h e   i m a ge   i s   r e t r i e v e d   f r o m   h a r dw a r e - b a s e s o ur c e   t h e pa s s e t hr o ug t h e   o t h e r   s t a ge .   T h e   de t e c t e f a c e   c o l o ur   i s   us e t o   b ui l t h e   s ki n   c o l o ur   m o de l .   S k i n   c o l o ur   m o de l   i s   m o r e   r e l i a b l e   a s   i t   i s   s ui t a b l e   fo r   pe o pl e   w i t h   d i f fe r e nt   s ki n   c o l o ur s   a n i n   di f f e r e n t   l i g h t ni n g   c o n di t i o n s .   T h e   m a j o r   f a c t o r   t ha t   i nf l ue n c e s   t h e   i m a ge   a c qui s i t i o i s   t h e   i ni t i a l   s e t up   of   t h e   ha r dw a r e   t ha t   i s   us e t o   c a pt u r e   t h e   i m a ge s .   If   t h e   i n i t i a l   s e t up  o f   t h e   ha r dw a r e   i s   i l o w   qua l i t y ,   t h e   c a pt u r e i m a ge   m a y   n o t   b e   s a l v a ge pr o pe rl y .   Im pr o pe r   c o n f i gura t i o n   a n a l i g nm e n t   o f   t h e   s o f t w a r e   w i l l   t h e p r o duc e   v i s ua l   a r t i f a c t s   w h i c c a n   c o m pl i c a t e   t h e   i m a ge   p r o c e s s i n [22 ].     2 . 2.      I m age   F i l t e r i n an d   P r e - P r o c e s s i n g   Im a ge   p r o c e s s i n i s   a   m e t h o t o   pe r fo r m   s o m e   o pe r a t i o n s   o n   a n   i m a ge   t o   o b t a i n   a n   e nha n c e i m a ge   o r   e x t r a c t   s o m e   us e f ul   i n f o r m a t i o f r o m   i t .   I n   t hi s   p r o c e s s ,   t h e   i n pu t   i s   t h e   i m a ge   w h e r e a s   t h e   o ut pu t   i s   t h e   c h a ra c t e ri s t i c s   o r   f e a t u r e s   a s s o c i a t e w i t h   t h e   i m a ge .   I m a ge   pr o c e s s i n b a s i c a l l y   c o n s i s t s   o f   t h r e e   s t e ps   w h i c h   a r e ;   i m po rt i n t h e   i m a ge   v i a   i m a ge   a c qu i s i t i o n   t o o l s ,   a na l y s i n a n m a n i pu l a t i ng  t h e   i m a ge   a n p r o duc i n a a l t e r e i m a ge   o r   r e po rt   w h i c h   i s   b a s e o n   t h e   a na l y s e i m a g e .   T h e   m a i n   p r o c e s s   i n   t hi s   s t e i s   t o   o n l y   de t e c t   t h e   h a n d   r e gi o by   a ppl y i n s ki c o l o ur   de t e c t i o n.   T hus ,   t h e   f a c e   r e gi o n   w h i c h   i s   de t e c t e b e fo r e   w i l l   b e   r e m o v e t o   a v o i t h e   s y s t e m   t o   b e   c o n f us e d.       2 . 3.      C o n tou r s   C o n v e x i ty  H u l l   an d   C o n v e x i ty  D e f e c ts   C o m p u tati o n   T h e   c o n t o ur   w h i c h   i s   l i n ke t o   t h e   n e x t   l o gi c a l   s t e i s   s t e e pl y   e n c o de a bo ut   t h e   l o c a t i o n   o f   t h e   n e xt   po i n t   o n   t h e   c u r v e   t o   c o m pr e h e nd  t h e   s h a pe   o f   t h e   pr o c e s s e i m a ge   [23 - 24] .   F i g u r e   s h o w s   t h e   i m a ge   o Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 8 ,   N o .   1 A p r i l   20 20  :     3 6 1   -   3 6 7   364   ha n w i t h   c o n v e h ul l   a nd  c o n v e xi t y   de fe c t s .   Re l i n e   re pr e s e n t s   t h e   c o n v e h ul l   o f   h a nd  w h e r e a s   t h e   do ub l e - s i de a rr o w   r e p r e s e n t s   t h e   c o n v e xi t y   de fe c t s   [25].   T h e   n u m b e r   o f   f i n ge r s   i s   us e t o   s e l e c t   s pe c i f i c   a c t ua t o r   i t h e   m a ni pu l a t o r.           F i gu r e   2 .   I m a ge   o f   h a nd  w i t c o n v e h u l l   ( r e l i n e a n d   c o n v e xi t y   de f e c t s   (do ub l e d - s i de a rr o w [24]       H a n s h a pe   c a n   b e   de t e r m i n e by   f i n d i n t h e   l a rge s t   c o n t o ur   o f   t h e   ha n d .   F i r s t l y ,   t h e   pa l m   c e n t r e   i s   de t e c t e t o   f i n t h e   m a x i m u m   a r e a   o f   t h e   pa l m   o f   t h e   ha n d .   A   b l ue   c i r c l e   w i l l   b e   fo r m e t o   s h o w   t h e   fo un de pa l m   r e g i o n   w h e r e a s   a   w h i t e   s po t   r e pr e s e nt s   t h e   de t e c t e p a l m   c e n t r e .   T h e n,   t h e   c o n v e x   h ul l   a n c o n v e xi t y   de fe c t s   r e pr e s e n t i n t h e   g a ps   b e t w e e n   f i n ge r s   a r e   de t e c t e t o   de t e r m i n e   t h e   n um b e r   o f   f i n ge r s .   T h e   r e s po t   r e s e m b l e s   t h e   de t e c t e c o n v e h ul l   w h e r e a s   t h e   l i g ht   b l ue   s po t s   r e pr e s e n t   t h e   de t e c t e ga ps   b e t w e e n     t h e   f i nge r s .     T h e   s e gm e n t a t i o n   o f   h a n m o t i o n   c a n   b e   d o n e   v i a   m o t i o a n a l y s i s .   M o t i o n   a n a l y s i s   e n a b l e s   a n y   m o ve m e n t   i t h e   v i de o   s c e n e   t o   b e   de t e c t e d.   H e n c e ,   a   u ni f o r m   a n d   s t a t i c   b a c kg r o un d   s h o ul b e   s e t   up  t a v o i t h e   s y s t e m   f r o m   c o n f us i o n   a n r e m o ve   t h e   n o i s e .   I t h i s   p r o j e c t ,   t h e   c e n t r e   o f   t h e   h a nd  w h i c h   w a s   de t e c t e i n   e a c h   f r a m e   h a s   a l l o w e d   i t s   po s i t i o n   t o   c a l c ul a t e   t he   c e n t r e   i n   e a c h   f r a m e   by   c a l c ul a t i ng  t h e   t a n ge n t   of   t h e   a n gl e   b e t w e e n   t h e   h o r i z o n t a l   l i n e   a n t h e   l i n e   j o i n i ng  a t   t h e   c e n t r e   i n   c o n s e c ut i v e   f r a m e s .   T hi s   e na b l e d   t h e   s y s t e m   t o   i de n t i fy   t h e   di r e c t i o n   o f   t h e   m o t i o n   of   t h e   h a n d .   M o t i o n   a na l y s i s   t h e n   e xt r a c t e t h e   f e a t ur e   t ob t a i n   t h e   t e m po ra l   i n f o r m a t i o a n d   m a de   de c i s i o n   b a s e o t h e   de t e c t e h a nd  ge s t u r e s .     T h e   f un c t i o n   m a s i s   c o m m o n l y   us e t o   c o p y   t h e   de s i r e i n f o r m a t i o n   o f   t h e   h a nd  ge s t ur e   o n   t h e   l o c a t i o n   o t h e   c o n ve h ul l ,   c o n v e xi t y   de fe c t s ,   pa l m   c e n t e r ,   n u m b e r   of   f i n ge rt i ps   a nd  t h e   di r e c t i o n   o h a n d   m o ve m e n t .   T hi s   r e gi o n   i s   us ua l l y   s e t   a s   t h e   de s i r e r e gi o n   w h e r e a s   t h e   o t h e r   r e gi o n   w i l l   n o t   b e   c o pi e d.   T h e   r e c o r de i n f o r m a t i o n   i s   s e t   a s   t h e   r e f e r e n c e   of   t h e   ha n ge s t u r e   a n c o m put e w i t t h e   o t h e h a nd  ge s t u r e   duri n t h e   t e s t i n g   p h a s e .   F i gu r e   s h o w s   t h e   de t e c t e f a c e   i m a ge   a nd  t h e   l o c a t i o n   o f   t h e   c o n v e h ul l   f o r   s i g n   m o m ,   e a t   a n m i l k .   T h e   s y s t e m   r e c o gn i s e s   t h e   ha n g e s t ur e   a s   m o m   w h e n   i t   de t e c t s   f i ve   f i n ge rt i ps ,   fo ur   c o n v e xi t y   de f e c t s   a n t h e   di s t a n c e   b e c o m e s   c l o s e r   t o   t he   f a c e   r e gi o n .   F o r   e a t   r e c o gn i t i o n ,   t h e   de t e c t e d   f i n ge r t i ps   s h o ul b e   m o r e   t h a n   t hr e e ,   t h e   de t e c t e c o n v e xi t y   de fe c t s   s h o ul b e   l e s s   t h a n   t hr e e ,   a n t h e   di s t a n c e   b e t w e e n   h a nd  a nd  f a c e   s h o ul b e   l e s s   t h a n   c m .   W h e r e a s   f o r   t h e   m i l k   r e c o gn i t i o n,   t h e   s y s t e m   h a s   t o   de t e c t   z e r o   f i n ge r t i ps .             (a )   (b )   (c )     F i gu r e   3 .   R e c o gn i t i o n   o f   ha n d   ge s t u r e   ( a m o m ,   (b e a t   a nd  ( c m i l k       3.   R ES U LTS   A N D   A N A L Y S I S     A   t o t a l   o f   30  da t a s e t s   o f   di f fe r e n t   ra c e s   i n   M a l a y s i a   w a s   c o l l e c t e d.   T h e   d a t a s e t s   w e r e   10  s e t s   f o r   M a l a y ,   10  s e t s   f o r   C h i n e s e   a n d   10  s e t s   f o r   I n d i a n.   T h e s e   m a i n   ra c e s   i n   M a l a y s i a   h a v e   b e e n   s e l e c t e t r e p r e s e n t   d i f fe r e nt   s ki n   c o l o ur s .   15  da t a s e t s   w e r e   us e d   fo r   t ra i ni n a nd  t h e   r e m a i ni n 15  d a t a s e t s   w e r e   us e d   fo r   t e s t i ng.   F i gu r e   s h o w s   t hr e e   s i g n s   o f   b a by   s i gn  l a ngua g e   t h a t   a r e   us e i t hi s   p r o j e c t   w h i c h   a r e   m o m ,   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E m pl o y m e n t   of   bab y   s i gn  l angu age   i n   i nt e r ac t i v e   l e ar ni ng   f o r   he ar i ng - i m p ai r e d   p e op l e   i n …  ( N.   T .   J .   O ng )   365   e a t   a n m i l k” .   T h e   d i s t a n c e   b e t w e e n   t h e   l a p t o a n t he   us e r   i s   s e t   a t   0 . m .   T hr e e   e xp e r i m e n t s   w e r e   c o n duc t e t o   t e s t   t h e   s y s t e m   a c c ur a c y   i t e r m s   o f ;   t o   i nv e s t i ga t e   t h e   e ff e c t   of   di f fe r e n t   b r i g h t n e s s   a nd  di f fe r e nt   b a c kgr o u n c o l o ur   a n t h e   o v e r a l l   pe r f o r m a n c e   of   t h e   de ve l o pe s y s t e m   b a s e o n   di f f e r e n t   s ki c o l o ur .   T h e   a c c ura c y   i s   c a l c ul a t e d   by   us i n g   t h e   f o l l ow i n f o rm ul a :                 (a )   (b )   (c )     F i gu r e   4 .   T hr e e   s e l e c t e s i g n s   o f   b a by   s i gn  l a n gu a ge   w h i c a r e :   (a )   m o m ,   (b e a t   a n d   (c m i l k   [26 ]       3. 1 .      Th e   Effe c t   o D i ff e r e n Br i gh tn e s s   In   b r i g ht n e s s   t e s t ,   t h e   a c c ura c y   of   t h e   s y s t e m   t o   r e c o gn i s e   t h e   h a nd  ge s t u r e   w a s   t e s t e i n   c o m m o l i g ht i n g   r o o m   c o n di t i o n   a n c o m pa r e w i t a   s e t up  o f   e xt e rna l   l a m w hi c h   w a s   pl a c e i n   f r o n t   o f   t h e   l a pt o p.   T a b l e   s h o w s   t h e   r e s ul t   o f   t h e   h a nd  ge s t u r e   r e c o g n i t i o n   a c c ura c y   i b r i g ht n e s s   t e s t .   It   s h o w s   t h a t   t h e   s y s t e m   i s   a b l e   t o   r e c o gn i s e   t h e   ha n ge s t u r e   m o r e   c o n s i s t e nt   w h e n   i t   i s   t e s t e w i t h   a   s e t up  o f   e xt e r na l   l a m t ha t   ob t a i n e 93. 3 3%  a v e r a ge   a c c ur a c y   t h a n   t h e   c o m m o n   l i g h t i n w i t h   a c c u r a c y   of   o n l y   88. 89% .   It   i s   b e c a us e   w h e n   t h e r e   i s   a e xt e rn a l   l a m pl a c e i n   f r o n t   o f   t h e   us e r,   t h e   ha n d   ge s t u r e   c a n   b e   c a pt u r e m o r e   c l e a rl y   b y   t h e   s y s t e m .         T a b l e   1 .   H a n G e s t u r e   R e c o gn i t i o n   A c c u r a c y   i B r i g h t n e s s   T e s t   Bri g h t n e s s   c o n d i t i o n   H a n d   g e s t u r e   r e c o g n i t i o n   a c c u ra c y   ( % )   A v e ra g e   a c c u ra c y   ( % )   M o m   E a t   M i l k   Co m m o n   l i g h t i n g   ro o m   c o n d i t i o n   100   100   6 6 . 6 7   8 8 . 8 9   E x t e r n a l   l a m p   a d d e d   i n   fro n t   o t h e   l a p t o p   9 6 . 6 7   8 3 . 3 3   100   9 3 . 3 3       3. 2 .      Th e   Effe c t   o D i ff e r e n Bac k g r o u n d   C o l ou r   In  b a c kgr o u n c o l o ur   t e s t ,   f i v e   t y pe s   of   c o l o ur   b a c kgr o un d   w e r e   s e l e c t e w h i c h   i n c l ude b l ue ,   y e l l ow ,   gr e y ,   gr e e n   a n w hi t e   t o   de t e rm i n e   t h e   b e s t   b a c kgr o und  c o l o ur   fo r   t h e   s y s t e m .   T a b l e   c o n c l ude s   t h a t   t h e   s y s t e m   pe r fo r m s   t h e   b e s t   i n   b l ue   b a c kgr o un w hi c h   i s   9 4. 44%  a c c ura c y   w h e r e a s   t h e   c o l o ur   pe r f o r m s   t h e   w o r s t   i n   y e l l ow   b a c kgr o und  w h i c h   i s   0%  o f   t h e   a c c ur a c y .   T h i s   h u ge   di f f e r e n c e   i a c c ura c y   i s   b e c a us e   t h e   y e l l ow   c o l o ur   i s   a c t u a l l y   a l m o s t   s i m i l a r   t o   t h e   s ki n   c o l o ur  t o n e   o f   h um a n   b e i n c a us i ng  t h e   s y s t e m   t o   be   c o n f us e i n   de t e c t i n g   t h e   f a c e   a n d   h a nd  r e gi o n s .   T a b l e   s how s   t h a t   g r e e n   a n w h i t e   b a c kg r o unds   ha v e   t h e   s a m e   r e s ul t   o f   t h e   a c c ur a c y   w h i c h   i s   92. 2 2%  w h e r e a s   t h e   gr e y   b a c kgr o un s h o w s   90%  a c c ur a c y   of   t h e   ge s t ur e   r e c o gn i t i o n .   T h e   r e s ul t   p r o v e s   t h a t   t h e   s y s t e m   i s   a b l e   t o   r e c o gn i s e   t h e   ha n ge s t u r e   a t   d i f fe r e nt   c o l o ur   b a c kgr o un d   e xc e pt   y e l l ow   a n t h e   b e s t   s e t up  i s   i b l ue   c o l o ur  b a c kgr o u n d .       T a b l e   2 .   H a n G e s t u r e   R e c o gn i t i o n   A c c u r a c y   i B a c kgr o u n d   Co l o ur   T e s t   Ba c k g r o u n d   c o l o u r   H a n d   g e s t u r e   r e c o g n i t i o n   a c c u ra c y   ( % )   A v e ra g e   a c c u ra c y   ( % )   M o m   E a t   M i l k   Bl u e   100   8 3 . 3 3   100   9 4 . 4 4   Y e l l o w   0   0   0   0   G re y   100   100   70   90   G re e n   9 3 . 3 3   8 3 . 3 3   100   9 2 . 2 2   W h i t e   9 3 . 3 3   8 3 . 3 3   100   9 2 . 2 2         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 8 ,   N o .   1 A p r i l   20 20  :     3 6 1   -   3 6 7   366   3. 3 .      Th e   O v e r a l l   P e r fo r m an c e   C o m p ar i s o n   o n   D i ffe r e n t   S k i n   C o l ou r s   T o   e v a l ua t e   t h e   pe r f o r m a n c e   of   t h e   s y s t e m   o n   di f f e r e n t   s k i n   c o l o ur s ,   t h e   b a c kgr o un c o l o ur   w a s   f i xe w i t h   b l ue   b a c kgr o un a n w i t h   e xt e rna l   l a m i n   f r o n t   of   t h e   l a pt o p.   T a b l e   s h ow s   a   s um m a r i s e r e s ul t   of   t h e   e ff e c t i v e n e s s   of   t h e   s y s t e m   o n   di f fe r e n t   s k i n   c o l o r .   T he   r e s ul t   s h o w s   t h a t   t h e   s y s t e m   c a n   r e c o gn i s e   t h e   h a n ge s t u r e   a pp r o pri a t e l y   w i t h   di f f e r e n t   s ki n   c o l o ur s .   A c c ura c i e s   o 96. 33%,   85 . 78%  a n 91. 78%  o t h e   s i g n   l a n gu a ge   r e c o gn i t i o n   a r e   y i e l de f o r   h a nd  ge s t u r e   M o m ,   E a t   a n M i l k”   r e s pe c t i v e l y .   T h e   l o w e s t   a c c ur a c y   i s   pr o duc e by   t h e   s i g n   e a t   f o l l o w e by   t h e   s i gn  m i l k .   I t   i s   due   t o   t h e   di f f i c ul t y   o f i n di n t h e   c o n t o ur   a n c o n v e xi t y   de fe c t s   of  t h e s e   s i gn   l a ngua ge   i f   c o m pa r e t o   m o m   s i gn.   F u r t h e r m o r e ,   M a l a y s ,   Chi n e s e s   a nd  I n d i a n s   s h o w   91. 33% ,   93 . 11 a nd  89 . 44%   ha n ge s t u r e   r e c o gn i t i o n   a c c ura c i e s   r e s pe c t i v e l y .   H e n c e ,   t h i s   s y s t e m   i s   s ui t a b l e   fo r   a l l   ra c e s   w i t h   d i f f e r e n t   s ki n   c o l o ur s   a s   t h e   i m pl e m e n t e s k i n   c o l o ur   m o de l l i n g   h a s       T a b l e   3 .   A c c ura c y   of   H a n G e s t u r e   R e c o gn i t i o n   a m o n D i f fe r e nt   R a c e s   Ra c e s   H a n d   g e s t u r e   r e c o g n i t i o n   a c c u ra c y   ( % )   A v e ra g e   a c c u ra c y   (% )     M o m   E a t   M i l k   M a l a y s   9 6 . 3 3   8 6 . 6 7   91   9 1 . 3 3   Ch i n e s e   96   90   9 3 . 3 3   9 3 . 1 1   In d i a n   9 6 . 6 7   8 0 . 6 7   91   8 9 . 4 4     9 6 . 3 3   8 5 . 7 8   9 1 . 7 8         4.   C O N C LU S I O N     T h e   a i m   o t h e   p r e s e n t   r e s e a r c h   i s   t o   de v e l o a   r e a l - t i m e   h a n ge s t u r e   r e c o gn i t i o n   s y s t e m   fo r   b a b y   s i g n   l a n gu a ge .   T w o   pr e l i m i na r y   s y s t e m   s e t t i n g   i n v e s t i ga t i o ns   ha v e   be e n   c a rri e o ut   t o   di s c o ve r   t h e   e f fe c t   o di f fe r e nt   l i g h t   i nt e n s i t y   a n d   di f f e r e n t   b a c kg r o u n c o l o ur .   T h e   r e s ul t s   ha v e   s h o w n   t h a t   t h e   s y s t e m   ha s   pe r f o r m e t h e   b e s t   w h e n   a e xt e rna l   i s   a dde i n   f r o n t   o f   t h e   w e bc a m   f o r   t h e   f o r m e r   e xpe r i m e nt .   M e a n w h i l e ,   b l ue   c o l o ur   b a c kgr o un h a s   s h o w n   a   s t a b l e   a ve r a ge   a c c ura c y   r a t e   fo r   t h e   l a t t e r   e xpe r i m e n t .   F r o m   t h e s e   pr e l i m i n a r y   s e t t i n e xpe r i m e nt s ,   t h e y   a l s o   i n d i r e c t l y   e xp o s e   t h a t   t h e   m o v i n g   b a c kgr o u n s h o ul d   b e   a v o i de d   t o   r e duc e   t h e   m i s c l a s s i f i e ha n ge s t u r e .   H ow e ve r ,   t h i s   s t ud y   w a s   l i m i t e t o   c e r t a i n   pa rt i c i p a n t s   s i n c e   i t   d i d   n o t   i n c l u de   t h e   c h i l d r e n   w i t h   h e a r i ng  i m pa i rm e nt   a n b a b i e s   be l ow   y e a r s   da t a s e t s   t o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   t h e   s y s t e m   t ow a r ds   c h i l d r e n.   N o t w i t h s t a n d i n t h e   l i m i t a t i o n   s a m p l e   of   c h i l d r e n   da t a s e t ,   t h e   s y s t e m   i s   s t i l l   a ppl i c a b l e   t o   be   us e a s   a   t oo l   fo r   a du l t   t o   l e a rn   b a by   s i gn   l a n g ua ge .   A   f ur t h e r   s t udy   i s   s ugge s t e t o   t e s t   t h e   s y s t e m   by   us i n di f f e r e n t   a ge   o f   c h i l d r e n   w i t h   h e a ri n i m p a i rm e n t   a n n o r m a l   i n f a n t s   b e l ow   y e a r s .   I n   a ddi t i o n,   t h e   s y s t e m   c a n   b e   upgr a de i nt o   m o b i l e   ph o n e   a pps   t o   m a ke   i t   m o r e   po r t a b l e   t ha n   t h e   c urr e nt   s y s t e m   a n e a s e   t h e   p r o c e s s   of   i m a ge   t r a n s f e r   s i n c e   t h e   i m a ge   o b t a i n e by   h i gh   e n s m a rt   p h o n e   w i t g r e a t   c a m e ra   i s   m o r e   a c c u r a t e   a nd  c l e a r e t ha n   t h e   c u rr e nt   o n e .         A C K N O WL ED G E M EN TS   T h e   w o r w a s   s uppo rt e by   U n i v e r s i t i   T u H us s e i O nn   M a l a y s i a   ( T i e r   1   G ra n t   N o .   H 159).       R EF ER EN C ES     [ 1]   " G r a de s   o f   he a r i ng   i m pa i r m e n t , "   W or l H e al t h   O r gani z at i o n 201 9.   R e t r i e v e f r o m   ht t ps : / / w w w . w ho . i n t / pbd / de a f ne s s / h e a r i ng _ i m pa i r m e nt _g r a de s / e n/   [ 2]   G .   S t e v e ns e t   al . " G l o ba l   a nd  r e g i o na l   he a r i ng   i m pa i r m e nt   p r e v e l a nc e :   a a na l y s i s   o f   42  s t udi e s   i 29  c o unt r i e s , "   T he   E ur o pe an  J our na l   o f   P ubl i c   H e al t h v o l .   23 ,   pp .   146 - 152 ,   201 1.     [ 3]   B .   O .   O l u s a ny a e t   a l . " T he   g l o ba l   b ur d e o f   di s a b l i ng   he a r i ng   i m pa i r m e n t :   a   c a l l   t o   a c t i o n , "   B u l l e t i of   t he   W or l d   H e al t h   O r ga ni z at i o n v o l .   9 2,   pp .   367 - 37 3,   20 14 .     [ 4]   S .   C .   T h e un i s s e n e t   al . " D e p r e s s i o i he a r i ng - i m pa i r e c hi l dr e n, "   I n t e r na t i o na l   J o ur n al   of   P e di at r i c   O t or h i n ol a r y n gol ogy v o l .   75 ,   pp .   1313 - 13 17 ,   2 011 .     [ 5]   N .   K o nuk e t   a l . " E v a l u a t i o o f   be ha v i o r a l   a nd  e m o t i o na l   p r o bl e m s   i d e a f   c hi l dr e by   us i ng   t he   c hi l b e ha v i o r   c he c kl i s t , "   N e ur o l ogy   P s y c h i a t r y   and   B r a i n   R e s e ar c h v o l .   1 3,   pp .   5 9 - 64,   200 6.     [ 6]   T .   V .   E l di k e t   a l . " M e n t a l   h e a l t h   pr o b l e m s   o f   de a f   D ut c c hi l d r e a s   i n di c a t e d   b y   pa r e n t s   r e s po ns e s   t o   t h e   c hi l d   be ha v i o r   c he c k l i s t , "   A m e r i c an   a nna l s   of   t he   de af v o l .   14 8,   pp .   390 - 395,   2 004 .     [ 7]   T .   V .   E l di k " M e n t a l   he a l t pr o b l e m s   o f   D ut c y o ut w i t he a r i ng   l o s s   a s   s ho w o t he   Y o ut S e l f   R e po r t , "   A m e r i c an   an nal s   of   t he   de af v o l .   15 0,   pp .   11 - 16 ,   2005 .     [ 8]     S .   W .   G o o dw y n e t   al . " I m pa c t   o f   s y m bo l i c   g e s t ur i ng   o e a r l y   l a ng ua g e   de v e l o pm e n t , "   J o ur n al   o f   N on v e r bal   be hav i o r v o l .   24,   p p.   81 - 10 3,   20 00 .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E m pl o y m e n t   of   bab y   s i gn  l angu age   i n   i nt e r ac t i v e   l e ar ni ng   f o r   he ar i ng - i m p ai r e d   p e op l e   i n …  ( N.   T .   J .   O ng )   367   [ 9]   C .   D .   V a l l o t t o a nd   C .   C .   A y o ub " S y m bo l s   B ui l C o m m uni c a t i o n   a nd  T ho ug ht :   T he   R o l e   o f   G e s t ur e s   a nd  W o r ds   i t h e   D e v e l o pm e nt   o f   E ng a g e m e nt   S ki l l s   a n S o c i a l e m o t i o na l   C o nc e pt s   dur i ng   T o ddl e r ho o d, "   Soc i al   D e v e l opm e nt v o l .   19 ,   pp .   601 - 626 ,   201 0.     [ 10]   A .   E .   S h e a r e r e t   a l . " H e r e di t a r y   he a r i ng   l o s s   a nd   de a f n e s s   o v e r v i e w , "   In   G e ne R e v i e w s ® [ I nt e r ne t ] .   U n i v e r s i t y   o f   W as hi ngt on,   Se a t t l e ,   2017 .     [ 11]   S .   M .   H a l a w a n i " A r a bi c   s i g l a ng ua g e   t r a n s l a t i o s y s t e m   o m obi l e   de v i c e s , "   I J C SN I n t e r na t i o nal   J our na l   of   C om put e r   Sc i e nc e   an N e t w or k   Se c ur i t y v o l .   8,   p p.   25 1 - 256,   2 008 .     [ 12]   A .   A l m o hi m e e d,   e t   al . ,   " A r abi c   t e x t   t A r ab i c   s i g l an guage   t r ans l at i on  s y s t e m   f o r   t he   de af   and  he ar i ng - i m p ai r e d   c om m un i t y , "   I P r oc e e di ng s   o f   t he   S e c o nd  W o r ks ho o S p e e c a nd  L a ng ua g e   P r o c e s s i ng   f o r   A s s i s t i v e   T e c hno l o g i e s pp.   1 01 - 109 ,   2011 .     [ 13]   M .   B o ul a r e s   a n M .   J e m ni ,   " M obi l e   s i gn  l angu age   t r a ns l at i o s y s t e m   f or   de af   c om m un i t y , "   I P r o c e e di ng s   o f   t he   i nt e r na t i o na l   c r o s s - di s c i p l i n a r y   c o nf e r e nc e   o w e b   a c c e s s i bi l i t y pp .   37 ,   2012 .     [ 14]   S .   K a ur   a nd   M .   S i ng h,   " I n di a S i gn   L an guage   a ni m a t i on  ge ne r at i o s y s t e m , "   I 2015   1s t   I nt e r na t i o na l   C o nf e r e nc e   o N e xt   G e n e r a t i o C o m put i ng   T e c hno l o g i e s   ( N G C T ) pp .   909 - 914 ,   2015 .     [ 15]   M .   A .   E l - S e o ud ,   e t   a l .   " U s i ng  hand he l m ob i l e   s y s t e m   f or   l e ar ni ng  s i g l a ngua ge , "   I 15t I nt e r na t i o na l   C o nf e r e nc e   o I nt e r a c t i v e   C o l l a bo r a t i v e   L e a r n i ng   ( I C L 2012)   a nd   41s t   I nt e r na t i o na l   C o nf e r e nc e   o E ng i ne e r i ng   P e da g o gy ,   2010.     [ 16]   J .   W a ng e t   a l , .   " C hi ne s e   s i gn  l ang uage   ani m at i on  s y s t e m   on  m obi l e   de v i c e s , "   I 2010  S e c o nd  I nt e r n a t i o na l   C o nf e r e nc e   o I nf o r m a t i o T e c hno l o gy   a nd  C o m put e r   S c i e nc e ,   pp .   52 - 55,   J u l y   2010 .     [ 17]   I .   G .   I nc e r t i s e t   a l . " H and   ge s t u r e   r e c ogni t i on  f or   de af   pe op l e   i n t e r f a c i n g , "   I 18t I nt e r na t i o na l   C o nf e r e nc e   o P a t t e r R e c o g ni t i o ( I C P R ' 06) ,   v o l .   2 ,   pp.   1 00 - 103 ,   A ug us t   200 6.     [ 18]   J .   R a v i ki r a n e t   a l . " F i nge r   de t e c t i o f o r   s i gn   l a ngua ge   r e c ogni t i on , "   I P r o c e e di ng s   o f   t he   i nt e r na t i o na l   M ul t i C o nf e r e nc e   o f   E ng i ne e r s   a nd   C o m put e r   S c i e n t i s t s ,   v o l .   1,   p p.   18 - 20,   M a r c h   200 9.     [ 19]   M .   S .   A bda l l a   a nd  E .   E .   H e m a y e d " D y na m i c   ha nd  g e s t ur e   r e c o g ni t i o o f   a r a bi c   s i g l a ng ua g e   us i ng   ha nd  m o t i o t r a j e c t o r y   f e a t u r e s ,   " G l ob al   J o ur n al   o f   C om put e r   Sc i e nc e   a nd  T e c h nol o gy 2 013 .     [ 20]   E .   K .   R i s h a d e t   a l . " G e s t u r e   C o nt r o l l e S pe a ki ng   A s s i s t a nc e   f o r   D um a nd  D e a f , "   I O SR   J ou r na l   o f   C om pu t e r   E ngi ne e r i n ( I O S R - J C E ) pp.   3 9 - 42,   20 17.     [ 21]   R .   P r a khy a t h e t   al . " G e s t u r e   R e c o g ni t i o S y s t e m , "   I nt e r n at i o nal   J o ur n al   o f   C om pu t e r   Sc i e nc e   and  M ob i l e   C om put i ng v o l .   7 ,   pp .   1 64 - 175 ,   M a y   2018.     [ 22]   S .   S .   R a ut a r a y   e t   al . ,   " V i s i o ba s e ha nd  g e s t u r e   r e c og ni t i o f o r   hum a c o m put e r   i nt e r a c t i o n:   a   s ur v e y ,   "   A r t i f .   I nt e l l .   R e v . ,   v o l .   4 3,   no .   1 ,   p p.   1 - 54 ,   2012 .     [ 23]   G .   R .   S .   M u r t hy   a nd  R . S .   J a do n " A   R e v i e w   o f   V i s i o B a s e H a n G e s t ur e s   R e c o g ni t i o n, "   I nt e r n at i on al   J our na l   of   I nf or m a t i on  T e c hno l og y   a nd   K now l e dge   M anage m e nt ,   v o l .   2,   pp .   4 05 - 410,   2 009 .     [ 24]   L .   X i ngy a n " G e s t ur e   R e c o g ni t i o B a s e o F uz z y   C - M e a ns   C l us t e r i ng   A l go r i t hm , "   D e par t m e nt   of   C om pu t e r   Sc i e nc e .   T he   U n i v e r s i t y   of   T e nne s s e e   K nox v i l l e ,   2 003 .     [ 25]   S .   M i t r a   a n T .   A c ha r y a " G e s t u r e   R e c o g ni t i o n:   A   S ur v e y , "   I E E E   T r ans ac t i ons   on  s y s t e m s ,   M an  and  C y be r ne t i c s ,   P ar t   C :   A p pl i c a t i on s   a nd   r e v i e w s ,   v o l .   37 ,   pp .   3 11 - 324 ,   2007 .     [ 26]   " T o T e S t a r t e r   S i g ns ,   " B aby   S i gn  L a nguage . c om ,   2 019 .   R e t r i e v e f r o m   ht t ps : / / w w w . b a by s i g nl a ng ua g e . c o m / di c t i o na r y / f i r s t - s i g ns / ? v = 75df a e d2dd e d       B I O G R A P H I ES   O F   A U T H O R S       J o s e ph i ne   O ng   i s   a   po s t g r a du a t e   s t ude nt   a t   U n i v e r s i t i   T un  H u s s e i n   O nn   M a l a y s i a   ( U T H M ) .   S h e   g r a dua t e f r o m   U T H M   w i t h   a   B a c he l o r   o f   E l e c t r o ni c   E ng i ne e r i ng .   S he   i s   c ur r e n t l y   i nv o l v e i a   r e s e a r c pr o j e c t   t o   de v e l o a   w a t e r   qua l i t y   de t e c t i ng   m o de l   b y   us i ng   m i c r ow a v e   t e c hni que .   T he   m o de l   s ho ul d   be   a b l e   t o   i d e nt i f y   t he   t y pe   o f   c o nt a m i n a nt s   a nd   d e t e r m i ne   i t s   c o nc e nt r a t i o n.               S i t i   H a j a r   A m i na A l i   i s   a   l e c t ur e r   a t   U ni v e r s i t i   T un   H us s e i O nn   M a l a y s i a   ( U T H M ) .   H e r   w o r k   f oc us e s   o i m a g e   pr o c e s s i ng   a nd  ne u r a l   n e t w o r k .   S h e   r e c e i v e d   he r   B a c he l o r   o f   E l e c t r i c a l - T e l e c o m m uni c a t i o ns   E ng i ne e r i ng   a nd  M a s t e r   o f   E l e c t r i c a l - E l e c t r o ni c s   a nd  T e l e c o m m uni c a t i o ns   f r o m   U ni v e r s i t i   T e kno l o g i   M a l a y s i a   ( U T M ) ,   S kud a i ,   M a l a y s i a .   H e r   h i g he s t   e d uc a t i o i s   D o c t o r   o f   P hi l o s o phy   i E ng i n e e r i ng   f r o m   K o be   U n i v e r s i t y ,   J a p a n.           A i nul   H us n a   M o hd  Y us o f f   i s   a   po s t g r a dua t e   s t u de n t   a t   U ni v e r s i t i   T un  H us s e i O nn  M a l a y s i a   ( U T H M ) .   S he   g r a dua t e f r o m   U ni v e r s i t i   S a i ns   I s l a m   M a l a y s i a   ( U S I M )   w i t B a c he l o r   o f   S c i e nc e   w i t h   H o no ur s   ( A ppl i e P hy s i c s ) .   S he   p ur s ue he r   s t udy   i M a s t e r   o f   M e c ha ni c a l   E ng i ne e r i ng   a t   U T H M .   H e r   r e s e a r c p r o j e c t   i nv o l v e t he   C o nt r o l   E ng i n e e r i ng   a r e a .         Evaluation Warning : The document was created with Spire.PDF for Python.