I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in g  a n d   Com p u t e r   S c ience   Vo l .   36 ,   N o .   3 ,  De c e m b e r   20 24 ,   pp.   1 5 83 ~1 5 93   I S S N:  2 502 - 4 7 52 ,   DO I :  10 . 11591/i j e e cs .v 36. i 3 . pp1 5 83 - 1 5 93             1583     Jou r n al  h o m e page :  ht tp: // ij e e cs . iaes c or e . c om   R e c ogn iz in g In d on e si a n  si g n  l an gu age  ( B is i n d o)  ge st u r e  i n   c om p le x b ac k gr ou n d s       M u h am m ad   Al f h i  S ap u t r a,   E r d e f i  Rak u n   F a c ul t y   of  C o mput e r   S c i e n c e , U ni v e r s it y   of  I nd o n e s ia , D e p o k,  I ndo n e s ia       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d  J a n   2 ,   202 4   R e vi s e d  A ug   13 ,  202 4   A c c e pt e d  A ug   26 ,   202 4       Si g n   l a n g u ag e,   p art i cu l ar l y   I n d o n e s i an   s i g n   l an g u a g e   ( Bi s i n d o ),   i s   v i t al   fo r   d e af   i n d i v i d u al s ,   b u t   l e ar n i n g   i t   i s   ch al l e n g i n g .   T h i s   s t u d y   ai m s   t o   d ev e l o p   an   au t o m at e d   Bi s i n d o   r ec o g n i t i o n   s y s t em   s u i t ab l e   f o r  d i v e rs e  b ack g r o u n d s .   Pre v i o u s   r e s e ar ch   f o c u s e d   o n   g r ee n s c r ee n   b ack g r o u n d s   an d   s t ru g g l e d   w i t h   n at u ral   o r  c o m p l e x   b ack g r o u n d s .   T o   ad d r e s s   t h i s   p ro b l em ,   t h e   s t u d y   p ro p o s e s   u s i n g   Fas t e r  r e g i o n - b as e d   c o n v o l u t i o n al   n e u r al   n e t w o r k s   ( RCN N )   an d   Y O L O v 5   fo r  h a n d   an d   fa ce   d e t ec t i o n ,   M o b i l e N e t V 2   f o r  f e at u r e  e x t rac t i o n ,   an d   l o n g   s h o rt - t e r m   memo r y   ( L ST M )   f o r   cl as s i fi c at i o n .   T h e  s y s t em   i s   al s o   d e s i g n e d   t o   f o c u s   o n   c o m p u t at i o n al   e ffi ci e n cy .   Y O L O v 5   mo d e l   ach i ev e s   t h e   b e s t   re s u l t   w i t h   a  s e n t e n ce   a ccu ra cy   (SA cc )  o f  4 9 . 2 9 %   an d   a  w o r d   e rro r  rat e   (W E R)  o f   1 6 . 4 2 % ,   w i t h   a  c o m p u t a t i o n a l   t i me   o f   0 . 0 1 8 8   s e co n d s ,   s u rp as s i n g   t h e   b as el i n e   m o d e l .   A d d i t i o n al l y ,   t h e   s y s t em  ac h i e v ed   a  Sa c r e B L E U   s c o r e  o f   6 7 . 7 7 % ,   d em o n s t rat i n g   i t s   e ff ec t i v e n e s s   i n   Bi s i n d o   r eco g n i t i o n   a c r o s s   v ari o u s   b ac k g ro u n d s .   T h i s   re s e ar c h   i m p ro v e s   acce s s i b i l i t y   f o r  d e af  i n d i v i d u al s   b y   ad v an ci n g   au t o m at ed   s i g n   l a n g u ag e  rec o g n i t i o n   t ec h n o l o g y .   K e y w o r d s :   B i s i ndo   F a s t e r   R C NN   Obj e c t   de t e c t i o n   S i g n   l a n gua g e   re c o gni t i o n   YO L OV 5   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   E r de f i   R a ku n   F a c u l t y   o f   C o m put e r   S c i e n c e ,   Uni ve r s i t y   o f   I n do ne s i a     16424   De po k ,  W e s t   J a v a ,  I n do n e s i a     E m a i l :  e f i @ cs . u i . a c . i d       1.   I NT RODU C T I ON   C o m m u ni c a t i o n   i s   o n e   o f   t h e   e s s e n t i a l   a s pe c t s   o f   h u m a n   l if e .   Ho we v e r ,   s o m e   pe o p l e   w i t h   a   c o n d i t i o n   s uc h   a s   h e a r i n g  i m pa i r m e n t   or   de a f n e s s   h a v e   l im i t a t i o ns   i n   v e r ba l   c o m m u ni c a t i o n .   P e op l e   w i t h  s uc h   c o n d i t i o n s   us u a l ly   c o m m u ni c a t e   us i n g  s i g n   lan gua g e .   T h e r e   a r e   t wo   s i g n   l a n gua ge s   f o r   t h e   I ndo n e s i a n  l a n gua ge :  t h e   I n do n e s i a n   s i g n   l a n gu a ge   s y s t e m   ( S I B I )   a n d  I n do n e s i a n   s i g n   l a n gu a ge   ( B i s i ndo ).   R e s e a r c h   o n  B i s i ndo   i s   s t i ll   l e s s   e x t e ns i ve   t h a n   t h a t   o n   S I B I ;   t h e r e f o r e ,   f ur t h e r   de v e l o p m e n t   a n d  r e s e a r c h   a r e   n e e de d.   R e s e a r c h   o n   s i g n   l a n gua ge   r e c o gni t i o n   i s   d i v e r s e ,   wi t h   v a r i o us   da t a s e t s   a n d  m o de l s   [ 1] .   T h e r e   a r e   t w o  c o m m o n   a ppr o a c h e s   to  s i g n   l a n gua ge   r e c o gni t i o n   ( S L R )   r e s e a r c h :  vi s i o n - b a s e d  a n d  g l o v e - b a s e d.   Vi s i o n - b a s e d  r e s e a r c h   i s   c o n s i de r e d  m o r e   n a t ur a l   a n d  r e a l i s t i c   b e c a us e   i t   ut i li z e s   i nf o r m a t i o n   b a s e d  o n   t h e   n a t ur a l   e nvi r o nm e n t   [ 2] .   T h e   m a i n  d i f f e r e n c e   b e t we e n   t h e   t w o   m e t h o ds   i s   t h a t   t h e   vi s i o n - b a s e d  us e s   i m a ge   o r   v i d e o  da t a .   M e a n w hil e ,   t h e   g l o v e - b a s e d  s y s t e m   us e s   s e n s o r s   [ 3] .   F o r   t h e   vi s i o n - b a s e d  a ppr o a c h ,   s e v e r a l   m e t h o ds   c a n   b e   us e d,   i n c l ud i ng  pr i n c i pa l   c o m po ne n t   a n a l ys i s   ( P C A )   [ 4] ,   hi dde n   M a r ko v   m o de l   ( HM M )   [ 5] ,   s uppor t  v e c t o r   m a c hi ne   ( S VM )   [ 6] ,   hi s t o gr a m   o f   o r i e n t e d  gr a di e n t s   ( Ho G )   [ 7] .   I n   a dd i t i o n   t o  t h o s e   m e t h o ds ,   de e p   l e a r ni ng  m o de l s   a r e   a l s o   c a n   b e   us e d  f o r   t h e s e   c a s e s ;   t h e   f r e que n t l y   u s e d  de e p  l e a r ni ng  m o de l s   a r e   3D   c o n v o l ut i o n a l   n e ur a l   n e t wo r k  ( C NN )   [ 8] ,   ge n e r a t i v e   a d v e r s a r i a l   n e t wo r k   ( GA N )   [ 9] ,   v a r i a t i o n a l   a ut o e n c o de r   ( VA E )   [ 10 ] ,   F a s te r   r e gi o n - b a s e d   c o n v o l u t i o n a l   n e u r a l   n e tw or k   ( R C NN )   [ 1 1 ] ,   [ 1 2] ,   y ou   o nl y   l o ok   o n c e   ( Y OL O )   [ 1 3 ] ,   [ 1 4] ,   whi c h   a r e   us e d   a s   h a n d - l o c a t i n g  n e tw or ks   to  d e tec t  h a n ds   b e f or e   t h e   c l a s s i f i c a t i o n   p r oc e s s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   36 ,   N o .   3 ,  De c e m b e r   20 24 :  1 5 83 - 1 5 93   1584   S L R   r e s e a r c h   de v e l o p m e n t   f o r   I n do n e s i a n   s i g n   l a n gua ge   s t i l l   n e e ds   to  b e   i m pr o v e d,   e s pe c i a ll y   f o r   B i s i ndo .   An   S L R   s t udy   f o r   B i s i ndo   u t i li z e s   t h e   YO L O v 3  m o de l   b ut   i s   s t i ll   li mi t e d  to  r e c o gni z i ng  o nl y   t h e   a l p h a b e t   [ 15] .   A   s t ud y   o n   B i s i ndo   t h a t   c a r r i e d  o ut   wo r d - l e ve l   r e c o gni t i o n   w a s   do n e ,   b ut   i t   s t i ll   u s e s   s k i n   c o l o r   s e g m e n t a t i o n   to  e x t r a c t   h a n ds   a n d  f a c e s   [ 16] .   How e v e r ,   t h e   s t udy   o n   B i s i ndo   i s   s t i ll   l im i t e d  t o  da t a s e t s   wi t h  gr e e n s c r e e n   b a c kgr o un d  o nl y .   S L R   r e s e a r c h   f o r   S I B I   h a s   s e e n   m o r e   de v e l o p m e n t   t h a n   B i s i ndo .   T h e   s t udy   o n  S I B I   r e c o m m e n ds   a   f e a t ur e   e x t r a c t i o n   m o de l ,   whic h   i s   M o bil e Ne t V2.   T h e   r e s e a r c h   s t i l l   o nly   u s e d  s k i n   c o l o r   s e g m e n t a t i o n   t o   e x tr a c t  h a n ds   a n d  f a c e s   [ 17] .   I t  wa s   s u b s e que n t l y   pr o v e n   t h a t   t h e   s y s t e m   pe r f o r m e d  we l l   o nly   f o r   da t a s e t s   wi t h   a   gr e e n   b a c kgr o un d  b ut   n e e de d  to  b e   m o r e   s u i t a bl e   f o r   c o m p l e x   or   n a t ur a l   ba c k gr o un ds   [ 18] .   C o m p l e x   b a c kgr o un ds   a r e   c r uc i a l   i n  s i g n  l a n gua ge   r e c o gni t i o n   r e s e a r c h   b e c a u s e   r e a l - wo r l d  s i g n  l a n gua ge   da t a   o f t e n   h a v e   a   n a t ur a l   b a c kgr o un d,   n o t  n e c e s s a r i ly   a   gr e e n   s c r e e n .   T h e r e f o r e ,   a ddr e s s i n g  t h e   i s s ue   o f   c o m p l e x   ba c kgr o un ds   be c o m e s   e s s e n t i a l .   S L R   r e s e a r c h   o n   B i s i ndo   s t i ll   n e e d s   t o   r e c o gn i z e   wo r ds   o r   s e n t e n c e s   e f f e c t i ve l y   i n  c o m p l e x  b a c kgr o un ds .   T h e r e f o r e ,   t h i s   r e s e a r c h   a i m s   t o   d e v e l o p  a   B i s i ndo   s i g n   l a n gua ge   r e c o gni t i o n   s y s t e m   t h a t  pe r f o r m s   we ll   i n  c o m p l e x   ba c kgr o un ds .   Obj e c t   de t e c t i o n   i s   r e qu i r e d  a t   t h e   i ni t i a l   s t a ge   o f   t h e   p r o c e s s   to   a ddr e s s   t h e   i s s ue   o f   c o m p l e x   b a c kgr o un ds .   T h e   m o de l s   u s e d  f o r   de t e c t i o n   a r e   F a s t e r   R C NN   a n d  YO L O v 5.   T h e s e   t wo   m o de l s   ha v e   d i f f e r e n t   c h a r a c t e r i s t i c s ,   a s   F a s t e r   R C NN   i s   a   t wo - s t a ge   de t e c to r   [ 19] ,   a n d  YO L O v 5   i s   a   s i ng l e - s t a ge   de t e c to r   [ 20 ] .   H o pe f u ll y ,   c o m p a r i n g  a n d  i n t e gr a t i n g   t h e s e   t w o  m o de l s   i n t o   t h e   s y s t e m   f r a m e wo r k  wi ll   de t e r m i ne   t h e   b e s t   m o de l   f o r   r e c o gni z i ng  B i s i ndo   s i g n   l a n gua ge .   T hi s   r e s e a r c h   w i ll   a l s o   a pp l y   a   m e a s ur e m e n t   m e t r i c   t h a t   h a s   n o t   b e e n   pr e vi o us ly   us e d  f o r   t h i s   c a s e ,   n a m e ly   S a c r e B L E U   [ 21 ] .   S a c r e B L E U  i s   c l a im e d   t o  b e   m o r e   s ui t a bl e   f o r   e va l ua t i n g  l a n gua ge   t r a n s l a t or s   wh e r e   t h e   or i g i na l   l a n gua g e   a n d  t h e   t r a n s l a t e d  l a n gua g e   h a v e   s im il a r   l a n gu a ge   c h a r a c t e r i s t i c s .       2.   P ROP OS E D  M E T HO D    T a bl e   1  c o n t a i ns   s t udi e s   r e l a t e d  to   t h i s   r e s e a r c h .   Ge n e r a ll y ,   r e c o gni z i ng  s i g n   l a n gua ge   us i ng  vi d e o   o r   im a ge - b a s e d  m e t h o ds   i nv o l ve s   de t e c t i n g  h a n ds   a nd  f a c e s ,   e x t r a c t i n g  f e a t ur e s ,   a n d  c l a s s if yi ng  s i g n   lan gua g e   wo r ds .   I n   t h e   r e s e a r c h   c o n duc t e d  by   He   [ 11] ,   a   m e t h o d   wa s   pr o p o s e d  f o r   h a n d  de t e c t i o n   us i ng  F a s t e r   R C NN ,   whi c h   w i ll   be   e m p l o y e d  i n   t hi s   s t udy   to  de t e c t  h a n ds   a n d  f a c e s .   P a dm a j a   e t  al.   [ 22]   a l s o   e m p l o y e d  a   s i mi l a r   m e t h o d  b ut   c o ul d  o nl y   d e t e c t   s e v e r a l   l e t t e r s   a n d  o n e   wo r d ,   wh e r e a s   t hi s   r e s e a r c h   a i m s   t o  de t e c t   c o m p l e t e   s e n t e n c e s .   T hi s   s t udy   a l s o   ut i li z e s   YO L O v 5  a s   a   l igh t e r   m o de l   c o m pa r e d  w i t h   F a s t e r   R C NN .   T h e   m e t h o d   f o r   f e a t ur e   e x t r a c t i o n   w i ll   ut i li z e   t h e   f i nd i ngs   f r o m   S e t y o n o   a n d  R a kun   [ 17] ,   whi c h   c o m pa r e d  M o bi l e Ne t V2   a n d   R e s Ne t 50,   c o n c l ud i ng  t h a t   M o bi l e Ne t V2  i s   m o r e   e f f i c i e n t ,   e s pe c i a l ly   f o r   i m p l e m e n t a t i o n   o n   m o bil e   de vi c e s .   T h e   c l a s s i f i c a t i o n   m e t h o d  wi ll   im p l e m e n t   t h e   f i nd in gs   f r o m   F a i s a l   [ 16] ,   whi c h   t e s t e d  v a r i o us   l o n g  s ho r t   t e r m   m e m o r y   ( L S T M )   [ 23]   c o nf i gur a t i o ns ,   c o n c l ud i ng   t h a t   a   1 - l a y e r   b i d i r e c t i o n a l   L S T M   ( B i L S T M )   i s   t h e   m o s t   e f f e c t i v e   f o r   B i s i ndo .   F or   e v a l u a t i o n ,   i n   a dd i t i o n   to  us i n g  m e t r i c s   t h a t   h a v e   b e e n   t e s t e d  i n   pr e vi o u s   s t udi e s ,   n a m e ly   s e n t e n c e   a c c ur a c y   ( S Ac c )   a n d  wo r d  e r r o r   r a t e   ( W E R ) ,   t hi s   s t ud y   w il l   a l s o   tr y   o t h e r   m e t r i c s ,   n a m e l y   B L E U   [ 24]   a n d  S a c r e B L E U   [ 21] ,   to   de t e r m i ne   whi c h   m e t r i c   i s   m o s t   s ui t a bl e   f o r   B i s i ndo   s i g n   l a n gua g e   r e c o gni t i o n   r e s e a r c h .       T a bl e   1.   R e l a t e d  w or ks   A ut ho r   S pe c i f i c a ti o n   R e ma r ks   H e   [ 11]   P r o p o s in g  a   ha nd   lo c a ti ng  n e tw o r k  us in g  F a s te r  R C N N , f o ll o w e d b y  C N N  a nd  L S T M   T h is   pa pe r   pr o p o s e s   a   ha nd  l oc a ti ng  n e tw o r k  t o   in it ia ll y   d e t e c t  o nl y   ha nd  o bj e c ts   f o r   s ubs e qu e nt   s ig n  la ngua g e   r e c o gni ti o n.  T h e   s a me  pr in c ip le  i s  a ls o  a ppl i e d i n t h is  r e s e a r c h.   P a dma dj a     e t  al .   [ 22]   B ui ld in g  S L R   us in g  F a s te r   R C N N   a nd  R e s N e t5 0   T h is   pa pe r   s h o w s   th a t  th e   F a s te r   R C N N   me th o d  c a n  be   us e d  f or   s ig n  la ngua ge   r e c o gni ti o n,  but   th e   r e s e a r c h  is   s ti ll   li mi t e d   to   r e c o gni z in g  o nl y  a   f e w  l e tt e r s  a nd o n e  w o r d.   S e t y on o  a nd  R a kun  [ 17]   R e c o gni z in g  w o r d  g e s tu r e   in   s ig n  s y s t e m  f o r   I ndo n e s ia n  la ngua ge   ( S I B I )   S e nt e n c e s   us in g  D e e pC N N  a nd B i L S T M   T h is  pa pe r  c o mpa r e s  t h e   d e e p C N N  m e th o d s   a s  a   f e a tu r e   e x tr a c to r   a nd  o bt a in s   th e   M o bi l e N e tV2  m o d e l  a s   th e   f e a tu r e   e x t r a c t or .  T hi s   mo d e l  w il l  b e  us e d i n  th is  r e s e a r c h.   D a ni e ls     e t  al .   [ 15]   B ui ld in g   S L R   f or   r e c o gni z in g   B is in do  a lp ha be t  us in g Y O L O v 3.    T h is   pa pe r   us e s   th e   B is in d o   da ta s e t,   but   it   is   li mi te d  to   th e   a lp ha be t  o n l y .   F a is a l  [ 16 ]   D e v e l o pme nt   of   I nd o n e s ia n  s ig n  la ngua ge   move m e nt   r e c o gn it i o n  m o de l  ( B is in d o )  u s in g  M o bi l e ne t v 2   a s   f e a tu r e   e x tr a c t o r   a nd   L S T M   a s   c la s s if i e r   T h e   s tu d y   us e s   th e   B is in do   da ta s e t  a nd  pr o p o s e s   a   1 - la y e r   bi di r e c ti o na l  L S T M   a s   th e   b e s t  c la s s i f i c a ti o n  m e th o d  f or   B is in do .  T h is  me th o d w il l  b e  us e d  in  t hi s  r e s e a r c h.   N im is ha  a nd  J a c o b  [ 3 ]   D e s c r ib in g  th e   S L R   a ppr o a c h e s   in   v is i o n - ba s e d  a nd  gl ove - ba s e d  m e th o ds .  C o mpa r in g   f e a tu r e   e x tr a c ti o n a nd c la s s if i c a ti o n m o d e ls .   F in di ng  th a t  Y O L O   is   a   go o d  a nd  f a s t  mo d e l  f o r   s ig n  la ngua ge   r e c o gni ti o n.  T h e   a dv a nt a g e   of   Y O L O   in   te r ms   of   v e r y   f a s t   de t e c t i o n t im e  w il l  b e  t e s te d i n t hi s  r e s e a r c h.   D im a  a nd  A hme d  [ 20]   U s in g  Y O L O v 5  A lg or it hm  t o   d e t e c t  a nd  r e c o gni z e   A m e r ic a n  s ig n l a ngua ge .   Y O L O v 5  s uc c e s s f u ll y   r e c o gn iz e s   s ig n  la ngua ge   w it h  a n  mAP   of   95% .  T hi s  ve r s io n  of  Y O L O  w il l  b e  us e d i n t hi s  s tu d y .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         R e c ogniz ing  I ndone s ian  s ign  language   ( B is indo)   ge s tur e   in  …   ( M uhamm ad  A l f hi  Saputr a)   1585     3.   M E T HO D   T h e   m e t h o ds   us e d  i n   t hi s   s t ud y   c a n   b e   s e e n   i n  F i g ur e   1 .   I n   ge ne r a l ,   t h e r e   a r e   s i x   s t a ge s ,   na m e ly   da t a   pr e pa r a t i o n   to  p r e pa r e   a n d  pr e pr o c e s s   da t a ,   o bj e c t  de t e c t i o n   to  de t e c t  h a n ds   a n d  f a c e s   o bj e c t s   us i ng  F a s t e r   R C NN   a n d  YO L O v 5   w i t h   t h e   e v a l ua t i o n   m a t r i x   o f   m e a n   a v e r a ge   pr e c i s i o n - i n t e r s e c t i o n   o v e r   uni o n   ( m A P - I o U ) ,  s k i n   c o l o r   s e g m e n t a t i o n   to   s e g m e n t   o bj e c t s   b a s e d  o n   s k i n   c o l o r   us i n g  a   m u l t i - c o l o r   s pa c e ,   f e a t ur e   e x t r a c t i o n   us i n g  M o bil e Ne t V2  a n d  a c c ur a c y   e v a l ua t i o n   m a t r i x ,   c l a s s if i c a t i o n   us i n g  L S T M   a n d  a c c ur a c y   e v a l ua t i o n   m a t r i x ,   a n d  f i na ll y ,   e va l u a t i o n ,   w hi c h   i s   t h e   f i na l   m e a s ur e m e n t   o f   t h e   s y s t e m   w i t h  m a t r i c e s   i nc l ud i ng  S A c c ,  W E R ,   a n d  e x e c ut i o n   t i m e .   E a c h   s t a ge   i s   f ur t h e r   e l a b o r a t e d  i n   t h e   f o l l o w i ng  s e c t i o n s .           F i gur e   1 .   T h e   o v e r a l l   pr o c e s s   o f   e x p e r i m e n t       3. 1.     Dat a   p r e p ar at ion   T h e   da t a s e t   us e d  i n   t hi s   r e s e a r c h   c o ns i s t s   o f   a   c o l lec t i o n   o f   420  vi de o s   de m o n s t r a t i n g  B i s i nd o .   T h e   de vi c e   us e d  to  r e c o r d  t h o s e   vi d e o s   i s   a   S a m s u n g  Ga l a xy   S 9+   w i t h   a   r e s o l ut i o n   o f   1 , 920 × 1 , 080  pi xe l s   a n d  30  f r a m e s   pe r   s e c o n d.   T h i s   da t a s e t  c o n s i s t s   o f   f o ur   i nd i v i dua l s ,   t h r e e   pe r f o r m i ng  40  s i g n   l a n gu a ge   s e n t e n c e s   e a c h   a n d  t h e   f o ur t h   pe r f o r m i ng  20  s i g n   l a n gu a ge   s e n t e n c e s .   T h e r e   a r e   t h r e e   vi d e o s   f o r   e a c h   s e n t e n c e   de m o ns t r a t e d  by   e a c h   i n d i v i dua l .   L o o k   a t   T a bl e   2  i n   A ppe n d i x   f o r   t h e   de t a i l s   a b o ut  t h e   da t a s e t .   F i gu r e   2  i ll us t r a t e s   t h e   s t a ge s   o f   da t a   pr e pa r a t i o n .   T h e   f i r s t   s t e p  i n   da t a   pr e pa r a t i o n   i s   c o nv e r t i n g  t h e   vi de o   da t a s e t  i n t o  a   c o l l e c t i o n   o f   f r a m e s .   Ne x t ,   t h e   pr o c e s s   i nc l ud e s   c r o ppi n g  a n d  r e s i z i ng  to  o b t a i n   i m a ge s   w i t h   a   1:1  a s pe c t  r a t i o   a n d  a   s i z e   o f   224 × 224   p i x e l s   a n d  t h e n   a nn o t a t i n g  t h e   da t a s e t   wi t h   b o un d i ng  bo x e s   f o r   t h e   r i g h t - h a n d,   l e f t - h a n d,   a n d  f a c e   o bj e c t s .   Af t e r   th e   da t a   pr e pa r a t i o n ,   t h e   tot a l   n u m be r   o f   f r a m e s   o b t a i n e d  is   92, 977.   T h e   n e x t   s t e p  i nv o l v e s   l a b e li ng  t h e   f r a me  da t a s e t  wi t h   wo r ds   f o r   e a c h   f r a m e .   T h e   da t a s e t   i n c l ude s   152  wor ds ,   e a c h   l a b e l e d  f r o m   1  to  152,   wi t h   l a b e l   0  r e s e r v e d  f o r   t r a n s i t i o n s .   I n   a dd i t i o n   t o   t h e   or i g i na l   da t a s e t   wi t h   a   gr e e n s c r e e n   ba c kgr o un d,   a   da t a s e t   wi t h   a   c o m p l e x  b a c kgr o un d  wa s   a l s o   c o n s t r uc t e d.   T o   c r e a t e   t h i s   c o m p l e x   b a c k gr o un d  da t a s e t ,   s o m e   i m a g e s   we r e   a pp l i e d  t o  r e p l a c e   t h e   gr e e ns c r e e n   ba c kgr o un d  i n   t h e   i ni t i a l   da t a s e t.   T h e   c h o s e n   i m a ge s   c o n t a i n   v a r i o us   na t ur a l   o bj e c t s   w i t h   s k i n  c o l o r s ,   f o r c i n g  t h e   s y s t e m   t o   l e a r n   m o r e   r o b us t l y .  F i gur e   3  s h o ws   t h e   i m a ge s   u s e d  a s   c o m p l e x  b a c kgr o un ds   f o r   t h e   c o m p l e x   da t a s e t .           F i gur e   2 .   Da t a   pr e pa r a t i o n           Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   36 ,   N o .   3 ,  De c e m b e r   20 24 :  1 5 83 - 1 5 93   15 86   F i gur e   3 .  I m a ge s   us e d  a s   c o m p l e x   b a c kgr o un ds   3. 2 .    Ob j e c t   d e t e c t ion   B a s e d  o n   F i gur e   4,   t h e   o bj e c t   de t e c t i o n   pr o c e s s   i nv o l v e s   t a ki n g  t h e   i nput   da t a s e t   a n d  a nn o t a t i o n s ,   r e s i z i ng  i m a ge s   to  224 × 224,   s pl i t t i n g  t h e   da t a   i nto  tr a i ni n g  a n d  t e s t i n g  s e t s   wi t h   a n   80% - 20%   pr o p o r t i o n ,   t r a i ni ng  t h e   F a s t e r   R C NN   a n d  YO L O v 5  m o de l s ,   c o n duc t i n g  t e s t i n g,   a n d  e v a l ua t i n g  us i ng  m AP - I oU.   T h e r e   a r e   t h r e e   o bj e c t   c l a s s e s :  t h e   r i g h t   h a n d,   l e f t   h a n d,   a n d  f a c e .   T h e   s t ud y   t h a t   us e s   o nl y   s k i n   c o l o r   s e gm e n t a t i o n  de m o ns t r a t e s   t h a t  i t   c a n   e f f e c t i v e ly   e x t r a c t  h a n d s   a n d  f a c e s   i n   da t a s e t s   wi t h   a   gr e e n   s c r e e n   ba c kgr oun d   [ 18] .  Ho we v e r ,   t h e   m e t h o d  wi ll   a l s o   t e s t e d  o n   c o m p l e x   da t a s e t s ,   a n d  i t   w o ul d  b e   t h e   b a s e li ne   m e t h o d  o f   t h i s   s t ud y .           F i gur e   4 .   Obj e c t   d e t e c t i o n       3. 3 .    S k in   c ol or   s e g m e n t at ion   R a hm a t   e t   al .   [ 25]   i n t r o duc e d   t h e   s k i n   s e g m e n t a t i o n   m e t h o d  us i n g  m u l t i - c o l o r   s pa c e ,   whi c h  c o m bi ne s   t h r e e   c o l o r   s pa c e s :  Nor m a li z e d  R GB ,   HSV,   a n d  YC b C r .   T h e   s c h e m a   f o r   s ki n   c o l o r   s e g m e n t a t i o n  c a n   be   s e e n   i n  F i gur e   5.   S ub s e que n t l y ,   F i gur e   6  d i s p l a y s   t h e   r e s u l t s   o f   t h e   s e g m e n t a t i o n .   T h e   f i gur e   c o n s i s t s   o f   t w o  s ubf i gur e s :  F i gur e   6 ( a )   s e gm e n t a t i o n   r e s ul t s   w i t h o u t   o bj e c t   de t e c t i o n   a n d  F i gur e   6 ( b )   s e g m e n t a t i o n  r e s u l t s   w i t h   o bj e c t   de t e c t i o n .   T h e   d i f f e r e n c e   i n   s e g m e n t a t i o n   r e s u l t s   o n   a   c o m p l e x   b a c kgr o un d  i s   a ppa r e n t   b e t we e n   t h e   m e t h o d  o nl y   r e l yi ng  o n   s k i n   c o l o r   s e g m e n t a t i o n   a s   s h o wn   i n   F i gur e   6 ( a )   a n d  t h e   o n e   c o n t a i ni ng   o bj e c t   de t e c t i o n   be f o r e   s k i n   c o l o r   s e gm e n t a t i o n   a s   s h o w n   i n   F i gur e   6 ( b ) .   T h e   m e t h o d  w i t h o u t   o bj e c t   de t e c t i o n  i n  F i gur e   6 ( a )   s t i ll   c a pt ur e s   ot h e r   o bj e c t s   i n   t h e   b a c kgr o un d.   I n   c o n t r a s t,   t h e   us e   o f   o bj e c t   de t e c t i o n   i n    F i gur e   6 ( b )   e n s ur e s   pr e c i s e   s e g m e n t a t i o n   l im i t e d  t o   t h e   h a n d s   a n d  f a c e s   o f   t h e   pe r f o r m e r ,   a s   i n t e n de d .           F i gur e   5 .   S ki n   c o l o r   s e g m e n t a t i o n           ( a )   ( b )     F i gur e   6 .  C o m pa r i s o n   o f   s e g m e n t a t i o n   r e s u l t s   ( a )   w i t h o ut  o bj e c t   de t e c t i o n   a n d  ( b )   w i t h   o bj e c t   de t e c t i o n       3. 4 .    F e at u r e   e x t r ac t ion   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         R e c ogniz ing  I ndone s ian  s ign  language   ( B is indo)   ge s tur e   in  …   ( M uhamm ad  A l f hi  Saputr a)   1587   F i gur e   7   d i s p l a y s   h o w  t h e   f e a t ur e   e x t r a c t i o n   i s   pe r f o r m e d.   T h e   f e a t ur e   e x t r a c t i o n   m o de l   l e a r ns   f e a t ur e s   f r o m   t h e   da t a s e t,   ge n e r a t e s   a   m o de l ,   a n d  th e n   a pp li e s   i t   to  t h e   da t a s e t  f o r   e x t r a c t i o n .   T hi s   s tud y   us e s   M o bi l e Ne t V2  f o r   f e a t ur e   e x t r a c t i o n .   I t   e m p l o y s   t r a n s f e r   l e a r ni ng,   r e t r a i ni ng  t h e   pr e - t r a i n e d  M o bil e Ne t V2  m o de l   o n   t hi s   r e s e a r c h   da t a s e t .   T hi s   f e a t ur e   e x t r a c ti o n   pr o c e s s   pr o d uc e s   a n   o u t pu t   v e c to r   wi t h   a   s i z e   o f   1 , 280.           F i gur e   7 .   F e a t ur e s   e x t r a c t i o n       3. 5 .    Cl as s if i c at ion   B a s e d  o n   F i gur e   8 ,   t h e   m o de l   us e d  f o r   c l a s s i f i c a t i o n   i s   L S T M .   T h e   L S T M   a r c hi t e c t ur e   us e d  i s   a   1 - l a y e r   Bi L S T M ,   t h e   b e s t   a r c hi t e c t ur e   f o r   r e c o gni z in g  B i s i ndo   s i g n   l a n gua ge   [ 16] .  L S T M   i s   a   s e q2s e q  m o de l   r e qu i r i n g  t h e   s a m e   i nput   a n d  o ut pu t   s e que n c e   l e ngt h .   T h e   l e n gt h   o f   t h e   i nput   s e que nc e ,   i n   t hi s   c a s e ,   i s   t e n .   T h a t   m e a n s   e a c h   l a b e l   i n  e a c h   s e n t e n c e   w i ll   b e   r e p r e s e n t e d  w i t h   t e n   f r a m e s .   T h e   v a l ue   t e n   i s   de r i ve d  f r o m   t h e   a v e r a ge   l e n gt h   o f   f r a m e s   f o r   e a c h   l a b e l .           F i gur e   8 .   C l a s s if i c a t i o n       3. 6 .    E val u at ion   T hi s   r e s e a r c h   c o n duc t s   a   qua n t i t a t i ve   e v a l u a t i o n   a s   f o l l o ws :  m A P   t o  a s s e s s   t h e   pe r f o r m a n c e   of   t h e   o bj e c t   de t e c t i o n   m o de l   by   c o m pa r i n g  gr o un d  t r u th   w i t h   I o U  a r e a   [ 26 ] ;   S A c c   t o  m e a s ur e   t h e   a c c ur a c y   o f   t h e   c l a s s if i e d  s e n t e n c e s ;   a n d  W E R   to  de t e r m i ne   t h e   l e v e l   o f   wo r d   c l a s s i f i c a t i o n   e r r o r s   i n   a s s e s s i n g  t h e   c l a s s if i c a t i o n   r e s u l t s   [ 27] .   T h e   f o r m u l a s   to  c a l c u l a t e   m A P ,   W E R ,   a n d  S A c c   a r e :      = 1 ∑  = 1   ( 1)     = + + = + +   ( 2)      =                          ( 3)     I n   t hi s   c o n t e x t ,     ( s ub s t i t u t i o ns )   r e pr e s e n t s   t h e   tot a l   n u m be r   o f   s ubs t i t u t i o ns ,   wh e r e   e a c h   i ns t a n c e   i nv o l ve s   r e p l a c i ng  a   wo r d  i n   t h e   s e n t e nc e   w i t h   a   d i f f e r e n t   o n e .   D   ( de l e t i o ns )   r e pr e s e n t s   t h e   tot a l   n u m be r   o f   de l e t i o ns ,   r e f e r r i n g   t o  w o r ds   t h a t  a ppe a r   i n   t h e   o r i g i na l   s e n t e n c e   b ut   a r e   m i s s i n g  i n   t h e   pr e d i c t i o n .   T h e   v a r i a bl e   I   ( i ns e r t i o ns )   r e pr e s e n t s   t h e   n u m be r   o f   i n s e r t i o n s ,   w hi c h   a r e   wo r ds   n o t   pr e s e n t   i n   t h e   o r i g i na l   s e n t e n c e   b ut   i n c l ud e d  i n   t h e   pr e d i c t i o n .   C   ( c o r r e c t   wo r ds )   i n d i c a t e s   t h e   c o un t  o f   wo r ds   t h a t  a r e   c o r r e c t   i n   t h e   pr e d i c t i o n .   F i na ll y ,   N   ( n u m be r   o f   wo r ds )   i s   t h e   tot a l   n u m be r   o f   wo r ds   i n   t h e   r e f e r e n c e   s e n t e n c e ,   a n d  i t   e qua l s   t h e   s u m   o f   ,  ,   a n d  .   A   hi g h e r   WE R   v a l ue   i n d ica t e s   a   w o r s e   s y s t e m   pe r f o r m a n c e .   C o n ve r s e ly ,   f o r   S A cc ,   a   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   36 ,   N o .   3 ,  De c e m b e r   20 24 :  1 5 83 - 1 5 93   1588   hi g h e r   v a l ue   i nd i c a t e s   b e t t e r   s y s t e m   pe r f o r m a nc e .   T h e   o v e r a l l   s y s t e m   w il l   b e   a s s e s s e d  by   t e s t i n g  i t  o n   t h e   e n t i r e   t e s t  da t a s e t ,   us i n g  t h e   f o l l o w i ng  f o r m u l a   to   e v a l ua t e   i t s   pe r f o r m a n c e .   I n   a dd i t i o n   to   t h e   m e t r i c s ,   t h e   e x pe r im e n t s   c a l c u l a t e   t h e   pr o c e s s i n g  t i m e ,   whi c h  c o n s i s t s   o f   t h e   i nf e r e n c e   t i m e   o r   t h e   t i m e   i t   t a ke s   f o r   t h e   s y s t e m   to   p r o c e s s   o n e   i n put   da t a   a n d  pr o duc e   a n   out pu t.     = ∑   ( 4)      = ∑   ( 5)     T h e   ot h e r   e v a l ua t i o n   m e t h o d  us e d   i s   S a c r e B L E U   [ 21] .   T hi s   e v a l u a t i o n   m e t h o d  h a s   y e t   to  b e   us e d  i n  pr e vi o us   r e s e a r c h   o n   I n do n e s i a n   s i g n   l a n gua g e .   S a c r e B L E U  m e a s ur e s   h o w  c l o s e l y   a   s y s t e m 's   t r a n s l a t i o n   o r   pr e d i c t i o n   a ppr o a c h e s   t h e   r e f e r e n c e   o r   g r o un d  tr u t h .   H o we v e r ,   S a c r e B L E U  wi l l   b e   t r i e d  f o r   s i g n   l a n gua g e   r e c o gni t i o n   i n   t hi s   c a s e .   He r e   i s   t h e   f o r m u l a .     =    ∗   ( ∑ . (    ) = 1 )   ( 6)     3. 7 .    E x p e r im e n t   d e s ign   T hi s   s t ud y   e v a l ua t e s   t h e   pe r f o r m a n c e   o f   a   s y s t e m   w i t h   o bj e c t   de t e c t i o n   ve r s us   o n e   w i t h o ut,   us i ng  b o t h   gr e e n s c r e e n   a n d  c o m p l e x   b a c kgr o un d  da t a s e t s .   S i x   e x pe r i m e n t s   we r e   c o n duc t e d:  t h e   f i r s t   t w o  wi t h o ut  o bj e c t   de t e c t i o n   ( s e r vi ng  as   b a s e l i ne s )   a n d  t h e   n e xt  f o ur   us i n g  F a s t e r   R C NN   a n d  YO L Ov 5  f o r   h a n d  a n d  f a c e   de t e c t i o n   a c r o s s   b o t h   da t a s e t s .   R e s u l t s   we r e   c o m p a r e d  to   a s s e s s   i m pr o v e m e n t ,   wi t h   t h e   A NO V A   s i g nif i c a n c e   t e s t   us e d  f o r   e v a l ua t i o n .         4.   RE S U L T S   AN D  DI S CU S S I ON   T hi s   s t ud y   e x a mi ne d  t h e   im pa c t   o f   o bj e c t   de t e c t i o n   m e t h o ds   o n   s i g n   l a n gua g e   r e c o gni t i o n   a c c ur a c y  i n  c o m p l e x   b a c kgr o un ds .   P r e vi o us   r e s e a r c h   h a s   f o c us e d  o n   f e a t ur e   e x t r a c t i o n   a n d  c l a s s i f i c a t i o n   b u t   h a s   n o t  e x p l o r e d  t h e   c o m bi na t i o n   o f   t h e s e   w i t h   o bj e c t   de tec t i o n   i n  c h a ll e n g i ng  e nvi r o nm e n t s .   A s   s h o wn   i n  T a bl e   3,   b o t h   F a s t e r   R C NN   a n d  YO L O v 5  e f f e c t i ve l y   de t e c t   r i g h t - h a n d,   l e f t - ha n d,   a n d  f a c e   o bj e c t s   i n   gr e e n s c r e e n   a n d   co m p l e x   b a c kgr o un ds .   YO L O v 5  o ut pe r f o r m e d  F a s t e r   R C NN   i n   b o t h   s e tt i n g s ,   a c hi e vi ng  hi g he r   m AP  s c o r e s   a n d  f a s t e r   pr o c e s s i n g  t i m e s .   S ub s e qu e n t   m e a s ur e m e n t s   f o c us e d  o n   f e a t ur e   e x t r a c t i o n .       T a bl e   3 .  Obj e c t   de t e c t i o n   r e s u l t   D a ta s e t   mAP   T im e   F a s te r  R C N N   Y O L O v 5   F a s te r  R C N N   Y O L O v 5   G r e e ns c r e e n ba c kg r o und   71.9%   74.1%   0.0236 s   0.0125   s   C o mpl e x  ba c kgr o und   71.3%   74.1%   0.0251 s   0.0138   s       Dur i n g  f e a t ur e   e x t r a c t i o n   w i t h   M o bil e Ne t V2,   F a s t e r   R C NN   s h o we d  de c r e a s e d  a c c ur a c y ,   w hil e   YO L O v 5 ' s   a c c ur a c y   im pr o v e d.   T h e   b a s e li ne   m e t h o d,   whi c h   s k i p s   o bj e c t   de t e c t i o n ,   pe r f o r m e d   b e s t   o n   gr e e n s c r e e n   b a c kgr o un ds   b ut   YO L Ov 5  e xc e ll e d  i n   c o m p l e x   b a c kgr o un ds .   T h e   b a s e li ne   m o de l   wa s   a l s o   t h e   f a s t e s t   due   to  t h e   a bs e n c e   o f   o bj e c t   de t e c t i o n .   De t a il e d  r e s u l t s   a r e   i n   T a bl e   4.       T a bl e   4 .  F e a t ur e   e x tr a c t i o n   r e s u l t   E x p e r im e n ts   G r e e ns c r e e n ba c kg r o und   C o mpl e x  ba c kgr o und   A c c u r a c y   T im e   A c c u r a c y   T im e   S ki n  s e gm e nt a ti o n +  M o bi l e N e tV2   78.52%   0.0024s   69.14%   0.0028s   F a s te r  R C N N  +   s ki n s e gme nt a ti o n  +  M o bi l e N e tV2   67.14%   0.0256 s   64.16% %   0.0271s   Y O L O v 5 +   s ki n s e gm e nt a ti o n  +  M o bi l e N e tV2   75.41%   0.0145s   76.42%   0.0158s       I n   t h e   c l a s s i f i c a t i o n   s t a ge   us i n g  t h e   L S T M   m o de l ,   t h e   b a s e li ne   m e t h o d  pe r f o r m s   we ll   o n   da t a s e t s   w i t h   gr e e ns c r e e n   b a c kgr o un ds .   Ho we v e r ,   i t s   a c c ur a c y   dr o ps   s i g ni f i c a n t l y   w h e n   t h e   m e t h o d  i s   i m p le m e n t e d  o n   c o m p l e x   b a c kgr o un ds .   R e ga r d l e s s ,   f o r   t h e   t w o  m e t h o ds   i m p l e m e n t i n g  o bj e c t   de t e c t i o n ,   i t   i s   o b s e r v e d  t h a t  t h e   m o de l   c l a s s if i e s   we ll   o n   b o t h   t y pe s   o f   da t a s e t s .   T hi s   i nd i c a t e s   t h a t  i n c o r po r a t i n g  a n   o bj e c t   d e t e c t i o n  m o de l   a t   t h e   b e g i nn i ng  o f   t h e   pr o c e s s   s uc c e s s f u ll y   m a i n t a i ns   go o d   a c c ur a c y   o n   b o t h   da t a s e t s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         R e c ogniz ing  I ndone s ian  s ign  language   ( B is indo)   ge s tur e   in  …   ( M uhamm ad  A l f hi  Saputr a)   1589   T a bl e   5  s h o ws   t h a t   b ot h   o bj e c t   de t e c t i o n   m o de l s   e f f e c t i v e ly   a ddr e s s e d  t h e   c h a ll e n ge s   f a c e d  by   t h e   b a s e li ne   m o de l   o n   c o m p l e x   da t a s e t s .   S A c c ,   W E R ,   B L E U,   a n d  S a c r e B L E U  we r e   c a l c u l a t e d  to   e v a l ua t e   pe r f o r m a n c e   a t  w o r d   a n d  s e n t e n c e   l e v e l s .   T h e   ba s e li ne   m o de l   pe r f o r m e d   poo r l y ,   whil e   t h e   F a s t e r   R C NN   m o de l   s h o we d  i m pr o v e m e n t .   T h e   YO L O v 5  m o de l  a c hi e v e d  t h e   b e s t   r e s u l t s ,   wi t h   a n   S A c c   o f   49. 29% ,   W E R   o f   16. 42% ,   B L E U  o f   40. 97% ,   a n d  S a c r e B L E U  o f   67. 77% .         T a bl e   5 .  C l a s s i f i c a t i o n   r e s u l t   E x p e r im e n ts   G r e e ns c r e e n ba c kg r o und   C o mpl e x  ba c kgr o und   A c c u r a c y   T im e   A c c u r a c y   T im e   S ki n  s e gm e nt a ti o n +  M o bi l e N e tV2 +  L S T M   86.79%   0.0054s   44.88%   0.0058s   F a s te r  R C N N   +  s ki n s e gme nt a ti o n  +  M o bi l e N e tV2 +   L S T M   77.71%   0.0286s   73.04%   0.0301s   Y O L O v 5 +   s ki n s e gm e nt a ti o n  +  M o bi l e N e tV2 +   L S T M   83.43%   0.0175s   83.58%   0.0188s       T h e   s t udy   c o n duc t s   a   o n e - wa y   A NO V A   s i g nif i c a nc e   t e s t  to  c o nf i r m   t h e   s i g nif i c a n c e   o f   t h e   o b s e r v e d   d i f f e r e n c e s .   I t  c o m pa r e s   t h e   r e s u l t s   f r o m   e a c h   e xpe r i m e n t .   I f   t h e   p - v a l ue   i s   l e s s   t h a n   t h e   a l p ha   o f   0. 05 ,   i t   i nd i c a t e s   a   s i g nif i c a n t   di f f e r e n c e   b e t we e n   t h e   t w o   m e t h o ds   a n d  vi c e   ve r s a .     B a s e d  o n   t h e   f i nd i ngs   f r o m   T a bl e   6  a n d  t h e   s i g nif ica nc e   t e s t  r e s u l t s   i n   T a bl e   7 ,   i t   i s   c l e a r   t h a t   t h e r e   i s   a   s i g nif i c a n t   i n c r e a s e   i n   S A c c ,   B L E U,   a n d  S a c r e B L E U   by   t h e   YO L O v 5  m o de l   c o m pa r e d  to   t h e   F a s t e r   R C NN  a n d  t h e   b a s e li ne   m o de l .   S im u l t a n e o us l y ,   t h e r e   i s   a   s i g nif i c a n t   de c r e a s e   i n   W E R   pr o duc e d  by   t h e   YO L O v 5   m o de l   c o m pa r e d  to   t h e   ot h e r   t wo  m o de l s .   I n   t e r m s   o f   c o m put a t i o n a l   t i m e ,   YO L O v 5  s h o ws   a   s i gnif i c a n t   d i f f e r e n c e   f r o m   t h e   F a s t e r   R C NN   m o de l ,   whi c h   m e a ns   Y OL O v 5  i s   s i g ni f i c a n t l y   f a s t e r   t h a n   t h e   F a s t e r   R C NN   m o de l .   T hi s   im p li e s   t h a t   YO L Ov 5  a c hi e v e d  t h e   b e s t   r e s u l t s   o f   t h e   t h r e e   m o de l s .   T a bl e   8  s h o ws   s e v e r a l   o f   t h e   r e s u l t s   o f   t h e   e x pe r im e n t s .       T a bl e   6 .  S A c c ,   W E R ,   B L E U,   a n d  S a c r e B L E U  e v a luat i o n   o n   c o m p l e x   b a c kg r o un d   E x p e r im e n ts   S A c c   W E R   B L E U   S a c r e B L E U   S ki n  s e gm e nt a ti o n +  M o bi l e N e tV2 +  L S T M   5.71%   54.07%   5.62%   17.37%   F a s te r  R C N N  +   s ki n s e gme nt a ti o n  +  M o bi l e N e tV2 +   L S T M   35.00%   26.81%   23.76%   45.86%   Y O L O v 5 +   s ki n s e gm e nt a ti o n +  M o bi l e N e tV2 +   L S T M   49.29%   16.42%   40.97%   67.77%       T a bl e   7 .  On e - wa y   A NO V A   s i g nif i c a n c e   t e s t  o n   c om p l e x   ba c kgr o un d   C o mpa r is o n   S A c c   W E R   T im e   B L E U   S a c r e B L E U   B a s e li n e   v s  Y O L O v 5   S ig ni f i c a nt   S ig ni f i c a nt   S ig ni f i c a nt   S ig ni f i c a nt   S ig ni f i c a nt   B a s e li n e   v s  F a s te r  R C N N   S ig ni f i c a nt   S ig ni f i c a nt   S ig ni f i c a nt   S ig ni f i c a nt   S ig ni f i c a nt   F a s te r  R C N N  v s  Y O L O V 5   S ig ni f i c a nt   S ig ni f i c a nt   S ig ni f i c a nt   S ig ni f i c a nt   S ig ni f i c a nt       T a bl e   8 .  S a m p l e s   o f   pr e d i c t e d  B i s i ndo   s i g n   l a n gua ge   ge s t ur e s   i n   a   c o m p l e x   b a c kgr o un d   No   A c tu a l  la be l   P r e di c t e d  la b e l  ba s e li n e  m o d e l   P r e di c t e d l a b e l  F a s te r  R C N N   m o d e l   P r e di c t e d  l a b e l  Y O L O v 5  m o d e l   1   26 - 125 - 97 - 78 - 85 - 100 - 47 - 132 - 105   26 - 93 - 26 - 78 - 24 - 24 - 47 - 125 - 36   ( WE R :  0.67 )   26 - 125 - 125 - 78 - 85 - 125 - 47 - 132 - 105   ( WE R :  0.22 )   26 - 125 - 147 - 78 - 85 - 100 - 47 - 132 - 105   ( WE R :  0.11 )   2   103 - 109 - 120   130 - 109 - 120   ( WE R :  0.33 )   70 - 109 - 120   ( WE R :  0.33 )   103 - 109 - 120   ( WE R :  0 )   3   70 - 114 - 18 - 39 - 8 - 9 - 12 - 4 - 7 - 56   56 - 114 - 18 - 39 - 8 - 9 - 18 - 4 - 25 - 18   ( WE R :  0.4 )   70 - 114 - 18 - 39 - 8 - 9 - 54 - 4 - 54 - 56   ( WE R :  0.2 )   70 - 114 - 18 - 39 - 8 - 9 - 12 - 4 - 7 - 56   ( WE R :  0 )   4   70 - 144 - 121 - 128   70 - 70 - 41 - 128   ( WE R :  0.5 )   70 - 144 - 121 - 125   ( WE R :  0.25 )   70 - 144 - 121 - 128   ( WE R :  0 )   5   125 - 60 - 148 - 94 - 132 - 105   60 - 70 - 105 - 59 - 94 - 105   ( WE R :  0.83 )   125 - 113 - 148 - 94 - 132 - 105   ( WE R :  0.17 )   125 - 60 - 148 - 103 - 132 - 105   ( WE R :  0.17 )       I n   a dd i t i o n   t o   t h e   r e s u l t s   a b o v e ,   t h e r e   a r e   s e v e r a l   f i nd i ngs   f r o m   t h e   e x pe r im e n t .   Ou t   o f   152  wo r ds   i n  t h e   da t a s e t ,   82  w or ds   we r e   p r e di c t e d  c o r r e c t l y   w it h   100%   a c c ur a c y ,   a n d  o nl y   o n e   c o ul d  n o t  b e   pr e d i c t e d  a t  a l l .   T h e   wo r d   i s   " Eh " .   T h e   w o r d   " Eh "   i n   I n do n e s i a n   i s   a   t y pe   o f   gr e e t i n g  wo r d .   T hi s   wo r d   c o ul d  n ot  b e   pr e d i c t e d  b e c a us e   i t s   a ppe a r a n c e   wa s   o nly   i n  o n e   vi de o ,   s o   t h e   s y s t e m   d i d  n o t   s uf f i c i e n t l y   t r a i n   i t .   A dd i t i o n a ll y ,   t h e r e   a r e   s im il a r   o r   s y n o nym o us   wo r ds   t h a t   c a n   b e   pr e d i c t e d  i n t e r c ha n ge a bly ,   s uc h   a s   th e   wo r d  " C anti k " ,   whi c h   m e a n s   " B e a ut y , "   a n d  t h e   wo r d   " T ampan " ,   whi c h   m e a ns   " Ha n ds o m e " .   B ot h   w o r ds   a l s o   h a v e   s i mi l a r   s i g n   d i s p l a y s ,   s o   t h e   s y s t e m   c a n   i nc o r r e c t l y   pr e di c t   " C anti k "   a s   " T ampan "   o r   vi c e   v e r s a .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   36 ,   N o .   3 ,  De c e m b e r   20 24 :  1 5 83 - 1 5 93   1590   An o t h e r   f i n d i ng  i s   r e l a t e d  to  t h e   S A c c   v a l ue .   B a s e d  o n   t h e   S A c c   f o r m u l a   de f i ne d  i n   t h e   pr e vi o us   c h a pt e r ,   t h e   S A c c   v a l ue   i s   gr e a t l y   i nf l ue n c e d   by   t h e   l e n gt h   o f   t h e   s e n t e n c e .   S i m p ly   put ,   n o   m a t t e r   h o w  l o n g  t h e   s e n t e n c e   i s ,   i f   t h e r e   i s   e v e n   o n e   wo r d   t h a t   i s   n o t  pr e di c t e d  c o r r e c t l y ,   t h e   S A c c   v a l ue   f o r   t h a t   s e n t e n c e   i s   0.   T hi s   i s   why   e v e n   t h e   be s t   m o de l   s t i ll   ha s   a n   S A c c   v a l ue   o f   o nly   49. 29% .   S A c c   a n d  B L E U  h a v e   a   s i mi l a r   tr e n d  i n   e v a l ua t i n g  t hi s   s y s t e m .   B ot h ,   wh e n   c o m pa r e d  to  S a c r e B L E U,   s h o w  t h a t  S a c r e B L E U  t e n ds   to  a c hi e v e   be tt e r   r e s ul t s   t h a n   S A c c   a n d  B L E U.   T hi s   i n d i c a t e s   t h e   d i f f e r e n c e   b e t we e n   t h e   t w o  m e t r i c s   i n   e v a l ua t i o n .   S A c c   i s   n o t  s ui t a bl e   f o r   e v a l ua t i n g  B i s i ndo   b e c a u s e   B i s i ndo   do e s   n ot  h a v e   s t a n da r d  r ul e s   l i ke   S I B I .   F or   e x a m p l e ,   B i s i ndo   c a n   h a v e   s e v e r a l   v a r i a t i o n s   o f   s i g ns   i n   t e r m s   o f   wo r d   or de r   wh e n   e x pr e s s i n g  a   s e n t e nc e .   I f   e v a l ua t e d  us i n g  S A c c ,   t h e s e   v a r i a t i o n s   w i ll   b e   c o n s i d e r e d  i nc o r r e c t,   wh e r e a s   t h e y   s h o u l d  be   c o n s i de r e d  c o r r e c t .   An a ly s i s   o f   t h e   S A c c   r e s ul t s   f o un d  t h a t   S A c c   i s   r e l a t i v e ly   go o d   wh e n   t h e   p r e di c t e d  s e n t e n c e   l e n gt h  i s   l e s s   t h a n   f i ve   wo r ds   b ut   r e l a t i v e ly   po o r   f o r   s e nt e n c e s   w i t h   a   l e n gt h   o f   f i ve   wo r ds   or   m o r e .   F o r   s e n t e n c e s   w i t h   a   l e n gt h   o f   l e s s   t h a n   f i ve   wo r ds ,   t h e   a v e r a ge   S A c c   v a l ue   i s   62. 67% ,   whi l e   f o r   s e n t e n c e s   w i t h   a   l e n gt h   o f   f i ve   wo r ds   or   m o r e ,   i t   i s   34. 85% .   T h e   S A c c   v a lue  f o r   s e n t e n c e s   w i t h   a   l e n gt h   o f   l e s s   t h a n   f i ve   wo r ds   i s   s i mi l a r   to   t h e   S a c r e B L E U  r e s u l t ,   whi c h   i s   67. 77 % .   T h i s   f ur t h e r   s t r e n gt h e ns   t h e   a r gu m e n t   t h a t   S a c r e B L E U  i s   t h e   a ppr o p r i a t e   m e t r i c   f o r   e v a l ua t i n g  t h e   B i s i ndo   s i g n   l a n gua ge   r e c o gni t i o n   s y s t e m ,   a s   i t s   e v a l ua t i o n  i s   m o r e   c o n s i s t e n t .       5.   CONC L USI ON   T hi s   r e s e a r c h   a im e d  to   s o l ve   t h e   pr o b l e m   o f   r e c o gni z i ng  B i s i ndo   s i g n   l a n gua ge   i n   c o m p l e x  b a c kgr o un ds   a n d  de t e r m i ne   t h e   s u i t a bl e   e v a l ua t i o n   m e t h o d.   E x pe r i m e n t s   we r e   c o n duc t e d   to   a dd r e s s   t hi s   i s s ue .   I t  wa s   f o un d  t h a t   a ddi n g  a n   o bj e c t   de t e c t i o n   m e t h o d  a t  t h e   b e g i nn i ng  o f   t h e   pr o c e s s   c o u l d   i m pr o v e   pe r f o r m a n c e   by   f i r s t   e x t r a c t i n g  h a n d  a n d  f a c e   obj e c t s .   T h e   b e s t - pe r f o r m i ng  o bj e c t   de t e c t i o n   m o de l   wa s   YO L O v 5,   a c hi e vi ng  S A c c   49. 29% ,   S a c r e B L E U  67. 77% ,   B L E U  40. 97% ,   a n d  W E R   16. 42%   o n   c o m p l e x  b a c kgr o un ds ,   w i t h   a   c o m put a t i o n   t i m e   o f   0. 0188  s e c o n ds   pe r   f r a m e .   S A c c   wa s   e f f e c t i v e   f o r   s e n t e n c e s   o f   l e s s   t h a n   f i ve   wo r ds ,   wi t h   a n   a v e r a ge   S A c c   o f   62. 67%   f o r   YO L Ov 5.   Ho we v e r ,   f o r   l o n ge r   s e n t e nc e s ,   S A c c   dr o ppe d   to   34. 85 % ,   s h o w i n g  i nc o n s i s t e nc y .   S a c r e B L E U,   o n   t h e   ot h e r   h a n d,   m a i n t a i ne d  c o n s i s t e n c y   w i t h   a   f i na l   s c o r e   o f   67. 77%   f o r   a l l   s e n t e n c e   l e n gt hs ,   m a k i n g  i t   t h e   a ppr o pr i a t e   e v a l ua t i o n   m e t h o d  f o r   B i s in do   s i g n   l a n gua ge   r e c o gni t i o n .       AP P E ND I X       T a bl e   2 .  S e n t e n c e s   i n   t h e   d a t a s e t   No   S e nt e n c e  i n  I nd o n e s ia n   S e nt e n c e  i n  E ngl is h   S e nt e n c e  i n  B is in d o   S e nt e n c e  i n  B is in d o  ( t r a ns la te d i nt o   E ngl is h)   1   B e s ok  s ay a m au p e r gi  k e   B andung.   T om o r r o w , I  a m g o in g  to   B a ndung   M au  –   pe r gi   –   B andung  –   be s ok   W a nt   –   g o  –   B a ndung  –   t o m or r o w   2   K am u t id ak  bol e h pulang  s e k ar ang.   Y o u a r e  n o t  a ll o w e d  t o   go  h o m e  n o w !   K am u  –   pul ang  –   s e k ar ang ti dak  bol e h   Y o u  –   g o  h o m e   –   n o w   –   d o  n o t   3   Se ti ap pagi s ay a be r ja la n  s e la m a 30 me ni t.   E ve r y  m o r ni ng, I  w a lk   f or  30 mi nut e s .   Say a  –   ja la n - k ak i  –   ti ga - pul uh  –   m e ni t  –   pagi   –   pagi   –   pagi   I  –   w a lk   –   th ir t y   –   mi nut e   –   mo r n in g  –   m o r ni ng  –   m or ni ng   4   K ar e na t ak ut , di a l ar i.   O ut  of   f e a r ,  H e  r a n   D ia   –   ta k ut   –   di a  –   la r i   H e   –   f e a r   –   h e   –   r un   5   I bu s ay a bi as any a t id ur   ja m  10 malam.   M y  m o th e r  us ua ll y  g oe s   to  s l e e p a t  10 P M .   I bu  –   s ay a  –   ti dur   –   ja m   - s e pul uh  –   m al am   –   bi as any a   M y  M o th e r   –   s l e e p  –   te n  o ’ c l o c k  –   ni ght   –   us ua ll y   6   K ar e na s e nang,   di a  te r s e ny u m .   S he  i s  s mi li ng be c a us e   S he  i s  ha pp y .   D ia  s e nang dia s e ny u m   S he   –   ha pp y   –   S h e   –   s mi le   7   A nak  pe r e m puan it u s e di h  k ar e na ay ahny a  m e ni nggal.   T h e  gi r l  is  s a d be c a us e   he r   f a th e r  pa s s e d a w a y .   B apak  m e ni nggal anak  pe r e m puan it u s e di h   F a th e r   –   pa s s e d a w a y   –   gi r l  –   s a d   8   Say a m ar ah k ar e na s ay a  m e r as a di hi na ole h di a.   I  a m a ngr y  b e c a us e  I   f e e l  in s ul t e d b y  hi m/ h e r .   Say a m e r as a di a hi na  m ar ah   I  –   f e e l  –   H e   –   in s ul t  –   a ngr y   9   J angan k haw at ir  s ay a pas ti   m e m bant u k am u.   D o n' t  w o r r y , I  w il l  de f in it e l y   h e lp   y ou.   K haw at ir  j angan s ay a  bant u pas ti   W o r r y   -   d o  n o t  -   i  -   w il l  -   h e lp   10   Say a bi ngung me ngapa  s ay a t id ak  bol e h m ak an  s e m angk a.   I ' m c o n f us e d w h y  I ' m  no t  a ll o w e d t o   e a t  w a te r m e l o n.   Say a  -   m ak an  -   s e m angk a t id ak  bol e h  -   bi ngung  -   k e napa   I  -   e a t  -   w a te r me l o n  -   d o  n o t  -   c o n f us e   -   w h y   11   Se ti ap pagi ayah s ay a  m in um  k opi  dan mak an  nas i  gor e ng.   E ve r y  m o r ni ng, m y   f a th e r  d r in ks  c of f e e  a nd  e a ts   f r i e d r i c e .   B apak  s ay a m in um  k opi   m ak an nas i  gor e ng pagi  pagi  pagi   M y   f a th e r   -   dr in k  -   c of f e e   -   e a t  -   f r i e d r i c e   -   m o r ni ng  -   m o r ni ng  -   mo r n in g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         R e c ogniz ing  I ndone s ian  s ign  language   ( B is indo)   ge s tur e   in  …   ( M uhamm ad  A l f hi  Saputr a)   1591     T a bl e   2 .  S e n t e n c e s   i n   t h e   d a t a s e t   ( C onti nue … )   No   S e nt e n c e  i n  I nd o n e s ia n   S e nt e n c e  i n  E ngl is h   S e nt e n c e  i n  B is in d o   S e nt e n c e  i n  B is in d o  ( t r a ns la te d i nt o   E ngl is h)   12   A dhi  m e m be li  buk u i tu  di   H ongk ong.   A dhi  bo ught  t ha t  b oo k  in   H o ng  K o ng.   A  D  H  I  buk u i tu  be li   H ongk ong   A  -   D  -   H  -   I  -   th a t  b oo k  -   bu y   -   H o ngk o ng   13   Say a i ngi n m e nj ual  s e pe da  m ot or  s ay a.   I  w a nt  t o  s e ll  m y   mo t or c y c l e .   M ot or  s ay a i ngi n j ual   M o t o r c y c le   -   i  -   w a nt   -   s e ll   14   K ak ak  s ay a  m e m be r i  s ay a  hadi ah.   M y   s is te r   ga ve  me  a  gi f t.   H adi ah k ak ak  be r i   G i f t  -   s is te r   -   gi v e   15   A pak ah k am u s udah  m e ne r ima s u r at  dar i  pr e s id e n J o k ow i?   H a v e   y ou  r e c e i ve d a   le tt e r   f r o m P r e s id e nt   J o k o w i?   Sur at  P r e s id e n J ok ow i  te r ima s udah   L e tt e r   -   P r e s id e nt  J o k o w i  -   R e c e i ve d   16   P e nj ahat   it u  m e m uk ul  s ay a  be r k al i - k al i.   T h e   c r im in a l  hi t  m e   s e ve r a l  ti me s .   O r ang pe nj ahat  i tu   puk ul - puk ul  s ay a   C r im in a l  -   hi t  -   me   17   Say a t id ak  pe r nah  m e nge r ti  pe r ta n y aan anda.   I  ne ve r  und e r s t oo d  y our   que s ti o n.   K am u pe r ta ny aan ti dak - m e nge r ti   Y o u  -   qu e s ti o n  -   n e ve r   und e r s t oo d   18   B e r it a i tu  s udah dil ih at   ol e h r ib uan or ang.   T ha t  n e w s  ha s  be e n s e e n  b y  t h o us a nds  of  p e o pl e .   B e r it a or ang r ib uan  nont on s udah   N e w s   -   pe o pl e   -   th o us a nds   -   s e e n   19   A pak ah k am u pe r nah  m e m bac a nov e r  bahas a  in ggr is ?   H a v e   y ou  e ve r   r e a d a n  E ngl is h  nove l ?   B uk u B ahas a I nggr is   bac a s udah pe r nah   B oo k  -   e ngl is h  -   r e a d   20   H P  i n i  di be li  ol e h L aur a  de ngan har ga t ig a j ut a.   T h is  mo bi l e  ph o n e  w a s   bo ught  b y   L a u r a   f o r   th r e e  mi ll i o n.   H andphone  i ni  L  A  U  R   A  be li  har ga t ig a j ut a   M o bi l e  ph o ne   -   th is   -   L  -   A  -   U  -   R  -   A  -   bu y   -   pr i c e   -   th r e e   -   mi l li o n   21   P e nc ur i  it u di puk ul  ol e h  pol is i.   T h e  t hi e f  w a s  be a t e n b y   th e  p o li c e .   O r ang pe nc ur i  it u poli s i  puk ul   T h ie f   -   p o li c e   -   b e a te n   22   K am bi ng i tu  di m ak an ular   T h e  g o a t  w a s  e a t e n b y  a   s na ke .   K am bi ng i ni  m ak an ular   G o a t  -   e a te n  -   s na ke   23   O bat  i ni  har us  di m in um   ti ga k al i  s e har i   T h is  me di c in e  s ho ul d b e   ta ke n t hr e e  t im e s  a  da y .   M in um - obat  har us  s at u  har i  ti ga k al i   T a k e  m e di c in e   -   s ho u ld   -   th r e e   ti me s   -   a  da y   24   D ia  be r ta ny a k e pada  k u di   m ana s ay a l ahi r   H e  a s ke d m e  w he r e   I   w a s  bo r n.   D ia  t any a s ay a l ahi r   m ana   H e   -   a s k  -   me   -   b o r n  -   w h e r e   25   A pa y ang s e dang k am u  pi k ir k an?   W ha t  a r e   y o u  th in ki ng  a bo ut ?   K am u pi k ir  apa   Y o u  -   th in k  -   w ha t   26   D i  m ana anda ti nggal?   W he r e  d o   y ou l i ve ?   K am u t in ggal  m ana   Y o u  -   li ve   -   w he r e   27   K e m ana  k am u m au pe r gi ?   W he r e   do   y ou  w a nt   to   go?   K am u m au pe r gi  m ana   Y o u  -   w a nt  t o   -   g o   -   w he r e   28   M e ngapa k e m ar in  k am u  ti dak  k ul ia h?   W h y  di dn' t  y ou a tt e nd  th e   c la s s   y e s t e r da y ?   K e m ar in  k am u  k ul ia h  ti dak  k e napa   Y e s te r da y   -   y ou  -   c la s s   -   di d no t  -   a tt e nd   29   B agai m ana k e adaan  ib um u?   H o w  i s   y o u r  m o th e r ?   I bu k am u bagaimana  s e hat   M o th e r   -   y ou  -   h o w   -   w e ll   30   J am  be r apa k it a i s ti r ahat ?   W ha t  ti me  d o  w e  t a k e  a   br e a k ?   K it a i s ti r ahat  j am   be r apa   W e   -   ta ke  a  b r e a k  -   w ha t  ti m e   31   K apan k am u be la ja r   B is in do?   W he n di d  y ou l e a r n  B is in do?   K am u be la ja r  B is in do  k apan   Y o u  -   l e a r n  -   B is in d o   -   w h e n   32   B adan k u ge m uk , t api   badan adik k u k ur us   M y  b o d y  i s   f a t,  but  m y   br o th e r ' s  bo d y  i s  t hi n .   B adan s ay a ge m uk  t api   badan adik k ur us   M y  b o d y   -   f a t  -   bu t  -   m y  br o th e r ' s   bo d y   -   th in   33   M as ak an padang it u e nak ,  te ta pi  m ahal   P a da ng c ui s in e  i s   de li c i o us , but  e x p e ns i v e .   M ak an padang it u e nak   ta pi  m ahal   P a da ng c ui s in e   -   d e li c i o us   -   but   -   e x p e ns iv e   34   D ia  anak  bai k  s e hi ngga  bany ak  or ang  m e ny uk ai ny a   H e  i s  a  goo d  ki d , s o   ma n y  p e o pl e   li ke  h im .   D ia  anak  bai k  or ang  or ang s uk a  s uk a   H e   -   ki d  -   g oo d  -   ma n y  pe o pl e   -   li k e   -   hi m   35   A r ti s  k or e a i tu  s angat  ta m pan   T h e   K o r e a n  c e le b r it y  i s   ve r y  ha nds ome .   A r ti s  k or e a i tu  t am pan   C e le b r it y   -   k o r e a n  -   ha nds o m e   36   P e ny any i  c ant ik  i tu  bi s a  be r m ai n gi ta r   T h e   b e a ut i f ul  s in g e r   c a n  pl a y  t h e  gui ta r .   O r ang pe ny any i  c ant ik   it u bi s a be r m ai n - gi ta r   S in ge r   -   b e a ut i f ul   -   c a n  -   pl a y  gui ta r   37   T ul is anny a s angat j e le k   s e hi ngga ti dak  bi s a s a y a  bac a   H is  ha ndw r it in g i s   v e r y   ba d, s o  I  c a n' t  r e a d i t.   D ia  t ul is an bac a t id ak - bi s a   H e   -   ha ndw r it in g  -   r e a d  -   c a n n o t   38   I w an m e m ak ai  baj u m e r ah,  s e dangk an A dhi  m e m ak ai   baj u puti h   I w a n i s  w e a r in g a  r e d  s hi r t,  w hi le  A dhi  i s   w e a r in g a  w hi te  s hi r t.   I   W  A  N  baj u pak ai - baj u  m e r ah A  D  H  I  baj u  pak ai - baj u puti h   I  -   W  -   A  -   N  s hi r t  -   w e a r   -   r e d   -   A  -   D  -   H  -   I  -   s hi r t  -   w e a r   -   w hi te   39   T ol ong, matikan A C - ny a !   P le a s e , t u r n  of f  t h e  A C !   A  C  m at i  to lo ng   A  -   C  -   tu r n  of f   -   pl e a s e   40   J angan duduk  di  at as   m e ja !   D o n' t  s it   o n t h e  t a bl e !   M e ja  duduk  j angan   T a bl e   -   s it   -   d o  n ot       AC K NOWL E DGE M E NT S   T hi s   wo r k  i s   s uppo r t e d  by   t h e   T o k o pe di a - UI   A I   C e n t e r   o f   E x c e ll e n c e   a n d  t h e   F u n d i ng  P r o gr a m   f o r   I nn o v a t i o n   a t  t h e   Uni ve r s i t y   o f   I n do n e s i a   2023   P r o g r a m   P 3  N o :   33/P K S /W R   I I I - DI S T P /UI /2023     No :  0026 /S P I C / E S /2023 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i ,   Vo l .   36 ,   N o .   3 ,  De c e m b e r   20 24 :  1 5 83 - 1 5 93   1592   RE F E R E NC E S   [ 1]   R .  R a s tg o o ,  K .  K ia ni ,  a nd  S .  E s c a l e r a ,  “ S ig n  la ngua ge   r e c o gn it io n:   a   de e p  s ur ve y ,”   E x pe r t  Sy s te m s   w it h  A ppl ic at io ns ,  vo l.   164,    p. 113794, F e b. 2021, d o i:  10.1016/j . e s w a .2020.113794.   [ 2]   L .   Z h e ng,  B .   L ia ng,  a nd  A .  J ia ng,  “ R e c e nt   a d v a n c e s   of   d e e p  le a r ni ng  f or   s ig n  la ngua ge   r e c o gni ti o n,”   in   2017   I nt e r nat i onal   C onf e r e nc e   on   D ig it al   I m age   C o m put in g:   T e c hni que s   and  A ppl ic at io ns   ( D I C T A ) ,  N o v .  2017,  pp.  1 – 7,  do i:   10.1109/DI C T A .2017.8227483.   [ 3]   K .  N im is ha   a nd  A .  J a c o b,  “ A   br i e f   r e v i e w   of   th e   r e c e n t  tr e nds   in   s ig n  la ngua ge   r e c o gni ti o n,”   in   2020   I nt e r nat i onal     C onf e r e nc e   on  C om m uni c at io n  and  Si gnal   P r oc e s s in g  ( I C C SP ) ,  J ul .  2020,  pp.  186 – 190,  do i:   10.1109/I C C S P 48568.2020.9182351.   [ 4]   H .  M.   M a r ia ppa n  a nd  V .  G o ma th i,   “ R e a l - ti m e   r e c o gni t i o n  of   I ndi a n  s ig n  la ngua ge ,”   in   2019  I nt e r nat io nal   C onf e r e nc e   on  C om put at io nal  I nt e ll ig e nc e  i n D at a Sc ie nc e  ( I C C I D S) , F e b. 20 19, pp. 1 – 6, do i:  10.1109/ I C C I D S .2019.8862125.   [ 5]   Q .  X ia o ,  M .  Q in ,   P .  G u o ,   a nd  Y .  Z ha o ,   “ M ul ti mo da l   f us i o n  ba s e d   o n  L S T M   a nd  a   c o upl e   c o ndi ti o na l  hi dd e n  M a r kov     m o d e l  f or   C hi ne s e   s ig n  la ngua ge   r e c o gni ti o n,”   I E E E   A c c e s s ,  vo l.   7,  pp.  112258 – 112268,  2019,  do i:   10.1109/AC C E S S .2019.2925654.   [ 6]   S .  M .  S.   S ha h,  H .   A bba s   N a qv i,   J .  I .  K ha n,  M .  R a mz a n,  Z u lq a r na in ,  a nd  H .  U .  K ha n,  “ S ha pe   b a s e d  P a ki s ta n  s ig n  la ngua ge   c a te g or i z a ti o n  us in g  s ta ti s ti c a l  f e a tu r e s   a nd  s uppo r t  ve c t o r   ma c hi ne s ,”   I E E E   A c c e s s ,  v o l.   6,  pp.  59242 – 59252,  2018,  do i:   10.1109/AC C E S S .2018.2872670.   [ 7]   R .  D .  R A J   a nd A .  J A S U J A ,  “ B r it is h  s ig n  la ngua ge   r e c o gni ti o n  us in g  H O G ,”   in   2018  I E E E   I nt e r nat io nal   St ude nt s ’   C onf e r e nc e   on   E le c tr ic al , E le c tr oni c s  and C o m put e r  Sc ie n c e  ( SC E E C S) , F e b.  2018, pp. 1 – 4, do i:  10.1109/ S C E E C S .2018.8546967.   [ 8]   R .  R a s tg o o ,  K .  K ia ni ,  a nd  S .  E s c a le r a ,  “ H a nd  s ig n  la ngua ge   r e c o gni ti o n  us in g  mul ti - v i e w   ha nd  s ke l e t o n,”   E x pe r t  Sy s te m s   w it h   A ppl ic at io ns , vo l.  150, p. 113336, J ul . 2020, d o i:  10.1016/j . e s w a .2020.113336.   [ 9]   S .  B a e k,  K .   I .  K im ,   a nd  T . - K .  K im ,   “ A ugme nt e d  s k e l e t o n  s pa c e   tr a ns f e r   f or   d e pt h - ba s e d  ha nd  p o s e   e s ti ma ti o n,”   in     2018  I E E E /C V F   C onf e r e n c e   on  C om put e r   V is io n  and  P at te r n  R e c ogni ti on ,  J un.  2018,  pp.  8330 – 8339,  do i:   10.1109/C V P R .2018.00869.   [ 10]   A .  S pur r ,  J .  S o ng,   S .  P a r k,  a nd  O .  H il li g e s ,  “ C r o s s - mo da l  d e e p   v a r ia ti o na l   ha nd  p o s e   e s ti ma ti o n,”   in   2018   I E E E /C V F   C onf e r e nc e   on C om put e r  V is io n and P at te r n R e c ogni ti on , J un. 2018, pp. 89 – 98, do i:  10.1109/C V P R .2018.00017.   [ 11]   S .  H e ,  “ R e s e a r c h  of   a   s ig n  la ngua ge   t r a ns la ti o n  s y s te m   ba s e d  o n  d e e p  l e a r ni ng,”   in   2019   I nt e r nat io nal   C onf e r e nc e   on  A r ti f i c ia l  I nt e ll ig e nc e  and A dv anc e d M anuf ac tu r in g ( A I A M ) , O c t.  2019,  pp. 392 – 396, do i:  10.1109/A I A M 48774.2019.00083.   [ 12]   O .  B .  H o qu e ,  M .  I .  J uba ir ,  M .  S .  I s la m,  A . - F .   A ka s h,  a nd  A .  S .  P a ul s o n,  “ R e a l  t im e   B a ngl a de s hi   s ig n  la ngua ge   de te c ti o n   u s in g   f a s t e r  R - C N N ,”  i n  2018 I nt e r nat io nal  C onf e r e nc e  on I nnov at io n i n E ngi ne e r in g and T e c hnol ogy  ( I C I E T ) , D e c . 2018, pp. 1 – 6,  do i:   10.1109/C I E T .2018.8660780.   [ 13]   S .  K im ,  Y .  J i,   a nd  K . - B .  L e e ,  “ A n  e f f e c ti ve   s ig n  la ngua g e   le a r ni ng  w it h  o bj e c t  d e t e c ti o n  ba s e d  R O I   s e gme nt a ti o n,”   in     2018  Se c ond  I E E E   I nt e r nat io nal   C onf e r e n c e   on   R obot ic   C om put in g  ( I R C ) ,  J a n.  2018,   pp.  330 – 333,  do i:   10.1109/I R C .2018.00069.   [ 14]   H .  D .   A l o n,  M .  A .   D .  L ig a y o ,   M .  P .   M e l e gr it o ,   C .  F r a n c o   C una na n,  a nd  E .  E .   U y   I I ,  “ D e e p - ha n d:   a   d e e p  in f e r e nc e     v is i o n  a ppr o a c h  of   r e c o gni z in g  a   ha nd  s ig n  la ngua ge   u s in g  A me r ic a n  a lp ha be t, ”   in   2021  I nt e r nat io nal   C onf e r e nc e     on  C om put at io nal   I nt e ll ig e nc e   and  K now le dge   E c onomy   ( I C C I K E ) ,  M a r .  2021,  pp.  373 – 377,  do i:   10.1109/I C C I K E 51210.2021.9410803 .   [ 15]   S .  D a ni e ls ,  N .  S u c ia ti ,  a nd  C .  F a th i c ha h,  “ I ndo n e s ia n  s ig n  la ngua ge   r e c o gn it i o n  us in g  Y O L O   m e th o d,”   I O P   C onf e r e nc e   Se r ie s :   M at e r ia ls  Sc ie nc e  and E ngi ne e r in g , v ol . 1077, n o . 1, p. 012029 , F e b. 2021, d o i:  10.1088/1757 - 899X/1077/1/ 012029.   [ 16]   M .  F a is a l,   “ D e v e l o pme n t  of   I nd o n e s ia n  s ig n  la ngua ge   ( B is in do )   m ov e m e nt   r e c o gni z e r   m o d e l  us in g  M o bi l e N e tV2  a s   a   f e a tu r e   e x tr a c t o r  a nd  L S T M  a s  a   c la s s if i e r ,”  U ni ve r s it a s  I ndo n e s ia , 2021.   [ 17]   N .  F .  P .   S e t y on o   a nd   E .  R a kun,  “ R e c o gni z in g   w o r d  g e s tu r e   in   s ig n  s y s t e m   f o r   I nd o n e s ia n  l a ngua ge   ( S I B I )   s e nt e n c e s   u s in g   D e e pC N N   a nd  B i L S T M ,”   in   2019  I nt e r nat io nal   C onf e r e n c e   on   A dv anc e d  C o m put e r   S c ie nc e   and  in f or m at io n   Sy s te m s   ( I C A C S I S) ,  O c t.  2019, pp. 199 – 204, d o i:  10.1109/I C A C S I S 47736.2019.89 79772.   [ 18]   M .  H .  N ugr a ha   a nd  E .   R a k un,  “ S o l v in g   c ompl e x  ba c kgr o und   pr o bl e m  us in g  r e ti na n e t  f o r   s ig n  s y s t e m  f or   I nd o n e s ia n  l a ngua ge   ( S I B I )   ge s tu r e - to - t e x t  t r a ns la to r ,”   in   2022  I nt e r nat io nal   C onf e r e nc e   on  A dv anc e d  C om put e r   Sc ie nc e   and  I nf o r m at io n  Sy s t e m s   ( I C A C SI S) , O c t.  2022, pp. 45 – 52, d o i:   10.1109/I C A C S I S 56558 .2022.9923450.   [ 19]   S .  R e n,  K .  H e ,  R .  G ir s hi c k,  a nd  J .  S un,  “ F a s te r   R - C N N :  t o w a r ds   r e a l - ti m e   o bj e c t  d e te c ti o n  w i th   r e gi o n  pr o p o s a l  ne tw or ks ,”   I E E E   T r ans ac ti ons   on  P at te r n  A nal y s is   and  M ac hi ne   I nt e ll i ge nc e ,  v o l.   39,  n o .  6,  pp.  1137 – 1149,   J un.  2017,  do i:   10.1109/ T P A M I .2016.2577031.   [ 20]   T .  F . D im a  a nd M . E . A hme d, “ U s in g Y O L O v 5 a lg o r it hm  t o  de te c t  a nd r e c o gn iz e  A m e r i c a n s ig n l a ngua ge ,”  i n  2021 I nt e r nat io nal   C onf e r e nc e  on I nf o r m at io n T e c hnol ogy  ( I C I T ) , J ul . 2021, pp. 603 – 607, do i:  10.1109/ I C I T 52682.2021.9491672.   [ 21]   M .  P o s t,   “ A   c a ll   f or   c la r it y   in   r e p o r ti ng  B L E U   s c o r e s ,”   in   W M T   2018  -   3r d  C onf e r e nc e   on  M ac hi ne   T r ans la ti on,  P r oc e e di ng s   of   th e  C onf e r e n c e , 2018, v o l.  1, pp. 186 – 191, d o i :  10.18653/ v 1/ w 18 - 6319.   [ 22]   N .  P a dma ja ,  B .  N .  S .  R a ja ,  a n d  B .  P .  K uma r ,  “ R e a l  ti me   s ig n  l a ngua ge   de t e c ti o n  s y s t e m  us in g  de e p  le a r ni ng  te c hni qu e s ,”   J our nal   of  P har m ac e ut ic al  N e gat iv e  R e s ul t s , v o l.  13, n o .  S 01, pp. 1052 – 1059, J a n. 2022, do i:  10.47750/pnr .2022.13.s 01.126.   [ 23]   S .  H oc hr e it e r   a nd  J .  S c hmi dhub e r ,  “ L o n g  s h o r t - t e r m  m e m o r y , ”   N e ur al   C om put at io n ,  v o l.   9,  n o .  8,  pp.  1735 – 1780,  N ov .  19 97,  do i:  10.1162/n e c o .1997.9.8.1735.   [ 24]   K .  P a pi n e ni ,  S .  R o uk o s ,  T .  W a r d,  a nd  W . - J .  Z hu,   “ B L E U :   a   me th o d  f or   a ut o ma ti c   e v a lu a ti o n  of   ma c h in e   tr a ns la ti o n, ”   in   P r oc e e di ngs   of   th e   40t h  A nnual  M e e ti ng  on  A s s oc ia ti on  f or   C om put at io nal   L in gui s ti c s   -   A C L   ’ 02 ,  2001,  pp.  311 – 318,   do i:   10.3115/1073083.10 73135.   [ 25]   R .  F .  R a hma t,   T .  C ha ir unni s a ,  D .  G una w a n,  a nd  O .  S .  S it o mpul ,  “ S ki n  c o l o r   s e gm e nt a ti o n  us in g  mul ti - c o l o r   s pa c e   th r e s ho ld ,”   in   2016  3r d  I nt e r nat io nal   C on f e r e nc e   on  C om put e r   and  I n fo r m at io n  Sc ie nc e s   ( I C C O I N S) ,  A ug.  2016,  pp.   391 – 396,  do i:   10.1109/I C C O I N S .2016.7783247.   [ 26]   R .  P a di ll a ,  S .  L .  N e tt o ,  a nd  E .  A .  B .  da   S il v a ,  “ A   s ur ve y   on  pe r f or ma nc e   m e t r ic s   f or   o bj e c t - d e t e c t i o n  a lg o r it hms ,”   in   2 020   I nt e r nat io nal   C onf e r e nc e   on  Sy s t e m s ,  Si gnal s   and  I m age   P r oc e s s in g  ( I W SS I P ) ,  J ul .  2020,  pp.  237 – 242,  do i:   10.1109/I W S S I P 48289.2020.9145130.   [ 27]   A .  C .  M o r r is ,  V .  M a ie r ,  a nd  P .  G r e e n,  “ F r om  W E R   a nd  R I L   to   M E R   a nd  W I L :  im pr ove d  e v a lu a ti o n  m e a s ur e s   f o r   c o nne c t e d   s pe e c h r e c o gni ti o n,”  i n  I nt e r s pe e c h 2004 , O c t.  2004, pp. 2765 – 2768, do i:  10.21437/ I nt e r s pe e c h.2004 - 668.         Evaluation Warning : The document was created with Spire.PDF for Python.