I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   5 ,  Octo b er   2 0 2 6 ,   p p .   4 0 8 1 ~ 4 0 9 5   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 5 . p p 4 0 8 1 - 4 0 9 5           4081       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Tem po ra l conv o lutiona l net wo rk f o r Indo nesia n word by  word  sig n lang ua g e t ra nsla tor o n Media Pipe  framewo rk       Sa ra h P urna m a wa t i 1 ,   Albert 1 ,   Ang g i Y o ha nes   P a rdede 1 ,   I qb a l F a k hriza 1 ,   F a rha d Na di 2 ,    M o ha m m a d F a dly   Sy a hp utr a 1 ,   Ro m i F a dil la h Ra hm a t 1   1 D e p a r t me n t   o f   I n f o r mat i o n   Te c h n o l o g y ,   F a c u l t y   o f   C o m p u t e r   S c i e n c e   a n d   I n f o r mat i o n   T e c h n o l o g y ,   U n i v e r si t a s   S u ma t e r a   U t a r a ,   M e d a n ,   I n d o n e s i a   2 F a c u l t y   o f   A r t i f i c i a l   I n t e l l i g e n c e   a n d   F r o n t i e r   Te c h n o l o g i e s ,   U N I TA R   I n t e r n a t i o n a l   U n i v e r si t y ,   P e t a l i n g   Ja y a ,   M a l a y si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 1 2 ,   2 0 2 5   R ev is ed   Au g   4 ,   2 0 2 6   Acc ep ted   Au g   1 2 ,   2 0 2 6       S ig n   lan g u a g e   is  a   la n g u a g e   c re a ted   to   h e lp   th e   d e a f - m u te  c o m m u n ica te  with   o th e rs.  I n   I n d o n e sia ,   t h e re   a re   two   sig n   lan g u a g e s:   In d o n e sia n   sig n   lan g u a g e   sy ste m   o r  siste m  isy a ra t   b a h a s a   In d o n e sia   ( S IBI)  a n d   I n d o n e sia n   sig n   lan g u a g e   o r  b a h a s a   isy a ra t   In d o n e sia   (BIS IND O) ,   b u t   th e   d e a f  c o m m u n it y   p r e f e r s  t o   u s e   B I S I ND O .   De a f - m u t e   p e o p l e   u se   s i g n   l a n g u a g e   t o   c o m m u n i c a te ,   b u t  n o rm a l  p e o p le  u su a ll y   a v o i d   l e a rn in g   it   b e c a u se   th e y   fe e l  it ' s u n n e c e ss a ry   fo r  d a il y   c o m m u n ica ti o n .   Th is  wi ll   c e rtain ly   b e   a   p ro b lem   fo r  th e   d e a f - m u te  b e c a u se   p e o p le  wh o   d o   n o t  lea rn   sig n   lan g u a g e   will   c e rtain ly   h a v e   d iffi c u lt y   u n d e rsta n d i n g   wh a t  t h e y   a re   try in g   to   c o n v e y .   T h e re fo re ,   a n   a p p li c a ti o n   t h a t  c a n   tran sla te  sig n   lan g u a g e   is  n e e d e d   to   h e lp   o v e rc o m e   c o m m u n ica ti o n   p ro b lem s  b e twe e n   th e   d e a f - m u te  a n d   n o rm a l  p e o p le.  T h is  re se a rc h   fo c u se s  o n   BI S IND O  tran sla ti o n   u sin g   a  tem p o ra l  c o n v o lu ti o n a l  n e two rk   (TCN)   with   M e d iaPi p e   m e th o d s.  Th e   a m o u n t  o f  d a ta  u se d   c o n sists   o f  2 , 7 0 0   v i d e o s   re p re se n ti n g   2 7   w o rd - lev e l   sig n s  in   BI S IND O;  th is  n u m b e r  i n c re a se s  to   3 2 , 4 0 0   a fter  u n d e rg o in g   t h e   d a ta  a u g m e n tatio n   p ro c e ss .   T h e   m o d e l   b u il t   wa s   tes ted   in   tra n sla ti n g   BIS IND O   a t  th e   wo r d   lev e l  in   sim u lati o n ,   a n d   a  th o r o u g h   c o m p a riso n   b e twe e n   TCN   a n d   b i d irec ti o n a l  l o n g   sh o rt - term   m e m o ry   ( BiL S TM ) ;  b o t h   o f  t h e m   we re   ru n n in g   o n   th e   M e d iaP ip e   p latfo rm   se p a ra tely .   F r o m   t h e   e x p e rime n t,   it   is  s h o wn   t h a t  t h e   p e rfo rm a n c e   o f   TCN  e x c e e d s BiL S TM   wit h   a n   a c c u ra c y   ra te as   h i g h   a s  8 8 . 6 4 % .   K ey w o r d s :   Dee p   lear n in g   Han d   m o v e m en t r ec o g n itio n   L an g u ag e   au to m atio n   Neu r al  n etwo r k   Sp ee ch - im p air ed   tech n o l o g y   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sar ah   Pu r n am awa ti   Dep ar tm en t o f   I n f o r m atio n   T e ch n o lo g y ,   Facu lty   o f   C o m p u te r   Scien ce   an d   I n f o r m atio n   T ec h n o lo g y   Un iv er s itas   Su m ater a  Utar a   Me d an ,   I n d o n esia   E m ail:  s ar ah _ p u r n am awa ti@ u s u . ac . id       1.   I NT RO D UCT I O N   As  s o cial  b ein g s ,   it  is   h u m an   n atu r e  to   s o cialize   an d   in ter ac t  with   o th er   h u m a n s   th r o u g h   co m m u n icatio n   to   o b tain   th e   in f o r m atio n   n ee d e d   to   ad a p t  to   th e  s u r r o u n d in g   en v ir o n m en t.  Ho wev er ,   th e   co m m u n icatio n   p r o ce s s   ca n   b e  d is r u p ted   d u e   to   f ac to r s   s u ch   as  h ea r in g   lo s s   o r   lim ite d   s p ea k in g   a b ilit y   s u f f er ed   b y   o n e  o f   th e  p ar ties   in   a  co m m u n icatio n .   Du e  to   th is   d if f icu lty ,   a  lan g u ag e  was  cr ea ted   to   h elp   th e   co m m u n icatio n   p r o ce s s ,   n am e ly   s ig n   lan g u ag e.   Sig n   lan g u a g e  is   a  f o r m   o f   h u m a n   n o n - v e r b al  co m m u n icatio n   ex p r ess ed   th r o u g h   h a n d   g estu r es  to   v is u ally   co n v ey   i n f o r m atio n   to   r ec ip ien ts   [ 1 ] .   Sig n   lan g u ag e  u s u all y   em er g es  n atu r ally   an d   ad ap t s   to   th e  cu ltu r e  o f   ea ch   r eg i o n ;  th is   m ak es  ea ch   r eg io n   h av e  its   o wn   s ig n   lan g u ag e.   Fo r   ex am p le,   Am e r ica  u s es  Am er ican   s ig n   lan g u ag e   ( ASL)   [ 2 ] ,  t h e  Un ited   Kin g d o m   u s es  B r itis h   s ig n   lan g u ag e   ( B SL)   [ 3 ] ,  an d   I n d ia  u s es  I n d ian   s ig n   lan g u ag e   ( I SL)   [ 4 ] .   I n d o n esia  its elf   h as  two   s ig n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 0 8 1 - 4 0 9 5   4082   lan g u ag es  in   u s e,   n am ely   I n d o n esian   s ig n   lan g u ag e  s y s tem   o r   s is tem   is ya r a t  b a h a s a   I n d o n esia   ( SIBI)   an d   I n d o n esian   s ig n   lan g u ag e  o r   b a h a s a   is ya r a t   I n d o n esia   ( B I SIN DO) .   SIBI  was  en g in ee r ed   b y   h ea r i n g   in d iv id u als  as  a  s tan d ar d ized   s y s tem   [ 5 ] .   C u r r en tly ,   SIBI  is   d esig n ated   b y   th e  g o v er n m en t   as  th e  o f f icial  s ig n   lan g u ag e  in   I n d o n esia  an d   is   tau g h t  in   s p ec ial  s ch o o ls   th er e.   B I SIN DO  i s   a  s ig n   lan g u ag e  f o r m ed   b y   th e  d ea f   co m m u n ity   in   I n d o n esia  an d   em er g ed   n atu r ally   b ased   o n   th e  o b s er v atio n s   o f   th e  d ea f   [ 6 ] .   T h e  ter m   "BISI NDO"   was  o n ly   u s ed   in   2 0 1 6   in   a   r eso lu tio n   o f   th e  s ev en th   Ger k atin   c o n g r ess   h el d   in   Ma k ass ar   [ 7 ] .  Alth o u g h   SIBI  is   an   o f f icial  s ig n   lan g u ag e  in   I n d o n esia,  in   f ac t,  d ea f - m u te  p eo p le  p r ef er   to   u s e  B I SIN DO   r ath er   th a n   SIBI.   Deaf - m u te   p eo p le   f ee l  th at  B I SIN DO  is   ea s ier   to   u s e  f o r   co m m u n icat io n   b ec a u s e  it  is   a  n atu r al  s ig n   lan g u ag e.   T h e   in ter ac tio n   b etwe en   f ac ial   e m o tio n s   an d   n atu r al  m o tio n   g estu r es  im p r o v es   lan g u ag e  u n d e r s tan d in g   f o r   b o th   d ea f   an d   h ea r in g   in d iv id u al s   [ 8 ] .    Pre v io u s   r esear ch   o n   s ig n   lan g u ag e  r ec o g n itio n   h as  b ee n   co n d u cted   b y   v ar io u s   r esear ch er s   [ 9 ] – [ 1 3 ] .  T h ese  s tu d ies  h av e  u s ed   v ar io u s   m o d els,  s u ch   as  ex tr em e  le ar n in g   m ac h i n e  ( E L M)   [ 1 4 ] ,  c o n v o lu ti o n al  n eu r a l   n et wo r k   ( C NN) ,  lo n g   s h o r t - t er m   m em o r y   ( L STM ) ,   a n d   a   co m b in atio n   o f   th ese,   to   a n aly ze   v ar io u s   h a n d   s ig n al  im ag es.  Ko d an d a r am   e t  a l.   [ 9 ]   u s ed   th r ee   C NN  m o d els  o n   th e  ASL  d ataset,   wh i ch   r esu lted   in   9 7 %   ac cu r ac y   f o r   th e  L eNe t - 5   m o d el,   9 8 . 9 % a cc u r ac y   f o r   th e  M o b ileNetV2   m o d el,   an d   9 8 % a cc u r ac y   f o r   th e  b u ilt   m o d el.   Sin g h   [ 1 0 ]   u s ed   th e   3 D  C NN  m eth o d   o n   a   d ataset  co n s is tin g   o f   2 0   I SL   h an d   g e s tu r es,  wh ich   wer e   ca p tu r ed   u n d er   d if f er en t  en v ir o n m en tal  co n d itio n s ,   s u ch   as  lig h tin g   an d   b ac k g r o u n d   c o n d itio n s .   T h e  v id eo s   wer e  th en   f r am ed   a n d   ex tr ac t ed ,   an d   1 6 2 , 8 4 0   im ag es  wer e   o b tain ed .   T h e  a v er ag e  ac cu r a cy   o b tain ed   was  as  h ig h   as  8 8 . 2 4 %.  C o s ter   et  a l.   [ 1 1 ]   u s ed   Op e n Po s e  an d   a  t r an s f o r m er   a r ch itectu r e  t o   r ec o g n ize  th e   Flem is h   s ig n   lan g u ag e  o r   V la a mse  g eb a r en ta a l   ( VGT )   d ataset,   wh ic h   co n s is ted   o f   1 0 0   class es  co n s is tin g   o f   1 0 4   s ig n   wo r d s .   T h is   r esear c h   tr ain e d   t h r ee   t r an s f o r m er   m o d els,  ea ch   with   a  d if f er en t   em b e d d in g   s ize,   an d   ac h iev e d   an   ac cu r ac y   v alu e  o f   7 4 . 7 %.  T u n g a  et  a l.  [ 1 2 ]   u s ed   a  g r a p h   co n v o l u tio n al  n etwo r k   ( GC N)   an d   b id ir ec tio n a l   en co d er   r e p r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T )   to   tr an s late  ASL,   with   an   ac cu r ac y   v alu e  o f   6 0 . 1 5 %  an d   4 2 . 1 8 %  o n   th e  f ir s t  d ataset  an d   4 2 . 1 8 %  o n   t h e  s ec o n d   d ataset.   Gh o s h   [ 1 5 ]   u s ed   Me d iaPip e  as   a    cr o s s - p latf o r m   f r am ewo r k ,   co m b in in g   it  with   L STM   to   tr a n s late  ASL .   T h e  b est  p er f o r m i n g   alg o r ith m   in   th e   test   wa s   SVM,   with   ac cu r ac y   v alu es  o f   9 9 . 1 5 %,  9 9 . 2 9 %,  9 8 . 1 9 %,  9 9 . 1 8 %,  an d   9 6 . 2 2 %  in   th e  f iv e  d atasets ,   r esp ec tiv ely .   Aljab ar   a n d   Su h ar jito   [ 1 6 ]   u s ed   th r ee   m o d els,  n am ely   C NN,   L STM ,   an d   a   c o m b in atio n   o f   C NN  an d   L STM ,   o n   th e  B I SIN DO  d ataset.   T h e  av er ag e  ac cu r ac y   o b tain ed   b y   th e  C NN  m o d el  w as 7 3 %,  th e  L STM   m o d el  was  8 1 %,  an d   th e  C NN - L STM   m o d el  was  9 0 %  in   test in g .   Hald er   an d   T a y ad e  [ 1 7 ]   co n d u cte d   r esear ch   o n   s ig n   lan g u ag e  r ec o g n itio n   f r o m   v ar io u s   co u n tr ies,  in clu d in g   Am er ica,   I n d ia,   I taly ,   an d   T u r k e y ,   u s in g   a   s u p p o r t v ec to r   m ac h in e  ( SVM)   co m b in ed   with   Me d iaPip e  f o r   g estu r e  f ea tu r e  ex tr ac tio n .   T s in g an o s   et  a l.   [ 1 8 ]   p r o p o s ed   th e  u s e  o f   tem p o r al  co n v o lu tio n al  n etwo r k s   ( T C Ns)  to   ad d r ess   th e  p r o b lem   o f   s u r f ac e   elec tr o m y o g r ap h y   ( s E MG ) - b ased   h an d   g estu r e   r ec o g n iti o n .   T h is   s tu d y   h ig h lig h ts   t h e  im p o r tan ce   o f   d ev elo p in g   tailo r ed   d ata  f ee d in g   m eth o d s   to   im p r o v e  t h e  p er f o r m an ce   o f   T C N  m o d els   in   m o r e   d y n am ic  u s ag e  s itu atio n s .   I s h aq   et  a l.   [ 1 9 ]   d ev elo p e d   a  T C N - b ased   em o tio n   r ec o g n itio n   s y s tem   th at  u tili ze s   a    s p atio - T C N   to   ascer tain   th e  s p ea k er ' s   em o tio n al  s tate   f r o m   s p ee ch   s ig n als.  T h e  s y s tem   au to m atica lly   ex tr ac ts   v alid   s eq u en ce   cu es f r o m   s p ee ch   s ig n als,  o u tp er f o r m in g   b o t h   tr ad itio n al   an d   s tate - of - th e - a r t  ( SOTA )   m ac h i n e  lear n in g   alg o r ith m s .     B ased   o n   p r ev io u s   r esear ch ,   it  ca n   b e   s ee n   th at   th e  m ain   r ea s o n s   f o r   u s in g   Me d iaPip e  [ 1 5 ] ,   [ 1 7 ]   co m p ar ed   to   o t h er   f r a m ewo r k s   s u ch   as  Op en Po s e  [ 1 1 ]   ar e  r elate d   to   s ev er al  th i n g s .   Am o n g   th e m   is   th e   s u p er io r   ea s e  o f   in teg r atio n   f o r   Me d iaPip e.   I n   ad d itio n ,   M ed iaPip e  is   s u p er io r   in   th e  m o b ile  en v ir o n m en t   co m p ar ed   to   Op e n Po s e,   an d   Me d iaPip e  also   h as  f ewe r   k ey p o in ts   co m p a r ed   to   Op en Po s e.   W h ile  Me d iaPip e   an d   Op e n Po s e  ar e   m o r e  o n   th e  lib r ar y   s id e,   th e r e  also   e x is t  s ig n   lan g u a g e  a p p licatio n s   th at  u tili ze   th e   h ar d war e   s ec tio n ,   s u ch   as  th e   leap   m o tio n   d ev ice  [ 2 0 ]   a n d   ed g e  d ev ice  [ 2 1 ] .   T h e  p r e - p r o ce s s in g   s tag e  in   C o s ter   et  a l.   [ 1 1 ]   d i d   n o t  in clu d e  s tep s   s u ch   as  f r a m e  s elec tio n   an d   n o r m aliza tio n .   Similar ly ,   T u n g a  et  a l.  [ 1 2 ]   u s e d   GC N   a n d   B E R T   t o   t r an s l at e  ASL   wi th o u t   a n y   d a ta   p r e - p r o ce s s i n g .   T h e   a u t h o r s   [ 1 5 ] ,   [ 1 7 ]   u s e d   M e d i a Pi p e   a s   a   m o d e l li n g   f r a m e w o r k .   H o w e v e r ,   b o t h   o f   t h es e  s t u d i es   w e r e   l i m i t e d   t o   m o d e lin g   t h e   h a n d   r eg io n .   T h u s ,   t h e   w o r k   m o d els th e  e n t ir e   b o d y ,   h an d s ,   a n d   f a ce .   A d d iti o n all y ,   t h e ir   cl ass i f ic ati o n   m eth o d s   an d   d atas ets   d i f f er ,   a n d   t h e y   d i d   n o t   p er f o r m   a n y   d ata   p r e - p r o c ess i n g .   T h is   s tu d y   d if f er s   f r o m   Al ja b a r   a n d   Su h a r j it o   [ 1 6 ]   i n   its   alg o r ith m   an d   p r e - p r o ce s s in g   s tag es.  T h eir   s tu d y   em p l o y ed   th r e e  m o d els:   C NN,   L STM ,   an d   a  h y b r id   C NN - L STM   with   p r e - p r o ce s s in g   th at   in clu d e d   b ac k g r o u n d   s u b tr ac tio n ,   g r ay s ca lin g ,   an d   r esizin g .   L ik ewise,   th e  r esear ch   b y   Dwijay an ti  et  a l.   [ 6 ]   em p lo y e d   a  d if f er en t  C NN  alg o r ith m   an d   p er f o r m ed   o n ly   im ag e  r esizin g   d u r in g   p r e - p r o ce s s in g ,   f o cu s in g   o n ly   o n   s tatic  alp h ab et  s ig n s .   T h e  m ain   d if f er e n ce s   b et wee n   th is   s tu d y   an d   s ev er al  r elate d   s tu d ies  th at  h av e  b ee n   co n d u cte d   ar e  in   th e   m eth o d ,   d ataset,   d ata  p r e - p r o c ess in g   m eth o d ,   an d   th e  ty p e  o f   tr an s lated   lan g u a g e.   I n   th is   s tu d y ,   th e   alg o r ith m s   u s ed   ar e  b id ir ec tio n al  lo n g   s h o r t - ter m   m em o r y   ( B iLST M)   [ 2 2 ] ,   [ 2 3 ] ,   T C N  [ 1 8 ] ,   a n d   Me d iaPip e  [ 2 4 ] .   Pre v io u s   s tu d ies  also   in d icate d   t h at  Me d iaPip e  h as  b ee n   wid ely   u s ed   in   s ig n   lan g u ag e  d etec tio n ,   p a r ticu lar ly   in   id en tify in g   h an d   an d   f ac ial  la n d m ar k s .   H o wev er ,   th e  m ajo r ity   o f   s tu d ies  s till   co n f in e   th em s elv es  to   s tatic  g estu r e  r ec o g n itio n   o r   r el y   o n   im ag e - b ased   class if icatio n   m o d els.  T h e  m ain   d if f er en ce   f r o m   p r ev io u s   s tu d ies  is   th e  f o cu s   o n   r ea l - tim e  v id eo - b ase d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Temp o r a l c o n vo lu tio n a l n etw o r k  fo r   I n d o n esia n   w o r d   b y  w o r d   s ig n   la n g u a g e  …   ( S a r a h   P u r n a ma w a ti )   4083   g estu r e  r ec o g n itio n ,   r ath er   th a n   ju s t  s tatic  im ag es,  s o   th at  th e  d ev elo p e d   s y s tem   ca n   ca p tu r e  th e  co m p le x ity   o f   h an d   g estu r es in   r ea l c o m m u n i ca tio n .       2.   M E T H O D   T h er e  ar e  s ev er al  s tag es  ca r r ie d   o u t  in   th is   r esear ch   in   o r d er   to   r ea lize  th e  o b jectiv es  o f   th e   r esear ch .   Fig u r e  1   s h o ws  th e  s y s tem   a r ch itectu r e  o f   th is   r esear ch .   T h e  s tag es  ca r r ied   o u t  i n   th is   r esear ch   ar e  v i d eo   ac q u is itio n ,   v id eo   p r ep r o ce s s in g ,   f ea tu r e  ex tr ac tio n ,   d ata  p r ep r o ce s s in g ,   th e  tr ain i n g   p r o c ess ,   an d   th e  test in g   p r o ce s s .   At  th e  v id eo   ac q u is itio n   s tag e,   d ata  in   th e  f o r m   o f   B I SIN DO  g estu r e  v id eo s   ar e  co llected ,   th e n   clea n ed   an d   r esized   as  n ee d ed .   Fu r th er m o r e,   th e  v i d eo   g o es  th r o u g h   a  p r ep r o ce s s in g   s tag e  wh ich   in clu d es  th e   p r o ce s s   o f   f r am e  ex tr ac ti o n ,   k ey f r am e  s elec tio n ,   an d   r e d u cin g   th e  n u m b e r   o f   f r a m e s ,   b ef o r e  k ey p o in t   ex tr ac tio n   is   ca r r ied   o u t   at  t h e  f ea tu r e  e x tr ac tio n   s tag e.   I n   t h e   f ea tu r e   ex tr ac tio n   s tag e,   th e   e x tr ac ted   k ey p o in ts   will  g o   th r o u g h   au g m e n tatio n   an d   n o r m aliza tio n   s tag es  to   in cr ea s e  th e  g en er aliza tio n   lev el   o f   th e  m o d el.   T h e   ex tr ac ted   k ey p o in ts   ar e  th en   p r o ce s s ed   ag ain   to   p r o d u ce   in p u t  d ata  th at  will  b e  u s ed   wh en   tr ain in g   th e  m o d el.   T h e  tr ain in g   s tag e   will  p r o d u ce   a  tr ain e d   m o d el   th at  will  b e  u s ed   t o   tr a n s late  B I SIN DO  in   th e   test in g   s tag e.   T h e  test in g   p r o ce s s   is   ca r r ied   o u t  in   r ea l  tim e   to   test   th e   g e n er aliza tio n   o f   th e   m o d el   in   t r a n s latin g   B I SIN DO   in   s ev er al  d if f er e n t sit u atio n s .           Fig u r e  1 .   Sy s tem   a r c h itectu r e       2 . 1 .     Da t a s et   T h e  d ata  u s ed   ar e   wo r d - lev el  B I SIN DO  s ig n s   tak en   u s in g   a   s m ar tp h o n e  ca m er a   with   a   r e s o lu tio n   o f   1 4   MP  an d   a   f r am e   r ate  o f   3 0   f r am es  p er   s ec o n d ,   m o u n ted   o n   a  tr ip o d .   T h e   tr ip o d   was  p la ce d   at  a  d is tan ce   o f   ap p r o x im ately   7 5   cm   f r o m   th e   s ig n er ,   with   a  h eig h t  o f   a p p r o x im ately   1 . 4   m eter s .   T h e  v id e o   was  tak en   in   m id   s h o t,  f r o m   th e  to p   o f   th e   h ea d   to   th e   waist   ( s ee   Fig u r e   2 ) .   E n s u r e  th e   en tire   b o d y   ( f r o m   w aist   to   to p   o f   h ea d )   ap p ea r s   in   ea c h   v id e o   f r am e  as  s h o wn   in   Fig u r e   2 ( a) .   T h is   f ig u r e   d em o n s tr ates   th e  r eq u ir em en t  to   k ee p   t h e   en tire   b o d y   ( f r o m   waist  to   to p   o f   h ea d )   with in   th e  f r am e .   As  s h o wn   in   Fig u r e  2 ( b ) ,   th e  g estu r e  m o v em e n ts   m u s t  b e  clea r   an d   in   f r am e.   T h is   f ig u r e   h ig h lig h ts   th e  i n co r r ec t  cu t - o f f   o f   t h e  h a n d   d u r i n g   a  s ig n .   R ec o r d i n g   m u s t  b e  d o n e  i n   well - lit  co n d i tio n s ,   as  s h o wn   in   Fig u r e   2 ( c) ,   to   en s u r e   clea r   ca p tu r e   o f   k ey   p o in ts .   T h is   f ig u r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 0 8 1 - 4 0 9 5   4084   co n tr asts   p r o p e r   illu m in atio n   with   an   u n d er ex p o s ed ,   d ar k   e n v ir o n m en t.  Vid e o   r ec o r d in g s   m u s t  h av e  a   s tab le  b ac k g r o u n d   an d   n o t  in clu d e  an y   h an d s   o r   f ac es  ap ar t  f r o m   th e  h an d s   an d   f ac e  o f   th e  p e r f o r m er .   Ad j u s t  th e  r ec o r d in g   d ev ice  s o   th at  it  is   as  s tab le  an d   f o cu s ed   as  p o s s ib le.   T h e  r ec o r d ed   v id eo   was  in   . m p 4   f o r m at  with   a   f r am e  s ize  o f   1 9 2 0   ×  1 0 8 0   p ix els  an d   was  a  lo n g   v id eo   c o n s is tin g   o f   s ev er al  s ig n   v id eo s .   T h e  r aw  v id eo   i s   th en   clea n e d   a n d   cu t,   th e  n u m b er   o f   s ig n   v id e o s   o b tain ed   f r o m   cu ttin g   th e   r aw  v id eo   is   2 , 7 0 0   v i d eo s   co n s is tin g   o f   2 7   wo r d s ,   wh ic h   m ea n s   ea ch   s ig n   h as  a  to t al  o f   1 0 0   v id eo s .   E ac h   v id e o   is   th en   p u t  in to   a   d ir ec to r y   with   a  n am e   th at  co r r esp o n d s   to   th e  m ea n in g   o f   i ts   r esp ec tiv e  s ig n .   W e  g ath er e d   all  th e  d ata   f r o m     1 0   p e o p le — 5   m ales  a n d   5   f e m ales —   in clu d in g   th o s e  f r o m   th e  d ea f - m u te   s ch o o l.  T h e  p a r ticip an ts   h av e  b ee n   cr ea tin g   s ev er al  v id eo s   d e m o n s tr atin g   ea ch   o f   th e  2 7   s ig n   lan g u ag e  wo r d s   alo n g   with   th eir   v ar i o u s   in ter p r etatio n s .   T h u s ,   it  m ea n s   ev er y   p er s o n   will  p er f o r m   1 0   s ig n   lan g u a g e  v id eo s   f o r   ev er y   2 7   wo r d s .   T h e   d ata  was  d is tr ib u ted   in to   two   g r o u p s :  tr ai n in g   an d   v alid ati o n ,   w h ile  test in g   will  b e  d o n e  in   r ea l  tim e.   T h e   tr ain in g   d ata   will  tak e  7 0 %  of   th e  o v er all  d ata,   a n d   th e   v alid atio n   will  tak e  3 0 %  o f   t h e  r est .   T h e  2 7   s ig n s   u s ed   ca n   b e  g r o u p ed   in to   s ix   ca teg o r ies:   i)   Qu esti o n   wo r d s : ‘ wh at’ ,   ‘ wh er e’ ,   ‘ h o w  m u ch ’ ,   ‘ wh e n ’ ,   ‘ w h o ’ ,   ‘ wh y ’ ,   an d   ‘ h o w’ .   ii)   E x p r ess io n s : ‘ th an k   y o u ’   an d   ‘ s o r r y ’ .   iii)   Gr ee tin g s : ‘ g o o d   m o r n in g ’ ,   ‘ g o o d   af te r n o o n ’ ,   a n d   ‘ g o o d   ev e n in g ’ .   iv )   T im e  wo r d s : ‘ to d a y ’ ,   ‘ to m o r r o w’ ,   ‘ n o w’ ,   ‘ y ester d a y ’ ,   a n d   ‘ d ay ’ .   v)   Per s o n al  p r o n o u n s :  ‘ I ’ ,   ‘ h e/sh e’ ,   ‘ y o u ’ ,   a n d   ‘ we ’ .   v i)   Ad d itio n al  wo r d s : ‘ n am e’ ,   ‘ n u m b er ’ ,   ‘ p h o n e’ ,   ‘ d ea f ’ ,   ‘ ea t’ ,   a n d   ‘ s ir ’ .             ( a)   ( b )   ( c)     Fig u r e  2 .   C o r r ec t   an d   i n co r r ec t im ag e  ac q u is itio n   s am p les : ( a )   b o d y   f r a m in g ,   ( b )   g estu r e  m o v em en t,  a n d     ( c)   lig h tin g   co n d itio n s       2 . 2 .     Video   prepro ce s s ing :   f ra m e  ex t ra ct io n,  k ey f ra m e  s elec t io n,  a nd   f ra m e   re du ct io n   T h er e  ar e  th r ee   p r o ce s s es in   th e  v id eo   p r e p r o ce s s in g   s tag e,   f r am e  ex tr ac tio n ,   k e y f r am e  s ele ctio n ,   an d   f r am e  r ed u ctio n .   T h e  n u m b er   o f   f r am es  e x tr ac ted   f r o m   2 , 7 0 0   v id e o s   is   7 7 , 4 7 0   f r am es.  E ac h   f r am e  will  b e   s co r ed   b y   co n s id er i n g   s ev er al   v ar iab les,  n am ely   h an d   m o v em en t,  h an d   p o s itio n ,   an d   h a n d   b lu r   lev el  in   th e   f r am e.   T h e  co m b in atio n   o f   th e s e  th r ee   v ar iab les  is   b eliev ed   to   b e  ab le  to   s o r t  o u t  u n im p o r t an t  f r am es,  n am ely   f r am es  with   h an d s   th at  ar e  tr an s itio n in g ,   eith er   tr an s itio n in g   to   s tar t  th e  g estu r e  o r   tr an s itio n in g   to   en d   th e   g estu r e.   T h e  h an d   u s u ally   m o v es  v er tically   wh en   s tar tin g   th e  s ig n   as  well  as  f in is h in g   it.  W h en   s tar tin g   a   s ig n ,   th e  h an d   m o v es  u p war d s   to war d s   th e  s tar tin g   p o s itio n   o f   th e  s ig n ,   a n d   wh e n   f in is h i n g   a  s ig n ,   th e   h an d   will  b e  lo wer ed   to   r etu r n   to   th e  s tar tin g   p o s itio n ,   i.e . ,   th e  r e ad y   p o s itio n .   T h e r ef o r e,   h an d   m o v em en ts   ca n   b e   u s ed   in   s ea r ch in g   f o r   f r am es  with   tr an s itio n in g   h an d s .   T o   o b tain   th e   v alu e  o f   th is   v ar ia b le,   th e   ca lcu latio n   in v o lv es  co m p a r in g   th e  ce n ter   co o r d in ates  o f   t h e  two   h an d s   at  f r am e  f   with   th o s e  at  f r am e  f   +  1 ;  th e  h ig h est   r esu lt  f r o m   th is   co m p ar is o n   r e p r esen ts   th e  v alu e  o f   th e  f ir s t  v ar iab le.   T h e   m id p o in t  v alu e   is   th e  d is tan ce   f r o m   th e  m in im u m   a n d   m a x im u m   y   co o r d i n ates d iv id ed   b y   two .   B lu r r in ess   in   th e  f r am e  is   d etec ted   b y   v ar iatio n   o f   th e  L ap l ac ian   m eth o d   with   th e  L ap lacia n   k er n el   u s ed .   T o   g et  m o r e   ac cu r ate  r e s u lts ,   th e  v ar iatio n   o f   th e  L ap lacia n   m eth o d   is   o n ly   ap p lied   to   b o th   h an d s   an d   n o t  to   t h e  en tire   f r am e.   T h is   is   d o n e   s o   th e  m eth o d   ca n   r ea ll y   f o c u s   o n   d eter m in i n g   th e   le v el  o f   b lu r   o n   h an d s   an d   n o t  o n   th e  e n tire   f r am e.   Me d iaPip e   ca n   f in d   th e  h an d 's  lo ca tio n ,   an d   th e  ax es'   m in   an d   m ax   co o r d in ate s   ar e  u s ed   to   cr o p   it.  T h e  m eth o d   is   th en   ap p lied   to   th e  c r o p p e d   h an d   im ag e  to   d etec t its   b lu r r in ess   lev el.   T h e   k e y f r a m e   s e le c t i o n   m e c h a n i s m   o n l y   f o c u s es   o n   r e t r i ev i n g   f r a m e s   t h a t  c o n t a i n   s i g n s   w it h o u t   c o n s i d e r i n g   t h e   p o s s i b i l it y   o f   d u p l i c a t i o n   a n d   r e d u n d a n c y   i n   t h e   f r a m e s ,   s o   t h e   n u m b e r   o f   f r a m e s   is   s t i ll   q u i t e  l a r g e .   T h e   w a y   f r a m e   r e d u ct i o n   w o r k s   i s   b y   c o m p a r i n g   t h e   s u m m a t i o n   o f   t h e   c o o r d i n a t es   i n   th e   h e a d   f r a m e   w i t h   t h e   s u m   o f   t h e   c o o r d i n a t e s   i n   t h e   f r a m e   a f t e r   t h e   h e a d   f r a m e.   ' He a d   f r a m e'   i s   t h e   t e r m   u s ed   t o   d e n o t e   t h e   l a s t  f r a m e   s e l e ct e d   b y   t h e   s y s t e m .   A t   t h e   s t a r t   o f   t h e   p r o c e s s ,   t h e   f i r s t   f r a m e   o f   t h e   s i g n   w i ll   b e   u s e d   a s   t h e   h e a d   f r a m e .   T h e   s u m m a t i o n   o f   t h e  c o o r d i n a t e s   o f   t h e  h e a d   f r am e   i s   t h e n   c o m p a r e d   w it h   t h e   s u m m a ti o n   o f   t h e  c o o r d i n a t e s   o f   t h e   n e x t   f r a m e   ( i n   t h i s   c a s e ,   t h e   s ec o n d   f r a m e ) ,   a n d   i f   t h e   d i f f e r e n c e   i s   s m a l l e r   t h a n   t h e   t h r e s h o l d ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Temp o r a l c o n vo lu tio n a l n etw o r k  fo r   I n d o n esia n   w o r d   b y  w o r d   s ig n   la n g u a g e  …   ( S a r a h   P u r n a ma w a ti )   4085   t h e   f r a m e   a f t e r   t h e   h e a d   f r a m e   w i l l   b e   r e m o v e d   b e c a u s e   i t   i s   c o n s i d e r e d   s i m i la r .   I f   t h e   d i f f e r e n c e   e x c e e d s   t h e   t h r e s h o l d ,   t h e   n e x t  f r a m e   wi l l  b e   t h e   h e a d   f r a m e   i n   t h e   n e x t   c o m p a r i s o n .   T h e   t h r e s h o l d   v a l u e   o f   a   g r o u p   o f   f r a m e s   is   o b t a i n e d   b y   m u l t i p l y in g   a   p o s i t i v e   c o n s t a n t   b y   t h e   av e r a g e   c h a n g e   i n   t h e   g r o u p ' s   k e y p o i n t   d i s t a n ce .     2 . 3 .     F e a t ure  ex t r a ct io n:  la n dm a rk   c o nfig ura t io n,  k ey po i nt  ex t ra ct io n,  a nd   da t a   a ug m ent a t io n   T h is   p r o ce s s   u s es  Me d ia P ip e  h o lis tic  to   p r ed ict  la n d m ar k s   an d   ex tr ac t   f ea tu r es   o n   t h e     f r am e.   T h e  p r o ce s s es  p er f o r m ed   ar e   lan d m a r k   c o n f ig u r atio n ,   k e y p o in t   ex tr ac tio n ,   d ata  au g m e n tatio n ,   k ey p o i n t  n o r m aliza tio n ,   an d   k ey p o in t   s av in g .   B y   d ef a u lt,  h o lis tic  d r aws  a  to tal  o f   5 4 3   lan d m ar k s ,   c o n s is tin g   o f   3 3   la n d m ar k s   f r o m   p o s e  [ 25 ] ,   2 1   lan d m ar k s   ( p er   h a n d )   f r o m   h an d s   [ 26 ] ,   an d   4 6 8   lan d m ar k s   f r o m     f ac e  m esh   [ 27 ] .   Ho wev e r ,   in   th is   r esear ch ,   n o t  all   lan d m a r k s   ar e  n ee d ed ,   s o   s o m e   lan d m ar k s   will  n o t  b e   d r awn .   T h e r e  wer e  n o   c h an g e s   to   h an d   lan d m a r k s ,   wh ile  f a ce   m esh   lan d m ar k s   wer e  n o t  u s ed   en tire ly   [ 28 ] .  Po s e  o r ig in ally   d r ew  3 3   lan d m ar k s ,   af ter   b ein g   co n f ig u r ed   p o s e  o n ly   d r ew  1 7   lan d m ar k s .   Af ter   b ein g   co n f ig u r ed ,   p o s e  o n ly   d r aws  lan d m ar k s   o n   th e  f ac e   ar ea   as  well  as  lan d m ar k s   o f   b o th   s h o u ld er s ,   elb o ws,  an d   wr is ts .   T h e  lan d m ar k s   o f   p o s e   th at  ar e   n o t   u s ed   a r e  th e   lan d m ar k s   o f   th e  h an d ,   h i p ,   k n ee ,   an d   f o o t  a r ea s .   T h e   to tal  n u m b er   o f   lan d m ar k s   a f ter   co n f ig u r atio n   is   5 9 ,   wh i ch   co n s is ts   o f   1 7   p o s e  lan d m ar k s   an d   2 1   h a n d   lan d m ar k s   o n   ea ch   h an d .   T h e  Me d iaPip e   co o r d in ate  s y s tem   s tar ts   f r o m   th e   to p   lef t  c o r n er   o f   t h e  f r am e  a n d   is   th en   n o r m alize d   in to   a  d is tan ce   o f   0   to   1 ,   r esp ec tiv ely   b y   th e  wid th   an d   h ei g h t  o f   th e  im ag e .   E ac h   lan d m ar k   co n s is ts   o f   th r ee   co o r d in ates,  ,  ,   an d   ,   b u t  in   th is   r esear ch   o n ly     an d     co o r d in ates  ar e  ex tr ac ted   f o r   u s e.   Sin ce   o n ly   two   co o r d in ates  ar e  ex tr ac te d ,   th i s   m ea n s   th at  in   o n e  f r am e  t h er e  ar e  a  to tal  o f   1 1 8   k e y p o in ts   th at  ca n   b e  ex tr ac ted .   T h e  n u m b er   1 1 8   is   d er iv ed   f r o m   th e  1 7   p o s e  lan d m ar k s   an d   th e  2 1   h a n d   lan d m ar k s   f o r   ea ch   h a n d ,   m u ltip lied   b y   2 ,   wh ich   r e p r ese n ts   th e  n u m b er   o f   c o o r d i n ates  ex tr ac ted .   Han d s   th at  d o   n o t  a p p ea r   in   th e  f r am e   will b e  r ep lace d   with   a  v al u e  o f   0 .   T o   m in im ize   th e   p o s s ib ilit y   o f   o v e r f itti n g   an d   im p r o v e   th e  g en er aliza tio n   o f   th e  m o d el,   s p atial  d at a   au g m en tatio n   o f   th e  co o r d i n a tes  wa s   p er f o r m ed .   T h e  au g m en tatio n   p ar am eter s   wer e  ch o s en   r an d o m ly   b u t   r em ain ed   co n s is ten t  f o r   f r a m e s   in   th e  s am e  s ig n   g r o u p .   T h e   au g m en tatio n   tech n iq u es  p er f o r m ed   o n   th e  d ata   ar e  as f o llo ws .     2 . 3 . 1 .   F lip   T h e  f lip   is   p er f o r m e d   to   s im u late  g estu r es  m ad e  with   th e  o p p o s ite  h an d   f r o m   th e  ac tiv e  h an d   in   th e   in itial  d ata.   T h e   r ea s o n   f o r   th e   f lip   is   th at   in   s ig n   lan g u ag e,   g estu r es  ca n   b e  m a d e  with   eit h er   th e   r ig h t   o r   lef t   h an d .   Gestu r es  m ad e  with   eit h er   h an d   h a v e  th e  s am e  m ea n in g .   T h er ef o r e,   a  h o r iz o n tal  f lip   is   p er f o r m ed   s o   th at  v ar iatio n s   in   g estu r es  u s i n g   th e   r ig h t  o r   le f t  h a n d   ca n   b e  r ec o g n ized   b y   th e   s y s tem .   C o o r d in ate   d ata   th at   h as u n d er g o n e  f lip   au g m en tati o n   will a ls o   u n d e r g o   a n o th er   a u g m en tatio n   p r o ce s s .       2 . 3 . 2 .   Ro t a t io n   All  co o r d in ates  a r e  r o tated   w ith   a  r a n d o m l y   s elec ted   an g l e  θ  b etwe en   6   to   1 5   d eg r ee s ,   with   th e   ce n ter   o f   r o tatio n   lo ca ted   at  th e  ce n ter   o f   th e  f r am e ,   wh ich   i s   th e  co o r d in ates  [ 0 . 5 ,   0 . 5 ] .   I n   ( 1 )   is   a  ca lcu latio n   to   o b tain   th e   r ad ian   v alu e  f r o m   a  r an d o m ly   s elec ted   a n g le ,   an d   ( 2 )   d escr ib es  th e   ca lcu l atio n   to   o b tain   th e   co o r d in ate  v alu e  af te r   g o i n g   th r o u g h   th e  r o tatio n   p r o ce s s .     = ∙ 180   ( 1 )       ( , ) =       ( − 0 . 5 ) c os − ( − 0 . 5 ) s in + 0 . 5 ,     ( − 0 . 5 ) c os + ( − 0 . 5 ) s in + 0 . 5     ( 2 )     W h er e  ,   ar e   th e  in p u t  co o r d in a tes,  ,   ar e   th e  co o r d i n ates  o f   th e  ce n ter   o f   r o tatio n ,     is   th e  d eg r ee   o f   an g le,     is   th e  an g le  o f   r ad ian .       2 . 3 . 3 .   Sq ueez e   Sq u ee ze   is   p er f o r m ed   o n   th e    ax is   with   two   r an d o m   r atio s   1   an d   2   b etwe en   8   to   1 5 %  o f   th e   im ag e   wid th   .   T h e  y   c o o r d in ate  v alu e  is   f ix ed   b ec au s e  s q u ee ze   is   o n ly   p e r f o r m ed   o n   th e  h o r izo n tal  ax is .   Sq u ee ze   m ak es  th e  p r o p o r tio n s   o f   th e  ac to r ' s   b o d y   s m aller ,   s o   it  ca n   s im u late  v id eo   r ec o r d i n g   w ith   th e  ac to r   f u r th er   awa y   f r o m   t h e  ca m er a.       2 . 3 . 4 .   Str et ch   Similar   to   s q u ee ze ,   s tr etch   is   also   p er f o r m ed   o n   th e   h o r izo n tal  ax is   with   two   d if f er e n t  r an d o m   r atio s   b etwe en   8   to   1 5 %  o f   th e  im a g e  wid th .   T h e   y   co o r d in ate   v alu e  r em ain s   u n c h an g e d .   Stre tch   s im u lates  v id eo   r ec o r d in g   with   th e  d is tan ce   o f   th e  m o d el  clo s er   t o   th e  ca m e r a   b y   en lar g in g   p r o p o r tio n   o f   th e  m o d el' s   b o d y .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 0 8 1 - 4 0 9 5   4086   2 . 3 . 5 .   P er s pect iv e  t ra ns f o r m   T h e  p o s e  co o r d i n ates   ar e  p r o j ec ted   in to   a  s p atially   n ew  p la n e  with   a  r an d o m ly   d ef i n ed   p r o jectio n   ce n ter   at  an   in ter v al  b etwe en   0   an d   1 .   T h e  n ew  p lan e  is   d r awn   b y   s u b tr ac tin g   t h e  wid th   at  th e  s elec ted   s id e  an d   th e  v er tical  ed g e  o f   ea c h   ad jace n t  co r n e r .   T h is   au g m e n tatio n   s im u lates  a  g estu r e  v id eo   r ec o r d in g   with   a   s lig h t  ca m er a  tilt .   T h e   p o s e  co o r d in ates  ar e  p r o jecte d   o n t o   a  n ew  p lan e  s p atially   with   a  r an d o m ly   d eter m in e d   p r o jectio n   ce n ter   b etwe en   0   a n d   1 .   T h e   n ew   p lan e  is   d r awn   b y   s u b tr ac tin g   th e  wid th   o f   t h e  s elec ted   s id e  an d   th e  v er tical  ed g e   o f   ea c h   ad jac en t c o r n e r .       2 . 3 . 6 .   Arm   j o int  ro t a t io n    T h e  co o r d in ates o f   th e   ar m   jo i n ts ,   wh ich   in cl u d e  t h e  s h o u ld e r ,   elb o w,   an d   wr is t,  ar e   r o tated   b ased   o n   th e  co r r esp o n d i n g   j o in ts .   I t  s h o u ld   b e  n o ted   th at  th is   au g m e n tatio n   is   o n ly   p er f o r m ed   o n   t h e  ar m   co o r d in ates   an d   n o t  o n   th e  p alm   c o o r d in ates,  wh ich   m ea n s   th at  th e  s h ap e  an d   p o s itio n   o f   th e  p al m   ar e  n o t  ch a n g ed .   Au g m en tatio n   is   o n ly   p er f o r m ed   o n   th e  h an d   th at  is   ac tiv e  in   th e  s ig n i n g ,   w h ich   i s   in d icate d   b y   th e     wr is t  b ein g   v is ib le  in   th e  f r a m e  o r   n o t  in   th e  r ea d y   p o s itio n .   T h e  r o tatio n   an g le  r an g es  f r o m   2   to   4   d e g r ee s ,   with   th e  ch an ce   o f   ea ch   jo in t  r o tatin g   b ein g   3 : 1 0 .   T h e  ch a n ce   o f   r o tatin g   will  b e  in cr ea s ed   in   th e  n ex t  tu r n   if   n o   r o tatio n   o cc u r s   in   th e  cu r r e n t  tu r n .   T h e  am o u n t  o f   d ata  af ter   g o in g   th r o u g h   th e  d ata  au g m en tatio n   p r o ce s s   is   3 2 , 4 0 0   v i d eo s ,   o r   1 , 2 0 0   p e r   s ig n .   An   ex am p le  o f   th e   im p lem en tatio n   r esu lts   o f   ea ch   d ata  au g m e n tatio n   p r o ce s s   o n   o n e  f r am e  is   s h o wn   in   Fig u r e  3 .   I n   Fig u r e  3 ,   th er e  ar e  two   lan d m ar k s   f o r   ea s y   o b s er v atio n .     T h e  b lack - c o lo r e d   lan d m ar k   is   th e  lan d m ar k   d etec ted   b y   h o lis tic  o r   th e   in itial  lan d m ar k   b e f o r e  g o in g     th r o u g h   th e   au g m e n tatio n   p r o ce s s ,   wh ile  th e  r ed - co l o r ed   lan d m ar k   is   th e  lan d m ar k   af ter   g o in g   th r o u g h   th e   au g m en tatio n   p r o ce s s .             Fig u r e  3 .   Data   au g m en tatio n   a p p lied   o n   f r am e       2 .4 .     K ey po int  n o rma liza t io n   Key p o in t   co o r d in ates  h av e  v a lu es  r elativ e  to   th e  f r am e,   wh ich   m ak es  p o s itio n al  p r o p e r ties   s u ch   as  th e  p o s itio n   o f   th e  p e r f o r m er ,   d is tan ce   f r o m   th e  ca m er a ,   an d   b o d y   p r o p o r tio n s   o f   th e  s ig n er   af f ec t  th ese   v alu es.  W ith o u t  n o r m aliza tio n ,   th e   m o d el  m ay   lear n   m an y   s p atial  f ea tu r es  th at  ar e   n o t  r elate d   t o   th e   s ig n   its elf .   Key p o in t n o r m aliza tio n   is   p er f o r m ed   b y   r estrictin g   th e  lan d m ar k s   to   th eir   r esp ec tiv e  b o u n d in g   b o x es o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Temp o r a l c o n vo lu tio n a l n etw o r k  fo r   I n d o n esia n   w o r d   b y  w o r d   s ig n   la n g u a g e  …   ( S a r a h   P u r n a ma w a ti )   4087   a  p r ed ete r m in ed   s ize.   T h e   s ize  o f   th e  b o u n d in g   b o x   is   d eter m in ed   b y   a p p ly in g   t h e  "e ig h t - h ea d   th e o r y ",   wh ich   s tates  th at  th e  h eig h t  o f   a  h u m an   is   eig h t  tim es  th e   h ei g h t   o f   h is   h ea d .   T h is   n o r m aliza t io n   m et h o d   ca n   b e   ap p lied   r e g ar d less   o f   th e   b o d y   s tr u ctu r e  o f   th e  p er f o r m er   a n d   th e  d is tan ce   o f   th e   p er f o r m e r   f r o m   th e  ca m e r a.   T h e  h ea d   h eig h t  is   d ef in ed   as  th e  h ea d   u n it ,   an d   its   v alu e  i s   o b tain ed   b y   h alv in g   th e  d is tan ce   b etwe en   th e   s ig n er ’ s   s h o u ld er s .   No r m aliza tio n   o f   th e  p o s e  lan d m ar k   is   d o n e  b y   p r o v id in g   a  b o u n d in g   b o x   with   a  s ize  th at  co v er s   th e  en tire   s ig n in g   s p a ce .   Sig n in g   s p ac e  is   th e  s p ac e  u s ed   b y   t h e  s ig n er   d u r in g   s ig n   lan g u ag e.   Mo s t   liter atu r e   [ 29 ] ,   [ 30 ]   m en tio n s   th at  th e  s ig n in g   s p ac e  v er tical ly   s tar ts   f r o m   th e  waist  ar ea   to   th e  ar ea   s lig h tly   ab o v e  th e  s ig n er ’ s   h ea d   an d   h o r izo n tally   ex te n d s   f r o m   el b o w  to   elb o w  wh en   b o th   ar m s   ar e  b en t.  I n   th is   r esear ch ,   th e   s ig n in g   s p ac e  is   6   h ea d   u n its   wid e   with   th e   n o s e  co o r d in ate  as  its   h o r izo n t al  ce n ter   o r   3   h ea d   u n its   to   eith er   h o r iz o n tal  s id e  o f   th e  n o s e.   T h e  v e r tical  p o s itio n   o f   th e  s p ac e   h as  a  h eig h t o f   4 . 5   h ea d   u n its   an d   u s es th e  n o s e  co o r d in ate  as its   ce n ter   as we ll,  with   th e  to p   ed g e  o f   th e  s p ac e  b ein g   0 . 5   h ea d   u n its   awa y   f r o m   it  an d   th e  b o tto m   ed g e  b ei n g   4   h ea d   u n its   b elo w  it.  T h e  lan d m ar k ' s   co o r d in ates  will  b e  b a s ed   o n   th e  b o u n d i n g   b o x ' s   p o s itio n .   T h e  h an d   lan d m a r k s   ar e  n o r m alize d   to   a  b o u n d in g   b o x   with   th e  wid th   an d   h eig h t  o f   1 . 5   h ea d   u n its ,   with   th e  m id d le  p o s itio n   o f   th e  h an d   as  th e  ce n te r .   T h e   co o r d in ate   v alu e  o f   th e   h an d   ce n ter   p o s itio n   is   o b tain ed   b y   h alv in g   th e   d is tan ce   b etwe en   t h e  m in im u m   an d   m ax im u m   o f   th e     an d     co o r d i n ates.   No r m aliza tio n   allo ws  th e  m o d el  to   ac tu ally   lear n   th e  s h ap e  o f   th e  h an d ,   r ath er   th an   ju s t   lear n in g   th e  s p atial  lo ca tio n   o f   th e  h an d   with in   t h e  en tire   f r am e.   Ho wev er ,   th e  h an d   lo ca tio n   in f o r m atio n   i n   th e  f r am e  is   also   im p o r tan t ,   a n d   th e  m o d el  ca n   s till   lear n   th e  h an d   lo ca tio n   in f o r m atio n   f r o m   t h e  Po s e  lan d m ar k s   th at  h av e  b o th   wr is t  lan d m ar k s .   T h e   lan d m a r k   co o r d in ates   th at  h av e  b ee n   n o r m alize d   in to   th eir   r esp ec ti v e  b o u n d in g   b o x es  ar e  th en   n o r m alize d   a g ain   in to   a  d is tan ce   o f   0   to   1 .   An   ex am p le  o f   ap p l y in g   th e  k e y p o in t  n o r m aliza tio n   b o u n d in g   b o x   t o   o n e   o f   t h e  f r a m es c an   b e  s ee n   in   Fig u r e  4 .             Fig u r e  4 .   Vis u alize d   n o r m aliz atio n   ap p lied   t o   a  f r a m e       2 . 5 .     Da t a   prepro ce s s ing   a nd   ex perim ent a l set up   T h e   k e y p o i n t s   t h at   h a v e   b e e n   ex t r a c t e d   f r o m   e a c h   f r a m e   w il l   g o   t h r o u g h   p r e p r o c e s s i n g   b e f o r e   t h e y   c a n   b e   u s e d   a s   i n p u t   f o r   t h e   m o d e l   t o   b e   t r ai n e d .   Da t a  p r e p r o c e s s i n g   i n c l u d es   d at a   p a d d i n g ,   d a t a   l a b e li n g ,   d a t a  s p l i tt i n g ,   a n d   c r e a ti n g   f e a t u r e   a n d   l a b e l   a r r a y s .   F i r s tl y ,   d a t a   p a d d i n g   i s   a   m u s t ,   b e c a u s e   t h e  d a t a   s e r i e s   u s e d   d o   n o t   h a v e   t h e   s a m e   d a t a   s i z e .   T h i s   i s   d u e   t o   e a c h   s i g n   h a v i n g   a   d i f f e r e n t   n u m b e r   o f   f r a m e s .   W it h   d a t a   p a d d i n g ,   a l l   d a t a   wi l l  h a v e   t h e  s a m e   d at a   s i z e .   D at a   p a d d i n g   i s   d o n e   b y   a d d i n g   a   N u m P y   f i l e  c o n t a i n i n g   a n   a r r a y   o f   s iz e  ( 1 1 8 )   w i t h   a   s p e c i a l  s y m b o l   0 . 1   i n t o   e a c h   s i g n   d i r e ct o r y   u n t i l   i t  r e a c h es   t h e   m a x i m u m   s i ze ,   w h i c h   is   4 4 .   T h e  a r r a y   s i z e   o f   1 1 8   i s   b e c a u s e   i t   i s   t h e   n u m b e r   o f   k e y p o i n t s   e x t r a c t e d   i n   o n e   f r a m e   ( i n   o n e   s e q u e n c e ) .   D a t a  p a d d i n g   w i l l   b e   d o n e   p o s t - p a d d i n g ,   w h i c h   is   t h e   a d d it i o n   o f   p a d d i n g   a t   t h e   e n d   o f   t h e   d a ta  a n d   t h e   m a x i m u m   s i z e   v al u e   is   t h e   s iz e   o f   t h e   s i g n   d a t a   t h a t  h a s   t h e   l o n g e s t   d a t a   s e q u e n c e .   S e c o n d   s t e p   is   d a t a   l a b el i n g ;   d a ta   l a b e l i n g   is   t h e  p r o c e s s   o f   l a b el in g   d a t a   s o   t h at   it   c a n   b e   u s e d   as   a   s i g n   f o r   e a c h   t y p e   o f   d a t a .   D a t a   l a b e l i n g   is   d o n e  b y   g i v i n g   a n   i d e n t i t y   i n   t h e   f o r m   o f   a   n u m b e r   t o   e a c h   s i g n   d i r e c t o r y   a n d   s t o r i n g   it   i n   a   d ic t i o n a r y .   T h e   l a b e l  n u m b e r   s t a r t s   f r o m   0   a n d   is   a s s i g n e d   t o   e a c h   d i r e c t o r y   t h a t   h as  b e e n   s o r t e d   a l p h a b e ti c a ll y   f r o m   s m a l l   t o   l a r g e .   T h en   we  g o   th r o u g h   d ata   s p litt in g ,   d ata  s p litt in g   was  d o n e  with   a  s p lit   r atio   o f   7 0 :3 0     ( tr ain in g   d ata   :  v alid atio n   d ata ) .   Data   s elec tio n   d u r in g   s p lit  d ata  is   n o t  co m p letely   r an d o m ,   b u t  h as  b ee n   s et  s o   th at  ea ch   p ar t  o f   th e  d ata  h as  th e  s am e  n u m b er   o f   h an d   v ar i atio n s .   T h is   is   d o n e  s o   th at  b o th   h an d   v ar iatio n s   ca n   b e  r ec o g n ized   b y   t h e  s y s tem   p r o p er ly .   T h e  f r a m es  th at  h av e  b ee n   r an d o m ly   s elec ted   ar e  p u t  in to   an   ar r a y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 0 8 1 - 4 0 9 5   4088   th at  h o ld s   ea ch   d ata  s p lit.  T h e   ar r ay   is   th en   r an d o m ized   in   o r d er ,   b e f o r e  b ei n g   wr itten   in to   a  . tx t  f ile.   L astl y ,   th e  s p lit  d ata  wi ll  b e  p u t  to g eth er   in to   two   p air s   o f   ar r ay s   th at  h o ld   th e  f ea tu r es  an d   l ab els  o f   ea ch   d ata  p ar titi o n .   T h is   m ea n s   th at  ea c h   d ata  p a r titi o n   h as  two   ar r ay s ,   o n e  ar r a y   co n tain s   d ata  f ea t u r es  an d   o n e  ar r ay   co n tain s   d ata  lab els.  T h ese  ar r ay s   will  b e  u s ed   as  in p u t   wh en   tr ain in g   th e  m o d el.   B ef o r e  c o n tin u in g   to   p r esen t   th e  m o d el  tr ain i n g   an d   test in g   r esu lts ,   th e  s p ec if icatio n   o f   s o f twar e  an d   h a r d war e  u s ed   in   th is   s tu d y   ar e  as   f o llo ws :   Py th o n   3 . 9 . 1 0 ,   Vis u a l  Stu d io   C o d e   v 1 . 7 2 . 0 ,   J u p y te r   No teb o o k   Vis u al  Stu d io   C o d e,   Go o g le  C o lab ,   Dr o id C am   v 6 . 5 . 2 ,   M ed ia P ip e   v 0 . 8 . 1 1 ,   T e n s o r f lo w - GPU  v 2 . 1 0 . 0 ,   O p en C V - p y th o n   v 4 . 5 . 3 . 5 6 ,   g T T S   v 2 . 2 . 4 ,   Nu m Py   1 . 2 0 . 3 ,   an d   P lay s o u n d   v 1 . 2 . 2 .   W h ile  f o r   h ar d wa r e  we  wer e  u s in g   s ev er al  lap to p   an d   PC   with   NVI DI A  GeFo r ce   GT X  1 0 5 0 ,   AM D  R ad eo n   Ve g a  8   Gr ap h ics,  an d   also   an   A n d r o i d   c am e r a  f r o m   h a n d p h o n e   with   Dr o id C am   v 6 . 1 9   in s id e.       3.   RE SU L T S AN D  D I SCU SS I O N   3 . 1 .     T ra ini ng   re s ult   B iLST M  h y p er p ar am eter   tu n in g   is   p er f o r m e d   with   th e  ai m   o f   k n o win g   th e  b est  h y p e r p ar am eter   co m b in atio n   s o   th at  th e  p e r f o r m an ce   o f   th e  m o d el  ca n   b e  o p tim ized .   Hy p er p ar am eter   tu n in g   f o cu s es  o n   th e   h y p er p ar am eter s   o f   th e  n u m b er   o f   n eu r o n   u n its   o f   th e  B iLST M   lay er ,   th e  b atch   s ize  v al u e,   an d   th e  v alu e  o f   th e  d r o p o u t   lay er .   T h e  d ata  u s ed   as  in p u t   f o r   th e  tr ai n in g   p r o ce s s   is   f o u r   d ata   ar r ay s ,   two   as  tr ain in g   d ata   an d   two   as  v alid atio n   d ata.   E ac h   d ata  p o in t  h as  o n e  ar r ay   h o ld i n g   th e  f ea tu r es  o f   th e  d ata  an d   o n e  ar r ay   h o ld in g   th e  lab el  o f   th e   d ata.   I n   th e  t r ain in g   p r o ce s s ,   we  u tili ze   th e  Go o g le  C o lab   p latf o r m   with   a  GPU  b ec au s e  it  is   co n s id er ed   to   h av e   f aster   c o m p u tatio n   co m p ar ed   to   o u r   d ev ice.   T h e  tr ain in g   p r o ce s s   is   ca r r ied   o u t  f o r     5   ep o c h s ,   an d   th e   ch ec k p o in t  with   th e  h ig h est ac cu r ac y   is   tak en .   T h er e  ar e  th r ee   c o m b in atio n s   o f   th e  n u m b e r   o f   n e u r o n   u n its   test ed ,   th o s e  co m b in atio n s   ar e     6 4 ,   1 2 8 ,   6 4 ;   1 2 8 ,   2 5 6 ,   1 2 8 ;   a n d   2 5 6 ,   5 1 2 ,   2 5 6 .   T h e  f ir s t  n u m b er   r ep r esen ts   th e  n u m b er   o f   n eu r o n s   in   th e  f ir s t  B iLST M   lay er ,   th e  s ec o n d   n u m b er   r e p r esen ts   th e  n u m b e r   o f   n eu r o n s   in   th e  s ec o n d   la y er ,   an d   th e  th i r d   n u m b er   r e p r esen ts   th e  n u m b e r   o f   n eu r o n s   in   th e  last   lay er .   Fo r   b atch   s ize,   test ed   v alu es  a r e  3 2 ,   6 4 ,   an d   1 2 8 .   Fo r   th e   d r o p o u t  v al u e,   t h e  v al u es  to   b e  test ed   ar e  0 . 2   an d   0 . 5 .   T h e  m o d el  is   tr ain ed   with   all  h y p e r p ar am eter   co m b in atio n s ,   wh ic h   m ea n s   ei g h teen   tr ain in g   tr ials   will  b e  co n d u cte d .   T h e  v alid atio n   ac cu r ac y   v alu e  a n d   th e   n u m b er   o f   ep o ch s   is   u s ed   as  a   r ef er en ce   in   d eter m in in g   th e  b est  h y p er p ar a m eter   co m b in at io n .   T ab le  1   is   th e   r esu lt  o f   h y p er p ar a m eter   tu n in g ;  th e  ep o ch   co lu m n   d is p lay s   th e  ep o ch   v alu e  wh en   t h e  m o d el  r ea ch es  th e  b est   v alid atio n   ac cu r ac y .       T ab le  1 .   B iLST M  h y p e r p ar am eter   tu n in g   r esu lts   N u mb e r   o f   n e u r o n   u n i t s   B a t c h   si z e   D r o p o u t   A c c u r a c y   ( %)   Ep o c h   ( 6 4 ,   1 2 8 ,   6 4 )   32   0 . 2   9 5 . 0 7   5   ( 6 4 ,   1 2 8 ,   6 4 )   32   0 . 5   7 7 . 0 5   5   ( 6 4 ,   1 2 8 ,   6 4 )   64   0 . 2   9 3 . 0 3   5   ( 6 4 ,   1 2 8 ,   6 4 )   64   0 . 5   7 3 . 0 1   2   ( 6 4 ,   1 2 8 ,   6 4 )   1 2 8   0 . 2   9 2 . 0 9   4   ( 6 4 ,   1 2 8 ,   6 4 )   1 2 8   0 . 5   7 7 . 4 7   5   ( 1 2 8 ,   2 5 6 ,   1 2 8 )   32   0 . 2   9 4 . 8   4   ( 1 2 8 ,   2 5 6 ,   1 2 8 )   32   0 . 5   9 0 . 3 1   4   ( 1 2 8 ,   2 5 6 ,   1 2 8 )   64   0 . 2   9 2 . 6 3   4   ( 1 2 8 ,   2 5 6 ,   1 2 8 )   64   0 . 5   8 6 . 5 2   5   ( 1 2 8 ,   2 5 6 ,   1 2 8 )   1 2 8   0 . 2   8 5 . 7 7   5   ( 1 2 8 ,   2 5 6 ,   1 2 8 )   1 2 8   0 . 5   8 4 . 7 7   5   ( 2 5 6 ,   5 1 2 ,   2 5 6 )   32   0 . 2   9 7 . 4 8   5   ( 2 5 6 ,   5 1 2 ,   2 5 6 )   32   0 . 5   8 8 . 2 5   5   ( 2 5 6 ,   5 1 2 ,   2 5 6 )   64   0 . 2   9 3 . 2 3   5   ( 2 5 6 ,   5 1 2 ,   2 5 6 )   64   0 . 5   9 3 . 1 2   4   ( 2 5 6 ,   5 1 2 ,   2 5 6 )   1 2 8   0 . 2   9 5 . 9 9   5   ( 2 5 6 ,   5 1 2 ,   2 5 6 )   1 2 8   0 . 5   9 1 . 8 9   5       B ased   o n   T a b le  1 ,   it   is   k n o wn   th at  t h e  m o d el   with   a   c o m b in atio n   o f   th e   n u m b e r   o f   n e u r o n s     ( 2 5 6 ,   5 1 2 ,   2 5 6 )   with   a  b atc h   s ize  o f   3 2   an d   a  d r o p o u t  v alu e  o f   0 . 2   h as  th e  h ig h est  ac cu r ac y   v alu e   o f   9 7 . 4 8 %   in   5   ep o c h s .   T h u s ,   th is   h y p er p ar am eter   co n f ig u r atio n   will  b e  u s ed .   Fig u r e  5   s h o ws  th e  ac cu r ac y   an d   lo s s   g r ap h   o f   th e  B i L STM   m o d el,   wh ile  Fig u r e  6   s h o ws  th e  ac cu r ac y   an d   l o s s   g r ap h   f o r   th e  b e s t  T C N  m o d el.   Fo r   th e  T C N ,  s ep ar ate  tr ain in g   was  co n d u cted   f r o m   th e  B iLST M   m o d el.   At  th is   s tag e,   T C N  h y p er p ar am ete r   tu n in g   was  p er f o r m ed   u s in g   Ker as  t u n e r   to   f in d   th e   b es t  h y p e r p ar am ete r s   f o r   b u ild i n g ,   o p tim izin g ,   an d   tr ain in g   th e   T C N  m o d el.   T h e   p ar am eter s   test ed   wer e   th e  n u m b er   o f   la y er s ,   f ilter   u n its ,   ac tiv atio n ,   d ilatio n   r ate,   d r o p o u t r ate,   d en s e  u n it,  an d   b atch   s ize.   T esti n g   was c ar r ied   o u t 3 0   tim es,  with   ea ch   ex p er im en t h a v in g   a   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Temp o r a l c o n vo lu tio n a l n etw o r k  fo r   I n d o n esia n   w o r d   b y  w o r d   s ig n   la n g u a g e  …   ( S a r a h   P u r n a ma w a ti )   4089   m ax im u m   o f   1 0   e p o ch s .   T h e   b est  p ar am eter   r esu lts   an d   d etails  o f   ea ch   ex p er im en t   ca n   b e  s ee n   in   T ab le   2 .   Af ter   h y p er p a r am eter   t u n in g ,   th e  h ig h est  ac c u r ac y   was  ac h iev ed   with   th e   co m b in atio n   o f   n e u r o n s     ( 6 4 ,   6 4 ,   1 2 8 ) ,   a  d ilatio n   o f   1 ,   4 ,   an d   8 ,   an d   a  d r o p o u t r ate  o f   0 . 4 ; th er ef o r e,   th is   co m b in atio n   was im p lem en ted   in   th e  m o d el.           Fig u r e  5 .   B iLST M  m o d el’ s   ac cu r ac y   an d   lo s s           Fig u r e  6 .   T C N  m o d el’ s   a cc u r a cy   an d   l o s s       3 . 2 .     T esting   re s ult   Mo d el  test in g   is   d o n e  in   r ea l  t im e  an d   ea ch   wo r d   will  b e  test ed   3 0   tim es  with   b o th   h an d   v ar iatio n s ,   1 5   tim es  f o r   r ig h t - h an d   v ar iati o n s   an d   1 5   tim es  f o r   lef t - h an d   v ar iatio n s .   T h is   m ea n s   th e   s y s tem   will  b e  test ed   8 1 0   tim es.  T h e  in co m in g   f r a m es  will  g o   th r o u g h   a  s er ies  o f   p r ep r o ce s s in g   s tep s ,   s u ch   as  f r am e  r esizin g ,   f r am e  s elec tio n ,   k ey p o in t  ex t r ac tio n ,   an d   k ey p o in t  n o r m aliza tio n .   T ab le  3   s h o ws  all  ev alu atio n   m etr ic  f o r   ea ch   m o d el,   wh ile  Fig u r e  7   s h o ws  th e  co n f u s io n   m atr ix   co m p ar is o n   b etwe en   B iLST M   an d   T C N,   all  in   Me d iaPip e  p latf o r m .   W h er e  Fig u r e  7 ( a)   s h o ws  th e  co n f u s io n   m atr ix   f o r   B iLST M   an d   Fig u r e  7 ( b )   s h o ws  th e  co n f u s io n   m atr ix   f o r   T C N.   B ased   o n   T ab le  3 ,   it  ca n   b e  s ee n   th at  o u t  o f   th e  8 1 0   d ata  s ets  u s ed   f o r   test in g ,   6 9 8   co r r e ct  d ata  s ets   wer e  g en er ated   f o r   th e  B iLST M  m o d el  an d   7 1 8   co r r ec t  d ata  s ets  f o r   th e  T C N.   I n   o th er   wo r d s ,   B iLST M   p r o d u ce d   an   ac cu r ac y   o f   8 6 . 1 7 %,  wh ile  T C N  o u tp er f o r m ed   B iLST M  with   an   ac cu r ac y   o f   8 8 . 6 4 %.  I t  is   also   p o s s ib le  to   o b s er v e  th at   T C N  h as  9 2   d ata  p o in ts ,   wh e r ea s   B iLST M   h as  1 1 2   d ata   p o i n ts ,   with   r eg a r d   to   th e   d ata  th at  f alls   in to   t h e  f alse   n eg ativ e  g r o u p .   T h is   s u g g ests   th at  th e   u s e  o f   B iLST M  as  a  m o d el   r esu lt  i n   a   g r ea ter   n u m b er   o f   m is tak es  wh en   co m p ar ed   to   t h e  u s e  o f   T C N.   I n   ad d itio n ,   wh e n   we  ex a m in e  th e  p r ec is io n   v alu es  f o r   ea ch   lab el  th at   was  ap p lied ,   we   n o tice  t h at  T C N  is   m o r e  d o m in a n t  th an   B iLST M  in   alm o s t  al l   lab els.  R ec all  an d   F1 - s co r e  ar e  also   m o r e  d o m in an t t h an   B iLST M.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 0 8 1 - 4 0 9 5   4090   T ab le  2 .   T C N  h y p er p ar a m eter   tu n in g   r esu lts   La y e r   c o u n t   F i l t e r   1   A c t   1   D i l   1   F i l t e r   2   A c t   2   D i l   2   F i l t e r   2   A c t   3   D i l   3   D e n se   D r o p o u t   A c c u r a c y   ( %)   3   64   t a n h   1   64   r e l u   4   1 2 8   t a n h   8   2 5 6   0 . 4   9 7 . 8 9   3   32   t a n h   4   5 1 2   r e l u   1   2 5 6   t a n h   2   2 5 6   0 . 4   9 7 . 8 7   3   1 2 8   t a n h   1   64   r e l u   2   64   t a n h   8   2 5 6   0 . 2   9 7 . 7 8   3   32   t a n h   2   64   t a n h   1   5 1 2   t a n h   8   2 5 6   0 . 2   9 7 . 5 3   2   1 2 8   r e l u   8   2 5 6   t a n h   4   -   -   -   5 1 2   0 . 2   9 7 . 4 4   3   64   t a n h   4   1 2 8   t a n h   1   1 2 8   r e l u   4   1 2 8   0 . 3   9 7 . 3 9   3   64   r e l u   8   2 5 6   t a n h   1   64   r e l u   4   2 5 6   0 . 2   9 6 . 7 6   2   1 2 8   r e l u   1   32   r e l u   4   -   -   -   5 1 2   0 . 2   9 6 . 7 5   2   5 1 2   t a n h   1   32   t a n h   4   -   -   8   5 1 2   0 . 3   9 6 . 1 0   2   1 2 8   t a n h   8   32   r e l u   1   -   -   -   2 5 6   0 . 3   9 6 . 0 1   2   64   r e l u   8   64   t a n h   8   -   -   -   1 2 8   0 . 2   9 5 . 4 7   1   5 1 2   r e l u   8   -   -   -   -   -   -   2 5 6   0 . 2   9 5 . 4 4   3   64   t a n h   1   32   r e l u   8   64   t a n h   1   1 2 8   0 . 3   9 5 . 2 5   1   2 5 6   t a n h   8   -   -   -   -   -   -   5 1 2   0 . 2   9 5 . 0 3   1   2 5 6   t a n h   1   -   -   -   -   -   -   1 2 8   0 . 2   9 4 . 9 7   1   1 2 8   r e l u   2   -   -   -   -   -   -   5 1 2   0 . 4   9 4 . 7 6   1   5 1 2   r e l u   2   -   -   -   -   -   -   2 5 6   0 . 3   9 4 . 6 9   1   64   t a n h   8   -   -   -   -   -   -   5 1 2   0 . 4   9 4 . 4 9   3   2 5 6   r e l u   2   32   r e l u   1   32   r e l u   1   1 2 8   0 . 3   9 4 . 2 2   1   5 1 2   r e l u   4   -   -   -   -   -   -   1 2 8   0 . 2   9 4 . 1 4   1   64   t a n h   8   -   -   -   -   -   -   2 5 6   0 . 3   9 4 . 0 6   1   64   t a n h   4   -   -   -   -   -   -   1 2 8   0 . 3   9 3 . 9 3   2   32   t a n h   2   32   t a n h   8   -   -   -   2 5 6   0 . 4   9 3 . 7 6   2   5 1 2   r e l u   1   32   r e l u   4   -   -   -   1 2 8   0 . 4   9 3 . 6 9   1   1 2 8   t a n h   8   -   -   -   -   -   -   1 2 8   0 . 3   9 3 . 6 2   3   1 2 8   r e l u   4   1 2 8   t a n h   1   32   t a n h   2   5 1 2   0 . 3   9 3 . 5 4   1   64   r e l u   4   -   -   -   -   -   -   5 1 2   0 . 4   9 3 . 4 3   1   32   r e l u   8   -   -   -   -   -   -   5 1 2   0 . 2   9 2 . 5 1   1   64   r e l u   2   -   -   -   -   -   -   1 2 8   0 . 2   9 2 . 1 4   1   32   t a n h   8   -   -   -   -   -   -   1 2 8   0 . 4   9 1 . 6 7       T ab le  3 .   B iLST M  an d   T C N  co m p ar is o n   r esu lts   Lab e l   BiL S TM   TCN   TP   FN   FP   P r e c i s i o n   R e c a l l   F1 - s c o r e   TP   FN   FP   P r e c i s i o n   R e c a l l   F1 - s c o r e   W h a t   26   4   11   0 . 7 0   0 . 8 7   0 . 7 8   26   4   3   0 . 9 0   0 . 8 7   0 . 8 8   H o w   19   11   4   0 . 8 3   0 . 6 3   0 . 7 2   27   3   4   0 . 8 7   0 . 9 0   0 . 8 8   S i r   29   1   9   0 . 7 6   0 . 9 7   0 . 8 5   30   0   6   0 . 8 3   1 . 0 0   0 . 9 1   H o w   ma n y   23   7   5   0 . 8 2   0 . 7 7   0 . 7 9   25   5   9   0 . 7 3   0 . 8 3   0 . 7 8   To m o r r o w   27   3   0   1 . 0 0   0 . 9 0   0 . 9 5   27   3   0   1 . 0 0   0 . 9 0   0 . 9 5   H e / S h e   30   0   3   0 . 9 1   1 . 0 0   0 . 9 5   30   0   5   0 . 8 6   1 . 0 0   0 . 9 2   D a y   28   2   14   0 . 6 7   0 . 9 3   0 . 7 8   28   2   9   0 . 7 6   0 . 9 3   0 . 8 4   To d a y   30   0   3   0 . 9 1   1 . 0 0   0 . 9 5   30   0   3   0 . 9 1   1 . 0 0   0 . 9 5   Y o u   25   5   15   0 . 6 2   0 . 8 3   0 . 7 1   27   3   10   0 . 7 3   0 . 9 0   0 . 8 1   W h e n   23   7   2   0 . 9 2   0 . 7 7   0 . 8 4   21   9   0   1 . 0 0   0 . 7 0   0 . 8 2   W h e r e   21   9   2   0 . 9 1   0 . 7 0   0 . 7 9   22   8   1   0 . 9 6   0 . 7 3   0 . 8 3   Y e st e r d a y   28   2   5   0 . 8 5   0 . 9 3   0 . 8 9   27   3   5   0 . 8 4   0 . 9 0   0 . 8 7   W h y   24   6   1   0 . 9 6   0 . 8 0   0 . 8 7   24   6   0   1 . 0 0   0 . 8 0   0 . 8 9   We   21   9   0   1 . 0 0   0 . 7 0   0 . 8 2   21   9   0   1 . 0 0   0 . 7 0   0 . 8 2   S o r r y   24   6   1   0 . 9 6   0 . 8 0   0 . 8 7   25   5   1   0 . 9 6   0 . 8 3   0 . 8 9   Ea t   28   2   5   0 . 8 5   0 . 9 3   0 . 8 9   28   2   6   0 . 8 2   0 . 9 3   0 . 8 8   N a me   30   0   0   1 . 0 0   1 . 0 0   1 . 0 0   30   0   0   1 . 0 0   1 . 0 0   1 . 0 0   N u mb e r   30   0   0   1 . 0 0   1 . 0 0   1 . 0 0   30   0   0   1 . 0 0   1 . 0 0   1 . 0 0   I   30   0   0   1 . 0 0   1 . 0 0   1 . 0 0   30   0   0   1 . 0 0   1 . 0 0   1 . 0 0   N o w   27   3   0   1 . 0 0   0 . 9 0   0 . 9 5   27   3   0   1 . 0 0   0 . 9 0   0 . 9 5   G o o d   n i g h t   21   9   0   1 . 0 0   0 . 7 0   0 . 8 2   21   9   2   0 . 9 1   0 . 7 0   0 . 8 0   G o o d   m o r n i n g   27   3   19   0 . 5 9   0 . 9 0   0 . 7 1   27   3   13   0 . 6 8   0 . 9 0   0 . 7 7   G o o d   a f t e r n o o n   25   5   4   0 . 8 6   0 . 8 3   0 . 8 5   25   5   4   0 . 8 6   0 . 8 3   0 . 8 5   W h o   22   8   0   1 . 0 0   0 . 7 3   0 . 8 5   26   4   0   1 . 0 0   0 . 8 7   0 . 9 3   P h o n e   30   0   3   0 . 9 1   1 . 0 0   0 . 9 5   30   0   3   0 . 9 1   1 . 0 0   0 . 9 5   Th a n k   y o u   21   9   6   0 . 7 8   0 . 7 0   0 . 7 4   25   5   8   0 . 7 6   0 . 8 3   0 . 8 0   D e a f   29   1   0   1 . 0 0   0 . 9 7   0 . 9 8   29   1   0   1 . 0 0   0 . 9 7   0 . 9 8   T o t a l   6 9 8   1 1 2   1 1 2   -   -   -   7 1 8   92   92             Me d iaPip e  was  also   test ed   a t  v ar io u s   ca m er a  d is tan ce s ,   with   th e  test ed   d is tan ce s   b ein g   5 0   cm ,     1 0 0   c m ,   a n d   1 5 0   cm .   Me d i aPip e's  ca p ab ilit y   f o r   in itial  d etec tio n   o f f er s   a   f u n d am en t al  d if f er e n ce   [ 1 7 ] ,   p ar ticu lar ly   co m p a r ed   to   f r am ewo r k s   th at   p er f o r m   in itial  an n o tatio n ,   s u ch   as  y o u   o n ly   lo o k   o n ce   ( YOL O )   [ 1 ] .   T h e  s y s tem ' s   te s t  r esu lts   f o r   th ese  v ar io u s   d is tan ce s   ca n   b e  s ee n   in   T ab le  4 .   Me d iaPip e  w as  ab le  to   d etec t  a t   all  test ed   d is tan ce s ,   b u t  it s   p er f o r m a n ce   b eg a n   to   d ec lin e  at  1 5 0   cm .   At  th is   d is tan ce ,   d etec tio n   b ec o m es   Evaluation Warning : The document was created with Spire.PDF for Python.