Indonesi an  Journa l  of  El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   23 ,  No.   1 ,   Ju ly   20 21 ,  pp.   405 ~ 413   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v 23 .i 1 . pp 405 - 413          405       Journ al h om e page :  http: // ij eecs.i aesc or e.c om   Bangla n um er ical  sign langua ge re cognitio n usin g con voluti o nal  neural n etworks       F.  M.   Jave d  Mehedi  Sh am rat 1 ,  S ovon C ha kr abor ty 2 ,  Md. M asum B il lah 3 , Moumi ta K ab ir 4 , Naz mus  Shakib   S hadi n 5 , S il vi a  S anj ana 6   1,3 Depa rtment   of   Software   Engi n ee ring ,   Daffod il  Inte rna ti ona l  Un ive rsit y ,   Dhak a,  Bangl ad esh   2,4 Depa rtment   of   Com pute r  Sci en ce   and Engi ne ering,  Europ ea n   Univer sit y   of  B anglade sh,  Dh aka,  B angl ad esh   5,6 Depa rtment   of   Com pute r  Sci en ce   and Engi ne ering,  Ahs anul l ah University   of   Sc ie nc e and  T ec hn olog y ,   Dhak a,  Bangl ad esh       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved  Ma r 31,  2021   Re vised  Ma y   1 , 2021   Accepte d  J un  17, 202 1       The   amount  of   d ea f  and  m ute   ind ivi dual s  on   the  e art h  is  r ising   a t  a n  al arming   rat e .   Bangl ad esh   has  about   2. 6  mi ll ion  peop le   who  are   unabl e  to  i nte ra ct   with   the   comm unity   using  la nguag e.   Hea ring - impair e d  ci tizens  in  B an gla desh  use   Bangl ad eshi  sign  la nguage   (BS L)  as  a  m ea ns  of  comm unic at i on.   In  thi s  art i cl e ,   we  prop ose   a  new  m ethod  for  Benga l i   sign  la nguag e  rec ogni ti on   base d  on  de ep   convol ut iona l   neur al   n et works .   Our  fra m ewo rk  emplo y s  convol uti on al   n e ura l  n et works   (CNN )  to  le a rn  fro m   the   images  in   our  dataset   and  interpre t  h a nd  signs  from   in put  images.  Che cki ng  th ei r   co l lecti ons  of   te n   indi c at ions  (we  used  te n  se ts  of  images  with  31  disti nct  signs)  for  a  total  o f   310  images.   The   proposed  s y st em  ta kes  snapshots  from   a  vide o  b y   using  a  webc am  with  a ppl y ing  a  computer   vision - base d  appr oac h .   After   that,   i t   compare s  those  pho tos  to  a   pre v iousl y   traine d   d at ase t  gen erate d   with  CNN   and  display s  the  Benga li   num be rs  ( ০ - ৯ ).   After   esti m at ing  th e  m odel   on  our  dat ase t,   we   obtained  an   over a ll   ac cur acy   of   99. 8%.   W e  want  t o  strengt he n   thi ngs  as  far   as  we  ca n  to  m ake   sile nt  contac t  with  th e  m aj ority   o f  socie t y   as   sim ple   as  prob ab le .   Ke yw or d s :   Ba nd le t t ra ns m issi on   Be ng al i si gn la ngua ge   Deep C N N   Digit rec ogniti on   Im age p r ocessi ng   This   is an  open   acc ess arti cl e   un der  the  CC  BY - SA   l ic ense .     Corres pond in g  Aut h or :   F.  M.  Jave d  M ehed i  Sh am rat   Dep a rtm ent o f Sof t war e  E ng i neer i ng   Daffodil  Inter na ti on al  Uni ver s it y   102/1, S ukra ba d,  Mi r pur  Roa d,   D hak a  12 07,  Ban glades h   Em a il : jav edm ehed ic om @g m ai l.com       1.   INTROD U CTION     Sign   la ngua ge   recog niti on   t echnolo gies  a r e  us e d  to  i de ntify  ind ic at io ns   of   num ber s,  al phabets ,  phrases ,  or  s om e  oth er  sig ns ,   su c h  as  t raffic   sign al   ha nd  m ov em ents.  S om e  sci entist s  are  f oc us ed   on  r eal - tim e   sy m bo l  rec ogni ti on ,  wh il e  ot her s   are   f oc us ing  on  sta ti c  pi ct ur es.   A rtific ia l  neural  netw ork - base d  a ppr oach e s   for  real - tim e  Ame rican  sig n  la ngua ge  ( AS L )  te rm   [1 ]   and   al ph a bet  [ 2]  re cogniti on  ha ve   recently   bee n  us e d.   Hand  si gn   rec ogniti on w it h  th e Mi cro s of t se ns or syst em  [ 3] is us ed  in t he rep or t t o detec t  sign al s  for  tw o   real - world   ap plica ti on s:   arit hm et ic  cal culat ion  an d  the   r oc k - pa pe r - sci ss or s   ga m e,  with  a   m e an  acc ur acy   of   over  90%  for  ASL.   Deep   le arn i ng   has  been   us e d  to  identify   sign s  in  I nd ia n  sign   la ng uag e s  [ 4],  [5 ] ,  A ra bic  sign   la nguag e  [6], a nd o t her la ngua ges.   In  t he  m od er n  era,  dee p  le a rn i ng   a nd  m a chine  le a rn i ng  [7 ] - [ 11 ]   besides  Be ng al i  si gn  la ngua ge   (BSL)  rec ognit ion   st ud ie s   ha ve   gott en  a  l ot  of  at te ntio n,   a nd   var i ous  a pproaches  for  im pl e m enting  a  Be ng al i   sign   la ng uag e  recog niti on   sc hem e  hav e  be en  sug gested .  Kar m ok ar  et   al .  [12]  introd uc ed  a  syst e m   of   BS L   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   23 , N o.   1 ,  Ju ly   20 21 :  405   -   41 3   406   recog niti on   us i ng   a  ne ur al   net work   in  2012,  with  a  93   pe rc ent  accuracy.  They  us e d  a  dataset   of   disti nct  sk in   ton es   but  t he  sam e  con te xt,  al lowing  for  f ast   identific at ion.  Ra ham an  et   al.   sug gested  a   com pu te r - bas e d   Be ng al i  sig n  l angua ge  recog niti on   syst em   in  20 14  [ 13 ] .  Ra him   et   al .  [14]  ap plied  t he  backp ropa ga ti on   appr oach   of   ANN  to  i den t ify   ind ic at ions   of   ce rtai n  popula r  Be ngal i  te r m s  in  2015.  Fin ge rtip  fin der  al gorithm s  wer e  us ed  for  BSL   by  nu m ero us  r esearche rs  in   2015  an d  2016  [ 15 ] - [ 17 ] .  F or   t he  ide ntific at ion   of  Be ng al i  Sig n  Lan gu a ge,   m any  m e tho ds  ba sed  on   A NN  [18]  ha ve  be en  s uggested .  The  pr eci sio n  of   t he   m ajo rity   of   t he   te chn iq ues  s ee m s  to  be  prom isi ng .  They   do,  howe ve r,   hav e  dr a w backs  du e  t o  the  usa ge  of   lim it ed  dataset s,  a  co ntro ll e d  backdro p  or  scenari o,   a nd   in  certai n  sit ua ti on s,  m ajo r  m ist akes  in  lig htin g  eff ect s  or   s kin   ton e,  w hich  th ey   m on it or   to  pr e ve nt  m or e  com plica ti on s.  The  a ppro ac he s  that  do   util iz e  neural   netw orks  [ 12 ]   us e  a   lot  of  pr eprocessi ng,  w h ic h  is n' t  nece ssaril y  su it able   f or   real - ti m e  app li cat io ns .  U sing  a  CNN,  the   pr opos e d  syst em   reco gniz es  only   the  Ba ng la   num eric  di gits  (C N N) .   It   sens ed   the  sym bo l  wit h  on ly   on e  h a nd. It  is  sp li t i nto  t wo part s: t he  trai ne d  a nd the  sig ns detec ti on  par t.   The  f ollo wing  sect io n  f ollow s  t he  sam e  structu re.  This  porti on   include s  the  m os t  recent  dev el op m ents  in  Be ng al i  Sig ns   I den ti ficat ion.  Sect ion   ii   descr i bes  the  researc h  m et h od   f or  m od el i ng   th e   whole  syst em .  The  ii i  sect ion  looks  at   the r es ults  of  the  syst e m   tha t  has  be en  est ablis hed.   Sect ion   i v  en ds  with   a theory , fl aws , and p rop os al s  for   pote ntial  stud y.       2.   METHO DOL OGY   This  pro pose d  syst e m   ta kes  t he  im age  fr om  a  ca m era  and   then  pr e proces ses  the  im ages.  To  ide ntify   the  i m age  struc ture  fir stl y  the  syst e m   app li es  b an dlet  tran sform at ion   on   i m ages,  then  it   app li es  the  lo gar it hm   rep la ce  te ch ni qu e  t o  c on tr ol   the  extra  li gh t  eff ect s  on  i m ages.  To   fix ed  up  th e  lo w - res olu ti on  im age,  the   syst e m   al so   use d  t he  D - LB P  te ch nique.   The n  it   m eas ur es   the  pictu re  dim ension   [19].  As  d im e ns io n  cal culat ion   is d on e ,  it   segm ents  the  s kin   c ol or  from   the  pictu re  an d  t ran s f orm s  it   into  a  bi na ry  im age,  rem ov e s  the  broad  blob s  f ro m   the  im age,   an d  us es   deep  le ar ning  te chn iq ues   to   const ru ct   a  qual ifie d  dataset   [ 19 ] .   Cl assifi es  with  the  qu al ifie d  dataset   after  the  recog nizer  sect ion   an d  id entifi es  the  num erical   dig it   of   the  Ba ng la .  I n  this   pa per ,   we  us e d  deep   le a rn i ng  m et ho ds   for  Be ng al i  num erical   sign   detect ion .  In  Fig ure   1  we   hav e  d is play ed  the e ntire  pro pose d  m od el  d ia gr am .           Figure  1.  Pro pos e d  m od el  d ia gr am       2 . 1.      Data c ollec tion   We  c ollec t  i m a ges  from   the  vi deo  f ram e  us in g  the   we bcam .  To  ca pture  the  i m age,  we  us e d  a X ia om i   Vidlok W 77 w ebcam .  W e   use   Ry zen  39 00X  Core  i 3  3.90  ( ba se  sp ee d)  G H z  PC  with   32 G B  RAM f or  runnin g  the  syst em .  The  dataset   co ns i sts  of  te n  hand   signs  (a  t otal  of   310  pictu res ),   with  eac h  si gn i ng  cl ass  co ns ist in g  Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Ba ng l a numeri cal  sig n  l angu ag e  rec ogniti on  us in g   c o n v o l u t i o n a l …  ( F.  M. J aved Mehe di Sh am r at)   407   of  31  im ages  captu red  at   va rio us   le ng t hs ,  or ie ntati on s ,  a nd  inte ns it ie s.  Be ng al i  nu m erical   sign   la ngua ge  is   dep ic te d  by  the  photo s .  W e  us e d  the  data  f or   the  trai n  a nd  te st  ou r  m odel   to  reco gnit ion   Be ng al i  n um erical  sign s . In Fi gur e 2   we sh owed  the  dataset  im ages s am ple.           Figure  2 .  Datas et s i m ages s am ples       2 . 2 .     Data pre processin g   2.2.1. B an dle t  t ra nsform at i on   A  3x 3  tra ns f orm at ion   m a trix  is  need e d  for  pe rsp ect ive   co nversi on.  W el l  after  the  tra ns it ion ,  strai ght   li nes  would  re m ai n  strai gh t.  We' ll   need   fou r  po i nts  from   t he  input  i m age  and   f our  poi nts  from   the  ou tp ut  i m age  to  fin d  t his  tra ns it ion   m at rix.   Th ree  of   t he  f our   poi nts  co uld  not  be   in  sync   with  on e   a nothe r.   T hen  us e   the  m et ho d  cv 2   get  pe rsp ect i ve  tra ns f orm   t o  locat e  the   tra ns it ion   m at rix.  For  this  3x3  t ran sit io n  m at ri x,   a dd  cv2.w a r p  Pe rs pecti ve.   I n  Fi gure  3 we  exhib it ed  the  ou t put  of b a ndle t t ransform at ion  afte r  im ple m entati on.           Figure  3 .  The   ou t pu t  of  bandl et  tran s form at i on       2.2.2. L ogarit hm  r epl ace   Each  pix el ' s  va lue  is  re placed   with  it s  lo gar i thm   value  in  a  log   tra nsfo rm a ti on .  As  s how n  in  ( 1)   c an   be use d  to  d esc ribe  l og transf orm ation s.     = log   ( + 1 )   (1)     The  outp ut  an d  inp ut  im age  pix el   values  a re  s  and   r ,  res pect ively ,  and   c  is  a  con sta nt.  Sin ce  the  input  i m age  has  a  pix el   intensit y  of  0,   log   (0)  eq ua ls  infin it y,  an d  each  of  the  input  i m age' s  pix el   values  is  gi ven   a  su m  o f on e . As  a r es ult,  1  is a pp li ed  to  t he  m ini m u m  a m ou nt  to  re nder it at   le ast  1 .   Ex pands  t he  im age' s  dar k  pi xels  th us   c ompressi ng  the  i m age' s  li gh te r  pix el s.  The  c om bin at ion   of   m axi m u m   and   m ini m u m   a m p li tud e  val ues  is   ref e rr e d  to  as  dynam ic   ran ge .  Lo wer   val ues   are  rem ov e d  wh e re  Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   23 , N o.   1 ,  Ju ly   20 21 :  405   -   41 3   408   the  im age' s  dy nam ic   sp ect rum   exceeds  that   of  the   viewin g  syst em .  W e  us e  l og  tra ns f orm   to  so lve   thi s  issue .   The  lo g  tra ns f or m at ion   com pr ess es  the  dynam ic   ran ge  fi rst,  the n  upsca le s  the  picture  to  the  dis play   dev ic e' s   dynam ic   ran ge .  L ow e r  values   are  boos te d  i n  this  way,  re su l ti ng   in   a  far  m or e   detai le d  pi ct ur e.   I n  Fi gur e  4  we   sh owe d  t he  im age a fte r  a pply ing  l og a rithm  r eplace .           Figure  4 .  Afte r  apply ing  l ogar it h m  r eplace m ent       2.2.3. D - LBP   Tw o  com ple m entary  m easur es:   local   sp at ia l  patte rn s  a nd  gray scal e  co m par ison ,  acc ordin g  to  th e   LBP  op e rato r,   will   char act erize  two - dim ension al   surface  te xtures.   T he  ori gin al   LBP  op e rator   produces  la bels   for  im age  pix e ls  by  th res ho l di ng   t he  3x3  ne ighbor hood  of   each  pix el   with  the   ce nter  va lue  an d  t reati ng  th e   resu lt   as  a  bin a ry  integer.  T he   te xtu re  desc ri ptor  is  then  the   histogram   of   t hese  28  =  256  diff e re nt  m arks .  This  op e rato r,  w he n  c ouple d  with  a   sim ple  local   co ntrast  m easur e,   achi eved  e xcell ent  uns up e rv ise d  te xture   segm entat ion   resu lt s.  The  L BP  op e rator   is   denoted  by  the  fo ll owin g  no ta ti on:  Ru2 ;   LBPP;   The  su bsc ript   ind ic at es  that  the  operat or   is  bein g  us e d  in  t he  (P,  R)  nei ghbo rho od.  The   su pe rsc ript  u2   denotes  us i ng  on ly   sta nd a rd iz e d  pa tt ern s  a nd  la be li ng   t he  resid ual  patte rn s   wi th  a  sin gle  dot .  A fter   obta ini ng   the  LBP  la beled   picture   fl  ( x,   y ),   t he  LB P  histogram   can  be  i den ti fie d  as   ( 1)  an d  i n  Fi gure  5  we  s howe d  the  outp ut  of  D - LB P   after im ple m entat ion .     = ∑ { 1 ( , ) = } , = 0 , … , − 1 ,   (2)           Figure  5 .  Afte r  apply ing   D - L BP on t he  im a ge       Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Ba ng l a numeri cal  sig n  l angu ag e  rec ogniti on  us in g   c o n v o l u t i o n a l …  ( F.  M. J aved Mehe di Sh am r at)   409   2 . 3 .     Pr opose d conv olu tion  neural  netw or k (CNN )  m odel   2.3.1.  Dimensi on   c alcula tio n   Jo int  P ho t ogra ph ic   E xp e rts  G rou p  (JP E G )  is  on e  of   the  m os t  com m on   i mage  com pr essi on   m et ho ds.   The  hea der s   ( f irst  fe w  byte s)   in  t he  m ajo rit y  of  file   form at s  pro vid e   va luable  detai ls  about  t he  file .  JPE G   head e rs,  f or  e xam ple,  pro vid e   detai ls  s uch  a s  hei gh t,   w ei ght,  c olor  de pth  ( gr ay scal e  or  RGB),   an d  so  on.  We  fin d  the   res olut ion   of  a  J PEG  i m age  with out  util iz ing   a ny  e xter nal  li br a ries  in  t his  s of t w are  by  rea ding  thes e   head e rs.     2.3.2.  Segm en t  skin  co l or   This  m e tho d  is   on ly   us ed  to  de te ct   the  color   of   a  hum an  being,  su c h  as  a  han d  or   a  face  [ 20 ] .  It  rea ds   the  RGB  pictu re  an d  the n  m easur e s  the  im age' s  propor ti ons.  It  senses  t he   sk in  c olor  af te r  trans form ing   the  RGB pict ure t o YCbC r [20] , [ 21 ] .  In F i gure  6,  t he  s kin col or is se gm ented fr om  a d iffe rent  b ack gro und.           Figure  6 .  S kin   colo r  se gm entat ion       2.3.3.  E xt r ac t N lar ges t  bl obs   This  r ole  assist s  in  the  ide ntif ic at ion   of  broa d  bl ob s  of  an  i tem   in  a  bin ar y  picture.  It  ta kes  the  blob   reg i on  after   get ti ng   al l  of  t he  bl ob  p r operti es from   the  bi nar y   pictu re.  It  al so  detect s  the   la r gest  e ntit y  fr om   the  chosen  boun da ries  an d  est abli sh es  bounda rie s  in  the  or igi na l  picture.  T his  m et ho d  em ploy s  a  custom   featur e   to r em ov e t he N lar gest  blobs  f r om  the b in ar y pict ur e  seen  i n  Fi gure  7.           Figure  7 .  Ext ra ct  the lar g est   blo bs f ro m  the  bin ary im age       2.3.4.  Gener ate tr ain n e twor k   This  m et ho d  e ven   us e d  a  w ebcam   to  bu il d  the  qu al ifie d  net wor k  but   pr e processe d  the  we bcam   i m ages  util iz ing   the   sam e  process  a s  m entio ne d  a bove .  T his  im plies  that  the  trai ne d  da ta set   was  generate d  us in g  t he  la r ge st  bin a ry  bl ob  of   an   im age.  To  beg i n,   m ulti ple  photos  of   t he   sam e  sign   w her e   nee de d.   F or   each   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   23 , N o.   1 ,  Ju ly   20 21 :  405   -   41 3   410   sy m bo l,  ap pro xim a te ly   31   phot os   wer e  ta ken  [ 22 ] .  To   create   the  div i sion s ,  the  sug gested  m et hod  stores   var i ou s   sig n  phot os   int o  se pa rate  f old e rs.   T h is  m achine  w as  giv e n  31  ph oto s  t o  cre at e  a  qual ifie d  network  t o  i m pr ove  acc uracy .  Af te r  ta ki ng  pictu res,   t hi s  m et ho d  ge ne rates  a  qual ifi ed  dataset   util iz ing   a  c onvol ut ion al  neural  net work  [23]  m e tho dol og y.  For  the  e du cat e d  net work,  the  propose d  f ram ewo r k  u sed  the  Alex  ne t  of   the  dee p  le ar ni ng   process .  T his  fram ewo rk,  in  pa rtic ular ,   e m plo ys  the  conv olu ti onal   netw ork' s  Tra ns fe r   Learn i ng  proc ess.  F or  the   c onvoluti onal   la y er  data,  it   resized  t he  bin a ry  pictu re  blob  i nto  a  [ 28 x28].   The n,  us in g  a   ra ndom   sel ec ti on   process,   it   ge ne r at ed  a  qual ifie d  dataset   a nd  a   resea rch  dataset .  The   te rm   "q ualifi ed   dataset "  re fer s   to  a  cl assifi ca ti on   database ,  wh e reas  "t est   dataset "  re fer s   to  a  cl assifi ca ti on   database  t hat  is   us e d  in  co njun ct ion   with  the  trai ned   dataset .   Fo r  the  qu al if ie d  dataset ,  the   m achine  us ed   750  im ages  a nd   for   the  evaluati on  dataset ,  it   us ed   250  i m ages.  In it ia l  le arn   rate  =  0. 0001,  Ma x  Ep ochs  =  20 ,   and   Mi ni  batch  siz e   = 64  wer e  u se d.     2 . 4 .     Clas si fy i ng   tr ained  net w ork   This  syst em   lo ads  the  t rainin g  dataset   at   fi r st,  then  t he  sig n  ha s  bee n  ta ke n  w he n  the  fi gure  window   is  opene d.  T his  syst em   can  detect   Ba ngla   nu m erical   signs  only   usi ng  one  ha nd.  T he  pro po se d  syst em   has   us e d  the  we bc a m   i m age  for  recog niti on   of   the  sign.  Wh e n  com plete d  th e  la rg est   bi nary   blo b  im ag e  then  it   do e s  cl assify   with  the   c us to m   trai nin g  dat aset   that  wa s  first  cre at ed.  The  pro posed   m od el   us ed   A le xN et   cl assifi er to   det ect  the signs.  F inall y, it  g ives  the outcom e th at  is shown i n Fi gure  8.   Wh e n  t he  fig ure  portal   is  rai sed,  this  de vice  load s  th e   trai ning  dataset   fi rst,  the n  the  sy m bo l.  On ly   on e  ha nd  is  inten ded  to  ide ntify  a  Ba ngla   nu m erical   sym bo l.  Fo r  t he   identific at io n  of   t he  sym bo l,  the   pro po se d  syst em   us ed  a  we bc a m   picture.  It  beg i ns   by  pre proces sin g  the  pi ct ur e  with  the  te chn iq ue  m entioned   in  the  2.1,  2.2 ,  and  2.3   sect io ns  ab ove.  When   the  la r gest  bina ry  bl ob  pictu r e  is  over ,  it   ca n  be  cl assifi e d  us in g  the  c us tom   trai ning  dataset   th at   was  ge ner at ed  at   t he  be ginnin g.  Finall y,  i t  pro du ce s  the   resu lt   ( ০ ,  ১ ,  ২ ,  ৩ ,  ৪ ,  ৫ ,  ৬ ,  ৭ ,  ৮ ,  ৯ )  ind ic at e d  in   Fi gure  8.           Figure  8 .  Be ng al i nu m erical  sign  la ngua ge r ecognit ion       3.   RESU LT S   A ND  D IS C USS ION     To  dev el op  th e  area  of   si gn  la ngua ge  inte rpretat ion ,   the   pro po s ed  m od el   has   us e d  a  var ie ty   of   appr oach es .  We  dev el op e d  the  propose d  m od el   to  im pro ve  the  te c hn i qu e   on  Be ng al i  nu m erical   sign  detect ion.  The  accuracy  of  ea ch  sig n' s  identific at ion   is  cal culat ed  by  this m et ho d  f or  ex pe rim ental   resu lt s.  W e  m easur ed   the  perform ance  of  tw o  m od el s  us in g  pr eci sio n,   recall ,  true   negat ive  rate,   and  accu racy   afte r   com pl et ing  the  trainin g  a nd te sti ng   phase.  Th e f or m ulas that we  us e d  a re as   show n  i n (3) - ( 4) :       =   +    (3)      =   +    (4)     Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Ba ng l a numeri cal  sig n  l angu ag e  rec ogniti on  us in g   c o n v o l u t i o n a l …  ( F.  M. J aved Mehe di Sh am r at)   411      =  +   +  +  +      (5)        Ra te =   +    (6)     Table  1  s hows   how   the  syst em   us es  25  te sts  on  ha nd  sig ns   for  eac h  di git,  with   9  sig ns   c orrectl y   recog nized  at   the  m axi m u m   pea k  a nd  1  sign   rec ogniti on  le vel  i s   c om par at ively   low.   T he  preci sion   is   achieve d  100%   f or   eac h  si gn  ( ০ - ৯ ) ,  be sid es  Re cal l  al so   gain  100%   f or  9  sig n s ,  exce pt   one  Be ngal i  sign  ( ৩ ) .  Fo r   al l  sign s ,  Tru e   ne gative  gain  0%,  it   car ried  a  huge  im pact  on  ov e rall   accuracy.   Fin al ly ,  ou r   m od el   fo r   th e   Be ng al i  num er ic al   sign ’s  la nguag e  detect ion   achieve d  overa ll   99 .8 %  acc uracy .  Fig ure   9  de picte d  the  val ue  of   ever y   te st  re sul t  (P recisi on,  Re cal l,  Tru e   N egati ve,   Acc uracy )  f or   eac h  sign.  Fig ure   10  s hows  t he  a ccur ac y   evaluati on  of ten se par at e  nu m erical  Beng al i si gn s .       Table  1 .  O utco m es f or eac h n um erical  Bengal i si gn   Ban g la Sign   Precisio n     Recall   Tr u e Negativ e     Accurac y   ০   100%   100%   0%   100%   ১   100%   100%   0%   100%   ২   100%   100%   0%   100%   ৩   100%   98%   0%   98%   ৪   100%   100%   0%   100%   ৫   100%   100%   0%   100%   ৬   100%   100%   0%   100%   ৭   100%   100%   0%   100%   ৮   100%   100%   0%   100%   ৯   100%   100%   0%   100%           Figure  9 .  Pr eci sion, recall , t rue   ne gative,  acc ur acy   gr a ph  for  eac h  sig n           Figure  10 .  C om par ing  the  ac cur acy   of ten  di ff ere nt Ben gal i nu m erical  sig ns   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   23 , N o.   1 ,  Ju ly   20 21 :  405   -   41 3   412   In  T a ble  2   we  com par ed  s ome   pr e vious  wor ks ,  wh ic h  are  on   Be ngal i  an d  dif fere nt  la ngua ge  si gn s   detect ion.   T he   m et ho dolo gi es  they   ha ve   b ee n  us e d,  arti cl e  publish ing   ye ar ,  a nd  accuracy  of  their  m et ho dolo gies,   we  de picte d  in  Table  2.   T hey  ha ve  m any  si m il ari ti es  with  our  pro pose d  syst em ,  a  few  m et ho dolo gies   they   ha ve  be en  us ed   inclu ding  CN N,  ar ti fici al   neu ral  netw ork,   sup port  vecto r  m a chine,  Conve x  hu ll   m et ho d,  3D  co nvolu ti onal   ne ur al   netw ork   ( CNN ),   key  m axim u m   cur vat ur e   points ,  s roke  s ub - segm ent  vecto rs,   e quiv olu m e tric   par ti ti on,  Gabo r  filt er,  ke rn el   PC A,  m r phologica l  ope rati on,  S VM.  Most  of   the  m od el s  cha ng e d  t he  im ages  into   gray sca le   and  di rectl y  app ly   s om e  sk in  detect ion  al gorithm s  to  de te ct   the   sh a pe  of   the  ha nd.  O n  the  othe r  ha nd,  our  pr opos e d  m od el   pr e processe s  the  i m ages  as  well   to  get  the  highest  accuracy  on  te st  an d  trai ning   phases,   the n  we  a pp ly   c orr esp ondingly   di m ension  cal cu la ti on ,   se gm ent  sk in   colo r,   ext ract  N  la rg e st  blob s,  an d  trai ne d  our  net work   at   the  processi ng   phase.  Fi na ll y,  we  app li ed  the  Alex Net cla ssier to classi fy the im ages.  Fo r tun at el y, our  m od el  ac hieve d  the h i gh est  acc ur acy  (9 9.8%)   a m on g  the ex ist in g rel at ed  w orks .       Table  2 .  C om par at ive a naly sis o n pr e vious  re la te d  w orks     Year   Metho d s   Ov erall   Accurac y   G.  A .  Rao et al .  [ 2 4 ]   2018   CNN   9 2 .88 %   Ch o wd - h u ry   et al .  [ 2 5 ]   2017   Artif icial neu ral  n e two rk, Sup p o rt  v ecto r  m achi n e,  Co n v ex  hu ll  m e th o d   8 4 .11 %   El - b ad aw y   et al .  [ 2 6 ]   2017   3 D Co n v o lu ti o n al Neural  N etwo rk ( CNN)   98%   Kai m al  [ 2 7 ]   2017   Key   Maxi m u m  Cu rvatu re  Po in ts, St r o k e Sub - seg m en t  Vectors,  Equ iv o lu m etric  Pa rtition   8 5 .4%   Ud d in   et al .  [ 2 8 ]   2016   Gab o r  f ilter,   Kerne l PCA,  Morp h o lo g ical op eration ,  SV M   9 9 .5%   Ou r  Prop o sed   Mod el   2021   CNN   9 9 .8%       4.   CONCL US I O N    Ma chine  le ar ni ng   an d  deep   le arn in g  doin g  a  gr eat   ro le   in  rece nt  tim es   in  i m age  pr oc essing,  the   m edical   sect or   and   var i ous  pu rposes.   T o  ide ntify  Be ng al i  num erical   sign s  from   the  inp ut  i m ages,  our  cu rr e nt   m od el   ta kes  aro un d  a  m inu te .  Ou r  ai m   is  to  r end e r  this  proc ess  as  s m oo th,  fast,  an d  real - ti m e  as  po ssible.   The   dataset   that  we   hav e  us e d  f or   trai ning,  te sti ng,  a nd   validat ion   c onta ins  th e  Be ng al i  sig n  ( ০ - ৯ ) .  W e  i ntend   t o  com plete   ou r   da ta set   by  incl udin g  al l  Be ng a li   a lph a bets.  We  ha ven ' t  inc orp or at ed   gestur e   rec ogniti on  i n  our   researc h,   nor   ha ve  we  incl uded  the   rec ogni ti on   of   te rm s  a nd  f ull  sente nc es,  s o  we' re  e xc it ed  to  em bed  this  into  ou r  m od el .  W e  i nten d  to   integrate  our  f ram ewo rk   i nto  a  portable  c om pu te r  and   I oT   m e dia,  sp eci fical ly  sm artph on e s,  and   operate  it   as  an  a ppli cat ion   afte r  im plem enting  bo th  of  these  m et hods .  It  w ould  be  conve niently   avail able  to  al l  people  in  this  m ann er ,  assist ing   us   in  the  in corp or at io n  of  su c h  te chnolo gi es  into   our  c ultur e .       REFERE NCE S    [1]   N  Sara wate,  M  Chan  LE U,   and  Cemil  OZ,   “ A  r ea l - ti m e  Am eri c an  Sign  La ngu a ge  word  rec ogn i ti on  s y st em  base d   on  neur a l  ne tworks  and  a   proba bil isti c  m odel,”  Tur ki sh  Journal  of  El e ct rica l  E ngine ering   &   C omputer  Scienc e s ,  vol.   23 ,   no .   1 ,   pp   2107 - 2123,   201 3,   doi :  10 . 3906/elk - 1303 - 167 .    [2]   B  Garc ia   and  S  Alar con  Viesc a ,   “ Rea l - t ime  Am eri ca n  Sign  L angua ge  R ec og nit ion  with  Con volut ional  Neur a l   Networks ,”  Con vol uti ona l  N eural  Ne tworks  for  V isual  R ec ogni ti o n ,   vol .   2 ,   pp .   225 - 232,   2 012 .   [3]   Z   Z.   Ren,   J.  Yua n,   J.  Meng  and  Z.   Zha ng ,   "Robus t  Part - Based  Hand  Gesture   Rec o gnit ion  Us ing  Kinec t  Sensor,"  i n   IEE E   Tr ansacti o ns on  Multimedi a ,   vol .   15 ,   no .   5 ,   pp.   1110 - 1120 ,   Aug.  2013,   doi:  10. 1109/T MM . 2 013 . 2246148.   [4]   S.  Padm ava thi ,   M.  S.  Saipreet h y ,   an d  V.  Va ll i a m m ai ,   “ India n  Sign  La ngu age   C har acte r  R ec ogn it ion  using  Neur al   Networks,”   I JC A  Spe ci al   Iss ue  on  Rece nt   Tr ends  in  Pattern  Re c ognit ion  and   Image  Ana ly sis  RT PR IA ,   vol .   1 ,   pp :   40 - 45,   2013 .   [5]   N.  Pri y adha rsin i  and  N.  Ra je s wari ,   “ Sign  Language   Re cogn it io n  Us ing  Co nvolut ional  Ne ura l  Networks, ”  Inte rnational   Jo urnal  on  Rece nt   and  Innov ati on   Tr ends  in  Computing  and  Com m unic at ion ,   vol .   5,   no.   6,   pp .   23 21 - 8169,   2017 .     [6]   O  Al - Jarra h  an d  Alaa   Ha la wa ni,   “ Rec ogn it io n  of  gesture s  i n  Arabi c  Sign  La nguag e  using   neur al   n et work s,”   Arti ficial  Intelli g enc e  and   Soft  C omputing ,   vol .   1 33,   no.   1 - 2 ,   pp .   28 - 30,   2006,   do i :  10. 1016/S0004 - 3702(01)00141 - 2 .   [7]   F.  M.  Jave d  M ehe di  Sham rat,  Z.   T asni m ,   P.  Ghos h,   A.  Maj um der   and  M.  Z.   Hasan ,   "P ersona lization  of  J ob   Circ ul ar  Announce m ent   to  Applicants  Us ing  D ec ision  Tr ee   Cl assific a ti on  Alg orit hm , "  2020  IEE E  Int ernati on al   Confe renc e  fo r  Innov ati on   in  Technology  ( INOCON ) ,   Bangl uru,  India ,   2020 ,   pp.   1 - 5,   d oi:   10. 1109/INOCO N50539.2020. 92 98253.   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Ba ng l a numeri cal  sig n  l angu ag e  rec ogniti on  us in g   c o n v o l u t i o n a l …  ( F.  M. J aved Mehe di Sh am r at)   413   [8]   F.  M.  Jave d  Me hedi   Sham rat ,   P.   Ghos h,   M.  H.  Sadek,   M.  A.  Kaz i  and  S.  Shult ana ,   "Im ple m entati on  of  Mac hin e  Le arn ing  Algori thms   to  Dete ct   t he  Prognos is  Rat e  of  Kidne y   Di sea se, "  2020  IE EE   Inte rnat iona l  Confe renc e  for   Inno vat ion   in  Te chnol ogy   ( INOC ON) ,   Bangl uru,   I ndia ,   2020,   pp.   1 - 7,   doi :  10 . 1109/ INO CON 50539. 2020. 9298026.   [9]   P.  Ghos h,   F.  M.  Jave d  Mehe di  Sham rat ,   S.  Shulta n a,   S.  Afrin,   A.  A.  Anjum   and  A.  A.  Khan,   "O pti m iz at io n  of   Predic ti on  Me th od  of  Chronic   Kidne y   D isea se  Us in g  Mac hine   Learni ng  Algorit h m , "  2020  15th  I nte rnational   Joint   Symposium  on  Arti fi c ial   Int el lige nce   and  Natural  Language  Proce ss ing  ( iSA I - NL P) ,   Bangkok,   Th ai l and,   2020,   pp.   1 - 6,   doi :  10 . 110 9/i SA I - NLP51646.2020. 937678 7.   [10]   P.  Ghos h  et  al . ,   "Effi cient   Prediction  of   Cardi ov a scula r  Dise ase   Us ing  Mac hine  Le arn ing  Algori t hm s  W it h  Rel ief   and  LASS O  Feat ure   Sel ecti on  Te chni qu es, "  in  IEE E  A cc ess ,   vol .   9,   pp.   19304 - 19326,   2021,   do i:   10. 1109/ACCESS . 2021. 3053759.   [11]   F.M.  Jave d   Meh edi   Sham rat,  As aduz z aman,   A .   K.  M.  Sa zzadur  Rahm an,   R .   T .   H.  Tusher ,   and  Za rrin   T asnim,  “ A  Com par at ive   A naly s is  of  Parkinson   Disea se  P red iction  Us ing  Mac hine   Lear ning  Approac he s,”   Inte rnationa l  Journal  of   Scien ti fic  &   Technol ogy  R ese arch ,   vol .   8 ,   no .   11 ,   pp:   2 576 - 2580,   2019 .     [12]   B.   C.   Karm okar ,   K.  M.  R.   Al am,   and  M.  K.  Sidd ique e ,   "Bangl ad eshi  sign  la ngua ge  rec ogni ti on  e m plo y ing  neur al  net work  ense m b le , "  In te rnat iona l  Journal  o f  Co mputer  Appl i cati ons   (IJCA ),   vol.  58,   no .   16 ,   pp .   43 - 46,   Novem be r   2012,   doi :  10 . 51 20/9370 - 3846 .    [13]   M.  A.  Raha m an,   M.  Jasim ,   M.  H.  Ali  and  M.  Hasanuz za m an ,   "Rea l - t ime  computer   vision - bas ed  Benga li   Sign  La nguag e  r ec og nit ion, "   2014  17 th  Int ernati onal   Confe renc e  on   Computer  and  I nformation  Tech nology   ( ICCIT) ,  2014,   pp .   192 - 1 97,   doi :  10 . 1109 /ICCIT e chn. 201 4. 7 073150.   [14]   Md.  Abdur  Rahi m ,   Ta nzi l la h  W ahi d,   and  Md.  Khale d  Ben  Islam ,   “ Visual  Rec ognit ion  of  Benga l i  Sign  La nguag e   using  Artifi c ia l   Neura l  Ne twork,”  Inte rnat ional   J ournal  of  Computer  Application s ,   vol.   94 ,   no .   1 7,   pp.   1 - 5  , 2014 ,   doi:   10 . 5120/16 448 - 0572.     [15]   A.  M.  Jarm an,   S.  Ars had,   N.  Alam,  and  M.  J.  Islam,  “ An  aut om at ed  bengali sign  la nguage   r ec ogni ti on  s y st e m  base don  finge r tip  finde r  a lgori th m , ”  Inte rnation al  Journal  of  Elec troni cs  &   Inf orm ati cs ,   vol.   4 ,   no.   1,   pp .   1 - 10 ,   2015.   [16]   M.  Hasan,   T .   H.  Saji b  and  M.  De y ,   "A   m ac hi ne  learni ng  bas ed  appr oa ch  for   the   de te c ti on  a nd  rec ogni ti on  of  Bangl a  sign  language , "  2016   Inte rnational   Confe renc e  on  Me dic al  Eng i nee ring,  Heal th   Informatic s  and  Technol ogy   ( Me diTec ) ,   2016,   pp.   1 - 5,   doi: 10. 110 9/MEDITE C. 20 16. 7835387.   [17]   S.  T.   Ahm ed  a nd  M.  A.  H.  Akhand,   "Bangl a deshi  Sign  La n guage   Re cogni t i on  using  finge rt ip  positi on , "  2016   Inte rnational   Co nfe renc e  on  Me dic al  Eng ine erin g,   Healt h  Infor matic s  and  Technol ogy  ( Me diTec ) ,   2016,   pp.   1 - 5,   doi:   10 . 1109/M EDIT EC. 2016 . 7 835364.   [18]   Golam  Ka y as,   S akha wa t  Hos sai n,   and  Him el and   Mahra jHasa n,   “ Autom at ic   Re co gnit ion  of  Bang l a  Sign  La nguag e  Us ing  Artifi cial  Neura l  Ne tworks  (AN N S)  For  D ea f  And  Dum b  t o  Bridge   The   Co m m unic at ion  Ga p, ”  In te rnationa l   Journal  of   R ec e nt  Ad vanc es   in Mult idi sc ipl inar y  R ese arch ,   vol .   3,   no .   7 ,   pp . 1649 - 1654,   2016 .   [19]   M.  T.   Hoque,   M.  Rifa t - Ut - Ta uw ab,   M.  F.  Kabir ,   F.  Sarke r,   M.  N.  Huda  and  K.  Abdulla h - Al - Mam un,   "A utomate d  Bangl a  sign  language   tra nsl at i on  sy st em:  Pro spec ts,  li m itati o ns  and  appl ic ations,"  2016  5th  Inte rnationa l   Confe renc e  on   I nfo rm ati cs,   El e c tronic s and Visi on  ( ICIEV ) ,   2016,   pp .   856 - 862 ,   doi:   10 . 1109/ICI EV. 2016. 77601 23.   [20]   K.  B.   Shaik,  P.   Gane san ,   V.   Kali st ,   B.   S.   Sath ish,  and   J.  M .   M.  Jenit h a,  “ Com par at ive  Stud y  of  Skin  Co lor   Dete c ti on  and  Segm ent ation  in  HS V  and  YCbC r  Color  Spac e,”   Proce dia  Comp ute r  Scienc e ,   vo l.   57 ,   pp.   41 - 4 8 ,   2015,   doi :  10 . 10 16/j . pro cs. 2015. 07. 362.     [21]   V.  Bhame,   R .   S ree m at h y   and  H .   Dhum al ,   "V isi on  base d  hand   gesture   r ec ogni t ion  using  e cc en t ric   app roa ch   fo r  hum an  computer   int er ac t ion, "  2 014  Inte rnation al  Confe renc e  o n   Adv anc es  in  Computing,   Co mm unic ati ons  and  Informatic s ( ICACCI) ,   2014,   pp .   949 - 953,   doi :  10 . 1109/ICACCI. 2 014. 6968545.   [22]   G.  A.  Rao,   K.  Sy ama la ,   P.  V.  V .   Kishore  and  A.  S.  C.   S.  Sastr y ,   "D ee p  convol u ti onal   n eur al   n etw orks  for  sign  la nguag e  re cog nit ion, "   2018  C onfe renc e  on   Signal   Proce s sing  And  Com municat ion  Eng ine ering  S yste ms  ( SPA CES) ,   2018,   pp .   194 - 197 ,   d oi:   10 . 1109/SP ACES.2018. 8316 344.   [23]   Jonatha n  Long,   Eva n  Shelh amer ,   Tr evor   Darr el l ,   “ Full y   Convo lu ti onal  Networks   for  Sem ant i c  S egmenta t ion,”  in  IEE E   Tr ansacti o n s on  Pattern  An aly sis and  Ma ch ine   In te l li gen ce ,   2015,   pp .   3431 - 3440.     [24]   M.  J.  Hos sein  and  M.  Sabbir  Ejaz ,   "Rec ogni ti on  o f  Benga l i  Sign Langua ge  using N ovel   Dee p  Conv olut ional  Neura l   Network, "  2020  2nd  Inte rnation al  Confe renc e  o n  Sustainabl e  Technol og ie s  for  Industry  4. 0  ( ST I) ,   2020,   pp.   1 - 5,   doi:   10 . 1109/ST I50764. 2020. 93 50418.   [25]   A.  R.   Chowdhu r y ,   A.  B iswas,  S.  M.  F.  Hasan ,   T .   M.  R ahma n  and  J.  Uddin ,   "Benga l i  Sign  la nguag e  to   te x t  conve rsion  usin g  art ifici al   neur al   net work  and  support  vec tor  m ac hine , "  2017   3rd  Inte rnational   Confe renc e  o n  El e ct rica l  Infor mation  and  Com municat ion   Tech nology   ( EICT) ,   2017,   pp .   1 - 4 ,   doi :  10. 1109 /E ICT . 2017. 8275248.   [26]   M.  El Bada w y ,   A.  S.  El ons,  H.  A.  Shedee d  a nd  M.  F.  Tol ba,   "A rab ic   sign   la nguage   re co gnit ion  with  3 D   convol uti on al   ne ura l  n et works , "  2017  Ei ghth  Int ernati onal  Conf ere nce   on  In te l ligent  Computing   and  Information   Syste ms   ( ICICIS) ,   2017,   pp .   66 - 7 1,   doi :  10 . 1109/I NTEL CIS.2017.8260028.   [27]   M.  M.  Hasan,  A.  Y.  Srizon ,   A .   Sa y e ed  and   M.  A.  M.   Hasan,  "Classific a ti on  of  Sign  La ngu a ge  Char ac t ers  b y   Appl y ing  a  Dee p  Convolut ional   Neura l  Networ k, "  2020  2nd  Inte rnational   Conf ere nce   on  Ad va nce d  Informatio n   and  Comm unic a ti on  Te chnol ogy   ( ICAICT ) ,   2020,   pp.   434 - 438,   do i:   10 . 1109/ICAI CT51780. 2020. 9 333456.   [28]   M.  A.  Uddin  and  S.  A.  Chowdh ur y ,   "H and  sign  la nguage   re cog nit ion  for  Bangla  al phab et   using  Support   Vec tor   Mac hine,"  2016  Inte rnational   Co nfe renc e  on  Inn ovat ions  in   Scie nce ,   Engi n ee rin g  and  Technol og y  ( ICISET) ,   2016,   pp.   1 - 4 ,   doi :  10 . 1109/ICISE T. 20 16. 7856479 .           Evaluation Warning : The document was created with Spire.PDF for Python.