Co m pu ter Sci ence a nd Inf or mat i on  Tec h no lo gies   Vo l.   1 , No .   3 ,  Novem ber   2020 , p p.   11 6 ~ 12 0   IS S N:  27 22 - 3221 ,   DOI: 10 .11 591 / csi t.v 1i 3 .p 11 6 - 12 0           116       Journ al h om e page :  http: // ia esprime .com/i ndex. php/csit   Hand  gesture re cogniti on u sing machine  learning  algorithm s       Ab hishe k B 1 , Kan ya Kris hi 2 , M e ghan a M 3 , Mohamme d  Daan i yaal 4 , A nup ama H  S 5   1, 2, 3,4 B. E ,   Com pute r  Sc ie nc e and   Engi n ee ring ,   B MS   Instit ute of Te chno log y ,   Ba ngal ore ,   Ind ia   5 As socia te   Profe ss or,   BMS   Institute  of   T ec hnolo g y ,   Bang al or e, I ndia       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   A pr   24 , 20 2 0   Re vised  Jun   14 , 20 2 0   Accepte d  J un   2 9 , 20 2 0       Gesture   re cogni t ion  is  an  emergi ng  topi c  in  tod a y ’s  t ec hnolog ie s .   The  m ai n  foc us  of  thi s  is  to   rec ogni ze   the   hu m an  gesture s  using  m at hemati c al   al gorit hm s   for  hum an   com pute r   intera ct io n.   Onl y   a   few   m odes  of  hum a n - computer   int er ac t ion   (HCI)   ex ist,  th e y   are:   through  k e y boar d,   m ouse,   tou ch   scre ens  etc.  Ea ch   of  th ese   de vic es  h as  their  o wn  li m it ations  when  it  comes  to  a dapt ing  m or e   ver satile  h ard wa re  in  computer s.   Gesture   r ec ogni ti on  is  on e  of  t h e  essential   te chn ique s  to  bu i ld  user - fri endly   i nte rfa ce s.   Us ual l y   g e stures  c an  b e   origi na te d  from   an y   bod ily  m oti on  or  state ,   but  comm onl y   origi na te   from   the   fa ce   o r  hand.  Gesture   r e cogni ti on   ena bl e s  users  to   in te r a ct  with   the  d evice s  wi thout   ph y sic al l y   tou ch ing  th em.  Th is  p ape r  d esc rib es  h ow  hand  gestur e s  are   traine d  to  p erf orm   c ert a i n  a ct ions   li k e  sw it chi ng   p age s,   sc roll ing   up   or  do wn  in   a   pag e.   Ke yw or d s :   Gestu re  recog ni ti on   Hu m an  com pute r  interact io n   User - f rien dly i nterf ace   This   is an  open   acc ess arti cl e   un der  the  CC  B Y - SA   l ic ense .     Corres pond in g  Aut h or :   Abhishe k B ,   B.E, C om pu te r  Scie nce a nd E ng i neer i ng,    BM S I nst it ute o f  Tech nolo gy,  Ban galor e , In dia .   Em a il :  anu pam ahs@bm sit .in       1.   INTROD U CTION   Gestu re  rec ogni ti on   is  a  te chn i qu e  w hich  is  use d  to  unde rstand   a nd  analy ze   the  hum an  body  la ngua ge   and   i nteract  with  the  us er  acc ordin gly.  T his  in  tu rn   hel ps   in  bu il di ng  a  bri dge  betwee n  the   m achine  an d  t he  us e r   to  com m un ic at e  with  eac h  othe r.   Gestu re  rec ogniti on  is  us e fu l  in   proce ssing  the  in f or m a ti on   wh ic h  can no t   be   conveyed  t hro ugh  s peech   or   te xt.  Gestu re s  are  the  sim plest  m eans  of  com m un ic at i ng   s om et hin g  that  is   m eaningfu l.   T his  pa per  in volves   im ple m entat ion  of  t he   sys tem   that  ai m s  t o  desi gn  a   visi on - based  hand   gestu re   recog niti on  sys tem   with  a   high  c orrect  detect ion  rate   al ong  with  a   high - perform ance  crit er ion ,   wh ic h  ca n  work  in  a   real   ti m e  Hu m an  C om pu te r   I nteracti on  syst e m   with ou t   ha vi ng  a ny   of  t he   lim it a ti on s   ( gloves,   un i for m   backg rou nd  et c.)  on  the   us e r   en vi r on m ent.  The  syst em   can  be  def i ned  usi ng  a  fl ow c ha rt  that  c on ta in s   three   m ai n  ste ps , t he y are:  Lear ning , D et ect io n,  Re cogniti on   as s how n  i n  Fi gure  1 .   Learn i ng :    It in vo l ves  tw o aspect s  su c h  a s      Trainin g  datas et :  This  is  t he  dataset   that  c onsist s o f  dif fere nt  ty pes  of h a nd  ge sture s  tha t  are u se d  to   tr ai n  the syst em  b ased  on which  th e syst e m  p erfo rm s the acti on s .     Feat ur e   E xtrac ti on :  It  in vo l ve s  dete rm ining   the   centr oid  t hat  div ide s  th e   im age  into  t w o  halves   at   it s  geo m et ric Centre.   Detect ion     Ca ptu re  sce ne: Ca ptures t he  i m ages th r ough  a w e b  cam era,  which is  u se d as an  in pu t t o  t he  syst em .     Pr e processin g:   Im ages  that  ar e  captu red   t hro ugh  the   we bca m   are  com par ed  with   the d at aset   to  rec ogniz e  the v al id  han d m ov e m ents that are  need e d  t o per form  the r e qu i red act ions.   Evaluation Warning : The document was created with Spire.PDF for Python.
Com pu t. Sci.  I nf. Tec hnol.         Han d gesture   r ecognit ion  us in g ma c hin e  lear ning  algorit hm s … ( Abh is hek  B )   117     Hand  Detect io n:  The   re qu i r e m ents  for  ha nd   detect io n  i nvolv e   the  in pu t  im age  fro m   the  web ca m .     The  im age  s hould  be   fetc hed  with  a   s peed  of  20  f ram es  pe r  sec ond.  Dista nce  s houl d  al s o  be  m ai ntained   betwee n  t he  ha nd  a nd  the   cam era.  A ppr ox im at e  distance   tha t  shou l d  be   bet ween  hand  t he  ca m era  is  ar ou nd   30 to 1 00 cm . Th e  vid e o  i nput  is stor e d fr am e b y  fr a m e into  a m at rix  after  pr e processi ng.    Re cogniti on     Gestu re  Re c og niti on :  The   nu m ber   of  fi ng e r s  prese nt  in   the   ha nd  gestu re  i s  dete rm ined  by   m aking   us e  of   def ect   po i nts  pr ese nt  in  t he   gestu re.  T he  resu lt ant  gestu re  obta ine d  is   fed   t hro ugh  a  3D im ensional   Conv olu ti onal   Neural  Netw ork  c onsecuti vel y t o  rec ognize  the curre nt  ges ture.      Perfo rm ing   act ion :  T he  recog nized  gest ur e  i s  us e d  as   an   in pu t  t o  perform   the  act ions  re quire d  by  t he  use r.           Figure  1. Flo w char t   hum an  com pu te r  inte ra ct ion       2.   LIT ERATUR E SU RV E Y   The   im ple m entat ion   is  div i de d  int o  fou r  m ai n  ste ps :   1.  I m age  En ha nce m ent  an d  Se gm entat ion   2.   Or ie ntati on  D et ect ion   3.  F e at ur e   E xtracti on  4   [ 1] .   Cl ass ific at ion .   T his   w ork   was   f oc us se d  on   ab ove   f our  cat egories  but  m ai n  lim it a ti on   was   c hange   of  c olo r   was   ha pp e ni ng   ve ry  rap i dly  by   the   change   in   the   diff e re nt  li gh ti ng  co ndit ion,  wh ic h  m ay   cause  e rror  or  e ven  fail ures.   F or   exam ple,  du e  to  in suffici en t  li gh t  co ndit io n,   t he   existe nce  of   ha nd   a rea  is  not  de te ct ed bu t  th e  non - sk i n re gions  are  m ist aken   f or   t he ha nd  area  beca us e  of  sam e   colo r   [2] .   I nv olv es   th ree  m ai n  ste ps   f or  hand   ge sture   recog niti on  syst e m :  1.   Segm entat ion   2.  Feat ur e   Re pr ese ntati on  3.   Re c ogniti on  Tec hn i qu es .  The  syst em   is  base d  on  H an d  gestu re  rec og niti on   by  m od el ing   of  the  ha nd  in   s pa ti al   do m ai n.   The  sy ste m   us es  va rio us   2D  and  3D  ge om e tric   an d  non - ge om et ric  m od el s  for   m od el ing .  It  ha s  use d  F uzzy  c -   Me ans   cl us te ring  al go rithm   wh ic h  res ulted   in   an   acc ur acy   of   85. 83%.   T he  m ai n  dr a w back  of  th e  syst em   is  it   does  not  c onsid er  gestu re   rec ogniti on  of  te m poral  s p ace,   i.e .  m otion   of  ges tures   and   it   is  unable   to  cl assify   i m a ges  with  c om plex  bac kgr ound  i.e.  w her e  the re   are  oth e r  ob j ec ts  in  the  scene  with  the  ha nd  obj e ct s   [3] .   T his  s urvey  f oc us es  on  the  hand  ge sture  recog niti on   us in g  dif f eren t  ste ps   li ke   data   acqu isi ti on,  pr e - proce ssin g,  s egm entat ion   a nd  s o  on.  S uit able  in put  de vi ce  shou l d  be  sel ect ed  f or  th e  data  acqu isi ti on.  Th ere  a re  a  num ber   of  in pu t  de vi ces  for  data  a cqu isi ti on.  Som e  of   t hem   are  data  gloves ,  m ark er ,   and   ha nd  im a ges  ( from   webcam /Kinect   3D  S e nsor ).   B ut   the  lim i ta ti on   with   this  w ork  was  c hang e  in  the   il lu m inati on ,  r otati on   a nd   ori entat ion ,  scal in g  pro blem   and  sp eci al   hard w are  w hich  is  pret ty   costli er   [4] .  The  syst e m   i m ple m entat ion   is  di vid ed   int o  t hree  phases:   1.  Hand   gest ur e   recog niti on   us i ng   kin et ic   ca m era  2.  Algorithm s  for   ha nd  detect io n  recog niti on   3.   Ha nd  ge sture   rec ogniti on.  The  li m i ta ti on   her e   is  that  t he   ed ge   detect ion  an d  s egm entat ion   al gorithm s  us ed   her e   are   not  very   eff ic ie nt  w he n  c om par ed  t o  neural  netw ork s.  T he   dataset  b ei ng c on si d ere d he re  is ver y  sm all an d ca n be  used  to dete ct  v e ry  few sig n gestu r es.    Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2722 - 3221   Com pu t. Sci.  I nf. Tec hnol. ,   V ol.  1 , N o.   3 ,  N ov em ber   20 20 :  117   –   12 0   118   The   Syst em   arch it ect ur e   c on s ist s  of:   1.  Im age  ac qu isi ti on  2.  Se gm entat ion   of  hand   re gion.   3.   Dista nc e   trans form s  m e thod  for  gestu re  r eco gnit ion   [ 5] .  T he  li m i t at ion s  of  this   syst e m   i nv ol ve   1.  T he  num ber s   of   gestu res   that   ar e  rec ognize d  ar e  le ss   2.  The   ge stures   r eco gniz ed  we re  not  use d  to   co ntr ol  any  a pp li cat io ns   [ 6] .   In  t his im ple m entat ion  t her e   are th ree m ai n  al gorithm s that  are use d: 1.  Viola and  jon e s  Algorithm . 2 . C onve x  Hu ll   Al go rith m .  3.   The  Ad a Boo st  base d  le arn i ng   Algo rithm .  The  w ork  was  acc om plis hed   by  trai ning   a  set   of   featur e   set   w hi ch  is  local   c on t our  se qu e nce .  The  li m it at ion s  of   t his  syst em   are  that  it   re qu i res  tw o  set s  of   i m ages   for  cl assifi cat ion.  On e   is  t he  po sit ive   set   th at   co ntains  t he   re qu ir ed   im ag es,  the   ot her  is   the  ne gative  s et   that   con ta in s  c on tra dicti ng   im ages   [7] .  The   syst em   i m ple m entation   c onsist s  of   three  c om po ne nts:  1.  Ha nd  de te ct ion  2.  Gest ur e   rec ogniti on  3.  H uma n - C om pu te r  I nteracti on  (H C I) .   It   has   im ple m ente d  the   f ollow i ng  m et ho dolo gy:   1.   t he  in put  im age  is  pr e proce ssed  a nd  the   ha nd  detect or  tri es  to  filt er  out  the  ha nd  f r om   the  in pu t  im age  2.A   CNN  cl assifi e r   is  e m plo ye d  to  rec ognize  ge stures  from   the  processe d  im a ge,   wh il e  a  Kal m an  Fil te r  is  us ed  to   est i m at e   the  posit ion   of   t he  m ou s e  c ur s or.  3.   The  recog niti on  a nd  est im a ti on   resu lt s  a re  s ubm i tt ed  to  a  c ontr ol  Ce ntre w hich d eci des  th e act ion t o be  take n.  On e   of the li m i ta ti on s  of this  s yst e m  is that i t reco gniz es  on l y t he   sta ti c  i m ages   [8] .   T his  im ple m entat ion   f oc use s  on  detect io n  of   ha nd  gest ur es   us i ng  j a va   an d  neural  net works.   It  is   di vid e d i nto   t wo  phases:   -   1.   Detect io n m odule  us i ng  j av a  w he re  i n  the   hand   is  detect e d  us i ng  backg r ound  su bt racti on  a nd  co nversi on  of  vid e o  feed  int o  HS B   vi deo  fee d  th us  detect in g  s kin  pi xels.  2.  T he  sec ond  m odul e   is  the  pre dicti on   m od ule;  a  c onvoluti onal   ne ur al   netw ork  is   us e d.   The   in put  fee d  im age  is  gain ed  from   Java.   The  in pu t  im a ge  is  fed   i nto   t he  ne ur al   netw ork  an d  is  anal yz ed  with  res pe ct   to  the  datas et   i m ages.  On e   of   the   li m it at ion s of t his syste m  is that i t requires  soc ket pr ogram m ing  i n order  to c onnect  j a va  a nd p yt ho n  m odules.       3.   IMPLEME N TATION   A  ha nd  ge sture   rec ogniti on  s yst e m   was  de ve lop e d  t o  ca pt ur e   the   ha nd  ge stures   bei ng  pe rfor m ed  by   the  us er   a nd  to   con t ro l   a  c om pu te r   syst em   based   on  t he  i ncom ing   in f or m at i on.  Ma ny  of  th e  existi ng   syst em s  in  li te ratur e  ha ve   im ple m ented  gestu re  rec ogni ti on   us in g  onl y  sp at ia l  m odel li ng ,   i.e.   rec ogniti on  of  a   sing le   gestu re  a nd   not   te m po ral  m odel li ng   i.e . r ec ogniti on of  m otion of g est ures.   Also ,   t he  e xisti ng  syst em s  have  not  been  im ple m ented  i n  real  ti m e ,  t hey  us e   a   pre   ca ptu re d  im age  as   a n  i nput   f or  gest ur e   rec og niti on .   T o  ov e r com e   these  existi ng  pro blem s  a  ne w  arc hitec ture   has  bee n  devel op e d  w hich  aim s  to  design  a  vision - base d  ha nd   gestu r e  recog ni ti on   syst em   with  a  hi gh  co rrec t  detect ion   r at e  al ong  with  a  high - pe rfor m ance  c rite rio n,   wh ic h  can  w ork  in  a  real  tim e  HCI  syst e m   witho ut   hav in g  a ny  of  the  m entione d  stric t  lim i ta tio ns   ( gloves,  unif or m   backg rou nd  et c.)  on  the   us e r  env i ronm ent.   The  desig n  is   com po sed   of  a   hum an  com pu te r  interact io n  syst e m   wh ic h uses  ha nd  gestu res  as  in pu t  f or  c omm u nicat ion   as s how  in   Fig ure  2 .           Figure  2. Desi gn of t he pr opose d HCI  syst em         Evaluation Warning : The document was created with Spire.PDF for Python.
Com pu t. Sci.  I nf. Tec hnol.         Han d gesture   r ecognit ion  us in g ma c hin e  lear ning  algorit hm s … ( Abh is hek  B )   119   Inp ut to  the syst e m  is fr om   the w eb  cam era o r  a  pr e recor de d  vi deo  se quen ce. Late r  it  d et ect s the sk i n  colo r  by  usi ng  an  a da ptive  al gorithm   in  the   be ginnin g  of  the   fr am es.  F or  th e  cu rr e nt  us er   sk in   col or  has   to  be   fixe d  base d  on  the  li ghti ng  an d  cam era  pa ra m et er  and  c ondi ti on .  O nce  it   is   bee n  fixe d,  ha nd  is  local iz e d  with  a   histo gr am   cl ust ering  m et ho d.  T hen  a   m achine  le a rn i ng  al gorithm   is  been  use d  to   detect   the   ha nd   gest ur es   i n  consecuti ve   f r a m es  to  disti nguis h  t he  c urr ent  ge sture .  T hese  gestu res   are  us ed   a s  a n  input  for  a   c om pu te r  app li cat io n   as  sh ow n  in   Fi gur e 3 .  T he  syst e m   is divid e d  i nt o  3 s ub syst em s:     3.1.   Ha n d  an d  Mo tion De tecti on   The  Web - cam era  capt ur es   th e  ha nd   m ov em ent  an d  pro vide s  it   as  input  t o  O pe nCV   an d  Tens orFlo w  Object  detect or.  E dge  detect ion  an d  sk i n  de te ct ion   are   perf or m ed  to  obta in  the   bounda ry  of  the   hand.  T his  is   then sent t o  the  3D CN N.     3.2.   Datase t   Dataset   is  us e d  f or   t rainin g  t he  3D  C NN.  T wo   ty pe s  of  da ta set s  are  bein g  use d  –   on e  f or   t he  ha nd   detect ion  an d  the  oth er   for  t he  m otion  or  gestu re  de te ct ion.  Ha nd  dete ct ion   us es   E G O  dataset ,  M ot ion   or  Gestu re Rec ogniti on   us es  Jest er  dataset .     3.3.   3D C NN   CNN ’s are  a  cl ass  of  dee p l ea rn i ng   ne ur al   ne tworks  us e d f or  analy zi ng  vi de os   a nd   im ages. It  co ns ist s  of   seve ral  la ye r s  –   i nput  la ye r,  hidden   la ye rs  a nd  out put  la ye r .  It  perform s  back   propagati on   for  bette r  acc uracy   and  e ff ic ie ncy .  It   pe rfo rm s  trai ning  a nd  ver ific at io n  of   the   rec ogniz ed  gest ur es   a nd  hu m an  c om pu te r   interact ions  ta ke   place  –   tu rn i ng  of  the  pag es ,  zoo m ing   in  a nd  zo om ing   out.   The  interact io ns   wit h  t he  co m pu te r   ta ke  place  w it h t he help  of Py Au t oGUI o r S yst e m  Calls.                 Figure  3. Syst em  r ecog nize d hand  gest ur es       4.   CONCL US I O N   The   im po rtanc e  of   ge sture   r ecognit ion  li es   in   bu il di ng  e f fici ent  hu m an - m achine  i ntera ct ion .   T his  pap e r   des cribe s  how   the   im pl e m entat ion   of  t he  syst e m   is  do ne  base d  up on  the  im ages  ca pt ur e d.  Ha nd  det ect ion  is  done   us in g  O pen C V  a nd  Te ns orFl ow  ob j e ct   detect or .  A nd  furthe r  it   is  e nh a nce d  for  i nterpreta ti on  of  ge sture s   by the c om pu t er to pe rfor m  acti on s li ke  sw it chin g  the  p a ge s,  scr olli ng  up  or down t he pa ge.         ACKN OWLE DGE MENT   This work  is   done ,  s uper vise d  a nd  s upporte d  by  the   st ud e nt s  an d  fac ulty   m e m ber s  of  t h e  De par tm ent  of Com pu te r S ci ence a nd Eng ineerin g, BM S  In sti tute  of Tec hnology, Ba ng al or e.           REFERE NCE S   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2722 - 3221   Com pu t. Sci.  I nf. Tec hnol. ,   V ol.  1 , N o.   3 ,  N ov em ber   20 20 :  117   –   12 0   120   [1] .   M.  Panwar  and  P.  Singh  Mehra ,   “ Hand  gesture  rec ogni ti on  for   hum an  compute r  intera c ti on , ”   2 011  Inte rnation al  Confe renc e  on   I mage  Informatio n  Proce ss ing ,   Sh imla,   pp .   1 - 7 ,   20 11.   [2] .   Rafi qul   Z aman   Khan  and   Noor   Adnan   Ibra h eem .   “ Com par it iv e  Stud y   of   Han d  Gesture   R ec o gnit ion   S y st em .”   Inte rnational   Co nfe renc e  of   Ad va nce d  Comput er  Sci en ce  &   Infor mation  Techno lo gy ,  2012 .   [3] .   Arpita   R a y   Sark ar,   G .   San y a l,  S.  Majumder .   “ Han d  Gesture   Rec og nit ion S y stems :  A  Surve y .”   Inte r nati onal   Journa l   of  Computer  Ap pli cations ,   vo l. 7 1,   n o . 15,   pp.   25 - 37,   Ma y   2013.   [4] .   Manjuna th   AE,  Vijay a   Kum ar  B  P,  Ra je sh  H .   “ Com par at ive   S tud y   of  Hand   G esture   R ec ogni tion  Algorit hm s .”   Inte rnational   Jo urnal  of   Re searc h  in  Comput er  a nd   Comm unic ation Tec hnolog y ,  v ol  3,   no.   4,   Apr i l   2014 .   [5] .   Dn y an ada  R  Jad hav,  L.  M.   R.   J   Lobo ,   Nav iga t i on  of  Pow erPoi nt  Us ing  Hand   Gesture s,  In te rn at ion al   Journ al  of   Scie nc e and  Res ea rch   (IJS R)   201 5.   [6] .   Ruchi   Man ish  G ura v,   Prem ana nd   K.  Kadb e,  Re al  ti m e  fing er  track ing  and   con tour  det e ct ion   for   ges ture   r ec ogn it ion  using Ope nCV ,   I EE E   Confer enc e   Ma y   2015 ,   Pun e  Indi a.   [7] .   Pei  Xu,  Depa rt m ent   of  Elec tr ical  and   Com pute r   Engi ne eri ng ,   U nive rsit y   of   Min nesota ,   A  Real - t ime  Hand  Gestu re   Rec ognition  and   Hum an - Com pute r  Int eract ion   S y stem ,   Rese arc h   Paper   April   201 7.   [8 ] .   P.  Sugan y a ,  R.   S at h y a ,  K.   Vijay a l akshm i .   “ Detect i on  and   R ec ogni tion  of   Gesture s   to   Contro l   the   S y s t em  Applicat ions  b y   Neur al   Ne tworks .”  Int ernati on al  Journal  of  Pure  and  Applied  M athe mati cs ,   vol .   118 ,   no.   10 ,   pp.   399 - 405 ,  Janu a r y   2018 .             Evaluation Warning : The document was created with Spire.PDF for Python.