Co m pu ter Sci ence a nd Inf or mat i on  Tec h no lo gies   Vo l.   1 , No .   3 Novem ber   2020 , p p.   11 6 ~ 12 0   IS S N:  27 22 - 3221 ,   DOI: 10 .11 591 / csi t.v 1i 3 .p 11 6 - 12 0           116       Journ al h om e page http: // ia esprime .com/i ndex. php/csit   Hand  gesture re cogniti on u sing machine  learning  algorithm s       Ab hishe k B 1 , Kan ya Kris hi 2 , M e ghan a M 3 , Mohamme Daan i yaal 4 , A nup ama H  S 5   1, 2, 3,4 B. E ,   Com pute Sc ie nc e and   Engi n ee ring ,   B MS   Instit ute of Te chno log y ,   Ba ngal ore ,   Ind ia   5 As socia te   Profe ss or,   BMS   Institute  of   T ec hnolo g y ,   Bang al or e, I ndia       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   A pr   24 , 20 2 0   Re vised  Jun   14 , 20 2 0   Accepte J un   2 9 , 20 2 0       Gesture   re cogni t ion  is  an  emergi ng  topi in  tod a y ’s  t ec hnolog ie s .   The  m ai foc us  of  thi is  to   rec ogni ze   the   hu m an  gesture using  m at hemati c al   al gorit hm s   for  hum an   com pute r   intera ct io n.   Onl y   a   few   m odes  of  hum a n - computer   int er ac t ion   (HCI)   ex ist,  th e y   are:   through  k e y boar d,   m ouse,   tou ch   scre ens  etc.  Ea ch   of  th ese   de vic es  h as  their  o wn  li m it ations  when  it  comes  to  a dapt ing  m or e   ver satile  h ard wa re  in  computer s.   Gesture   r ec ogni ti on  is  on of  t h essential   te chn ique to  bu i ld  user - fri endly   i nte rfa ce s.   Us ual l y   g e stures  c an  b e   origi na te from   an y   bod ily  m oti on  or  state ,   but  comm onl y   origi na te   from   the   fa ce   o hand.  Gesture   r e cogni ti on   ena bl e users  to   in te r a ct  with   the  d evice wi thout   ph y sic al l y   tou ch ing  th em.  Th is  p ape d esc rib es  h ow  hand  gestur e are   traine to  p erf orm   c ert a i a ct ions   li k sw it chi ng   p age s,   sc roll ing   up   or  do wn  in   a   pag e.   Ke yw or d s :   Gestu re  recog ni ti on   Hu m an  com pute interact io n   User - f rien dly i nterf ace   This   is an  open   acc ess arti cl e   un der  the  CC  B Y - SA   l ic ense .     Corres pond in Aut h or :   Abhishe k B ,   B.E, C om pu te Scie nce a nd E ng i neer i ng,    BM S I nst it ute o f  Tech nolo gy,  Ban galor e , In dia .   Em a il anu pam ahs@bm sit .in       1.   INTROD U CTION   Gestu re  rec ogni ti on   is  te chn i qu w hich  is  use to  unde rstand   a nd  analy ze   the  hum an  body  la ngua ge   and   i nteract  with  the  us er  acc ordin gly.  T his  in  tu rn   hel ps   in  bu il di ng  bri dge  betwee the   m achine  an t he  us e r   to  com m un ic at with  eac othe r.   Gestu re  rec ogniti on  is  us e fu in   proce ssing  the  in f or m a ti on   wh ic can no t   be   conveyed  t hro ugh  s peech   or   te xt.  Gestu re are  the  sim plest  m eans  of  com m un ic at i ng   s om et hin that  is   m eaningfu l.   T his  pa per  in volves   im ple m entat ion  of  t he   sys tem   that  ai m t desi gn  a   visi on - based  hand   gestu re   recog niti on  sys tem   with  a   high  c orrect  detect ion  rate   al ong  with  a   high - perform ance  crit er ion ,   wh ic ca work  in  a   real   ti m Hu m an  C om pu te r   I nteracti on  syst e m   with ou t   ha vi ng  a ny   of  t he   lim it a ti on s   ( gloves,   un i for m   backg rou nd  et c.)  on  the   us e r   en vi r on m ent.  The  syst em   can  be  def i ned  usi ng  fl ow c ha rt  that  c on ta in s   three   m ai ste ps , t he y are:  Lear ning , D et ect io n,  Re cogniti on   as s how i Fi gure  1 .   Learn i ng   It in vo l ves  tw o aspect su c a     Trainin datas et This  is  t he  dataset   that  c onsist s o dif fere nt  ty pes  of h a nd  ge sture tha are u se to   tr ai the syst em  b ased  on which  th e syst e m  p erfo rm s the acti on s .     Feat ur e   E xtrac ti on It  in vo l ve dete rm ining   the   centr oid  t hat  div ide th e   im age  into  t w halves   at   it geo m et ric Centre.   Detect ion     Ca ptu re  sce ne: Ca ptures t he  i m ages th r ough  a w e cam era,  which is  u se d as an  in pu t t t he  syst em .     Pr e processin g:   Im ages  that  ar captu red   t hro ugh  the   we bca m   are  com par ed  with   the d at aset   to  rec ogniz the v al id  han d m ov e m ents that are  need e t o per form  the r e qu i red act ions.   Evaluation Warning : The document was created with Spire.PDF for Python.
Com pu t. Sci.  I nf. Tec hnol.         Han d gesture   r ecognit ion  us in g ma c hin e  lear ning  algorit hm s … ( Abh is hek  B )   117     Hand  Detect io n:  The   re qu i r e m ents  for  ha nd   detect io i nvolv e   the  in pu im age  fro m   the  web ca m .     The  im age  s hould  be   fetc hed  with  a   s peed  of  20  f ram es  pe sec ond.  Dista nce  s houl al s be  m ai ntained   betwee t he  ha nd  a nd  the   cam era.  A ppr ox im at distance   tha shou l be   bet ween  hand  t he  ca m era  is  ar ou nd   30 to 1 00 cm . Th vid e i nput  is stor e d fr am e b fr a m e into  a m at rix  after  pr e processi ng.    Re cogniti on     Gestu re  Re c og niti on The   nu m ber   of  fi ng e r prese nt  in   the   ha nd  gestu re  i dete rm ined  by   m aking   us of   def ect   po i nts  pr ese nt  in  t he   gestu re.  T he  resu lt ant  gestu re  obta ine is   fed   t hro ugh  3D im ensional   Conv olu ti onal   Neural  Netw ork  c onsecuti vel y t rec ognize  the curre nt  ges ture.      Perfo rm ing   act ion T he  recog nized  gest ur i us e as   an   in pu t perform   the  act ions  re quire by  t he  use r.           Figure  1. Flo w char t   hum an  com pu te inte ra ct ion       2.   LIT ERATUR E SU RV E Y   The   im ple m entat ion   is  div i de int fou m ai ste ps :   1.  I m age  En ha nce m ent  an Se gm entat ion   2.   Or ie ntati on  D et ect ion   3.  F e at ur e   E xtracti on  4   [ 1] .   Cl ass ific at ion .   T his   w ork   was   f oc us se on   ab ove   f our  cat egories  but  m ai lim it a ti on   was   c hange   of  c olo r   was   ha pp e ni ng   ve ry  rap i dly  by   the   change   in   the   diff e re nt  li gh ti ng  co ndit ion,  wh ic m ay   cause  e rror  or  e ven  fail ures.   F or   exam ple,  du to  in suffici en li gh co ndit io n,   t he   existe nce  of   ha nd   a rea  is  not  de te ct ed bu th non - sk i n re gions  are  m ist aken   f or   t he ha nd  area  beca us of  sam e   colo r   [2] .   I nv olv es   th ree  m ai ste ps   f or  hand   ge sture   recog niti on  syst e m 1.   Segm entat ion   2.  Feat ur e   Re pr ese ntati on  3.   Re c ogniti on  Tec hn i qu es The  syst em   is  base on  H an gestu re  rec og niti on   by  m od el ing   of  the  ha nd  in   s pa ti al   do m ai n.   The  sy ste m   us es  va rio us   2D  and  3D  ge om e tric   an non - ge om et ric  m od el for   m od el ing It  ha use F uzzy  c -   Me ans   cl us te ring  al go rithm   wh ic res ulted   in   an   acc ur acy   of   85. 83%.   T he  m ai dr a w back  of  th syst em   is  it   does  not  c onsid er  gestu re   rec ogniti on  of  te m poral  s p ace,   i.e m otion   of  ges tures   and   it   is  unable   to  cl assify   i m a ges  with  c om plex  bac kgr ound  i.e.  w her the re   are  oth e ob j ec ts  in  the  scene  with  the  ha nd  obj e ct s   [3] .   T his  s urvey  f oc us es  on  the  hand  ge sture  recog niti on   us in dif f eren ste ps   li ke   data   acqu isi ti on,  pr e - proce ssin g,  s egm entat ion   a nd  s on.  S uit able  in put  de vi ce  shou l be  sel ect ed  f or  th data  acqu isi ti on.  Th ere  a re  num ber   of  in pu de vi ces  for  data  a cqu isi ti on.  Som of   t hem   are  data  gloves m ark er ,   and   ha nd  im a ges  ( from   webcam /Kinect   3D  S e nsor ).   B ut   the  lim i ta ti on   with   this  w ork  was  c hang in  the   il lu m inati on r otati on   a nd   ori entat ion scal in pro blem   and  sp eci al   hard w are  w hich  is  pret ty   costli er   [4] The  syst e m   i m ple m entat ion   is  di vid ed   int t hree  phases:   1.  Hand   gest ur e   recog niti on   us i ng   kin et ic   ca m era  2.  Algorithm for   ha nd  detect io recog niti on   3.   Ha nd  ge sture   rec ogniti on.  The  li m i ta ti on   her e   is  that  t he   ed ge   detect ion  an s egm entat ion   al gorithm us ed   her e   are   not  very   eff ic ie nt  w he c om par ed  t neural  netw ork s.  T he   dataset  b ei ng c on si d ere d he re  is ver sm all an d ca n be  used  to dete ct  v e ry  few sig n gestu r es.    Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2722 - 3221   Com pu t. Sci.  I nf. Tec hnol. ,   V ol.  1 , N o.   3 N ov em ber   20 20 117     12 0   118   The   Syst em   arch it ect ur e   c on s ist of:   1.  Im age  ac qu isi ti on  2.  Se gm entat ion   of  hand   re gion.   3.   Dista nc e   trans form m e thod  for  gestu re  r eco gnit ion   [ 5] T he  li m i t at ion of  this   syst e m   i nv ol ve   1.  T he  num ber s   of   gestu res   that   ar rec ognize ar le ss   2.  The   ge stures   r eco gniz ed  we re  not  use to   co ntr ol  any  a pp li cat io ns   [ 6] .   In  t his im ple m entat ion  t her e   are th ree m ai al gorithm s that  are use d: 1.  Viola and  jon e Algorithm . 2 . C onve Hu ll   Al go rith m 3.   The  Ad a Boo st  base le arn i ng   Algo rithm The  w ork  was  acc om plis hed   by  trai ning   set   of   featur e   set   w hi ch  is  local   c on t our  se qu e nce The  li m it at ion of   t his  syst em   are  that  it   re qu i res  tw set of   i m ages   for  cl assifi cat ion.  On e   is  t he  po sit ive   set   th at   co ntains  t he   re qu ir ed   im ag es,  the   ot her  is   the  ne gative  s et   that   con ta in c on tra dicti ng   im ages   [7] The   syst em   i m ple m entation   c onsist of   three  c om po ne nts:  1.  Ha nd  de te ct ion  2.  Gest ur e   rec ogniti on  3.  H uma n - C om pu te I nteracti on  (H C I) .   It   has   im ple m ente the   f ollow i ng  m et ho dolo gy:   1.   t he  in put  im age  is  pr e proce ssed  a nd  the   ha nd  detect or  tri es  to  filt er  out  the  ha nd  f r om   the  in pu im age  2.A   CNN  cl assifi e r   is  e m plo ye to  rec ognize  ge stures  from   the  processe im a ge,   wh il Kal m an  Fil te is  us ed  to   est i m at e   the  posit ion   of   t he  m ou s c ur s or.  3.   The  recog niti on  a nd  est im a ti on   resu lt a re  s ubm i tt ed  to  c ontr ol  Ce ntre w hich d eci des  th e act ion t o be  take n.  On e   of the li m i ta ti on of this  s yst e m  is that i t reco gniz es  on l y t he   sta ti i m ages   [8] .   T his  im ple m entat ion   f oc use on  detect io of   ha nd  gest ur es   us i ng  j a va   an neural  net works.   It  is   di vid e d i nto   t wo  phases:   -   1.   Detect io n m odule  us i ng  j av w he re  i the   hand   is  detect e us i ng  backg r ound  su bt racti on  a nd  co nversi on  of  vid e feed  int HS B   vi deo  fee th us  detect in s kin  pi xels.  2.  T he  sec ond  m odul e   is  the  pre dicti on   m od ule;  c onvoluti onal   ne ur al   netw ork  is   us e d.   The   in put  fee im age  is  gain ed  from   Java.   The  in pu im a ge  is  fed   i nto   t he  ne ur al   netw ork  an is  anal yz ed  with  res pe ct   to  the  datas et   i m ages.  On e   of   the   li m it at ion s of t his syste m  is that i t requires  soc ket pr ogram m ing  i n order  to c onnect  j a va  a nd p yt ho m odules.       3.   IMPLEME N TATION   ha nd  ge sture   rec ogniti on  s yst e m   was  de ve lop e t ca pt ur e   the   ha nd  ge stures   bei ng  pe rfor m ed  by   the  us er   a nd  to   con t ro l   c om pu te r   syst em   based   on  t he  i ncom ing   in f or m at i on.  Ma ny  of  th existi ng   syst em in  li te ratur ha ve   im ple m ented  gestu re  rec ogni ti on   us in onl sp at ia m odel li ng ,   i.e.   rec ogniti on  of  a   sing le   gestu re  a nd   not   te m po ral  m odel li ng   i.e . r ec ogniti on of  m otion of g est ures.   Also ,   t he  e xisti ng  syst em have  not  been  im ple m ented  i real  ti m e t hey  us e   a   pre   ca ptu re im age  as   a i nput   f or  gest ur e   rec og niti on .   T ov e r com e   these  existi ng  pro blem ne arc hitec ture   has  bee devel op e w hich  aim to  design  vision - base ha nd   gestu r recog ni ti on   syst em   with  hi gh  co rrec detect ion   r at al ong  with  high - pe rfor m ance  c rite rio n,   wh ic can  w ork  in  real  tim HCI  syst e m   witho ut   hav in a ny  of  the  m entione stric lim i ta tio ns   ( gloves,  unif or m   backg rou nd  et c.)  on  the   us e env i ronm ent.   The  desig is   com po sed   of  a   hum an  com pu te interact io syst e m   wh ic h uses  ha nd  gestu res  as  in pu f or  c omm u nicat ion   as s how  in   Fig ure  2 .           Figure  2. Desi gn of t he pr opose d HCI  syst em         Evaluation Warning : The document was created with Spire.PDF for Python.
Com pu t. Sci.  I nf. Tec hnol.         Han d gesture   r ecognit ion  us in g ma c hin e  lear ning  algorit hm s … ( Abh is hek  B )   119   Inp ut to  the syst e m  is fr om   the w eb  cam era o pr e recor de vi deo  se quen ce. Late it  d et ect s the sk i colo by  usi ng  an  a da ptive  al gorithm   in  the   be ginnin of  the   fr am es.  F or  th cu rr e nt  us er   sk in   col or  has   to  be   fixe base on  the  li ghti ng  an cam era  pa ra m et er  and  c ondi ti on O nce  it   is   bee fixe d,  ha nd  is  local iz e with  a   histo gr am   cl ust ering  m et ho d.  T hen  a   m achine  le a rn i ng  al gorithm   is  been  use to   detect   the   ha nd   gest ur es   i consecuti ve   f r a m es  to  disti nguis t he  c urr ent  ge sture T hese  gestu res   are  us ed   a a input  for  a   c om pu te app li cat io n   as  sh ow in   Fi gur e 3 .  T he  syst e m   is divid e i nt 3 s ub syst em s:     3.1.   Ha n an d  Mo tion De tecti on   The  Web - cam era  capt ur es   th ha nd   m ov em ent  an pro vide it   as  input  t O pe nCV   an Tens orFlo Object  detect or.  E dge  detect ion  an sk i de te ct ion   are   perf or m ed  to  obta in  the   bounda ry  of  the   hand.  T his  is   then sent t the  3D CN N.     3.2.   Datase t   Dataset   is  us e f or   t rainin t he  3D  C NN.  T wo   ty pe of  da ta set are  bein use   on f or   t he  ha nd   detect ion  an the  oth er   for  t he  m otion  or  gestu re  de te ct ion.  Ha nd  dete ct ion   us es   E G dataset M ot ion   or  Gestu re Rec ogniti on   us es  Jest er  dataset .     3.3.   3D C NN   CNN ’s are  cl ass  of  dee p l ea rn i ng   ne ur al   ne tworks  us e d f or  analy zi ng  vi de os   a nd   im ages. It  co ns ist of   seve ral  la ye r   i nput  la ye r,  hidden   la ye rs  a nd  out put  la ye r It  perform back   propagati on   for  bette acc uracy   and  e ff ic ie ncy It   pe rfo rm trai ning  a nd  ver ific at io of   the   rec ogniz ed  gest ur es   a nd  hu m an  c om pu te r   interact ions  ta ke   place    tu rn i ng  of  the  pag es zoo m ing   in  a nd  zo om ing   out.   The  interact io ns   wit t he  co m pu te r   ta ke  place  w it h t he help  of Py Au t oGUI o r S yst e m  Calls.                 Figure  3. Syst em  r ecog nize d hand  gest ur es       4.   CONCL US I O N   The   im po rtanc of   ge sture   r ecognit ion  li es   in   bu il di ng  e f fici ent  hu m an - m achine  i ntera ct ion .   T his  pap e r   des cribe how   the   im pl e m entat ion   of  t he  syst e m   is  do ne  base up on  the  im ages  ca pt ur e d.  Ha nd  det ect ion  is  done   us in O pen C a nd  Te ns orFl ow  ob j e ct   detect or A nd  furthe it   is  e nh a nce for  i nterpreta ti on  of  ge sture s   by the c om pu t er to pe rfor m  acti on s li ke  sw it chin the  p a ge s,  scr olli ng  up  or down t he pa ge.         ACKN OWLE DGE MENT   This work  is   done s uper vise a nd  s upporte by  the   st ud e nt an fac ulty   m e m ber of  t h De par tm ent  of Com pu te r S ci ence a nd Eng ineerin g, BM In sti tute  of Tec hnology, Ba ng al or e.           REFERE NCE S   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2722 - 3221   Com pu t. Sci.  I nf. Tec hnol. ,   V ol.  1 , N o.   3 N ov em ber   20 20 117     12 0   120   [1] .   M.  Panwar  and  P.  Singh  Mehra ,   Hand  gesture  rec ogni ti on  for   hum an  compute intera c ti on ,   2 011  Inte rnation al  Confe renc on   I mage  Informatio Proce ss ing ,   Sh imla,   pp .   1 - 7 ,   20 11.   [2] .   Rafi qul   Z aman   Khan  and   Noor   Adnan   Ibra h eem .   Com par it iv Stud y   of   Han Gesture   R ec o gnit ion   S y st em .”   Inte rnational   Co nfe renc of   Ad va nce Comput er  Sci en ce  &   Infor mation  Techno lo gy 2012 .   [3] .   Arpita   R a y   Sark ar,   G .   San y a l,  S.  Majumder .   Han Gesture   Rec og nit ion S y stems Surve y .”   Inte r nati onal   Journa l   of  Computer  Ap pli cations ,   vo l. 7 1,   n o . 15,   pp.   25 - 37,   Ma y   2013.   [4] .   Manjuna th   AE,  Vijay a   Kum ar  P,  Ra je sh  H .   Com par at ive   S tud y   of  Hand   G esture   R ec ogni tion  Algorit hm s .”   Inte rnational   Jo urnal  of   Re searc in  Comput er  a nd   Comm unic ation Tec hnolog y v ol  3,   no.   4,   Apr i l   2014 .   [5] .   Dn y an ada  Jad hav,  L.  M.   R.   J   Lobo ,   Nav iga t i on  of  Pow erPoi nt  Us ing  Hand   Gesture s,  In te rn at ion al   Journ al  of   Scie nc e and  Res ea rch   (IJS R)   201 5.   [6] .   Ruchi   Man ish  G ura v,   Prem ana nd   K.  Kadb e,  Re al  ti m fing er  track ing  and   con tour  det e ct ion   for   ges ture   r ec ogn it ion  using Ope nCV ,   I EE E   Confer enc e   Ma y   2015 ,   Pun Indi a.   [7] .   Pei  Xu,  Depa rt m ent   of  Elec tr ical  and   Com pute r   Engi ne eri ng ,   U nive rsit y   of   Min nesota ,   Real - t ime  Hand  Gestu re   Rec ognition  and   Hum an - Com pute Int eract ion   S y stem ,   Rese arc h   Paper   April   201 7.   [8 ] .   P.  Sugan y a R.   S at h y a K.   Vijay a l akshm i .   Detect i on  and   R ec ogni tion  of   Gesture s   to   Contro l   the   S y s t em  Applicat ions  b y   Neur al   Ne tworks .”  Int ernati on al  Journal  of  Pure  and  Applied  M athe mati cs ,   vol .   118 ,   no.   10 ,   pp.   399 - 405 Janu a r y   2018 .             Evaluation Warning : The document was created with Spire.PDF for Python.