T E L KO M N I KA  T e lec om m u n icat ion ,   Com p u t i n g,   E lec t r on ics   an d   Cont r ol   Vol.   1 8 ,   No.   3 ,  J une   2020 ,   pp.   1499 ~ 1504   I S S N:  1693 - 6930,   a c c r e dit e d  F ir s t  G r a de   by  Ke me nr is tekdikti ,   De c r e e   No:   21/E /KP T /2018   DO I :  10. 12928/ T E L KO M NI KA . v1 8 i 3 . 14777     1499       Jou r n al  h omepage :  ht tp: // jour nal. uad . ac . id/ index . php/T E L K OM N I K A   Id e n t ifie r  of   h u m a n  e m ot io n s  b ase d  o n     c on vol u t io n al   n e u r al  n e t w o r k  f or  a ssi st an t   r ob o t       F r e d y  M ar t ín e z ,   Cé s ar   Her n án d e z ,   Angélica   Re n d ón   Facu l t ad   T ec n o l ó g i ca,   U n i v ers i d a d   D i s t ri t al   Fra n ci s co   J o s é  d e  Ca l d a s ,   Co l o mb i a       Ar t icle   I n f o     AB S T RA CT     A r ti c le  h is tor y :   R e c e ived  S e p   2 ,   2019   R e vis e d  J a n  4 ,   2020   Ac c e pted  F e b  23 ,   2020       T h i s   p ap er   p r o p o s e s   a  s o l u t i o n   f o r  t h e  p ro b l em   o f  c o n t i n u o u s   p re d i c t i o n   i n   real - t i me  o f  t h e  emo t i o n al   s t a t e  o f  a  h u man   u s er  fro m   t h e  i d en t i f i cat i o n   o f   ch aract er i s t i c s   i n   faci a l   ex p res s i o n s .   In   ro b o t s   w h o s e  m ai n   t a s k   i s   t h e  care  o f   p eo p l e  (ch i l d ren ,   s i c k   o r   el d er l y   p e o p l e)  i s   i m p o r t an t   t o   mai n t ai n   a  cl o s e   rel at i o n s h i p   man - mach i n e,   an l d   a  rap i d   res p o n s e  o f  t h e  ro b o t   t o   t h e  act i o n s   o f   t h e  p ers o n   u n d er  care.   W e  p ro p o s e  t o   i n crea s e  t h e  l ev el   o f  i n t i mac y   o f     t h e  ro b o t ,   an d   i t s   re s p o n s e  t o   s p ec i fi c  s i t u at i o n s   o f  t h e  u s er,   i d en t i f y i n g   i n   real   t i me  t h e  emo t i o n   refl ect e d   b y   t h e  p ers o n ' s   face.   T h i s   s o l u t i o n   i s   i n t e g ra t ed   w i t h   al g o r i t h ms   o f  t h e  res earch   g r o u p   rel at e d   t o   t h e  t rac k i n g   o f  p e o p l e  fo r  u s e   o n   a n   as s i s t a n t   r o b o t .   T h e  s t rat eg y   u s ed   i n v o l v e s   t w o   s t a g es   o f  p r o ces s i n g ,   t h e  fi r s t   i n v o l v e s   t h e  d e t ect i o n   o f  face s   u s i n g   H O G   an d   l i n ear  SV M,     w h i l e  t h e  s eco n d   i d en t i f i es   t h e  emo t i o n   i n   t h e  face  u s i n g   a  CN N .   T h e  s t ra t eg y   w as   c o mp l et e l y   t es t ed   i n   t h e  l ab o rat o ry   o n   o u r  ro b o t i c  p l at f o rm,   d emo n s t rat i n g   h i g h   p erf o rman ce  w i t h   l o w   res o u rce  c o n s u m p t i o n .   T h r o u g h   v ari o u s   co n t ro l l e d   l ab o rat o ry   t e s t s   w i t h   d i fferen t   p eo p l e,   w h i c h   fo rced     a  cert ai n   emo t i o n   o n   t h ei r  faces ,   t h e  s ch eme  w a s   ab l e  t o   i d e n t i fy   t h e  emo t i o n s   w i t h   a  s u cces s   rat e  o f  9 2 % .   K e y w o r d s :   A utonom ous   r obot   C onvolut ional  ne ur ona l  ne twor k   H uman  e mot ions   S e r vice   r obot   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i ce n s e .     C or r e s pon din g  A u th or :   F r e dy  M a r tí ne z ,     F a c ult a d  T e c nológi c a ,     Unive r s idad  Dis tr it a l  F r a nc is c o  J os é   de   C a ldas ,     B ogotá ,  C olom bia .   E mail:   f hmar ti ne z s @udis tr it a l. e du. c o       1.   I NT RODU C T I ON     S e r vice   r obots   a r e   de s igned  to  de ve lop  tas ks   that  s uppor t  the  human  be ing  [ 1 - 3] .   T he   s uc c e s s   in     the  de ve lopm e nt  of   thes e   tas ks   is   int im a tely  li nk e d  to  their   a bil it y  to   int e r a c t  with   the  us e r   [ 4 - 6] .   M os t  of     the  ke y  to   human   int e r a c ti on   li e s   in   the   a bil it y   of   o ne   pe r s on  to   f e e l   s ympathy  f o r   the  other ,   that  is ,   th e   a bil it y   to  identi f y   with   a nother   pe r s on,   know   how  to   li s te n,   unde r s tand   their   pr oblems   a nd  e mot ions   [ 7,   8 ] .   M uc h  of   thi s   e mpathy  is   vis ua li z e d  by   obs e r ving  a   pe r s on’ s   f a c e .   T he   human   f a c e   is   de s igned  to  e xp r e s s   a   lar ge   number   of   e mot ions   a utom a ti c a ll y  f r om  the  e mot io na l  s t a te  of   the   indi vidual.   W hil e   it   is   tr ue   that  the  f a c e   is   not  the  only  mea ns   us e d  by  humans   to  c omm unica te  their   e mot ional  s tate ,   the  im por tanc e   of   the  opti c a l  s e ns or   f o r   int e r a c ti on  with  the  e nvir onment   make s   thi s   a   f unda me ntal  f ield   to  s tudy  [ 9 ,   10 ] .   How e ve r ,   ther e   a r e   s c he mes   de ve loped  to  identi f y  other   mec ha nis ms   f or   c omm unica ti ng  e mot ions ,   e ve n   in   a nim a ls .   S ome   of   thes e   media   include   voc a l  c omm unica ti on   [ 11 ,   12 ] ,   body     e xpr e s s ion  [ 13] ,   f or ms   of   dir e c t   c ontac t  [ 14]   a nd  ne ur ologi c a l  pa tt e r ns   [ 15,   16] .   F a c ial  e xpr e s s ions   on     the  human  f a c e   c a n  be   us e d   to  identi f y  a   pe r s on’ s   e mot ional  s tate   [ 17 ] .   T ha t   is   why   many   s tr a tegie s   ha ve   be e n  de ve loped  to   identi f y   them   f r om   the   p r oc e s s ing  of   the   im a ge   of   the   f a c e   [ 18 - 20] .   T he s e   e xpr e s s ions   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un  C omput   E l  C ontr o l ,  Vol.   1 8 ,   No .   3 ,  J une   2020:    1 499   -   1504   1500   ha ve   c omm on  c ha r a c ter is ti c s   f or   a   given   e mot io na l  s tate ,   c ha r a c ter is ti c s   that  a r e   indepe nde nt  o f   r a c e   or   ge nde r .   I f   it   is   pos s ibl e   to  identi f y  thes e   im a ge s   f r om  the  a na lys is   of   a n   im a ge ,   then  it   is   pos s ibl e   to  i nf or m  to   a n  a r ti f icia l  s ys tem,   a s   it   is   the  c a s e   of   a n  a s s is tant  r obot,   how  to  a djus t  it s   be ha vior   a c c or ding  to     the  e mot ional  s tate   of   the  us e r .   T h e   m os t   r ob us t  s o lu ti ons   de ve lo pe d   f o r   t he   a ut o mat i c   de te c t io n   o f   f a c ia l   e xp r e s s i ons   us e   la r g e   da tas e ts   f o r   t he   t r a in in g   o f   a d j us ta b le   s c he mes   [ 21 - 23 ] .   W h il e   thes e   s c he mes   p r o vi de   h ig h - pe r f o r ma nc e   va l ue s ,   i nc r e a s in g   t he i r   r e l ia bi l it y   w i th   lo w   c om pu ta ti on a l   c os t   ha s   be c o me   a   c ha l le ng e   d ue   to   t he   w i de   va r i a b i li ty   o f   c ha r a c te r is ti c s   b e t we e n   in di vi du a ls ,   w hi c h   ma ke s   th e   s e pa r a t io n   be t we e n   c la s s e s   o r   c a te go r ies   c o m ple x ,   e ve n  w i th ou t  c o ns i de r in g  th e   va r iab les   r e la ted   to   i ma ge   c a p tu r e .   T h e   wo r k  p r e s e nt e d   i n   t his   p a p e r   a i ms   to   c o n tr i bu te  t o   t his   a r e a   o f   r e s e a r c h ,   pa r t ic ul a r l y  e va lu a t in g   th e   pe r f o r ma nc e   o f   a n   a ut o mat ic   ide nt i f i c a ti on   s ys te m  of   e mo t io ns   in   r e a l - t im e   on   a   la bo r a to r y   r o bo t   a s s e m b le d   to   pe r f o r m   tas ks   o f   a s s is tan c e   to   h u man   be in gs .   I n  p r e v io us   wo r ks ,   we   ha ve   s h ow n  de ta il s   o f   t he   r ob o ti c   p la tf o r m   a nd   a   pe op le   tr a c ki ng   s c he m e   [ 24 ] ,   t his   wo r k  is   i n te gr a t e d   w i th   s uc h   s c h e m e s   t o   p r od uc e   a n   in te gr a te d   m a n - mac hi ne   in te r a c t io n   s o l ut io n .   Ou r   r oboti c   plat f or m  c ons is ts   of   two  int e gr a ted  r o bots   to  f or m  a   s ingl e   he a lt hc a r e   s ys tem.   W e   us e   a   Na o  r obot   f r om   S o f tB a nk  Gr oup   a t  the  top   f o r   d ir e c t  int e r a c ti on   with   pe ople,   a nd  we   us e   ou r   T ur tl e B ot  1   r obot  a t  the  bott om   to  s olve  na vigation  a nd  pa th  plann ing  pr oblems .   As   a ppli e d  r e s e a r c h  the  r e s e a r c h  gr oup   ha s   s tudi e d  the  pr oblem   of   s a f e   gr a s ping  of   c yli nd r ica l  objec ts   with  a nth r opomor phic   ha nds   [ 2 5 ] ,   c o ns ider ing  a ls o  the  de li c a te  int e r a c ti on  with   humans .   W e   ha v e   a ls o  de ve loped  many   a utonom ous   na vigation   s c he mes   f or   loca ll y  obs e r va ble  dy na mi c   e nvi r onments   [ 2 6 - 29 ] ,   a nd  a na lyze d   the  p r oblem  o f   dyna mi c   bipeda l     wa lki ng  [ 3 0 ] .   All   thes e   a r e   c ur r e nt   uns olved  pr obl e ms   of   he a lt hc a r e   r oboti c s ,   w hich  s e e k  to   be   in tegr a ted  int o   the  de ve lopm e nt  o f   mor e   c ompl e x   tas ks   s u c h  a s   t he   moni tor ing   o f   vit a l   s igns   in   pa ti e nts ,   a dmi nis tr a ti on  of   f ood  a nd  medic ine  o r   im media te  a tt e nti on  in   c a s e   of   e mer ge nc ies .   T he   r e s t  of   thi s   pa pe r   is   or ga nize d  a s   f oll ows .   S e c ti on  2  pr ovides   s ome  theor e ti c a l  de tails   of     the  pr oblem   be ing   a ddr e s s e d.   S e c ti on   3   s hows   th e   methodologi c a l   s tr a tegy  de ve loped   a s   we ll   a s   d e tails   of     the  labor a tor y   im pleme ntation .   T his   is   f ol lowe d  by  the   e va luation  of   the   s ys tem.   F inally,   we   c onc lude  by   dis c us s ing  the  les s on s   lea r ne d  a nd  how  the  s ys tem  c ould  be   f ur ther   de ve lo pe d.       2.   P ROB L E M   F ORM UL AT I ON   T he   goa l  of   thi s   r e s e a r c h  is   to  de ve lop  a   r obus t   a nd  high - pe r f or manc e   s of twa r e   tool   that  a ll ows     the  de ve lopm e nt  of   a utono mous   tas ks   of   identif yin g  human  e mot ions   by   a   s mall  a utonom ous   r obo t.   T he   wor k   is   s tr ongly  mot ivate d  by   the  ne e d   f o r   th is   f e a tur e   a s   pa r t  of   the   r outi ne   int e r a c ti on   of   a n   a s s is ti ve   r obot  that   ope r a tes   in  unknown   indoor   e nvi r onments .   T his   s or t   of   r obot   mus t   na vigate   a n   unknown   e nvir onment,     but  the  main   mot ivation   of   it s   a c ti on   is   s tr ongly   de ter mi ne d  by  i ts   leve l  o f   int e r a c ti on  with   the  pe r s on  f or   whom  it   wor ks .   L e t  W   ⊂   ℝ 2   be   the   c los ur e   o f   a   c ontr a c ti ble  ope n   s e t  in   the   plane   that   ha s   a   c onne c ted  ope n  int e r ior   with  obs tac les   that  r e pr e s e nt  inac c e s s ibl e   r e gions .   L e t    be   a   s e t  of   obs tac le s ,   in  whic h  e a c h  O  ⊂     is   c los e d  with  a   c onne c ted  piec e wis e - a na lyt ic  bounda r y  that   is   f ini te   in   length.   T he   pos it ion   of   obs tac les   in    the  e nvir on ment  c ha nge s   ove r   ti me  in  a n  unknown  wa y,   but  they  a r e   de tec table   by  dis tanc e   s e ns or s .     I n  a ddit ion,   the  obs tac les   in    a r e   pa ir wis e - dis joi nt  a nd  c ountably  f ini te  in   number .   L e t  E   ⊂   W   be   the   f r e e   s pa c e   in  the   e nvir onment ,   whic h  is   the  ope n   s ubs e t  of   W   w it h   the  obs tac les   r e moved.   T his   s pa c e   c a n  be   f r e e ly   na vigate d  by  the  r obot,   but   it   c a n  a ls o  be   oc c upied  a t  a ny   ti m e   by  a n   obs tac le.   T he   r obot  knows   the  f r e e   s pa c e   in  the  e nvir onment  E   f r om  obs e r va ti ons ,   us ing   s e ns or s .     T he s e   obs e r va ti ons   a ll ow  him   to   buil d   a n   inf or mati on  s pa c e   I .   An   inf o r mation  mapping   is   of   the  f o r m:     :   →     ( 1)     whe r e   S   de note  a n  obs e r va ti on  s pa c e ,   c ons tr uc ted  f r om  s e ns or   r e a dings   ove r   t im e ,   i. e . ,   th r ough  a n   obs e r va ti on  his tor y  of   the  f o r m:       ̃ : [ 0 , ] →     ( 2)     T he   int e r pr e tation   of   thi s   inf o r mation   s pa c e ,   i . e . ,   I   ✕   S   →   I ,   is   that   whic h   a ll ows   the   r obot   to   make   de c is ions .   T he   pr oblem  c a n  be   de f ined  a s   the  de f ini ti on  of   a   s pe c if ic  f il ter   to   a pply  to  the  da ta  s e ns e d  by     the  r obot's   c a mer a   in  r e a l - ti me  to  identif y   e mot ional  s tate s   in  the  pe r s on  with  whom  it   int e r a c ts .     T his   inf or mation  mus t  mod if y  the   be ha vior   o f   th e   r obot,   both   int e r a c ti on,   a nd  moveme nt   in  the   e nvir o nment.         Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un  C omput   E l  C ontr o l         I de nti fi e r   of  human  e motions   bas e d  on   c onv olut ion al  ne ur al  ne tw or k   for   as s is tant   r obot  ( F r e dy   M ar tí ne z )   1501   3.   M E T HO DOL OG Y   Our   s c he me  of   identi f ica ti on  of   human  e mot ions   i s   c ompos e d  of   two  blocks :  the   f ir s t   block  of   f a c e   de tec ti on,   a nd  the  s e c ond  block  of   identif ica ti on  o f   e mot ions   in  the  f a c e s   e xtr a c ted   f r om  the  video  f r a mes   a s   s hown  in  F igur e   1.   T he   f inal  r e s ult   ( identif ied  f a c e   a nd  e mot ion)   is   plac e d  on  e a c h  f r a me  to   r e c ons tr uc t     the  video  ( thi s   is   v is ua li z e d  on  a   7 - inch  touch  s c r e e n  on  the  r obo t  f o r   va li da ti on   pur pos e s ) .   F or   f a c e   de tec ti on   we   us e   dli b . ge t_f r ontal _face _de tec tor ( ) .   T his   f a c e   de tec tor   is   ba s e d  on   the  his togr a m   o f   o r iente d  gr a dients   ( HO G)   a nd  li ne a r   S VM   ( S uppor t - Ve c tor   M a c hine) .   T he r e   is   a ls o  a   f a c e   de tec tor   in   dli b   ba s e d  on  C NN   ( c onvolut ional  ne ur a l  ne twor k ) ,   a nd  a lt hough  it   ha s   a   be tt e r   pe r f or manc e   de tec ti ng  f a c e s   in  man y  a ngles   ( dli b. ge t_f r ontal _face _de tec tor ( )   only   wor ks   we ll   with  f r ontal  f a c e s ) ,   we   de c ided  not   to   us e   it   due   to   it s   high   c ons umpt ion  of   r e s our c e s ,   whic h  made   it   im pos s ibl e   to  us e   in  r e a l - ti me  on  our   a s s is tant  r obot  ( the  s tr a tegy  ba s e d  on  C NN   wa s   a   li tt le  mor e   than  15   ti mes   s lowe r   in  e a c h  f r a me  than  the  s tr a tegy  ba s e d  on  HO G ) .   T he   identif ica ti on   of   e mo ti ons   is   done   th r ough  a   c onvolut ional  ne ur a l  ne two r k  that   im pleme nts     the  n e twor k  s tr uc tur e   pr opos e d  in  [ 31 ] .   T h is   a r c hit e c tur e   us e s   global  a ve r a ge   pooli ng  in   it s   output   laye r   with   S of max  a c ti va ti on  f unc ti on  ( number   o f   c las s e s   e q ua l  to  the  number   o f   f e a tur e   maps )   to  e li mi na te  t he   f ull y   c onne c ted  laye r s ,   a nd  thus   c ons ider a bly  r e duc e   t he   number   of   a djus table   ne twor k  pa r a mete r s .   T h e   r e s t  of     the  ne twor k  is   a   s tanda r d  f ull y - c onvolut ional  ne ur a l  ne twor k  with  a   tot a l  o f   nine  c onvolut ion  la ye r s   with  R e L U  ( r e c ti f ied  li ne a r   unit )   a c ti va ti on  f unc ti on   to  incr e a s e   s e n s it ivi ty  a nd  a void  s a tur a ti on,   a nd  ba tch   nor maliza ti on  s o   that  e a c h   laye r   of   the  ne two r k  lea r ns   by  it s e lf   mo r e   f e a tur e s   indepe nde ntl y  o f   t he   other   laye r s .   T he   f inal  model   c ontains   a   li t tl e   les s   th a n  600, 000  a djus table   pa r a mete r s   a nd   wa s   tr a in e d  with    a   da t a s e t  of   7, 000  im a ge s ,   with  1, 000  im a ge s   in  e a c h  of   it s   s e ve n  c a tegor ies :  a ngr y,   dis gus t,   f e a r ,   ha ppy,   s a d,   s ur pr is e   a nd  ne utr a l .   T he   t r a ini ng   us e d  70%   of   th e   da tas e t,   a nd  the  r e maining   30%   wa s   us e d  f or   va li da ti on.   T he   a c c ur a c y  a c hieve d  by  the  model   with  th e   va li da ti on  da ta  wa s   58% .   T he   c ode   wa s   de ve loped  in   P ython,   a nd  we   us e   Ke r a s   a s   the  de e p  lea r ning  f r a mew or k.   I n   F igur e   2  we   s how  a   s a mpl e   of   the  im a ge s   us e d  f or     the  a ngr y  c a tegor y.   A  de e p  lea r ning  f r a mew or k  is   a n  int e r f a c e ,   a   li br a r y  or   a   tool   that   e na bl e s   to  buil d  de e p  lea r ning   models   mor e   e a s il y  a nd  quickly ,   wi thout   going   i nto  the  de tails   o f   the   unde r lyi ng   a lgor it hms .   T he y  pr ovide     a   c lea r   a nd  c onc is e   wa y  to  de f ine  models   us ing  a   c oll e c ti on  of   pr e - buil t  a nd  opti mi z e d  c omponents .   I ns tea d  of   wr it ing   hundr e ds   of   li ne s   of   c ode ,   it   is   pos s ibl e   t o  us e   a   s uit a ble  f r a mew or k   that  a ll ows   a   model  of   t his   type  to  be   buil t  quickly.   T he r e   a r e   many  mac hine  lea r ning  f r a mew or ks   a lr e a dy  in  plac e ,   a nd  ne w  f r a mew or ks   a r e   a ppe a r ing  r e gular ly   to   a ddr e s s   s pe c if ic  niche s .   W e   a r e   us ing   Ke r a s   a s   a   f r a mew or k   ( ht tps :/ /ker a s . io/ )     with  T e ns or f low   ba c ke nd  ( htt ps :/ /www . tens or f low . or g) .   T his   e mot ion  identif ica ti on  pr og r a m  wa s   im pleme nted  on  our   a s s is tant  r obot  to  wor k  in  pa r a ll e l  with  other   a lgor it hms   of   s pe c if ic  pur pos e ,   in  pa r t icula r   with  our   r obot - human  ba s ic  int e r a c ti on  s c he me  s uppor ted  in  vis ua l  tr a c king  f o r   a s s is tant  r obot  [ 24] .   Our   a s s is ti ve   r obot  c ons is ts   of   two  r oboti c   plat f or ms :  A  h umanoid  Na o  r obot  f r om  S of tB a nk  Gr oup   f or   int e r a c ti on   wi th  humans   a nd  the  e nvi r onment,   a nd  a n  AR M OS  T ur tl e B ot  1  r obot   f r om   the   AR M OS  r e s e a r c h  g r oup   f or   ind oor   na vigation   a s   s hown   in   F igu r e   3 .   C omm unica ti on  with   the  two  p latf or ms   is   via   a   W i - F i  c onne c ti on .   T he   a lgor it hm  wa s   de ve loped   in  P ython   a nd  wa s   pr og r a mm e d   on  the  AR M OS  T ur tl e B ot  1  r obot.   T he   vide o   is   c a ptur e d  by  the  c a mer a   on   the  he a d  of   the  Na o  r obot,     a nd  tr a ns mi tt e d  by   W i - F i.   P r oc e s s ing  is   pe r f or m e d  by  the   AR M OS  T u r tl e B ot  1   r obot   in   r e a l - ti me  in  it s   c ontr ol  unit   ( Dr a gonB oa r d  410c   of   Ar r ow   E lec tr o nics   with  AR M   C or tex - A53  Qua d - c or e   up  to  1. 2   GH z   pe r   c or e   a nd  Qua lcomm  Ad r e no  306  @   400M Hz ) .   W e   us e   in  our   im pleme ntation   Ope nC V  4. 1. 0 ,   nu mp y  1. 16 . 2,   Ke r a s   2. 2. 4,   T e ns or F low   1. 14 . 0,   dli b  19 . 17. 0 ,   a nd   i mut il s   0. 5. 2 .           F igur e   1.   P r opos e d  s c he me  f o r   the   identif ica ti on  o f   human  e mot ions   on   our   r obot   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un  C omput   E l  C ontr o l ,  Vol.   1 8 ,   No .   3 ,  J une   2020:    1 499   -   1504   1502       F igur e   2.   Da tas e t  us e d  f or   c onvolut ional  ne twor k   t r a ini ng  in  the  a ngr y   c a tegor y           F igur e   3.   E xpe r im e ntal  s e tup  f o r   the   e mot ion  ident if ica ti on  s ys tem.   I t   is   c ompos e d  of   a   humanoid     Na o  r obot  f r om  S of tB a nk  Gr oup   a t  the   top  a nd   a n  AR M OS  T ur tl e B ot  1  tank   r o bot   f r om     the  AR M OS  r e s e a r c h  gr oup  a t  the   bott om       T he   im a ge s   we r e   c a ptur e d  by   the   Na o  r obot  a t   a   s ize   of   1280 ✕ 720   pixels .   E a c h   f r a me  wa s   s c a led  to   632 ✕ 480  f or   pr oc e s s ing  in  the  Dr a gonB oa r d.   W e   c onduc ted  s e v e r a l  e xpe r im e nts   with  dif f e r e n t  li ghti ng  c ondit ions ,   e nvir on ments ,   pe ople   a nd   dis tanc e s   t o  the   r obot .   W e   e ve n   pe r f o r med   tes ts   with   two   or   mo r e   pe ople  a t  dif f e r e nt   dis tanc e s ,   but  a lwa ys   withi n   th e   r obot's   f ield  o f   vis ion.   One   o f   thes e   tes ts   c a n  be   s e e n  in:   htt ps : // y outu. be /yQ ajUZ T T w mA   a s   s hown  in   F igur e   4.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un  C omput   E l  C ontr o l         I de nti fi e r   of  human  e motions   bas e d  on   c onv olut ion al  ne ur al  ne tw or k   for   as s is tant   r obot  ( F r e dy   M ar tí ne z )   1503       F igur e   4.   C a ptur e   o f   two   e mot ive  s tate s   identif ied  dur ing  one   o f   the   tes ts   de ve loped  in    the  labor a tor y  to  the  p r opos e d  s c he me       4.   F I ND I NGS   I n  ge ne r a l ,   the  r obot   e a s il y  de tec ts   pe ople's   f a c e s   a nd  c or r e c tl y  identi f ies   thei r   e mot ions .     T he   a lgor it hm  de mons tr a ted  high  pe r f or manc e   in   labor a tor y  tes ts   a ll owing  r e a l - ti me  ope r a ti on  a nd  pa r a ll e l  e xe c uti on  with  t r a c king  a nd   tr a c ing   s c he mes .   T h e   f law s   in   the   identif ica ti on   of   e mot ion   in  a   f r a me  we r e   s olved  by  a ve r a ging  the  r e s ult   of   ne ighbor ing  f r a mes ,   whi c h  r e s ult e d  in  a   s uc c e s s   r a te  gr e a ter   than  92% .     As   mentioned,   the  f a c e   de tec ti on  s c he me  ha s   p r oblems   identif ying  f a c e s   that  a r e   not  c ompl e tel y  f a c ing     the  r obot .   I n  the  f ir s t  ins tanc e ,   thi s   ha s   not   b e e n  a   pr oblem   f o r   ou r   a ppli c a ti on  s ince   it   s e e ks   dir e c t     human - mac hine  int e r a c ti on.   How e ve r ,   the  r e s ult s   s how  that  it   is   ne c e s s a r y  to  e va luate   mor e   r obus t  s tr a tegie s .   T he   e mot ion   identif ica ti on   s c he me  pr e s e nts   s ome  leve l  of   bias   c onc e r ning  the   da taba s e   us e d  f or   it s   tr a ini ng.   M os t  of   the   f a c e s   us e d  f o r   tr a ini ng   we r e   we s ter n   pe ople,   a nd   thi s   is   r e f lec ted  in  the   r e s ult s   f or   s ome  f r a mes .   T his   pr oblem  wa s   s olved  by  a ve r a ging  the  be ha vior   a long  with   s e ve r a l  f r a mes   unde r   the  a s s umpt ion  that     the  pe r s on  r e mains   with  the  s a me  e mot ion  a   f e w  mi ll is e c onds ,   a nd  ther e f or e   is   obs e r ve d  in  s e ve r a l  ne ighbor ing  f r a mes .   I t   wa s   a ls o  obs e r ve d  in   s ome  c a s e s   pr oblems   to   identif y   the  e mot ions   whe n  th e   pe r s on   ha s   glas s e s   a nd/or   c igar e tt e s ,   the   pr oblem   is   mi no r ,   but   a ls o  r a is e s   the  ne e d   to   im pr ove   the   tr a ini ng   da taba s e   of   the  ne twor k .       5.   CONC L USI ON     I n  thi s   pa pe r ,   we   p r e s e nt  the  a ppli c a ti on   of   a   s c he me  f or   the   identif ica ti on   of   human   e mot ions   f o r   a s s is t a nc e   r obots .   T he   objec ti ve   of   thi s   a ppli c a ti on  is   to  im pr ove   the  human - mac hine  int e r a c ti on   of   our   r oboti c   platf or m.   T he   s c he me  is   s tr uc tur e d  a r oun d  two   f unc ti ona l  blocks ,   a   f a c e   de tec tor   us ing  H OG   a nd  li ne a r   S VM ,   a nd   a n  e mot ion  ident if ica ti on  block   u s ing  C NN .   T he   output   inf o r mation  o f   the   s c he me  ( loca ti on  of   the   f a c e   a nd   e mot ion  o f   the   pe r s on)   is   us e d  to  c oor dinate   the  moveme nt   a nd  r e a c ti ons   o f   th e   r obot .    T he   im pleme nted  s c he me  de mons tr a ted  a   low  c om putational  c os t,   a ll owing  it s   us e   in  r e a l - ti me  a nd  in  pa r a ll e l  with  other   r outi ne s   of   a c ti ve   tr a c king   of   pe ople ,   t his   is   the   mos t   outs tanding  r e s ult   o f   ou r   im pleme ntation.   T he   pe r f o r manc e   e va luation  a ll owe d  t o   identif y  pos s ibl e   im pr ove ments   to  the   s tr a tegy,   in   p a r ti c ular ,     to  im pr ove   the  tr a ini ng   of   the  c onvolut ional   ne twor k  by  i mpr oving  the  ini ti a l   da tas e t.   Af ter   a ve r a ging    the  identif ica ti on   c a pa bil it y   ove r   s e ve r a l   ne ighb or ing  f r a mes   to   s olve   the   nois e   ident i f ica ti on   p r oblems     in  the  im a ge s ,   the  s c he me  a c hieve d  a   92%   s uc c e s s   r a te  ope r a ti ng  in   r e a l  ti me  on   the  r obot   c ontr ol   unit .       AC KNOWL E DGM E N T S   T his   wor k   wa s   s uppor ted  by   the   Unive r s idad  Di s tr it a l  F r a nc is c o  J os é   de   C a ldas ,   in  pa r t   th r ough  C I DC ,   a nd  pa r tl y  by   the  F a c ult a d  T e c nológi c a .   T he   view s   e xpr e s s e d  in  thi s   pa pe r   a r e   not  ne c e s s a r il y   e ndor s e d  by  Dis tr ict  Unive r s it y.   T he   a uthor s   thank   the  r e s e a r c h  gr oup  AR M OS  f or   the  e va luation  c a r r ied  out   on  pr otot ype s   of   idea s   a nd  s tr a tegie s .       RE F E RE NC E S     [1 ]   M.   H ao ,   et   al . ,   “ Pro p o s a l   o f  i n i t i at i v e  s er v i ce  mo d e l   fo r  s erv i ce  ro b o t ,”   CA A I  Tr a n s a c t i o n s   o n   In t el l i g e n ce  Tech n o l o g y ,  v o l .   2 ,   n o .   4 ,   p p .   1 4 8 - 1 5 3 ,   2 0 1 7 .     [2 ]   C.   Si ri t h u n g e,   et   a l . ,   “ Pro act i v e  r o b o t s   w i t h   t h e  p erce p t i o n   o f  n o n v er b al   h u ma n   b e h av i o r :   A   re v i e w ,”   IE E E   A cc es s ,  v o l .   7 ,   n o .   1 ,   p p .   7 7 3 0 8 - 7 7 3 2 7 ,   2 0 1 9 .   [3 ]   M.   A .   V .   J .   Mu t h u g al a  an d   A .   G .   B .   P.   J ay as ek ara ,   “ A   rev i e w   o f  s erv i ce  ro b o t s   co p i n g   w i t h   u n cer t ai n   i n f o rmat i o n   i n   n a t u ra l   l a n g u ag e  i n s t ru c t i o n s ,”   IE E E   A cce s s ,  v o l .   6 ,   n o .   1 ,   p p .   1 2 9 1 3 - 1 2 9 2 8 ,   2 0 1 8 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un  C omput   E l  C ontr o l ,  Vol.   1 8 ,   No .   3 ,  J une   2020:    1 499   -   1504   1504   [4 ]   D .   P.   L o s ey   an d   M.   K .   O âMal l ey ,   “ E n ab l i n g   ro b o t s   t o   i n fer  h o w   en d - u s er s   t each   a n d   l ear n   t h r o u g h   h u man - r o b o t   i n t eract i o n ,”   IE E E   R o b o t i c s   a n d   A u t o m a t i o n   Let t er s ,  v o l .   4 ,   n o .   2 ,   p p .   1 9 5 6 - 1 9 6 3 ,   2 0 1 9 .     [ 5 ]   S .   S a u n d e r s o n   a n d   G .   N e j a t ,   “ I t   w o u l d   m a k e   m e   h a p p y   i f   y o u   u s e d   m y   g u e s s :   C o m p a r i n g   r o b o t   p e r s u a s i v e   s t r a t e g i e s   i n   s o c i a l   h u m a n - r o b o t   i n t e r a c t i o n ,”   I E E E   R o b o t i c s   a n d   A u t o m a t i o n   L e t t e r s ,  v o l .   4 ,   n o .   2 ,   p p .   1 7 0 7 - 1 7 1 4 ,   2 0 1 9 .     [6 ]   L .   Ch en ,   et   al . ,   “ In fo rmat i o n - d ri v en   mu l t i ro b o t   b e h av i o r  ad ap t at i o n   t o   em o t i o n al   i n t e n t i o n   i n   h u ma n - ro b o t   i n t erac t i o n ,”   IE E E   Tr a n s a ct i o n s   o n   Co g n i t i ve  a n d   D eve l o p m en t a l   S ys t em s ,  v o l .   10 ,   n o .   3 ,   p p .   6 4 7 - 6 5 8 ,   2 0 1 8 .     [7 ]   C.   Cl av el   a n d   Z .   Cal l ej a s ,   “ Sen t i men t   an a l y s i s :   Fro m  o p i n i o n   mi n i n g   t o   h u ma n - ag en t   i n t erac t i o n ,”     IE E E   Tr a n s a ct i o n s   o n   A f f ec t i ve  C o m p u t i n g ,  v o l .   7 ,   n o .   1 ,   p p .   74 - 9 3 ,   2 0 1 6 .     [8 ]   U .   J ai n ,   et   a l . ,   “ Cu b i c  s v m  cl a s s i fi er - b as e d   feat u re  ex t ract i o n   a n d   em o t i o n   d e t ect i o n   fro m  s p eec h   s i g n al s ,”   2 0 1 8   In t e r n a t i o n a l   Co n f er e n ce  o n   S en s o r   Net w o r k s   a n d   S i g n a l   P r o ces s i n g   ( S NS P ) , p p.   3 8 6 - 3 9 1 ,   2 0 1 8 .     [9 ]   J .   S.   Cas t añ e d a   B.   an d   Y .   A .   Sal g u er o   L. ,   “ A d j u s t me n t   o f  v i s u a l   i d e n t i fi c at i o n   al g o ri t h m  f o r  u s e  i n   s t a n d - a l o n e  ro b o t   n a v i g at i o n   ap p l i cat i o n s ,”   Tekh n ê ,  v o l .   14 ,   n o .   1 ,   p p .   73 - 8 6 ,   2 0 1 7 .     [1 0 ]   L .   Cao ,   et   al . ,   “ Ro b u s t   p ca  fo r  face  reco g n i t i o n   w i t h   o ccl u s i o n   u s i n g   s y mme t ry   i n fo rma t i o n ,”   IE E E   1 6 t h  In t e r n a t i o n a l   Co n f er e n ce  o n   Net wo r ki n g ,   S e n s i n g   a n d   C o n t r o l   (ICNS C  2 0 1 9 ) , p p.   3 2 3 - 3 2 8 ,   2 0 1 9 .     [1 1 ]   S.   A.   Red d y ,   et   al . ,   “ T h e  d eci s i v e  emo t i o n   i d e n t i fi er? ”   2 0 1 1   3 rd   In t er n a t i o n a l   Co n f e r en ce  o n   E l ect r o n i c s   Co m p u t er   Tech n o l o g y ,   v o l .   2 ,   p p.   28 - 3 2 ,   2 0 1 1 .   [1 2 ]   M.   Si d o ro v ,   et   al . ,   “ E mo t i o n s   are  a  p ers o n al   t h i n g :   T o w ar d s   s p eak er - a d ap t i v e  emo t i o n   reco g n i t i o n ,”     IE E E   In t e r n a t i o n a l   Co n f e r en ce  o n   A c o u s t i cs ,   S p eech   a n d   S i g n a l   P r o ces s i n g   (ICA S S P   2 0 1 4 ) , p p.   4 8 0 3 - 4 8 0 7 ,   2 0 1 4 .     [1 3 ]   A .   K l ei n s m i t h   an d   N .   Bi an c h i - Ber t h o u ze ,   “ A ffec t i v e  b o d y   ex p re s s i o n   p ercep t i o n   an d   reco g n i t i o n :   A   s u r v e y ,”     IE E E   Tr a n s a ct i o n s   o n   A f f ec t i ve  C o m p u t i n g ,  v o l .   4 ,   n o .   1 ,   p p .   15 - 3 3 ,   2 0 1 3 .    [1 4 ]   G ao   Y. ,  et   al . ,   “ W h at   d o es   t o u ch   t e l l   u s   ab o u t   em o t i o n s   i n   t o u c h s cree n - b a s ed   g ame p l a y ? ”   Tr a n s a c t i o n s   o n   Co m p u t er - H u m a n   In t e r a c t i o n ,  v o l .   19 ,   n o .   4 ,   p p .   1 - 1 9 ,   D ec  2 0 1 2 .     [ 1 5 ]   C .   Q i n g ,   e t   a l . ,   “ I n t e r p r e t a b l e   e m o t i o n   r e c o g n i t i o n   u s i n g   e e g   s i g n a l s ,”   I E E E   A c c e s s ,  v o l .   7 ,   n o .   1 ,   p p .   9 4 1 6 0 - 9 4 1 7 0 ,   2 0 1 9 .     [1 6 ]   R.   M .   Meh mo o d ,   et   a l . ,   “ O p t i mal   fea t u re   s e l ect i o n   an d   d eep   l earn i n g   e n s em b l e s   met h o d   f o r  emo t i o n   rec o g n i t i o n   fro m  h u ma n   b ra i n   eeg   s en s o r s ,”   IE E E   A cce s s ,  v o l .   5 ,   n o .   1 ,   p p .   1 4 7 9 7 - 1 4 8 0 6 ,   2 0 1 7 .     [1 7 ]   H .   W an g   an d   J .   G u ,   “ T h e  ap p l i cat i o n s   o f  faci a l   ex p re s s i o n   reco g n i t i o n   i n   h u man - c o mp u t e r  i n t er act i o n ,”     IE E E   In t e r n a t i o n a l   Co n f e r en ce  o n   A d va n ced   M a n u f a c t u r i n g   (ICA M   2 0 1 8 ) , p p.   2 8 8 - 2 9 1 ,   2 0 1 8 .     [1 8 ]   J .   D en g ,   et   a l . ,   “C g a n   b a s ed   fac i al   ex p res s i o n   rec o g n i t i o n   fo r  h u ma n - ro b o t   i n t er act i o n ,”   IE E E   A cces s ,  v o l .   7 ,   n o .   1 ,  p p .   9 8 4 8 - 9 8 5 9 ,   2 0 1 9 .     [1 9 ]   P.   T zi ra k i s ,   et   a l . ,   “ E n d - to - e n d   m u l t i m o d a l   em o t i o n   r eco g n i t i o n   u s i n g   d eep   n eu ra l   n et w o r k s ,”   IE E E   Jo u r n a l   o f   S el ec t ed   To p i c s   i n   S i g n a l   P r o ces s i n g ,  v o l .   11 ,   n o .   8 ,   p p .   1 3 0 1 - 1 3 0 9 ,   2 0 1 7 .     [2 0 ]   R.   Y an g ,   et   al . ,   “ In t el l i g e n t   mi rr o r  s y s t em  b as e d   o n   faci al   ex p res s i o n   reco g n i t i o n   an d   co l o r  emo t i o n   ad a p t a t i o n   â  â   i mi rr o r ,”   3 7 t h   Ch i n e s e  Co n t r o l   Co n f er e n ce  (CCC  2 0 1 8 ) ,   p p.   3 2 2 7 - 3 2 3 2 ,   2 0 1 8 .   [2 1 ]   L .   Ch en ,   et   a l . ,   “ T h ree - l a y er  w e i g h t e d   f u zzy   s u p p o rt   v ect o r  reg re s s i o n   f o r  emo t i o n a l   i n t en t i o n   u n d ers t an d i n g   i n   h u ma n - ro b o t   i n t eract i o n ,”   IE E E   Tr a n s a c t i o n s   o n   F u z z y  S ys t em s ,  v o l .   26 ,   n o .   5 ,   p p .   2 5 2 4 - 2 5 3 8 ,   2 0 1 8 .     [2 2 ]   Z .   L i u ,   et   al . ,   “ A   faci al   ex p res s i o n   em o t i o n   reco g n i t i o n - b as e d   h u ma n - ro b o t   i n t erac t i o n   s y s t em ,”   IE E E / C A A   Jo u r n a l   o f   A u t o m a t i ca   S i n i c a ,  v o l .   4 ,   n o .   4 ,   p p .   6 6 8 - 6 7 6 ,   2 0 1 7 .     [2 3 ]   H .   Men g ,   et   al . ,   “ T i me - d el a y   n eu ra l   n et w o r k   fo r  co n t i n u o u s   emo t i o n a l   d i me n s i o n   p red i ct i o n   f ro m  faci al   ex p res s i o n   s eq u en ce s ,”   IE E E   Tr a n s a ct i o n s   o n   Cyb e r n e t i c s ,  v o l .   46 ,   n o .   4 ,   p p .   9 1 6 - 9 2 9 ,   2 0 1 6 .     [2 4 ]   F.   Mart í n ez,   et   al . ,   “ Ro b o t - h u man   b a s i c  i n t eract i o n   s c h eme  s u p p o r t ed   i n   v i s u al   t rack i n g   fo r  as s i s t a n ce  ro b o t   u s i n g   d i ffere n t i al   fi l t er  a n d   k - me an s   c l u s t er i n g ,”   Tecn u r a ,  v o l .   24 ,   n o .   6 3 ,   p p .   1 - 1 9 ,   2 0 2 0 .     [2 5 ]   E .   Ro d rí g u ez,   et   al . ,   “ Fu zzy   Co n t r o l   fo r  Cy l i n d ri ca l   G ras p   i n   A n t h ro p o m o rp h i c  H a n d ,”   Co n t em p o r a r y  E n g i n ee r i n g   S ci e n ces ,  v o l .   10 ,   n o .   30 ,   p p .   1 4 8 5 - 1 4 9 2 ,   2 0 1 7 .     [2 6 ]   F.   Mart í n ez,   et   a l . ,   “ A   S t u d y   o n   Mach i n e   L earn i n g   Mo d e l s   fo r  C o n v erg e n ce  T i me  Pre d i c t i o n s   i n   Reac t i v e   N av i g a t i o n   St ra t eg i es ,”   Co n t e m p o r a r y  E n g i n eer i n g   S ci e n ces ,  v o l .   10 ,   n o .   25 ,   p p .   1 2 2 3 - 1 2 3 2 ,   2 0 1 7 .     [2 7 ]   F.   Mart í n ez,   et   al . ,   “ V i s u al   i d e n t i fi ca t i o n   an d   s i mi l ar i t y   meas u re s   u s ed   fo r  o n - l i n e  mo t i o n   p l an n i n g   o f  au t o n o m o u s   ro b o t s   i n   u n k n o w n   en v i r o n me n t s ,”   E i g h t h   In t e r n a t i o n a l   Co n f e r en ce  o n   G r a p h i c  a n d   Im a g e  P r o ce s s i n g     (ICG IP   2 0 1 6 ) ,   v ol .   1 0 2 2 5 ,   p p.   1 - 6 ,   2 0 1 7 .     [2 8 ]   F.   Mart í n ez,   et   a l . ,   “ A   D at a - D ri v en   Pa t h   P l an n er  fo r  S mal l   A u t o n o mo u s   R o b o t s   U s i n g   D ee p   Reg re s s i o n   Mo d el s ,”   In t e r n a t i o n a l   Co n f er e n ce  o n   D a t a   M i n i n g   a n d   B i g   D a t a   ( D M B D   2 0 1 8 ) ,   p p.   5 9 6 - 6 0 3 ,   2 0 1 8 .     [2 9 ]   F.   Mart í n ez,   et   a l . ,   “ A n   A l g o r i t h m  Bas e d   o n   t h e  Bact er i al   Sw arm  a n d   I t s   A p p l i cat i o n   i n   A u t o n o mo u s   N av i g a t i o n   Pro b l ems ,”   In t er n a t i o n a l   Co n f e r en ce  o n   S w a r m   I n t el l i g e n ce  (ICS I  2 0 1 8 ) ,   p p .   3 0 4 - 3 1 3 ,   2 0 1 8 .     [3 0 ]   J.   G o rd i l l o   an d   F.   Mart í n ez ,   “ Fu zz y   Co n t ro l   fo r  Bi p ed al   R o b o t   Co n s i d er i n g   E n er g y   Ba l an ce ,”   Co n t e m p o r a r y   E n g i n eer i n g   S ci e n ces ,  v o l .   11 ,   n o .   39 ,   p p .   1 9 4 5 - 1 9 5 2 ,   J a n   2 0 1 8 .     [3 1 ]   O .   A rri a g a,   et   al . ,   “ Real - t i m e  co n v o l u t i o n al   n e u r al   n et w o rk s   fo r  em o t i o n   a n d   g en d er  cl a s s i fi ca t i o n ,”     arX i v :   1 7 1 0 . 0 7 5 5 7 ,   arX i v . o r g ,   2 0 1 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.