T E L K O M N I K T elec o m m un ica t io n,  Co m pu t in g ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   3 J u n e   2 0 2 1 ,   p p .   93 1 ~ 9 38   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 9 i3 . 1 8 3 1 9     931       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Dia lo g ue ma na g ement using   reinfo rcement  learning       B ina s hir R o f i’ a h H a nif  F a kh rurr o j a Ca rma di M a chbu b   S c h o o o f   El e c tri c a En g in e e ri n g   a n d   In f o rm a ti c s,  In sti tu Tek n o lo g Ba n d u n g ,   In d o n e sia       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   J u l 1 4 ,   2 0 2 0   R ev is ed   Oct  3 ,   2 0 2 0   Acc ep ted   Oct   1 4 ,   2 0 2 0       Dia lo g u e   h a b e e n   wid e l y   u se d   fo v e rb a c o m m u n ica ti o n   b e twe e n   h u m a n   a n d   r o b o i n tera c ti o n ,   su c h   a a ss istan ro b o in   h o sp it a l .   Ho we v e r,   th is  r o b o t   wa u su a ll y   li m it e d   b y   p re d e term in e d   d ial o g u e ,   so   i will   b e   d iffi c u lt   t o   u n d e rsta n d   n e wo r d fo n e w   d e si re d   g o a l.   I n   th is  p a p e r,   we   d isc u ss e d   c o n v e rsa ti o n   i n   In d o n e sia n   o n   e n terta in m e n t,   m o ti v a ti o n ,   e m e rg e n c y ,   a n d   h e lp i n g   with   k n o wle d g e   g ro wi n g   m e th o d .   We p ro v id e d   m p 3   a u d i o   fo m u sic ,   fa iry   tale ,   c o m e d y   re q u e st,  a n d   m o ti v a ti o n .   T h e   e x e c u ti o n   ti m e   fo th is  re q u e st  wa 3 . 7 4   m o n   a v e ra g e .   In   e m e rg e n c y   sit u a ti o n ,   p a ti e n t   a b le  to   a sk   ro b o t o   c a ll   th e   n u rse .   R o b o will   re c o rd   c o m p lai n o p a i n   a n d   i n f o rm   n u rse .   F ro m   7   e m e rg e n c y   re p o rts,   a ll   c o m p lain ts  we re   su c c e ss fu ll y   sa v e d   o n   d a tab a se .   In   h e l p in g   c o n v e rsa ti o n ,   r o b o t   will   wa lk   t o   p ick   u p   b e l o n g in g o p a ti e n t.   O n c e   th e   ro b o d i d   n o u n d e rsta n d   with   p a ti e n t’s  c o n v e rsa ti o n ,   ro b o t   will   a sk   u n ti i u n d e rsta n d s.  F r o m   a sk in g   c o n v e rsa ti o n ,   k n o wle d g e   e x p a n d fro m   2   to   1 0 ,   wi th   lea rn i n g   e x e c u ti o n   fr o m   1 4 0 5   m s to   3 4 9 0   m s.   S ARSA  wa s   fa ste to wa rd ste a d y   sta te  b e c a u se   o h ig h e c u m u lativ e   re wa rd s.  Q - l e a rn in g   a n d   S ARSA  we re   a c h ie v e d   d e sir e d   o b jec wi th i n   2 0 0   e p iso d e s.  I t   c o n c l u d e th a re in f o rc e m e n lea rn in g   ( RL )   m e th o d   t o   o v e rc o m e   ro b o t   k n o wle d g e   li m it a ti o n   in   a c h iev in g   n e w d ialo g u e   g o a f o p a ti e n a ss istan we re   a c h iev e d .   K ey w o r d s :   Dialo g u m an a g em en t   Hu m an - r o b o i n ter ac tio n   Kn o wled g g r o win g   R ein f o r ce m en t le ar n i n g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Han if   Fak h r u r r o ja   Sch o o l o f   E lectr ical  E n g in ee r in g   an d   I n f o r m atics ( SEE I )   I n s titu t T ek n o lo g i Ban d u n g   Gan esh No . 1 0 ,   C o b lo n g ,   B an d u n g ,   J awa   B ar at  4 0 1 3 2 ,   I n d o n esia   E m a il:  h an i0 0 2 @ lip i.g o . id       1.   I NT RO D UCT I O N   B etac o r o n av ir u s   SAR S - C o V - 2   o r   C o v id - 1 9   o u t b r ea k   is   cu r r en tly   a f f ec tin g   alm o s all  o f   th wo r ld   with   to tal  o f   5 0 3 , 2 0 3   p eo p le  in f ec ted   o r   co n f ir m e d   p o s i tiv e,   an d   2 2 , 3 4 0   o f   t h em   d ie d   as  o f   Ma r ch   2 6 ,     2 0 2 0   [ 1 ] Sin ce   1 1   Ma r c h   2 0 2 0 ,   its   s tatu s   h as  ch a n g ed   to   p an d em ic.   O n o f   th e   co n d itio n s   f o r   p a n d em ic   is   th ex p lo s io n   o f   s p r ea d   o r   th h ig h   n u m b er   o f   ca s es  th at  o cc u r   in   s h o r p er i o d   [ 2 ] .   T o   r ed u ce   s ig n if ican t   tr an s m is s io n   r ate,   th m ild - s y m p to m   p atien m u s b is o lated   in   th h o s p ital  u n til  h ea led ,   wh ich   lead s   to   s tr ess   [ 3 ] .   T h latest  d ev elo p m en ts   r eg ar d i n g   co m p an io n /a s s is tan ts h ip   r o b o ts   h av e   b ee n   ca r r ied   o u [ 4 ] ,   in   o r d er   to   s u p p o r t   th m e n tal  h e alth   o f   p atien ts ,   o n e   o f   th em   is   Sil b o wh ich   h as  6   ac ti v ities   s u ch   as  wa k in g   th e   p atien t,  ch ec k in g   th m o o d ,   r e m in d in g   d u r in g   m ed itatio n ,   c h ec k in g   s af ety ,   h elp i n g   th er a p y ,   an d   em er g en cies.  Sil b o t w ill ca r f o r   m ild - d em e n tia  p atien ts   [ 5 ] .   Hu m an - r o b o in ter a ctio n   ( H R I )   aim s   f o r   ex ten d in g   r o b o f u n ctio n ality   b y   m ak i n g   n atu r al   co m m u n icatio n   with   h u m an   [ 6 ] T h ey   [ 7 ]   in t r o d u ce   alg o r ith m   f r o m   lear n in g   r e war d   an d   h u m a n   sy n ch r o n o u s ly .   T h f le x ib ilit y   wo u ld   g ain   f r o m   s im u ltan e o u s   lear n in g ;   it  g iv es  t r ain e r   ab ilit y   to   g o   i n   as  d esire d   an d   u p d ate  r ein f o r ce m en lear n in g   r ewa r d   w h er ea s   it  is   s till   in   p r o g r ess .   T h e y   [ 8 ]   in tr o d u ce   lea r n in g   s ce n ar io   co m b i n atio n   b etwe e n   p r ac tice   an d   en d - u s er   c r itiq u e,   p r ac tice  g i v es  ac tu al - wo r ld   ex p er ien ce   an d     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :    93 1   -   9 38   932   en d - u s er /h u m an   c r itiq u wh e th er   g o o d   o r   b ad   la b el  as  i n p u f o r   l o s s   f u n ctio n   o r   u n ex p ec ted   v alu o f   ca n d id ate  p o licies.    T o   b u ild   n atu r al  co m m u n icatio n   b etwe en   h u m an   an d   r o b o f o r   ass is tan ts h ip s ,   o u r   r esear ch   team   h as  p r io r   wo r k s   s u ch   as  s p ee c h   r ec o g n itio n   [ 9 ] ,   u n clea r   p r o n u n ciatio n   [ 1 0 ] ,   r o b o w alk in g   an d   p atter n     g en er ato r   [ 1 1 ,   1 2 ] r o b o p ath   p lan n in g   [ 1 3 ] ,   s p ee ch   a n d   g estu r r ec o g n itio n [ 1 4 ] ,   m u ltimo d al  in ter ac tio n   [ 1 5 ]   an d   r u le - b ased /s ce n ar io   d ialo g u m a n ag em en t   [ 1 6 ] .   Ho we v er   th p r o b lem   o f   r u le - b ased   is   u n ab le  to   f o llo w   d ialo g u d ev el o p m en t,  s o   th e   p o s s ib ilit y   o f   s ce n ar io   m is m atch   is   g etti n g   b ig g er ,   o n ce   t h r o b o d o es  n o u n d er s tan d ,   n o   o th e r   ch o ice  f o r   th is   m eth o d   b esid es  en d   th d ialo g u a n d   g iv es  g en e r ic  an s wer s   lik "I   d o n ' t   u n d er s tan d   y o u r   c o m m an d s [ 1 7 ] .   T h is   p ap e r   tak es  p ar o n   o v er co m e   r o b o k n o wled g li m itatio n   to   ac h iev e   n ew  g o al   th r o u g h   f lex ib le   d ial o g u e.   W p r o p o s r o b o ask i n g   m eth o d   to   g ath e r   n ew   k n o wled g f r o m   h u m a n   f ee d b ac k   th r o u g h   co n v er s atio n .   T h e   r o b o t   d o es   n o t   s to p   i m m ed i ately   b ec au s o f   n o u n d er s tan d ,   b u t   it  will  ask   f ir s t   an d   g ath e r   n ew   k n o w led g with   g o al  t o   tak e   p atien b elo n g in g s .   W also   p r o v id e   en ter tain m en t   an d   em er g en cy   r eq u est  to   co m p le m en p atien n ee d s .   T h is   p ap e r   wo u ld   d is cu s s   n atu r al  lan g u ag p r o ce s s in g   b o t h   in   u n d er s tan d in g   an d   g en e r atio n   with   d if f er e n s u b - se ctio n ,   d ialo g u m a n ag em en m et h o d ,   also   th h ar d war e   s et - u p   f o r   r o b o t.       2.   RE S E ARCH   M E T H O D   2 . 1 .     Na t ura la ng ua g un dersta nd ing   T h is   p ap er   wo u l d   f o cu s   o n   g o al - d r iv e n   d ialo g u e.   T h f u n ctio n   o f   n at u r al  lan g u ag u n d er s tan d in g   ( NL U )   ar e   ex tr ac tin g   th r aw  v o ice  u n til  s y s tem   g o th in f o r m atio n   n ee d ed ,   an d   p r o v id d ialo g u e   in f o r m atio n   f o r   d ialo g u m a n ag em en t.   NL in clu d es  id e n tific atio n   o f   d o m ain   a n d   in ten t,  also   s em an tic   p ar s in g   [ 1 8 ] .   T ex will  g et  s ev er al  p r o ce s s es:  Sto p wo r d   p r o ce s s   to   r em o v u n n ec ess ar y   s u ch   as  c o m m o n   wo r d s .   Par o f   s p ee ch   ( POS)  t ag g in g   p r o ce s s   to   g e t   g r am m a r   tag   with   POSt ag _ id n   a n d   u s I n d o n esian   tag   s et  at  [ 1 9 ] .   W f o cu s ed   o n   ta g   VB   ( v er b ) ,   NN  ( n o u n ) ,   an d   C ( ca r d in al  n u m b e r ) .   W u s I n d o n esia     T nt - T ag g e r   f o r   POS  tag   m eth o d   an d   I n d o n esia  I DPOSTAG   co r p u s   f r o m   [ 2 0 ] Fo llo we d   b y   s tem m in g   p r o ce s s   to   g et  r o o wo r d   b y   r e m o v in g   th af f ix   [ 2 1 ] .   E n d e d   with   s to r in g   p r o ce s s   u s in g   J av aScr ip Ob ject  No tatio n   ( J SON)   f o r m at .       2 . 2   Dia lo g ue  ma na g em ent   Dialo g u m an ag e m en ( DM )   co n s is ts   o f   s tate  tr ac k in g   an d   g en e r ate s   ac tio n .   Ap p r o ac h es  f o r   d ialo g u m an a g em en p r o b le m s   ar g r ap h - b ased   d ialo g ue ,   f r am e - b ased   d ialo g ue s tatis t ical  ap p r o ac h   [ 2 2 ] Hu m an   in v o lv e m en t in   DM   f r am ewo r k   h as b ee n   s u cc ess f u lly   ca r r ied   o u t in   p r ev io u s   s tu d i es   [ 2 3 ] .   T h r ewa r d   as  f ee d b ac k   f r o m   ex p e r tis ( c an   b e   f o r m ed   in   n eg ativ e   o r   p o s itiv r ewa r d s )   was  g iv en   to   o p tim ize  p o licy   o n   r ein f o r ce m e n lear n in g   ( R L )   i n   [ 2 4 ] R L   was  s till   th m ain   in s tr u m en f o r   DM .   R L   is   cu r r en m ai n s tr ea m   tech n o lo g y   in   o r d er   to   s o lv r e al - wo r ld   p r o b lem   with   lar g e - s ca le   b elief   s tate  s p ac [ 1 8 ] .     B ef o r R L   ca n   b e   ex p lain ed ,   it  n ec ess ar y   to   u n d er s tan d   b asic  co m p o n en ts   u s ed .   A   lear n er   ca lled   a n   ag en in   R L   s tu d ies  it s   b eh av io r   b y   s elec ac tio n s   in   an   en v i r o n m en [ 2 5 ] .   At  ea ch   tim e,   t h ag en r ec eiv es  r ep r esen tatio n   o f   s tate   ,   wh ile  ,   wh er   is   s tates.  T h ag en p i ck u p s   an   ac tio n   ,   wh ile  ,   wh er e     is   s et  o f   p o s s ib le  ac tio n s   th at  th ag e n ca n   tak e.   As  th e   r etu r n   o f   its   ac tio n ,   th e   ag en t   r ec eiv es  r ewa r d   wh ile  ,   an d   g o es  to   n ew  s tate   s′   is   lear n i n g   r ate,   γ   is   d is co u n f ac to r ,   an d     is   p o licy   th at  d e f in es   h o an   ag en r esp o n s f r o m   s p ec if ic  s tate.   T h aim   o f   an   ag en is   s elec t in g   th o p tim al  ac tio n s   b y   m ax im izin g   its   cu m u lativ d is co u n ted   r ewa r d .     I n   th is   p ap e r ,   we  u s R L   with   tem p o r al  d if f er e n c ( T D)   lear n in g   m eth o d .   T le ar n in g   is   f u s io n   o f   two   b en ef its   f r o m   Mo n te  C ar lo   an d   d y n am ic  p r o g r am m in g   as  s h o wn   in   ( 3 ) ,   an d   ( 4 ) On   o n s id e,   Mo n t e   C ar lo   m eth o d s   h av n o   m o d el  o f   en v ir o n m en t’ s   d y n am ics  as  s h o wn   in   ( 1 ) ,   s o   T D   lear n s   f r o m   r aw  ex p er ien ce .   On   th o th er   s id e,   d y n am ic  p r o g r am m in g   ( 2 )   th at  n o   n ee d   waitin g   u n til   th f in al  o u tco m e,   s o   T ab le  to   u p d ate  esti m ates b ased   o n   p a r tially   lear n ed   esti m atio n   [ 2 6 ] .   R ec all  Mo n te  C ar lo :        :   ( ) ( ) + [ ( ) ( ) ] , = 1 ( )     ( 1 )     R ec all  d y n am ic  p r o g r am m i n g :        :   ( ) = [ + 1 + ( + 1 ) | = ] ,     ( 2 )     T to   m ak an   u p d ate  ( )  ( ) ,   Giv en   ( , , , ) :     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Dia lo g u ma n a g eme n u s in g   r ein fo r ce men t le a r n in g   ( B in a s h ir   R o fi’a h )   933     ( ) = ( 1 )  ( ) + [ +  ( ) ]                        ( 3 )     ( ) =  ( ) + [ +  ( )  ( ) ]                                                  ( 4 )     T h v alu f u n ctio n   u s u ally   al s o   ca lled   as  s ta te - v alu f u n cti o n   ( )   is   th to tal  am o u n o f   ex p ec ted   r ewa r d s   th at  an   ag en ca n   co llect  f r o m   th at  s tate  to   th en d   o f   t h ep is o d e.   T h ac tio n - v al u f u n ctio n   ( , )   is   to tal  am o u n o f   e x p ec ted   r e war d s   o f   tak i n g   a n   ac tio n   f r o m   th s tate  u n til  t h en d   o f   th ep is o d e.   T h way   ag en lear n s   t h b est  p o licy   c alled   u p d ate   p o licy ,   an d   th e   way   ag en t   b eh a v es  ca lled   b e h av io r   p o licy .   I n   th is   p ap er ,   we  also   im p lem en t two   T lear n in g   m et h o d s   th at  ar e   o f f   an d   o n   p o licy   ( Q - l e ar n in g   an d   SAR SA) .     2 . 2 . 1   Q - l ea rning   Ab s o lu te   p o licy   is   u s ed   b y   a g en in   Q - le ar n in g   to   lear n   o p tim al  p o licy ,   o n   th e   o th e r   h an d ,   a g en t   b eh av es  with   o th er   p o licy .   B e ca u s th b e h av io r   p o licy   is   d if f er e n f r o m   u p d ate   p o licy ,   s o   Q - le ar n i n g   is   ca teg o r ized   as o f f - p o licy   T c o n tr o l.  Q - v alu o f   Q - le ar n in g   is   s h o wn   in   ( 5 ) .       ( , ) ( , ) +   [ +  ( , ) ( , ) ]     ( 5 )     Fro m   ( 5 )   we  h av e   k n o wn   th a u p d ate   p o licy    ( , )   is   d if f er en t   f r o m   b e h av io r   p o licy   ( , ) .   W u s p s eu d o co d f r o m   [ 2 6 ]   to   im p lem en t Q - le ar n i n g   in   o u r   p y th o n   c o d as sh o wn   i n   Fig u r e   1   ( a) .     2 . 2 . 2   Sta t e - a ct io n - re wa rd - s t a t e - a c t io ( SARSA)   Ag en t in   SAR SA le ar n s   o p tim al  p o licy   an d   b eh av es with   th e   s am p o licy .   B ec au s th u p d ate  p o licy   an d   b e h av io r   p o licy   a r s im ilar ,   s o   SAR SA is ca teg o r ized   as   o n - p o licy .   Q - Valu o f   SAR SA   is   s h o wn   in   ( 6 ) .       ( , ) ( , ) +   [ +  ( , ) ( , ) ]     ( 6 )     Fro m   ( 6 )   we   k n o th at   u p d at p o licy    ( , )   an d   b eh a v io r   p o licy   ( , )   also   f r o m   p s eu d o co d b elo w,   we  k n o th at    an d     m ea n s   u p d ate  p o licy   is   th b eh a v io r   p o licy .   W u s p s eu d o co d [ 2 6 ]   to   im p lem en t SAR SA in   o u r   p y t h o n   co d a s   s h o wn   in   Fig u r 1   ( b ) .       E s tim ate      with   Q - lear n in g   ( o f f - p o licy   T co n tr o l)     E s tim ate      with   SAR S ( o n - p o licy   T c o n tr o l)   I n itialize  ( , ) ,   f o r   all  ( )   Repea t   ( ea ch   ep is o d e ) :   I n itialize    Repea t   ( ea ch   s tep ) :   C h o o s   f r o m     u s in g     d er iv ed   f r o m     T ak ac tio n   ,   o b s er v   ( , ) ( , ) + [ +  ( , ) ( , ) ]     Unt il     i s   ter m in al     I n itialize  ( , ) ,   f o r   all  ( )   Repea t   ( ea ch   ep is o d e ) :   I n itialize    C h o o s   f r o m     u s in g     d er iv ed   f r o m     Repea t   ( ea ch   s tep ) :   T ak ac tio n   ,   o b s er v   C h o o s   f r o m     u s in g     d er iv ed   f r o m     ( , ) ( , ) + [ +  ( , ) ( , ) ]       Unt il     is   ter m in al   ( a)             ( b )     Fig u r 1 Ps eu d o c o d o f   R L   w ith   T D - p o licy : ( a )   Q - le ar n in g   p s eu d o co d an d   ( b )   SAR SA p s eu d o co d e       2 . 3   K no wledg g ro wing   E n ter tain m en p u r p o s co n s is ts   o f mu s ik /p lay in g   m u s ic  a u d io ,   d o n g en g /p lay in g   f air y   tale  au d io ,   ko med i /p lay in g   co m e d y   a u d io .   Mo tiv atio n   p u r p o s e,   c o n s is o f   mo tiva s i /Pl ay in g   m o tiv atio n   au d i o .   E m er g en c y   p u r p o s e:  mem a n g g il   p era w a t /callin g   n u r s e,   ke lu h a n /r ep o r ti n g   co m p lain o f   p ain .   Help in g   p u r p o s e,   tak i n g   an   o b ject/p atien t’ s   b elo n g in g s .   R esear ch er s   h av em p h asized   o n   im p lem en tin g   r o b o ts   th at  ca n   im itate  o wn in g   m em o r y /k n o wled g e   to   m itig at m an y   s o ci al - r o b o ch allen g e s   [ 2 7 ] ,   s o m s tu d ies  h av e   ex p lo it  d ata,   b ased   on  u s er   p r o f ile  [ 2 8 ,   2 9 ]   to   m ak e   m em o r y - b ased   ad ap tatio n s .   W im p lem en r o b o t   ask in g   d u r in g   in ter ac tio n   to   g ath er   n ew  in f o r m atio n   f r o m   h u m an   f ee d b ac k ,   Fig u r e   2   ( a )   is   an   ex am p le  o f   ad d itio n al  k n o wled g e .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :    93 1   -   9 38   934   E n ter tain m en t,  m o tiv atio n ,   an d   em er g e n cy   n ee d   b ac k - en d   in ter v e n tio n   f r o m   ad m in   to   ad d   ap p r o p r iate  co n ten m a n u ally .   I n   em er g e n cy ,   th r o b o t   b e h av io r   ( ca llin g   n u r s in   f ix   p lace ,   wh er e   r o b o m o v es,  an d   wh at  r o b o talk )   ca n n o b c h an g e d   b y   u s er /p a tien t Mea n wh ile,   h elp in g   is   m o v in g   ac tio n   f r o m   r o b o t   th at  d e p en d s   o n   u s e r /p a tien h ab it  o n   lo ca tin g   h is /h er   b elo n g in g s ,   s o   it  ca n   b u s ef u to   u s en d - u s er   ex p er ien ce .   O n ly   f o r   th is   k in d   o f   ac tio n   r o b o t w ill g r o u p   its   k n o wled g e.     T h h elp in g   co n v er s atio n   ca n   b s ee n   in   Fig u r 2   ( a) .   Gr ey   s h ad es  s h o th u n k n o wn   o f   r o b o t,  th e n   f r o m   th co n v er s atio n s   th at  w p r o p o s ed   th en   ap p ea r   wo r d s   in   cy an ,   y ello w,   a n d   o r a n g s h ad es,  th at  is   n ew   k n o wled g e.   New   k n o wled g will b s av ed   at  Q - T ab le  s h o w n   in   Fig u r 2   ( b )   f o r   f u r th er   t r a in in g ,   th en   R L   b o th   Q - lea r n in g   a n d   SAR SA ta k es  p ar t   o n   b u ild   n ew  en v ir o n m e n t b y   ca lcu latin g   r ewa r d s   at  ea c h   ac tio n   an d   s tate.           ( a)   ( b )     Fig u r 2 ( a )   Ad d itio n al  k n o wled g e   g ath e r s   f r o m   d ialo g u an d   ( b )   New   k n o wled g s to r ed   i n   d atab ase       2 . 4   Na t u ra la ng ua g g ener a t io n   Natu r al  lan g u ag g e n er atio n   ( NL G)   is   r esp o n s ib le  to   g en er ate  lin g u is tic  r ea lizatio n   o f   th s y s tem ' s   d ialo g u e.   T h g o al  o f   NL is   to   p r o d u ce   s p o k en   th at  is   ea s y   f o r   h u m a n s   to   u n d er s tan d .     I n   th is   p ap er   we  h ad   3   r esp o n s s y s tem s   th er e   ar e   r ejec tio n ,   ask in g ,   a n d   a b o r tin g .   On ce   s y s tem   f o u n d   th at  all   wo r d   in   s en te n ce   h as  n o   v e r b   ( lis ted   o n   co r p u s )   o r   u n iq u e   wo r d s ,   s y s tem   w ill  r ejec an d   r eq u est  to   ch an g e   with   o th er   n ew  wo r d s   u n til  th e r is   v er b   o r   u n iq u wo r d   in   th at  s en ten ce .   Ask in g   r e s p o n s is   s tar ted   wit h   s ea r ch in g   v er b   in   s y s tem   d atab ase  k n o wled g e,   i f   th er is   n o   s im ilar   v er b   th e n   s y s tem   will   ca teg o r ize   it   as   n ew  v er b   with   n o   r elatio n   to   o b ject.   T h e   s y s tem   will  ask   f o r   o b ject   t h en   s ea r c h in g   t h wo r d   i n   c o r p u s ,   i f   t h er is   o b ject   in   t h e   co r p u s   th en   s y s tem   will  s ea r ch   in   d atab ase.   T h at  is   wh y   s o m v er b s   ca n   h a v o n s am o b ject.   Af ter   t h e   s y s tem   h as  n ew  v er b   a n d   n e o b ject,   th en   s y s tem   will  as k   f o r   p lace ,   if   s y s tem   a b le   to   f u lf ill  d ir ec tio n   a n d   iter atio n ,   th e n   it  will  s av as  n ew  k n o wle d g e .   Ab o r tin g   r esp o n s is   wh er t h s y s tem   will  ab le  to   ab o r m is s io n   if   u s er   s ay s   teri ma   ka s ih /th an k   y o u   in   th m id d le  o f   ask in g   co n v er s atio n .     2 . 5   H u m a no id  ro bo t   B io lo id   g r an d   p r ix   ( GP)   is   h u m an o id   r o b o e q u ip p ed   with   C M - 5 3 0   co n tr o ller ,   an d   lith iu m   b atter y   f o r   p o wer   s u p p ly   [ 3 0 ] .   W u s m o d if ied   B io lo id   GP  f r o m   [ 1 3 ]   as  p r ev io u s   p r o ject  with   a n   ad d itio n al   s p ea k er   m o u n ted   o n   to p   o f   th e   r o b o t.   An alo g   v o ltag es  f r o m   A r d u in o   Me g a   2 5 6 0   [ 3 1 ]   ar e   co n v er t ed   to   d ig ital   v al u es  by  an alo g   to   d i g ital  co n v er ter   ( ADC)   as   a   r ef er en ce   co m m an d   f o r   C M - 5 3 0   th at  will  b t r an s lated   in to   r o b o t   m o v em en t .   R o b o t m o v em en t   co n s is ts   o f   f o r war d ,   b ac k war d ,   lef t,  an d   r ig h t w ith   its   iter atio n .       2 . 6   Sy s t e m   im plem ent a t io n   T h e   h ar d war n ee d ed   f o r   th is   s y s tem   is   m icr o p h o n i n p u ( Kin ec t   2 . 0 ) ,   p r o ce s s o r   ( L ap to p ) co n tr o ller   ( Ar d u in o   a n d   C M - 5 3 0 ) ,   an d   o u tp u in   th f o r m   o f   s p ea k er s   an d   r o b o ts   as  s h o wn   in   Fig u r 3   ( a) I n   th e   h ar d war e   im p lem en tatio n ,   r o b o t a b le  to   m o v ev er y wh er with o u t w ir o n   ca b le  as sh o wn   in   Fig u r 3   ( b ) .   Sp ee ch   o u t p u t   a n d   r o b o m o v em en t   co n tr o a r e   s en f r o m   l ap to p   t o   Ar d u in o   v ia  b lu eto o t h .   W u s ed   Go o g le   s p ee ch   r ec o g n itio n   with   id - I D   ( I n d o n esian   lan g u ag e )   to   r ec o g n ize  an d   ad j u s am b ien n o i s e.   L ap to p   p o wer ed   b y   th I n tel  C o r i5   p r o ce s s o r ,   8 GB   o f   m em o r y .   W u s e   p y t h o n   lan g u ag e   an d   R L   alg o r ith m   b u ild s   o n   it.   W eq u ip p e d   r o b o v o ice   with   s p ee ch   r eg is tr y   f r o m   W in d o ws  ca lled   Mic r o s o f An d ik a   to   g i v I n d o n esian   v o ice  an d   ac ce n t ,   also   p r o n o u n ce   ca r d in al  n u m b er   in   I n d o n esian .   W s et  r o b o to   talk   1 5 0   w o r d s   p er   m in u te   ( W PM) .   Th av er ag s p ee c h   r ate  f o r   co n v er s atio n al  is   1 2 0 - 1 5 0   W PM  [ 3 1 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Dia lo g u ma n a g eme n u s in g   r ein fo r ce men t le a r n in g   ( B in a s h ir   R o fi’a h )   935       ( a)   ( b )     Fig u r 3 .   Sy s tem   c o n f ig u r atio n : ( a)   d esig n ,   an d   ( b )   im p lem e n tatio n       3.   RE SU L T A ND  AN AL Y SI S   W co n d u cted   s ev er al  e x p er i m en ts   t o   s ee   th p er f o r m an c o f   s y s tem .   Sy s tem   co n f i g u r atio n   an d   en v ir o n m en as  s h o wn   in   Fi g u r 3   ( b ) .   T h p er f o r m an ce   will  r ep r esen t   h o f ast  r o b o ex ec u tio n ,   h o w   ac cu r ate,   an d   h o k n o wled g g r o win g .   T h ex p e r im en co n s is ts   o f   en ter tain m en ex ec u tio n ,   em er g en cy   ex ec u tio n ,   h elp in g   co n v er s atio n   with   k n o wled g g r o win g ,   p o li cy   b eh av io r ,   an d   r ewa r d   co n v er g en ce .       3 . 1   E nte rt a inm ent   e x ec utio n   T h is   ex p er im en g iv e d   u s   in s ig h o n   ex ec u tio n   tim f o r   s in g le  r eq u est.  W im p lem en te d   u s in g   1   m   f ix ed   d is tan ce .   T im e   co u n ted   r ig h t   af ter   tr an s latio n   f r o m   s p ee ch   to   tex t ,   w e   d id   it  b ec au s e   th len g th   o f   d ialo g u es  an d   t h e   s p ee d   o f   p eo p le’ s   s p ee ch   r ates  v ar ie d .   An   av er a g tim wa s   3 . 7 4   m s .   T h s lo west  tim e   o cc u r s   o n   p u r p le  s h ad with   8 . 2 3   m s .   T h f astes t tim was 0 . 8 6   m s   with   p in k   s h ad s h o w n   i n   T ab le  1 .       T ab le  1 .   T im f o r   e n ter tain m e n t e x ec u tio n   D i a l o g u e   Mu s i k / M u si c   D o n g e n g / F a i r y   t a l e   Mo t i v a s i / M o t i v a t i o n   K o m e d i / C o m e d y   [ r e q u e st ]   2 . 9 9   2 . 0 0   3 . 9 2   3 . 9 1   n y a l a k a n l a h   [re q u e s t ]   ( p l e a se   t u r n   o n   [ r e q u e st ] )   5 . 7 6   1 . 9 9   5 . 1 8   3 . 6 0   m a i n k a n l a h   [re q u e st ]   ( p l e a se   p l a y   [ r e q u e st ] )   2 . 0 0   2 . 0 1   5 . 3 4   4 . 1 6   m a i n k a n   [re q u e s t ]n y a   ( p l a y   t h e   [ r e q u e st ] )   2 . 0 1   2 . 0 0   2 . 7 9   0 . 8 6   sa y a   i n g i n   m e n d e n g a r k a n   [re q u e st ]   ( I   w a n t   t o   l i s t e n   t o   [ r e q u e s t ] )   2 . 0 0   1 . 0 3   7 . 4 7   4 . 9 0   [req u e s t y a n g   b a g u s   ( p l e a se   t h e   b e st   [ r e q u e s t ] )   8 . 2 3   2 . 0 0   6 . 3 5   6 . 8 1   sa y a   b o sa n   i n g i n   [ re q u e st ]   ( I   a m b o r e d ,   w a n t   t o   [ r e q u e st ] )   2 . 5 5   2 . 0 3   1 . 9 9   5 . 8 5   sa y a   b u t u h   [re q u e st ]   ( I   n e e d   [ r e q u e s t ] )   3 . 9 1   2 . 0 0   7 . 1 0   3 . 9 1   [req u e s t ] n y a ,   t o l o n g   d i p u t a r   ( t h e   [ r e q u e s t ] ,   p l e a s e   p l a y )   2 . 0 0   2 . 0 3   3 . 9 9   6 . 6 0   m i n t a   t o l o n g   [ re q u e st ]   ( p l e a se   [ r e q u e s t ] )   7 . 4 8   1 . 0 3   3 . 3 6   4 . 3 1   A v e r a g e   t i me  l e v e l   3 . 7 4       3 . 2   E m er g ency   ex ec utio n   I n   em er g e n cy   s itu atio n ,   we  ask ed   r o b o to   ca ll  n u r s b y   talk   u n iq u wo r d   p era w a ( n u r s e) ”.   W u s s en ten ce   “p a n g g ilka n   p era w a t   ( ca ll th n u r s e) ”,   th en   r o b o t w ill ask   f o r   co m p lain t o f   p ain .   Af ter   co n v er s atio n r o b o will   walk   to   t h p lace   w h er th n u r s u s u ally   s tan d b an d   d escr ib e   co m p lai n o f   p ai n   to   th e   n u r s e.   On   th o th er   h an d ,   th co m p lain will r ec o r d   o n   r ep o r t sh o wn   i n   T ab le  2 .     3 . 3 .     K no wledg g ro wing   I n   b e g in n in g   t h er w er e   o n l y   2   v er b s   an d   2   o b jects,  th e n   d u r in g   th is   ex p er im en t,   h u m an   g i v es   u n k n o wn   k n o wled g e   to   r o b o t.   Fro m   th e   co n v er s atio n s ,   k n o wled g ex p a n d ed   to   1 0   v er b s   an d   8   o b jects.  W e   also   tr ied   d if f er en t   v er b s   r elat ed   to   s am o b ject.   To n t o n /wa tch   an d   lih a t /s ee   h av th s a m o b ject   th at  was   r em o te.   Tu lis / wr ite  an d   ca ta t /r ec o r d   h a v s am o b ject ,   th at  wa s   p en cil.   W s ep ar ate d   Q - T ab le  f o r   Q - lear n in g   a n d   SAR SA  b ec au s th r ewa r d s   ar e   d if f er en t.   Q - le ar n in g   r ewa r d   is   s h o wn   i T ab le   3 ,   t h b lu e   s h ad es  m ea n   th h i g h est  r ewa r d   th at  was  co n n ec ted   b etwe en   v e r b   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :    93 1   -   9 38   936   ob ject  o n   th Q - t ab le .   W h er ea s   T ab le  4   was   th f in al  SA R SA  Q - T ab le  wh ich   h as  m o r n u ll/zer o   v alu es.   I n   SAR S p o licy ,   wh e n   s tate  is   ter m in al  th en   r ewa r d   will  b g r o u n d ed   to   ze r o .   T h h ig h est   r ewa r d s   ar e   s h o wn   in   o r an g s h ad es.   W also   d id   an   ex p er i m en to   ex e c u te  tr ai n in g   f r o m   1   k n o wled g to   1 0   k n o wled g e   i n   2 0 0   ep is o d es.  E v er y   ex ec u tio n   iter ates  3   tim es  f o r   Q - lea r n in g   an d   SAR S A.   Fro m   k n o wled g 1   u n til  5 ,   tim was   v ar y in g ,   h o wev er   f r o m   6   k n o wled g e ,   tim co n s is ten tly   r am p   u p   f r o m   1 4 0 5   u n til  3 49 0   m s ,   an d   Q - lea r n i n g   n ee d s   m o r tim t h an   SAR SA   as sh o wn   i n   Fig u r 4 .       T ab le  2 .   R ep o r o f   em e r g en c y /co m p lain o f   Pain   D a t e   Ti m e   C o m p l a i n t   o f   P a i n   8 / 1 1 / 2 0 2 0   2 2 : 4 4   sa y a   p u si n g   m u a l   ( I   f e e l   d i z z y   a n d   n a u se a )   8 / 1 2 / 2 0 2 0   1 6 : 2 1   sa y a   n y e ri   ( I   a i n   p a i n )   8 / 1 2 / 2 0 2 0   1 6 : 2 1   i n f u s   s a y a   l e p a s   ( M y   i n f u si o n   p e e l o f f )   8 / 1 2 / 2 0 2 0   1 6 : 2 2   sa y a   b a t u k   d a ra h   ( I   c o u g h e d   u p   b l o o d )   8 / 1 2 / 2 0 2 0   1 6 : 3 2   sa y a   s e sa k   n a f a s   ( I   a m sh o r t   o f   b r e a t h )   8 / 1 2 / 2 0 2 0   1 6 : 3 3   sa y a   m e r i a n g   ( I   f e e l   l i g h t - h e a d e d )   8 / 1 2 / 2 0 2 0   1 6 : 3 3   sa y a   s a k i t   p e ru t   t i b a   t i b a   ( I   h a v e   a   su d d e n   s t o m a c h a c h e )       T ab le  3 .   Q - T a b le  f o r   Q - L ea r n i n g     W a l l e t   P e n c i l   B l a n k e t   P u z z l e   R e m o t e   B o o k   B a r b e l l   Ti ss u e     L   R   L   R   L   R   L   R   L   R   L   R   L   R   L   R   S a v e   N o n e   1 0 0   99   80   89   72   80   65   72   59   65   53   59   47   53   N o n e   W r i t e   N o n e   92   1 0 0   1 0 0   99   80   89   72   80   65   72   59   65   53   59   N o n e   N o t e   N o n e   89   1 0 0   1 0 0   99   80   89   72   80   65   72   59   65   53   59   N o n e   S l e e p   N o n e   88   73   99   1 0 0   1 0 0   99   80   89   72   80   65   72   59   65   N o n e   P l a y   N o n e   80   72   89   80   99   1 0 0   1 0 0   99   80   89   72   80   65   72   N o n e   W a t c h   N o n e   72   65   80   72   89   80   99   1 0 0   1 0 0   99   80   89   72   80   N o n e   R e a d   No ne   65   59   72   65   80   72   89   80   99   1 0 0   1 0 0   99   64   85   N o n e   S e e   N o n e   72   65   80   72   89   80   99   1 0 0   1 0 0   99   79   89   71   80   N o n e   Ex e r c i se   N o n e   59   53   65   59   72   66   81   73   89   80   99   1 0 0   1 0 0   96   N o n e   C l e a n   N o n e   53   47   59   53   65   59   72   65   80   72   89   80   99   1 0 0   N o n e       T ab le  4 .   Q - T a b le  f o r   SAR SA     W a l l e t   P e n c i l   B l a n k e t   P u z z l e   R e m o t e   B o o k   B a r b e l l   Ti ss u e     L   R   L   R   L   R   L   R   L   R   L   R   L   R   L   R   S a v e   N o n e   1 0 0   99   0   89   0   80   0   72   0   65   0   59   0   53   N o n e   W r i t e   N o n e   93   1 0 0   1 0 0   99   0   89   0   80   0   72   0   65   0   59   N o n e   N o t e   N o n e   91   1 0 0   1 0 0   99   0   89   0   80   0   72   0   65   0   59   N o n e   S l e e p   N o n e   85   0   98   1 0 0   1 0 0   99   0   89   0   80   0   72   0   65   N o n e   P l a y   N o n e   80   0   89   0   99   1 0 0   1 0 0   99   0   89   0   80   0   72   N o n e   W a t c h   N o n e   72   0   80   0   89   0   99   1 0 0   1 0 0   99   0   89   0   80   N o n e   R e a d   N o n e   65   0   72   0   80   0   89   0   99   1 0 0   1 0 0   99   0   88   N o n e   S e e   N o n e   72   0   80   0   89   0   9 9   1 0 0   1 0 0   99   0   89   0   80   N o n e   Ex e r c i se   N o n e   59   0   65   0   72   0   80   0   89   0   99   1 0 0   1 0 0   81   N o n e   C l e a n   N o n e   53   0   59   0   65   0   72   0   80   0   89   0   99   1 0 0   N o n e           Fig u r 4 E x ec u tio n   t im as   k n o wled g e   in cr ea s e     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         Dia lo g u ma n a g eme n u s in g   r ein fo r ce men t le a r n in g   ( B in a s h ir   R o fi’a h )   937   3 . 4   P o licy   beha v io r   T o   k n o th m o v em en o f   p o licy   an d   ac ti o n s   tak en   in   ce r t ain   s tate  to   r ea ch   ap p r o p r iate  o b ject,   we  also   tak in g   p l o t s   f o r   r ewa r d   v alu at  th en d   o f   ep is o d e   ( 2 0 0 th   ep is o d e) .   As  s h o wn   i n   Fig u r r ewa r d   s h if t   to war d s   r emo t / r em o te   in   th m id d le R ed   s h ad m ea n s   th e   lo west  r ewa r d ,   wh er g r ee n   s h ad is   th h ig h est   r ewa r d   ( g o al) .   T h y ello s h a d es  d escr ib e   th tr an s itio n   o f   r ewa r d   v alu f r o m   t h lo west to   th h ig h est.           Fig u r 5 .   L e f t a n d   r ig h p o licy   d ir ec tio n   to   o b ject  r emo t /r e m o t e       3 . 5   Rew a rd  co nv er g ence   On   th is   im p lem en tatio n ,   we  wan to   k n o th p e r f o r m an ce   o f   Q - lear n in g   an d   SAR SA  f o r   ev er y   o b ject  in   ea ch   f i n al  r ewa r d   f o r   2 0 0   ep is o d es.  Star f r o m   1   to   7   o b jects.  I ca n   b s ee n   i n   Fig u r 6   t h at  th SAR S cu m u lativ r ewa r d   w as  s lig h tly   h ig h er   th an   Q - L ea r n in g ,   wh ich   m ea n s   th at  its   al g o r ith m   was  f aster   to war d s   s tead y   s tates  b ec au s SAR S A ' s   p o licy   d o es  n o t   ex p lo r all   ac tio n s   at   ea ch   s tep   s o   th at  it  was  f o cu s ed   to   g et  th g o al.           Fig u r 6 .   C u m u lativ e   r ewa r d   b etwe en   Q - l ea r n in g   an d   SAR SA       4.   CO NCLU SI O N   Fro m   th e x p er im e n in   p r ev i o u s   s ec tio n ,   it   co u ld   b s h o wn   th at  th p r o p o s ed   s y s tem   h as  th ab ilit y   to   ex p a n d   f r o m   2   to   10   k n o wl ed g e.   A d d itio n al   k n o wled g a f f ec ted   to   th e   tim f o r   lear n in g   ex ec u tio n   th at   was  g ettin g   lo n g er   f r o m   1 4 0 5   m s   to   3 49 0   m s .   SAR SA  wa s   f aster   to war d s   s tead y   s tate   b ec au s o f   h i g h er   cu m u lativ r ewa r d s .   H o wev er ,   th d if f er en ce   b etwe en   o f f   a n d   o n   lear n i n g   ca n   s till   b im p lem en ted ,   an d   th e   p o licy   m o v es  th e   ac tio n   ac co r d in g l y   to   ac h iev e   th e   d e s ir ed   o b ject  i n   2 0 0   ep is o d e s .   E q u ip p ed   with   en ter tain m en t f ea tu r t o   p la y   m u s ic,   f air y   tale,   m o tiv atio n ,   a n d   co m ed y   r eq u est   in   f ast   av e r ag e   ex ec u tio n   tim o f   3 . 7 4   m s .   Du r in g   em er g e n c y   s itu atio n   s y s tem   ab le  to   ca ll   n u r s an d   s av 7   co m p lain ts   o f   p ain .   I co u ld   b co n clu d e d   th at  th m eth o d   p r o p o s ed   i n   th is   p ap e r   s u cc ess f u lly   ac h iev e d   th o b jectiv t o   o v er c o m r o b o t   k n o wled g lim itatio n   in   ac h i ev in g   n ew  d ialo g u g o al  f o r   p atien ass i s tan t .   Fo r   f u r th er   r esear ch ,   d ialo g u e   class if icatio n   an d   k n o wled g g r o win g   ca n   b e x ten d e d   f o r   c h it - ch at  d ialo g u o r   n o n - g o al  d r iv en .       RE F E R E NC E   [1 ]   C.   F .   S a n to s ,   Re flec ti o n a b o u t   th e   imp a c o f   t h e   S ARS - COV - 2 /COVID - 1 9   p a n d e m ic  o n   m e n t a h e a lt h ,   Rev .   Bra s.  Psiq u i a tr. ,   v o l .   4 2 ,   n o .   3 ,   p .   3 2 9 ,   2 0 2 0 ,   d o i:   1 0 . 1 5 9 0 / 1 5 1 6 - 4 4 4 6 - 2 0 2 0 - 0 9 8 1 .   [2 ]   D.  M .   M o re n s,  G .   K.  F o l k e rs,   a n d   A.  S .   F a u c i,   W h a Is  a   P a n d e m ic? ,   J .   In fec t.   Dis. ,   v o l.   2 0 0 ,   n o .   7 ,     p p .   1 0 1 8 - 1 0 2 1 ,   2 0 0 9 ,   d o i:   1 0 . 1 0 8 6 /6 4 4 5 3 7 .   [3 ]   Ce n ter  fo th e   S tu d y   o Trau m a ti c   S tres s,  P sy c h o lo g ica Eff e c ts  o Qu a ra n ti n e   Du ri n g   t h e   Co ro n a v iru Ou t b re a k Wh a He a lt h c a re   P ro v id e rs Ne e d   to   Kn o w,” p p .   1 - 2 ,   2 0 2 0 .   l e ft r i g h t l e ft r i g h t l e ft r i g h t l e ft r i g h t l e f t r i g ht l e ft r i g h t l e ft r i g h t l e ft r i g h t Q - L e a r n i n g 0 . 0 0 7 2 . 8 9 6 5 . 5 9 8 0 . 9 9 7 2 . 8 8 9 0 . 0 0 8 0 . 9 4 9 9 . 9 9 1 0 0 .0 0 1 0 0 .0 0 9 9 . 9 1 7 9 . 4 0 8 9 . 7 3 7 1 . 1 1 8 0 . 2 2 0 . 0 0 S A R S A 0 . 0 0 7 2 . 8 6 0 . 0 0 8 0 . 9 8 0 . 0 0 8 9 . 9 9 8 0 . 9 4 9 9 . 9 9 1 0 0 .0 0 1 0 0 .0 0 9 9 . 9 7 0 . 0 0 8 9 . 9 4 0 . 0 0 8 0 . 8 7 0 . 0 0 l e f t l e f t r i g h t r i g h t r i g h t r i g h t d o n e l e f t B a r b e l l s T i s s u e D o m p e t P e n s i l Se l i m u t P u z z l e R e m o t B u k u B a r b e l T i s u W a l l e t P e n c i l B l a n k e t P u zz l e R e m o t e B oo k Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :    93 1   -   9 38   938   [4 ]   M .   G o m b o lay   e t   a l. ,   Ro b o ti c   a ss istan c e   in   c o o rd i n a ti o n   o p a ti e n c a re ,   Ro b o t.   S c i.   S y st. ,   v o l.   1 2 ,   2 0 1 6 .   [5 ]   M .   Law   e a l. ,   De v e lo p i n g   a ss isti v e   ro b o ts  f o p e o p le  with   m i ld   c o g n it i v e   imp a irme n a n d   m il d   d e m e n ti a A   q u a li tat i v e   stu d y   wi th   o ld e a d u lt s   a n d   e x p e rts  i n   a g e d   c a re ,   BM J   Op e n ,   v o l.   9 ,   n o .   9 ,   2 0 1 9 .   [6 ]   J.  P e lt a so n   a n d   B.   Wr e d e ,   M o d e li n g   h u m a n - r o b o i n tera c ti o n   b a se d   o n   g e n e ric  i n tera c ti o n   p a tt e r n s,”   AA AI  F a ll   S y mp .   -   T e c h .   Rep . ,   v o l .   F S - 10 - 0 5 ,   p p .   8 0 - 8 5 ,   2 0 1 0 .   [7 ]   W.   B.   Kn o x   a n d   P .   S to n e ,   Re in fo rc e m e n lea rn in g   fr o m   sim u lt a n e o u h u m a n   a n d   M DP  re wa rd ,   1 1 t h   In t .   Co n f.   Au to n .   Ag e n ts  M u lt ia g e n t   S y st.  2 0 1 2 ,   AA M AS   2 0 1 2   In n o v .   A p p l.   T r a c k ,   v o l.   1 ,   p p .   5 2 8 - 5 3 5 ,   2 0 1 2 .   [8 ]   K.  Ju d a h ,   S .   R o y ,   A.   F e rn ,   a n d   T.   G .   Die tt e rich ,   R e in f o rc e m e n lea rn in g   v ia  p ra c ti c e   a n d   c ri ti q u e   a d v ice ,   Pro c .   Na tl .   C o n f .   Arti f .   In tell. ,   v o l .   1 ,   p p .   4 8 1 4 8 6 ,   2 0 1 0 .   [9 ]   K.  P re p i n   a n d   A.  Re v e l,   Hu m a n - m a c h in e   in tera c ti o n   a a   m o d e o m a c h i n e - m a c h in e   in tera c ti o n Ho t o   m a k e   m a c h in e s in tera c a s h u m a n d o ,   Ad v .   R o b o t. ,   v o l.   2 1 ,   n o .   1 5 ,   p p .   1 7 0 9 - 1 7 2 3 ,   2 0 0 7 .   [1 0 ]   D.  Ha n d a y a ,   H.  F a k h r u ro ja,   E.   M .   I.   Hid a y a t,   a n d   C.   M a c h b u b ,   Co m p a riso n   o f   In d o n e sia n   sp e a k e re c o g n i ti o n   u sin g   v e c to q u a n ti z a ti o n   a n d   Hid d e n   M a rk o v   M o d e fo r   u n c lea p r o n u n c iatio n   p ro b lem ,   Pr o c .   2 0 1 6   6 t h   I n t.   C o n f.   S y st.  En g .   T e c h n o l.   IC S ET   2 0 1 6 ,   p p .   3 9 - 4 5 ,   2 0 1 7 ,   d o i:   1 0 . 1 1 0 9 / F I T. 2 0 1 6 . 7 8 5 7 5 3 5 .   [1 1 ]   Riy a n to ,   W.   A d ip ra wita,  H.  Hi n d e rsa h ,   a n d   C.   M a c h b u b ,   Ce n ter  o M a ss   b a se d   Walk i n g   P a tt e rn   G e n e ra to with   G ra v it y   Co m p e n sa ti o n   fo Wal k i n g   Co n tr o l   o n   Bio lo i d   Hu m a n o i d   Ro b o t,   2 0 1 8   1 5 t h   In t .   Co n f.   Co n tro l.   A u to m.   Ro b o t.   Vi sio n ,   ICA RCV   2 0 1 8 ,   p p .   5 4 - 5 9 ,   2 0 1 8 ,   d o i 1 0 . 1 1 0 9 /ICAR CV.2 0 1 8 . 8 5 8 0 6 3 3 .   [1 2 ]   Riy a n to ,   C .   M a c h b u b ,   H.  Hi n d e rs a h ,   a n d   W.   A d ip ra wita,   S lo p e   b a lan c in g   stra teg y   fo r   b ip e d a l   ro b o wa lk in g   b a se d   o n   i n c li n a ti o n   e stim a ti o n   u sin g   se n so rs fu si o n ,   In t .   J .   El e c tr.  E n g .   In fo rm a t ics ,   v o l.   1 1 ,   n o .   3 ,   p p .   5 2 7 - 5 4 7 ,   2 0 1 9 .   [1 3 ]   M .   Ku s u m a ,   Riy a n to ,   a n d   C.   M a c h b u b ,   Hu m a n o id   Ro b o t   P a th   P lan n in g   a n d   Re ro u ti n g   Us in g   A - S tar  S e a rc h   Alg o rit h m ,   Pro c .   -   2 0 1 9   IE EE   In t.   Co n f.   S ig n a ls S y st.  IC S ig S y s 2 0 1 9 ,   p p .   1 1 0 - 1 1 5 ,   2 0 1 9 .   [1 4 ]   H.  F a k h r u rro ja,   A.  P u rwa rian ti ,   A.  S .   P ri h a tma n to ,   a n d   C .   M a c h b u b ,   I n teg ra ti o n   o In d o n e sia n   S p e e c h   a n d   Ha n d   G e stu re   Re c o g n it i o n   fo C o n tro ll in g   Hu m a n o id   R o b o t,   i n   2 0 1 8   1 5 th   In ter n a ti o n a l   C o n fer e n c e   o n   C o n tr o l,   Au to m a ti o n ,   Ro b o ti c a n d   Vi si o n   (ICAR CV) ,   2 0 1 8 ,   p p .   1 5 9 0 - 1 5 9 5 .   [1 5 ]   H.  F a k h ru rr o ja,  A.   S .   P rih a tma n to ,   a n d   C.   M a c h b u b ,   M u lt imo d a I n tera c ti o n   S y ste m   fo r   Ho m e   Ap p li a n c e s   Co n tr o l,   I n t.   J .   I n ter a c t.   M o b .   T e c h n o l . ,   v o l .   1 4 ,   n o .   1 5 ,   2 0 20.   [1 6 ]   D.  A.  P e rm a tas a ri,   H.  F a k h ru rr o ja,  a n d   C.   M a c h b u b ,   Hu m a n - R o b o I n tera c ti o n   Ba se d   On   Dia lo g   M a n a g e m e n t   Us in g   S e n ten c e   S imilarit y   Co m p a riso n   M e th o d ,   I n t.   J .   Ad v .   S c i.   T e c h n o l . ,   v o l .   1 0 ,   n o .   5 ,   2 0 2 0 .   [1 7 ]   E.   M e r d iv a n ,   D.   S in g h ,   S .   Ha n k e ,   a n d   A.   Ho l z in g e r,   Dia lo g u e   S y ste m fo r   I n telli g e n H u m a n   Co m p u ter  In tera c ti o n s,”   E lec tro n .   N o tes   T h e o r.  Co m p u t .   S c i. ,   v o l.   3 4 3 ,   p p .   5 7 - 7 1 ,   2 0 1 9 .   [1 8 ]   X.  Wan g   a n d   C .   Yu a n ,   Re c e n Ad v a n c e o n   Hu m a n - Co m p u ter  Dia lo g u e ,   CA AI  T ra n s.  I n tell.   T e c h n o l. ,   v o l.   1 ,     n o .   4 ,   p p .   3 0 3 - 3 1 2 ,   2 0 1 6 .   [1 9 ]   A.  Din a k a ra m a n i,   F .   Ra sh e l,   A.   Lu t h fi,   a n d   R.   M a n u r u n g ,   De sig n i n g   a n   I n d o n e sia n   p a rt   o s p e e c h   tag se a n d   m a n u a ll y   ta g g e d   I n d o n e sia n   c o rp u s,”   Pro c .   I n t.   C o n f.   Asi a n   L a n g .   Pro c e ss .   2 0 1 4 ,   IAL 2 0 1 4 ,   p p .   6 6 - 6 9 ,   2 0 1 4 .   [2 0 ]   F .   Ra sh e l,   In d o n e sia   Tag g e d   C o rp u s, ”  De sig n i n g   a n   In d o n e sia n   Pa rt   o s p e e c h   T a g se a n d   M a n u a ll y   T a g g e d   In d o n e sia n   Co r p u s .   [On li n e ].   Av a il a b le:  h tt p s:// g it h u b . c o m /fam ra sh e l/ id n - tag g e d - c o r p u s.   [2 1 ]   A.  S .   Rizk i,   A.  T jah y a n to ,   a n d   R.   Tri a li h ,   Co m p a riso n   o ste m m in g   a lg o ri th m o n   In d o n e sia n   t e x p ro c e ss in g ,   T EL KOM NIKA  T e lec o mm u n ic a ti o n ,   C o mp u ti n g ,   El e c tro n ics   a n d   Co n tro l ,   v o l.   1 7 ,   n o .   1 ,   p p .   9 5 1 0 2 ,   2 0 1 9 .   [2 2 ]   S .   Yi   a n d   K.   Ju n g ,   A   Ch a t b o t   b y   C o m b i n in g   F i n it e   S tate   M a c h in e ,   In f o rm a ti o n   Re tri e v a l,   a n d   B o t - In it iativ e   S trate g y ,   A lex a   Price   Pro c . ,   p p .   1 - 1 0 ,   2 0 1 7 .   [2 3 ]   P .   S h a h ,   D.   Ha k k a n i - r ,   a n d   L.   He c k ,   In tera c ti v e   re in f o rc e m e n lea rn in g   fo r   tas k - o ri e n ted   d ialo g u e   m a n a g e m e n t,   NIPS   W o rk . ,   n o .   i,   p .   1 1 ,   2 0 1 6 .   [2 4 ]   E.   F e rre ira  a n d   F .   Lefè v re ,   Re in fo rc e m e n t - lea rn in g   b a se d   d ia l o g u e   sy ste m   fo r   h u m a n - ro b o t   in t e ra c ti o n wit h   so c ially - in s p ired   re wa rd s,”   C o mp u t.   S p e e c h   L a n g . ,   v o l.   3 4 ,   n o .   1 ,   p p .   2 5 6 - 2 7 4 ,   2 0 1 5 .   [2 5 ]   S .   S e n d a ri,   A .   N.  Afa n d i,   I.   A .   E.   Zae n i,   Y.  D.   M a h a n d i,   K.  Hi ra sa wa ,   a n d   H.  I.   Li n ,   E x p l o ra t io n   o g e n e ti c   n e two rk   p r o g ra m m in g   with   two - sta g e   re in fo rc e m e n lea rn in g   f o m o b i le  ro b o t,   T EL KOM NIK A   T e lec o mm u n ica ti o n ,   Co m p u t in g ,   El e c tro n ics   a n d   C o n tro l ,   v o l.   1 7 ,   n o .   3 ,   p p .   1 4 4 7 - 1 4 5 4 ,   2 0 1 9 .   [2 6 ]   R.   S .   S u tt o n ,   Rein fo rc e me n lea rn in g a n   in tr o d u c ti o n ,   S e c o n d .   Ca m b rid g e ,   M A:  T h e   M IT  P re ss ,   2 0 1 8 .   [2 7 ]   M .   I.   Ah m a d ,   O .   M u b i n ,   a n d   J.  Orla n d o ,   sy ste m a ti c   re v iew   o a d a p ti v it y   i n   h u m a n - ro b o in tera c ti o n ,   M u lt im o d a T e c h n o l.   I n ter a c t. ,   v o l.   1 ,   n o .   3 ,   2 0 1 7 .   [2 8 ]   M .   I.   Ah m a d ,   O.   M u b i n ,   a n d   J.   Orla n d o ,   Ad a p ti v e   S o c ial  Ro b o t   fo S u sta in in g   S o c ial  En g a g e m e n d u ri n g   Lo n g - Term   Ch il d re n Ro b o t   In tera c ti o n ,   In t.   J .   Hu m.  C o mp u t.   I n ter a c t. ,   v o l.   3 3 ,   n o .   1 2 ,   p p .   9 4 3 - 9 6 2 ,   2 0 1 7 .   [2 9 ]   I.   Leite,  G .   Ca ste ll a n o ,   A .   P e re ira,  C.   M a rti n h o ,   a n d   A .   P a i v a ,   Emp a th ic  Ro b o ts  fo r   Lo n g - te rm   In tera c ti o n :   Ev a lu a t i n g   S o c ial  P re se n c e ,   E n g a g e m e n a n d   P e rc e iv e d   S u p p o r in   Ch i ld re n ,   In t.   J .   S o c .   Ro b o t. ,   v o l.   6 ,   n o .   3 ,     p p .   3 2 9 - 3 4 1 ,   2 0 1 4 .   [3 0 ]   Ro b o ti s,  Ro b o ti e - M a n u a Bi o l o id   G P .   [On l in e ].   Av a il a b le :   h tt p s:/ /em a n u a l. ro b o t is.co m /d o c s/e n /ed u / b io lo i d /g p / # re fe re n c e s.  [A c c e ss e d 0 6 - M a r - 2 0 2 0 ] .   [3 1 ]   D.  Ba rn a rd ,   Av e ra g e   S p e a k in g   Ra te  a n d   W o r d p e M in u te,”  2 0 1 8 .   [On l in e ].   Av a il a b le:   h tt p s:/ /v irt u a lsp e e c h . c o m / b lo g /av e ra g e - sp e a k in g - ra te - wo r d s - p e r - m in u te.   [Ac c e s se d 1 2 - Ju l - 2 0 2 0 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.