I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 ,   pp .   3 20 ~ 33 0   IS S N :   2 502 - 4 7 52 ,   D O I :   10. 1 1591 / i j e e cs .v 41 . i 1 . pp 320 - 330             320     Jou r n al   h o m e pa ge ht t p: / / i j e e cs . i a e s c or e . c om   D e e p - f u z z y   p e r so n a l i s a t i o n   f r a m e w o r k   f o r   r o b o t - a ssi st e d   l e a r n i n g   f o r   c h i l d r e n   w i t h   a u t i sm       R o s e - M ar y   O w u s u aa  M e n s ah   G ye n i n g 1 ,   Jam e s   B e n   H a yf r o n - A c q u ah 1 ,   M i c h ae l   A s an t e 1 ,   K at e   Ta k yi 1 P e te r   A p p i ah e n e 2   1 D e p a rt m e n t   o f   C o m p u t e r   S c i e n c e ,   F a c u l t y   o f   P h y s i c a l   a n d   C o m p u t a t i o n a l   S c i e n c e s ,   K w a m e   N k ru m a h   U n i v e r s i t y   o f   S c i e n c e   a n d   T e c h n o l o g y   ( K N U S T ) ,   K u m a s i ,   G h a n a   2 D e p a rt m e n t   o f   I n fo r m a t i o n   T e c h n o l o g y   a n d   D e c i s i o n   S c i e n c e s ,   U n i v e r s i t y   o f   E n e r g y   a n d   N a t u ra l   Re s o u r c e s ,   S u n y a n i ,   G h a n a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   A pr   16 202 4   R e v i s e O c t   13 2 025   A c c e pt e D e c   13 2 025       R e s e a r c e xpl o r i ng   t h e   e f f i c a c y   o f   r o b o t s   i a ut i s m   t he r a py   ha s   pr e do m i n a nt l y   r e l i e o n   t h e   W i z a r d - of - O z   m e t ho d,   w he r e   r o bo t s   e xe c ut e   pr e d e t e r m i ne d   be ha v i o ur s .   H o w e v e r ,   t h i s   a pp r o a c i s   c o ns t r a i n e by   i t s   he a vy   r e l i a nc e   o hum a i nt e r v e n t i o n.   T o   a dd r e s s   t h i s   l i m i t a t i o n,   w e   i nt r o duc e   a   no v e l   de e p - f uz z y   pe r s o na l i z a t i o f r a m e w o r f o r   s o c i a l   r o bo t s   t e nha nc e   a d a p t a b i l i t y   i n   i nt e r a c t i o ns   w i t a ut i s t i c   c hi l dr e n.   T h i s   f r a m e w o r i nc o r po r a t e s   a   de e l e a r n i ng   m o de l   c a l l e s i ng l e s ho t   e m o t i o de t e c t o r   ( S E D )   w i t h   a   m e a n   a v e r a g e   pr e c i s i o o f   93%   a nd  a   f uz z y - ba s e e n g a g e m e nt   pr e d i c t i o e ng i n e ,   ut i l i z i ng   f a c t o r s   s uc a s   s c o r e s ,   I Q   l e v e l s ,   a nd  t a s k   c om pl e xi t y   t o   e s t i m a t e   t he   e ng a g e m e nt   o f   a ut i s t i c   c hi l dr e d ur i ng   r o bo t   i nt e r a c t i o ns .   I m pl e m e n t e d   o t he   hum a no i d   r o bo t   R o C A ,   o ur   s t udy   a s s e s s e s   t he   i m pa c t   o f   t hi s   pe r s o na l i z a t i o n   a p pr o a c o n   l e a r n i ng   o ut c om e s   i n   i nt e r a c t i o ns   w i t G h a na i a a ut i s t i c   c hi l d r e n .   S t a t i s t i c a l   a n a l y s i s ,   s p e c i f i c a l l y   M a n W hi t n e y   t e s t s   ( U = 3 . 0 ,   P = 0. 0 12) ,   de m o ns t r a t e s   t he   s i g ni f i c a nt   i m pr o v e m e nt   i l e a r ni ng   g a i n s   a s s o c i a t e w i t R o C A ' s   a do pt i o o f   t he   de e p - f uz z y   a ppr o a c h.   Ke y w or d s :   A f r i c a   A ut i s m   D e e l e a rni n g   F uz z y   l o gi c   P e r s o n a l i z a t i o n   Ro bo t s   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   BY - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   Ro s e - M a r y   O w us ua a   M e n s a h   G y e n i n g   D e pa rt m e n t   o f   Co m put e S c i e n c e ,   F a c ul t y   of   P h y s i c a l   a n d   C o m put a t i o na l   S c i e n c e s   K w a m e   N kr u m a h   U ni v e r s i t y   of   S c i e n c e   a n T e c hn o l o g y   K um a s i ,   G h a na   E m a i l :   r m o . m e n s a h @ k n us t . e du. g h       1.   I N TR O D U C TI O N   Ro bo t s   c a n   pe r f o r m   r e pe t i t i v e   t a s ks   a nd   c a b e   p r o gr a m m e t o   b e h a v e   i p r e di c t a b l e   w a y s   unde c o n s i s t e n t   c o n d i t i o n s   c o n s i s t e n t l y .   T hi s   m a ke s   t h e m   po t e n t i a l l y   s ui t a b l e   c o m pa n i o n s   f o r   a ut i s t i c   c hi l d r e n   w h o   s t ruggl e   w i t a d a p t i n g   t o   s udde c ha n ge s   i t h e i r   s u rr o u n d i ngs   [1] [3] I n   a u t i s m   t h e ra py ,   r o b o t s   c a n   a s s um e   v a r i o us   r o l e s   i n c l udi ng  b ut   n o t   l i m i t e t o :   s e r v i n a s   t h e r a pe ut i c   a i ds ,   c o m pa n i o n s   du r i ng  p l a y ,   f a c i l i t a t o r s   o s oc i a l   i nt e ra c t i o n s ,   a n d   m o de l   s o c i a l   a ge n t   [4] .   R e s e a r c by   [3] [5] ,   a n d   m a n y   o t h e r   s i n gl e - d a y   a n d   l o n gi t ud i n a l   r e s e a r c h   i n d i c a t e s   t h a t   c hi l d r e di a g n o s e w i t a u t i s m   s pe c t r u m   di s o r de (A S D e x hi b i t   a   pr e f e r e n c e   f o s o c i a l l y   a s s i s t i v e   r o b o t s   (S A R s ).   W h i l e   b o t s h o rt - t e r m   a n d   l o n g i t u di na l   s t udi e s   h i g hl i g h t   t h e   po t e n t i a l   o f   r o b o t s   a s   b e n e f i c i a l   t o o l s   i a ut i s m   t h e r a py ,   t h e r e   r e m a i n s   a   ga p   i l e v e r a g i n g   s o c i a l   r o b o t s   w i t hi c l a s s r o o m   s e t t i ngs   t o   s uppo rt   t h e   a c a de m i c   de v e l o pm e n t   o f   c h i l d r e n   w i t a ut i s m .   H ui j n e e t   a l .   [6 ]   i n di c a t e   t h a t   t h e   us e   o f   s oc i a l   r o bo t s   i a ut i s m   e duc a t i o w i t h i c l a s s r o o m   s e t t i n gs   ha s   n o t   y e t   b e e n   e x t e n s i v e l y   e v a l ua t e d.   Co n s e que nt l y ,   t h e r e   i s   a   p r e s s i n g   n e e fo r   r e s e a r c h   t o   i n v e s t i ga t e   h o w   t h e s e   r o b o t s   c a n   e ff e c t i v e l y   f a c i l i t a t e   t h e   de v e l o pm e n t   o f   s oc i a l ,   a c a de m i c ,   i m i t a t i o n,   a n d   j o i nt   a t t e n t i o n   s k i l l s   i c hi l d r e w i t a u t i s m Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       D e e p - f uz z y   pe r s ona l i s at i on   f r am e w or k   f or   r obo t - as s i s t e . . .   ( R os e - M ar y   O w us uaa  Me ns ah  G y e n i ng)   321   T h i l l   e t   a l .   [7]   r e s e a r c i r o b o t - a s s i s t e a u t i s m   t h e ra py   s h o ul p r i o ri t i z e   e xp l o r i ng  m e t h o ds   t o   a l l e v i a t e   t h e   w o r kl o a d   o t h e ra pi s t s .   T hi s   c a b e   a c hi e v e by   e n ha n c i n g   s o c i a l   r o b o t s   w i t s upe r v i s e a ut o n o m y ,   e n a b l i ng  t h e m   t o   o pe r a t e   m o r e   i n de pe n de nt l y   w h i l e   s t i l l   u nde h u m a ov e r s i g h t .   T h e r e   i s   a   de m a nd   f o r   a dv a n c e r o b o t i c   m o de l s   t ha t   a r e   n o t   t i e d   t o   s pe c i f i c   pl a t f o r m s   a n d   ha v e   t h e   a b i l i t y   t o   de duc e   t h e   i n t e rna l   s t a t e s   o f   c h i l d r e n   i n   o r de t o   r e s po n a p p r o pri a t e l y   [7] I n   l i g h t   o f   r e c e n t   t e c hn o l o gi c a l   a dv a n c e m e n t s   l i ke   m a c h i n e   l e a rni n g   (M L ) ,   t he r e   i s   a   t i m e l y   o ppo r t u n i t y   t o   e xpl o r e   h o w   s o c i a l   r o b o t s   c a n   pe r c e i v e   da t a   f r o m   t h e i i n t e r a c t i o e n v i r o nm e n t ,   a na l y z e   i t ,   a n d   a dj us t   t h e i b e ha v i o r   t o   f os t e r   a   s uppo r t i v e   l e a rn i ng   a t m o s ph e r e   t ha t   s us t a i n s   c h i l d r e n ' s   i nt e r e s t .   L a t e l y ,   a t t e n t i o ha s   s hi f t e t o w a r ds   e m pl oy i n M L   f o r   di a g n o s i ng  a nd  i nt e r v e n i n g   i n   a ut i s m ,   w i t h   m o s t   o f   t h e   w o r ks   c o n c e n t r a t i n g   o n   M L   m e t h o do l o gi e s   f o r   a ut i s m   di a g n o s i s   [8 ] C r i ppa   e t   al .   [ 9]  d e ve l o p e a   s upe r v i s e m a c h i n e   l e a rn i ng  (S M L a l go ri t hm   t ha t   c a t e go r i z e s   c hi l d r e w i t l o w - f un c t i o n i n g   a ut i s m   b a s e o n   uppe r   l i m b   m o t i o n .   O t h e p r o po s e d   S M L   a l go r i t h m s   f o r   p r e di c t i n a ut i s m   r e l y   o n   c o r t i c a l   t hi c k n e s s   i n   s pe c i f i c   b r a i n   r e gi o n s   [ 10],   m ul t i p a r a m e t r i c   m a g n e t i c   r e s o na n c e   i m a g i n g   da t a   [11] ,   a n d   a b n o r m a l i t i e s   i f a c e   pr o c e s s i n [1 2].   D uri n g   r o b o t - a s s i s t e t h e r a py   s e s s i o n s   f o a u t i s t i c   c hi l d r e n ,   r e s e a r c h e r s   c a ut i l i z e   ML   t e c hn i que s   t a n a l y z e   a nd   p r e di c t   t h e   e m o t i o na l   s t a t e s   a nd   b e h a v i o r s   o f   c h i l d r e n   t o   gu i de   s o c i a l   r o b o t s   i p r o v i di ng   t a i l o r e i n t e r v e n t i o n s   t o   a dd r e s s   t h e   u ni que   n e e ds   of   e a c h   c h i l d .   T o   a dd r e s s   t h e   de m a nds   f o r   s pe e d,   r e s po n s i v e n e s s ,   a n e n e rgy   e f f i c i e n c y   i n   i m p l e m e n t i n ML   f o r   hum a n - r o b o t   i n t e r a c t i o n s ,   t h e r e   i s   a   n e c e s s i t y   to   e xpl o r e   de e p   l e a rn i ng,   a   n o v e l   b r a n c h   o f   ML   t ha t   u t i l i z e s   a rt i f i c i a l   n e u ra l   n e t w o r ks ,   a s   t ra di t i o n a l   ML   m e t h o ds   ha v e   l i m i t a t i o n s .   P r e s e nt l y ,   e nha n c i ng  a u t o n o m y   i i n t e r a c t i o n s   b e t w e e n   a ut i s t i c   c hi l d r e a n d   r o bo t s   po s e s   a   n o t a b l e   c ha l l e n ge .   G i v e n   t h e   u np r e di c t a b i l i t y   o f   a ut i s t i c   c hi l d r e n,   e xpe c t i n s o c i a l   r o b o t s   t o   p o s s e s s   pr e c i s e   kn o w l e dge   of   t h e   i nt e ra c t i o c o n t e xt   i s   i m p ra c t i c a l .   F u z z y   l o gi c ,   r e n o w n e fo r   i t s   c a pa b i l i t y   t o   m a n a ge   i m p r e c i s i o a n d   u n c e rt a i n t y ,   c o ul o f fe r   a   p r o m i s i ng  s o l ut i o n   [13]   a n d   b e   a pp r o p r i a t e   f o r   c o n t r o l l i n g   t h e   be h a v i o ur   o f   s o c i a l   r o b o t s   i a ut i s m   t h e ra py .   ML   a nd   f uz z y   c o m put a t i o n a l   m o de l s ,   l e v e r a gi ng   m u l t i m o da l   da t a   i n c l udi ng  e m o t i o na l   s t a t e s ,   pe r s o na l i t y   t r a i t s ,   s o c i a l   c i r c um s t a n c e s ,   a n d   p h y s i o l o gi c a l   c o n di t i o n,   c o ul b e   fo r m u l a t e t o   e s t i m a t e   t h e   e m o t i o na l   s t a t e   a n d   l e v e l s   of   e n ga ge m e nt   o f   a ut i s t i c   c hi l d r e du ri n g   l i v e   i n t e r a c t i o n s   w i t s o c i a l   r o b o t s .   T h i s   pa pe r   p r e s e nt s   a   n o v e l   de e f uz z y   f r a m e w o r t a i l o r e fo r   pe r s o na l i z e d   r o bo t - a s s i s t e l e a rni n g   i n   i n t e r a c t i o n s   i n v o l v i n g   a u t i s t i c   c h i l d r e a n d   r o bo t s .   Co n s i s t i n g   o f   t w o   c o r e   e l e m e n t s ,   t h i s   f ra m e w o r l e v e r a ge s   s t a t e - of - t h e - a r t   t e c hn o l o gy   t o   e nr i c h   t h e   qua l i t y   of   t h e s e   i nt e ra c t i o n s .   T h e   i ni t i a l   c o m po n e nt ,   t e r m e t h e   s i n gl e s h o t   e m o t i o n   de t e c t o r   ( S E D ) ,   e m pl o y s   a dv a n c e de e l e a rni n m e t h o ds   t o   a n a l y z e   t h e   e m o t i o n s   e xpr e s s e by   a ut i s t i c   c h i l d r e n   v i a   r e a l - t i m e   v i de o   c a pt u r e by   a   r o bo t ' s   c a m e r a .   T h e   s e c o n c o m po n e nt   i s   a   f uz z y - b a s e e n ga ge m e n t   e s t i m a t i o n   s y s t e m ,   c a p a b l e   o f   i n t e gra t i n g   di v e r s e   i n pu t   f a c t o r s   s uc a s   s c o r e s ,   IQ   l e v e l s ,   a nd  t a s c o m pl e xi t i e s   t o   e v a l ua t e   t h e   e n g a ge m e n t   l e v e l s   o f   a ut i s t i c   c h i l d r e du ri n t h e i r   i n t e r a c t i o n s   w i t s o c i a l   r o b o t s .   T h e   f ra m e w o r k' s   i m p l e m e nt a t i o n   w a s   e x e c ut e o n   t h e   h um a n o i d   r o bo t   R o CA ,   fo l l ow e d   by   e m pi r i c a l   i n v e s t i ga t i o n s   a i m e d   a t   a s s e s s i n g   t h e   i n f l ue n c e   o f   t h e   pe r s o n a l i z e d   a pp r o a c f a c i l i t a t e b y   t h e   de e f uz z y   f r a m e w o r o l e a rni n g   o ut c o m e s   w i t h i i nt e r a c t i o n s   b e t w e e n   a u t i s t i c   c hi l d r e a nd  r o b o t s .   A ff e c t   r e c o gn i t i o i hu m a n - r o b o t   i n t e ra c t i o (H R I) :   A f fe c t   r e f e r s   t o   t h e   p h y s i o l o gi c a l   a s pe c t   o f   a   pe r s o n ' s   e m o t i o n s .   A ut o m a t i c a l l y   de t e c t i n a n d   c a t e go ri z i n h um a a f f e c t   e n s u r e s   a   m o r e   na t u ra l   a nd  b i - di r e c t i o n a l   c o m m u ni c a t i o n,   e nha n c i ng  h u m a n - c o m put e r   i n t e ra c t i o n.   I t h e   r e a l m   o f   s pe c i a l   n e e ds   e duc a t i o n,   pa r t i c ul a rl y   fo r   c h i l d r e w i t a u t i s m   w h o   m a y   s t r ugg l e   w i t v e r b a l   c o m m u ni c a t i o n,   r e s e a r c h e r s   c a e m pl oy   r o b o t s   a s   t h e r a py   pa r t n e r s   t o   pe r c e i v e   n o n v e r b a l   c ue s   f r o m   a   c h i l d   a nd  a n t i c i pa t e   t h e i e m o t i o n a l   s t a t e   t o   a dj us t   i nt e r v e nt i o n s   a s   n e e de d.   F a c i a l   e xp r e s s i o n s   a r e   c r uc i a l   i n   s o c i a l   i n t e ra c t i o n s   a n d   c a n   p r o v i de   i n s i g ht s   i n t o   a   pe r s o n ' s   e m o t i o n s   o r   i n t e nt i o n s .   T h e   a ut o m a t i c   r e c o gn i t i o o f   f a c i a l   e m o t i o n s   (F E R i dy n a m i c   e n v i r o n m e n t s ,   s uc a s   hum a n - r o b o t   i nt e r a c t i o n s ,   p r e s e nt s   a   c h a l l e n gi n g   t a s k   i c o m pu t e v i s i o n.   D e t e c t i ng  e m o t i o n s   a u t o m a t i c a l l y   i s   c o m pl e due   t o   c o m put a t i o na l   de m a n ds ,   t e c hn o l o gi c a l   l i m i t a t i o n s ,   a nd  t h e   n e e f o r   r e a l - t i m e   p r o c e s s i n o f   e m o t i o n a l   s t a t e s .   S i m i l a r   t o   hum a b e h a v i o r ,   s o c i a l   r o bo t s   m us t   i n t e g r a t e   m ul t i s e n s o r y   da t a   f r o m   t h e i s u rr o undi n gs   a nd  i n t e r p r e t   t h e m   t o   de duc e   e m o t i o na l   s t a t e s   a n l e v e l s   of  e n ga ge m e nt .   T h e y   t h e a da pt   t h e i b e ha v i o r   a c c o r di n gl y .   M a n y   F E R   s y s t e m s   pr o po s e fo r   r o b o t s   i h u m a n - r o b o t   i nt e ra c t i o n   ha v e   r e l i e o c o n v e n t i o n a l   m e t h o ds   o f   fe a t ur e   e xt ra c t i o n   a n d   ML .   In  a   s t udy   by   G i o r ga a nd   P l o e ge r   [14] ,   ga b o f e a t u r e s   w e re   e xt r a c t e d   f r o m   f a c i a l   i m a ge s ,   a n d   t w ML   a l go ri t hm s ,   s uppo r t   v e c t o r   m a c h i n e s   ( SVM )   a nd  A d a b oo s t ,   w e r e   us e t o   c r e a t e   a e m o t i o c l a s s i f i c a t i o s y s t e m   fo r   do m e s t i c   r o bo t s .   I A l o n s o - M a rt i e t   a l .   [15 ],   o pe n CV   w a s   us e f o r   f a c i a l   de t e c t i o n,   w h i l e   t w e xt e rn a l   s o f t w a r e   s y s t e m s ,   S H O R E   a nd  C E R T ,   w e r e   e m pl o y e f o r   a   f a c i a l   e m o t i o n   r e c o gn i t i o n   (F E R s y s t e m   i n t e g r a t e i n t o   t h e   r o bo t   M a ggi e .   C i d   e t   a l .   [ 16]   us e d   ga b o r   f i l t e r s   f o f e a t ur e   e xt ra c t i o n,   a n d   a   dy n a m i c   B a y e s i a n   n e t w o r s e r v e a s   t h e   c l a s s i f i e i e n a b l i ng  t h e   r o bo t   M ue c a s   t o   i de n t i fy   pe o pl e ' s   e m o t i o n s .   L e o   e t   al .   [17]   de v e l o pe a   F E R   s y s t e m   b a s e o n   t h e   h i s t o g r a m   o o r i e nt e g ra di e n t s   (H O G de s c r i p t o r,   a n d   S V M   w e r e   i m p l e m e nt e d   o t h e   R o bo ki n d   R 25   r o bo t .   L i u   e t   a l .   [18 ]   de s i g n e d   a   F E R   s y s t e m   us i ng   2D   g a b o r   f i l t e r s l o c a l   b i na r y   pa t t e rn s   (L B P ),   a n d   a e xt r e m e   l e a rni n g   c l a s s i f i e r   f o r   i m p l e m e n t a t i o n   o n   t h e   N a o   r o b o t .   H ow e ve r ,   t h e s e   c o n v e n t i o na l   a pp r o a c h e s   r e l y   o s h a l l o w   l e a rn i ng  o m a n u a l l y   c ra f t e f e a t u r e s   l i ke   L B P s c a l e   i n v a ri a nt   f e a t u r e   t ra n s f o r m   (S IF T ),   H O G ,   a n n o n - n e ga t i v e   m a t r i x   f a c t o r i z a t i o n.   T h e s e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 :   320 - 3 30   322   a pp r o a c h e s   r e qu i r e   e xt e n s i v e   c o m put a t i o na l   r e s o ur c e s ,   m a k i n g   t h e m   i m p ra c t i c a l   f o r e a l - t i m e   h u m a n - r o b ot   i n t e r a c t i o s c e n a ri o s . Co n v e n t i o n a l   ML   a l go r i t h m s   l i ke   S V M s   h a v e   e f fe c t i ve l y   pr e di c t e d   e m o t i o n s   f o r   i m a ge s   ob t a i n e i c o n t r o l l e l a b o r a t o r y   s e t t i n gs   b ut   de m o n s t ra t e   l i m i t e a pp l i c a b i l i t y   t o   s po n t a n e o us   i m a ge s   c a pt u r e i n   na t u r a l   e n v i r o nm e nt s   [ 19] I c o m pl e e n v i r o nm e nt s   w h e r e   v a r i o us   n o i s e   s o ur c e s   a r e   p r e v a l e n t ,   e m o t i o n   r e c o gn i t i o i s   a dd r e s s e t hr o ug de e n e u r a l   n e t w o r ks .   N u m e r o us   F E R   s y s t e m s   b a s e o n   de e l e a rn i ng  a do pt   a n   i m a ge   c l a s s i f i c a t i o n   a pp r o a c h .   F o r   i n s t a nc e ,   in   [20] ,   f a c e s   w e r e   de t e c t e us i n g   O pe nCV ,   a n d   f e a t u r e   e xt ra c t i o w a s   c o n d uc t e u t i l i z i n g   a   de e c o n v ol ut i o n a l   n e u r a l   n e t w o r (CN N )   o t h e   CK +   a nd  J A F F E   da t a s e t s   f o r   e m o t i o c l a s s i f i c a t i o n.   Y u   a n d   Z h a n g   [ 21]   o b s e r ve f a c i a l   e xp r e s s i o n s   a n c a t e go r i z e e m o t i o n s   t hr o ug a e n s e m b l e   o f   f a c e   de t e c t o r s   a nd   c l a s s i f i e r s .   I h u m a n - r o b o t   i n t e r a c t i o n ,   r o b o t s   c a n   e nh a n c e   de c i s i o n - m a k i n b y   un de r s t a n d i n t h e   t y pe s   of   obj e c t s   pr e s e n t   i n   t h e   e n v i r o nm e n t   a n t h e i r   p r e c i s e   po s i t i o n s .   T h us ,   i t   i s   o ppo r t u n e   t o   i n v e s t i ga t e   ML   m o de l s   b a s e o n   o bj e c t   de t e c t i o n   fo r   h u m a n - r o b o t   i n t e r a c t i o n .   O b j e c t   de t e c t i o n   r e f e r s   t o   a   c o m put e v i s i o n   t e c hni que   w h e r e i n   o b j e c t s   (s uc h   a s   c a t s ,   do gs ,   h u m a f a c e s ,   b oo ks a r e   i de n t i f i e i n   di g i t a l   i m a ge s   a n d   v i de o   s e que n c e s ,   l o c a l i z e d   w i t h   b o un di ng  b o xe s ,   a n d   s ub s e que n t l y   c l a s s i f i e d   [22] .   O b j e c t   r e c o gn i t i o n   r e p r e s e n t s   a e xt e nde f o r m   o f   i m a ge   c l a s s i f i c a t i o n.   W h e r e a s   i m a ge   c l a s s i f i c a t i o t y pi c a l l y   a s s i g n s   a i m a ge   t o   a   s i n g l e   c l a s s ,   w i t o w i t h o ut   l o c a l i z a t i o n ,   o b j e c t   de t e c t i o n   a l go ri t hm s   i de n t i f y   m ul t i p l e   o b j e c t s ,   l o c a l i z e   t h e m   us i ng  bo un di ng  b o xe s ,   a n a s s i g e a c o b j e c t   t o   i t s   pr e di c t e d   c l a s s .   I h u m a n - r o bo t   i n t e ra c t i o n,   o bj e c t   de t e c t i o a l go ri t hm s   o f fe r   n o t a b l e   a dv a nt a ge s   a s   t h e y   c a n   s w i f t l y   de t e c t   o bj e c t s '   p r e s e n c e   a n d   p r e c i s e   l o c a t i o n .   I s c e na r i o s   s uc h   a s   r o bo t - a s s i s t e l e a rni ng  f o a u t i s t i c   c h i l d r e n ,   a o b j e c t   de t e c t i o n   a l go r i t h m   e n a b l e s   a   r o b o t   t o   re c o gn i z e   o bj e c t s   i t h e   e n v i r o nm e n t ,   f a c i l i t a t i n g   a pp r o pri a t e   a c t i o n s   i f   a   c h i l a pp r o a c h e s   a   po t e nt i a l l y   h a z a r do us   o u n s ui t a b l e   o bj e c t .   B y   e m pl oy i n a   f a s t   ob j e c t   de t e c t i o a l go r i t hm ,   t h e   r o b o t   c a p r e di c t   t h e   e m o t i o na l   s t a t e s   o f   a ut i s t i c   c hi l d r e a n d   a da p t   i t s   b e h a v i o r   a c c o r di n gl y .   A l t h o ugh  o b j e c t   de t e c t i o h a s   p r o v e n   t o   b e   h i g h l y   e ffe c t i ve   a n d   e f f i c i e n t   i do m a i n s   l i ke   a i rpl a n e   a n d   s h i p   de t e c t i o n,   e n v i r o n m e n t a l   pe r c e pt i o f o r   r o b o t s ,   a n d   o b j e c t   m a ni pu l a t i o n,   i t s   po t e n t i a l   fo r   r e a l - t i m e   e m o t i o n   r e c o gn i t i o n   by   s o c i a l   r o bo t s   duri n i n t e r a c t i o n s   w i t h   a ut i s t i c   c h i l d r e n   ha s   y e t   t o   b e   f ul l y   e xpl o r e d .   P e r s o n al i z at i o n   o au ti s ti c   c h i l d r o b o i n te r a c ti o n s E a c c h i l w i t a u t i s m   ha s   u n i que   s t r e n gt h s   a n c h a l l e n ge s ,   s o   i t   i s   e s s e n t i a l   t o   c r e a t e   i n di v i du a l i z e i nt e r v e n t i o n   pl a n s   t ha t   c a t e r   t o   t h e i r   s pe c i f i c   n e e ds .   R o bo t s   s h o ul b e   a b l e   t o   pe r c e i v e   a n a na l y z e   da t a ,   s u c h   a s   t h e   c hi l d ' s   e m o t i o n a l   s t a t e   a n d   l e v e l   of  e n ga ge m e nt ,   du r i ng   i nt e ra c t i v e   s e s s i o n s   t o   a l l o w   fo r   r e a l - t i m e   a dj us t m e n t s ,   l e a d i n g   t o   o pt i m i z e   l e a rn i ng  o ut c o m e s .   D e s pi t e   t h e   po t e n t i a l   b e n e f i t s ,   t h e r e   ha s   b e e n   l i m i t e r e s e a r c o n   us i ng  de e l e a rni n e m o t i o r e c o gn i t i o s y s t e m s   t o   e nh a n c e   r o b o t - m e di a t e t h e ra py   f o r   A S D .   T h e   e xi s t i n g   e m o t i o r e c o gn i t i o n   s y s t e m s   m a i n l y   r e l y   o n   t r a d i t i o na l   ML   a l go r i t h m s   t ra i n e o n   d a t a s e t s   of   t y pi c a l l y   de ve l o pi n i n d i v i dua l s   a nd  a udi o   c ue s   [17],   [ 23] .   T h e   s c a r c i t y   of   do m a i n - s pe c i f i c   da t a s e t s   l e a ds   t o   s ub o pt i m a l   p r e di c t i o n   a c c ura c i e s   o f   F E R   s y s t e m s   i n   h u m a n - r o b o t   i nt e ra c t i o c o n t e xt s .   T o   t a c k l e   t h e s e   i s s ue s ,   a   h a s   b e e n   p r o po s e d   b a s e o n   t ra n s f e r   l e a rn i ng  on   S S D L i t e ,   a n   o b j e c t   de t e c t i o n   a l go r i t h m T h e   p r o po s e S E D   c o n s t i t ut e s   a   de e l e a rn i ng - d r i v e s y s t e m   t a i l o r e fo r   b o t h   f a c e   l o c a l i z a t i o n   a n c l a s s i f i c a t i o o f   f a c i a l   e xpr e s s i o n s .   By   c o m b i n i n g   f a c e   de t e c t i o n   a n d   c l a s s i f i c a t i o p r o c e s s e s   i n t o   a   u n i f i e p i pe l i n e ,   t h i s   m o de l   e n s u r e s   h i g f r a m e s   pe s e c o n (F P S ),   m i n i m a l   l a t e n c y ,   a n e f f i c i e n t   po w e r   c o n s um p t i o n,   f a c i l i t a t i n g   r e a l - t i m e   e m o t i o de t e c t i o t a s ks .   T o   o pt i m i z e   l e a rni n g   o ut c o m e s ,   s o c i a l   r o b o t s   m us t   b e   c a pa b l e   of   a s s e s s i n g   c h i l d r e n' s   e n g a ge m e n t   l e v e l s   duri n g   r e a l - t i m e   i nt e ra c t i o n s   b e t w e e n   a ut i s t i c   c h i l d re a n d   r o b o t s   (A CR I).   B y   m e a s u r i n g   a   c hi l d ' s   c urr e n t   e m o t i o na l   s t a t e   a n d   e s t i m a t e d   l e v e l   o f   e n ga ge m e nt ,   t h e   r o bo t   c a t a i l o l e a rni n g   s e s s i o n s   t o   s ui t   i n di v i du a l   n e e ds .   H ow e v e r ,   e n ga ge m e nt   e s t i m a t i o i A C R s e t t i n gs   h a s   n o t   r e c e i ve e xt e n s i v e   a t t e n t i o f r o m   r e s e a r c h e r s   t h us   f a r.   E x i s t i ng  e n g a ge m e n t   e s t i m a t i o n   m o de l s   t y pi c a l l y   r e l y   o n   s i n g l e   s e n s o r y   m o da l i t i e s   s uc h   a s   f a c i a l   i m a ge s ,   h e a d   m o v e m e n t s ,   a nd  b o d y   ge s t ur e s .   S i n c e   ASD   i s   c o m pl e x ,   a   c o m b i n a t i o o m ul t i m o da l   d a t a   e n c o m pa s s i n a f fe c t i ve   s t a t e s ,   IQ   l e v e l s ,   l e a rn i ng  p r o gr e s s ,   a n p h y s i o l o gi c a l   i n di c a t o r s   w o ul o ffe r   a   m o r e   a c c ura t e   e s t i m a t i o n   o f   e n ga ge m e nt   l e v e l s   i r e a l - t i m e .   T hi s   p a pe r   a l s o   p r o po s e s   a n d   e v a l ua t e s   t h e   us e   o f   f uz z y   l o gi c   t e c h n o l o g y   a   m e t h o r e n o w n e fo r   i t s   e f f i c a c y   i n   u n c e r t a i n   a n d   i m p r e c i s e   e n v i r o n m e n t s   i a ut i s t i c   c h i l d - r o b o t   i nt e ra c t i o n s .       2.   M ET H O D     In  t h e   f i e l d   o f   a ut i s m   m a n a ge m e nt ,   s o c i a l   r o b o t s   a r e   us e a s   i nt e ra c t i o n   f a c i l i t a t o r s   t h a t   c a n   c us t o m i z e   t h e i r   b e ha v i o r   a c c o r di ng  t o   t h e   i n di v i du a l   p r o f i l e s ,   e m o t i o na l   s t a t e s ,   a n d   l e a rni n g   p r o gr e s s   of  a ut i s t i c   c h i l d r e n .   T h e s e   s o c i a l   r o bo t s   c a b e   e qui ppe w i t s o m e   a ut o n o m y   to   pe r c e i v e   t h e   e m o t i o n a l   s t a t e s   a n d   e n g a ge m e n t   l e v e l s   o f   a ut i s t i c   c hi l d r e du ri n g   r e a l - t i m e   i nt e ra c t i o n s   a n d   a d a pt   t h e   l e a rni n g   p r o c e s s   a c c o r di n gl y .   T o   a c hi e v e   t h i s   go a l ,   t h i s   pa pe r   p r o po s e s   a   pe rs o n a l i z e i nt e r a c t i v e   f r a m e w o r t ha t   c o m b i n e s   a   n o v e l   S E D   w i t a   f uz z y   i n f e r e n c e   s y s t e m   (F IS )   t o   f o s t e r   s us t a i n e d   a n d   m e a n i n gf ul   l o n g - t e rm   i nt e ra c t i o n s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       D e e p - f uz z y   pe r s ona l i s at i on   f r am e w or k   f or   r obo t - as s i s t e . . .   ( R os e - M ar y   O w us uaa  Me ns ah  G y e n i ng)   323   b e t w e e n   a ut i s t i c   c hi l d r e a nd   r o bo t s .   W e   i m pl e m e nt e a n d   e v a l ua t e d   t hi s   f r a m e w o r b y   i nt e gra t i n g   t h e   de e l e a rn i ng - b a s e S E D   m o de l   a n d   t h e   F IS   s y s t e m ,   m o de l e d   a s   a   C#   pl u gi n,   i nt o   t h e   R o CA   r o b o t .   W e   a s s e s s e d   t h e   i m pa c t   o f   pe r s o n a l i z a t i o n   o n   l e a rni ng  o ut c o m e s   i c hi l d - r o bo t   i n t e r a c t i o n s   i n v o l v i n a ut i s t i c   c h i l d r e n   t hr o ugh  n u m e r o us   e xpe r i m e nt s .     2 . 1 .     D e e p   l e a r n i n g - b as e d   s i n gl e s h o e m o ti o n   d e te c to r   E m o t i o n   r e c o gni t i o s y s t e m s   do   n o t   pe r f o r m   w e l l   i m u l t i c ul t u ra l   s e t t i n gs   s i n c e   e m o t i o n s   c a v a r y   a c r o s s   c ul t u r e s   [24]   o m a y   c a r r y   di f fe r e n t   m e a ni n gs   a c r o s s   di f fe r e nt   c ul t u ra l   c o n t e xt s   [2 5] .   E x i s t i ng  F E R   s y s t e m s ,   w h i c a r e   n o t   t ra i n e d   o f a c i a l   e xp r e s s i o n s   s pe c i f i c   t o   c h i l d r e n   w i t a u t i s m ,   w i l l   l i ke l y   unde r pe r f o r m   i a p pl i c a t i o n s   t a r ge t i n t h e   a ut i s m   do m a i n.   T hi s   r e s e a r c a i m s   t o   de v e l o a F E R   s y s t e m   fo r   t h e   h u m a n o i d   r o bo t   R o CA ,   i n t e n de f o r   us e   i r o bo t - m e di a t e t h e r a py   fo r   G h a na i a c hi l d r e o t h e   a ut i s m   s pe c t r um .   T o   a c h i e v e   t hi s ,   t w o   da t a s e t s   w e r e   c o l l e c t e d :   t h e   G H A N E D   da t a s e t ,   c o m p r i s i ng  i m a ge s   of  G ha n a i a n s   di s pl a y i n s i x   e m o t i o na l   c l a s s e s   (ha ppy ,   s a d,   a n g r y ,   f e a r f ul ,   n e ut ra l ,   a nd  s u r p ri s e d),   a n t h e   A ut i s t i c   C hi l d r e n' s   D a t a s e t   (A CD ) ,   c o n s i s t i ng   o f   f a c i a l   e xpr e s s i o n s   c a pt u r e d   d u r i n g   s o m e   p r e l i m i na r y   e xpe r i m e nt s   a nd  l o n gi t ud i n a l   s t u di e s   i n v o l v i n a ut i s t i c   c hi l d r e n .   O b j e c t   de t e c t i o n   s y s t e m s   s uc h   a s   f a s t e r e gi o n - b a s e c o n v o l ut i o n a l   n e u r a l   n e t w o r ks   (F a s t e r - R CN N a n d   Y o u - O nl y - L oo k - O n c e   (Y O L O a r e   c o m put a t i o n a l l y   de m a ndi n g   [26] A s   a   r e s ul t ,   t h e y   m i g h t   o pe r a t e   s l o w l y   fo r   r e a l - t i m e   i nt e r a c t i o n s   b e t w e e n   a ut i s t i c   c h i l d r e n   a n r o b o t s .   In   c o nt r a s t ,   t h e   S i n g l e   S h o t   M u l t i B o D e t e c t o r   s t a n ds   o ut   f o r   i t s   ra pi p r o c e s s i n a n p r e c i s e   r e s ul t s   [26]   T h e   p r o po s e d   e m o t i o n   p r e di c t i o m o de l   ut i l i z e s   t r a n s f e l e a rni n o n   S S D L i t e ,   a   s t r e a m l i n e v e r s i o of   S S D   de s i g n e f o m o b i l e   a p pl i c a t i o n s   [ 27] T ra n s f e r   l e a rn i ng  w a s   e m pl o y e t o   a c c e l e r a t e   t h e   t ra i ni n g   pr o c e s s ,   l e v e r a gi ng  p r e - t r a i n e d   w e i gh t s   f r o m   t h e   S S D L i t e   m o de l .   T h e s e   p r e - t r a i n e d   w e i gh t s   e n c a ps ul a t e   s a l i e n t   o b j e c t   fe a t u r e s ,   t h us   r e duc i ng  t h e   t i m e   a nd  d a t a   r e qui r e t o   a c h i e v e   t h e   de s i r e a c c ura c y   l e v e l .   G i v e n   t h a t   t h e   i ni t i a l   l a y e r s   o f   m o s t   CN N s   e xt r a c t   l o w - l e ve l   fe a t ur e s   r e l e v a n t   t o   v a ri o us   t a s ks ,   f r e e z i ng  a l l   l a y e r s   e xc e pt   t h e   f i n a l   o n e   o f   t h e   S S D L i t e   m o de l   w a s   de e m e a pp r o p r i a t e .   S ub s e que n t l y ,   t h e   l a s t   l a y e r   unde r w e n t   r e t ra i ni n g   us i n g   c us t o m   d a t a s e t s .   T hi s   a pp r o a c e n c o m pa s s e a   t w o - s t a ge   f i n e - t u ni n g   p r o c e s s .   Ini t i a l l y ,   t h e   m o de l   w a s   t ra i n e o t h e   G H A N E D   da t a s e t ,   c o m pri s i n 5 32  i m a ge s   de pi c t i ng  G ha n a i a n s   di s pl a y i n b o t " a c t e d"   a n d   " i t h e   w i l d"   e m o t i o n s .   T hi s   w a s   f o l l ow e by   t r a i ni n g   o t h e   A CD   d a t a s e t ,   c o n s i s t i ng  o f   287  f a c i a l   e xp r e s s i o n s   o f   a ut i s t i c   c h i l d r e n   ga t h e r e d   f r o m   p r e v i o us   pr e l i m i n a r y   a n d   l o n gi t udi na l   e xpe ri m e nt s   i n v o l v i n t h e   c hi l d r e a nd  a   r o b o t .   T h e   t ra i ni n g   i m a ge s   w e r e   a nn o t a t e i pa s c a l   v i s ua l   o b j e c t   c l a s s e s   (V O C)  fo r m a t .   I n   t h e   P a s c a l   V O C ,   t h e   a nn o t a t i o n   c o n s i s t s   o f   t h e   t ra i ni n f o l de r   n a m e ,   f i l e   na m e ,   pa t h   t o   t h e   f i l e ,   bo un di ng  b o c oo r di n a t e s   a n s i z e   o f   t h e   i m a ge   (w i dt h ,   he i ght   a n de p t h c o m pi l e i n   a n   X M L   f i l e . T h e   t r a i n e d   m o de l   a c h i e v e hi g h   a c c ur a c y   by   e m pl oy i n s upe r v i s e f i n e - t u ni n o n   f a c i a l   e xp r e s s i o n   da t a s e t s   o s e l e c t e pe o pl e   be fo r e   t r a i n i ng   o s m a l l e a u t i s t i c   c h i l d r e n s   d a t a s e t s .   E v a l ua t i o o f   t h e   p r o po s e m o de l   w a s   c o n duc t e us i n t h e   m e a n   a v e r a ge   p r e c i s i o ( m A P m e t ri c ,   a   s t a n d a r m e a s u r e   f o r   e v a l ua t i n g   o b j e c t   de t e c t i o n   a l go ri t hm s .   m A P   s c o r e ,   de r i v e f r o m   p r e c i s i o a nd  r e c a l l ,   i s   c a l c ul a t e b y   a v e r a gi n g   t h e   i n t e r po l a t e d   a v e ra ge   p r e c i s i o n s   a c r o s s   a l l   c l a s s e s .   T h e   S E D   m o de l   a t t a i n e a i m p r e s s i v e   m A P   o f   93% .   F o l l ow i n t ra i ni n g ,   t h e   t r a i n e S E D   w a s   c o n f i gu r e a s   a   p l ugi us i n V i s ua l   S t ud i o   2017  a n s e a m l e s s l y   i n t e g r a t e i nt o   t h e   c us t o m   s o f t w a r e   i nt e r f a c e   c o n t r o l   o f   t h e   R o CA   r o bo t .   T h e   p r o c e s s   o f   t r a i n i ng  t h e   de e l e a rn i ng - b a s e e m o t i o r e c o gn i t i o m o de l   i s   i l l us t ra t e d   i F i gu r e   1 .   T a b l e   1   p r e s e nt s   a o v e r v i e w   of   t h e   G H A N E D   a nd  A CD   da t a t s e t s .     2 . 2 .     F u z z y - b as e d   e n gage m e n t   e s t i m ati o n   s ys te m   T h e   s e c o n c o m po n e nt   o f   t h e   p r o po s e f r a m e w o r k,   t h e   f uz z y   l o gi c   r e a s o n i n g   m o de l ,   i s   a n   a rt i f i c i a l   i n t e l l i ge n c e - pow e r e a l go ri t hm   t h a t   e m po w e r s   t h e   r o b o t   t o   re a s o n   a n d   r e s po n d   a pp r o p r i a t e l y   t o   t h e   i n d i v i dua l   n e e ds   o f   e a c c hi l d .   F uz z y   l o gi c   p r o v i de s   a   r o b us t   m e t h o do l o g y   fo r   ha n d l i ng   u n c e r t a i nt i e s   a n d   de r i v i n g   c o n c l us i o n s   b a s e o i m p r e c i s e ,   a m b i guo us ,   o n o i s y   da t a .   T h i s   r e a s o ni n g   m o de l   c o n s i s t s   o f   t hr e e   c ri s i n put s ,   o l i n gu i s t i c   v a r i a b l e s :   a   c h i l d' s   s c o r e   a t   a   s pe c i f i c   po i n t   i t h e   l e a rni n g   s e s s i o n ,   t h e   d i f f i c ul t y   l e v e l   of  t h e   t a s k ,   a n d   t h e   c h i l d' s   IQ   l e v e l .   T h e   o ut put   v a r i a b l e   i s   t h e   e n g a ge m e n t   l e v e l   of   t h e   c hi l d .   D u ri n g   t h e   f uz z i f i c a t i o n   s t a ge ,   f uz z y   s e t s   w e r e   c r e a t e f o b o t t h e   i nput   a n d   o ut pu t   v a r i a b l e s .   F i g u r e   2   p r e s e n t s   t r i a ngul a r   m e m b e r s h i p   f un c t i o n s   w e r e   e m pl oy e fo r   f uz z i f i c a t i o n,   a s   t h e y   a r e   e a s i l y   t r a n s f e ra b l e   t m i c r o c o n t r o l l e r s ,   de s pi t e   t h e   a v a i l a b i l i t y   o f   o t h e r   f uz z i f i e r s   l i ke   t r a pe z o i da l ,   s i n gl e t o n ,   a nd  G a us s i a n.   T h e   c h i l d' s   s c o r e   w a s   f uz z i f i e i nt o   t hr e e   m e m b e r s hi p   f un c t i o n s   us i n g   l i ngui s t i c   t e rm s :   hi g h,   a v e r a ge ,   a n l o w .   T a s di f f i c ul t y   w a s   f uz z i f i e i nt o   e a s y ,   m e di um ,   a n ha r m e m b e r s h i f u n c t i o n s ,   w h i l e   t h e   c h i l d' s   IQ   l e v e l   w a s   gi v e n   m e m b e r s h i p   f un c t i o n s   o f   l ow ,   m e di um ,   a n d   h i g h .   T h e   e n g a ge m e n t   l e v e l   o f   t h e   c h i l w a s   f uz z i f i e i nt o   t hr e e   m e m b e r s h i f u n c t i o n s :   hi g h l y   e n ga ge (H E ),   e n g a ge ( E ),   a n d   n o t   e nga ge d   (N E ).   F u z z y   r ul e s   w e r e   de v i s e b a s e o c o n s u l t a t i o n s   w i t do m a i e xpe r t s   s pe c i a l i z i n g   i t h e   c a r e   o c h i l d r e n   w i t a u t i s m .   T h e   M a m da ni   i n f e r e n c e   a p p r o a c w a s   e m pl oy e t o   m a t h e   t hr e e   i n put   v a r i a b l e s   (IQ ,   s c o r e ,   a n t a s k   di f f i c ul t y t o   t h e   o ut pu t   v a ri a b l e   (e n g a ge m e n t )   us i ng   IF   …  T H E N   r u l e s .   F o r   i n s t a n c e ,   i f   t h e   s c o r e   i s   l o w ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 :   320 - 3 30   324   t h e   IQ   i s   l o w ,   a n t h e   t a s k   di f f i c ul t y   i s   e a s y ,   T H E N   t h e   c hi l i s   de e m e " n o t   e n ga ge d. "   T h e   o ut pu t   f r o m   t h e   r u l e   e v a l ua t i o i s   a l w a y s   a   f uz z y   s e t .   I n   t h e   de f uz z i f i c a t i o s t e p,   t h e   f uz z y   o ut put   i s   c o n v e rt e i nt o   a   c r i s p   v a l ue   fo r   ut i l i z a t i o n   by   t h e   r o bo t .   D e f uz z i f i c a t i o n   t e c hni que s   s uc h   a s   t h e   c e n t e r   o f   gr a v i t y ,   t h e   c e n t e r   o f   s um s ,   a n t h e   m a c r i t e ri o n   w e r e   c o n s i de r e d,   w i t h   t h e   c e n t e r   o f   gra v i t y   c h o s e n   due   t o   i t s   c o m put a t i o na l   e ff i c i e n c y   a n w i de s p r e a us a ge   c o m pa r e t o   o t h e a pp r o a c h e s .           F i gu r e   1 D e v e l o pm e n t   p r o c e s s   of   t h e   p r o po s e de e p - l e a rn i ng  b a s e S E D       T a b l e   1 .   O v e r v i e w   of   t h e   G H A N E D   a nd  A CD   da t a s e t s   N u m b e r   o l a b e l s             D a t a s e t   H a p p y   S a d   F e a r   S u rp ri s e   N e u t ra l   A n g e r   T o t a l     G H A N E D   92   87   88   90   89   86   532     A CD   50   47   43   49   50   48   287     T o t a l               819             F i gu r e   2 .   T r i a n gu l a m e m b e r s hi p       2 . 3   Th e   d e e p - fu z z p e r s o n al i z ati o n   fr am e w o r k   T h e   p r o po s e pe r s o n a l i z e i n t e r a c t i v e   f r a m e w o r k,   a s   de pi c t e i n   F i gu r e   3 ,   c o m pri s e s   t h e   S E D   a n d   t h e   f uz z y - b a s e e n ga ge m e nt   e s t i m a t i o n   s y s t e m .   T hi s   f ra m e w o r c a b e   a ppl i e d   t o   s o c i a l   r o b o t s   t o   f a c i l i t a t e   h u m a n - r o bo t   i n t e ra c t i o a nd  p r o m o t e   s us t a i n e a n d   m e a ni ngf ul   l o n g - t e r m   s e s s i o n s   b e t w e e n   a u t i s t i c   c hi l d r e a n r o b o t s .   It   h a s   b e e n   i m pl e m e nt e a n d   t e s t e o n   t h e   h u m a n o i r o b o t   Ro CA ,   o pe r a t i ng  a c c o r di ng  t o   t h e   pr o c e dur e   o ut l i n e d   i t h i s   s e c t i o n .   T h e   r o b o t ' s   o n b o a r d   c a m e ra   de v i c e   i s   a c t i v a t e t o   s t r e a m   l i v e   v i de os   duri n g   i n t e r a c t i o n s   w i t h   a u t i s t i c   c h i l d r e n.   A dd i t i o n a l l y ,   a H T T P   S e r v e i s   i ni t i a t e w i t hi E z - B ui l de r,   a Int e g r a t e d   D e v e l o pm e n t   E n v i r o n m e nt   ut i l i z e f o p r o gra m m i n g   R o CA .   T h i s   H T T P   S e r v e r   e na b l e s   e xt e rna l   a ppl i c a t i o n s   t o   a c c e s s   t h e   r o b o t ' s   c a m e ra   v i a   a   U n i f o r m   R e s our c e   L o c a t o r   (U R L ),   w h i c i s   c o n f i gu r e w i t hi n   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       D e e p - f uz z y   pe r s ona l i s at i on   f r am e w or k   f or   r obo t - as s i s t e . . .   ( R os e - M ar y   O w us uaa  Me ns ah  G y e n i ng)   325   t h e   de e l e a rn i ng - b a s e S E D   p r o g r a m   w ri t t e i P y t h o n .   O pe n CV   c a p t u r e s   l i v e   i m a ge   s t r e a m s   f r o m   t h e   r o b o t ' s   c a m e r a   d u r i n g   t h e   c hi l d - r o bo t   i nt e ra c t i o s e s s i o n s ,   w hi c a r e   t h e i nput t e i n t o   t h e   S E D   m o de l .   T h e   S E D   m o de l   c o n duc t s   a   s i ngl e s h o t   o bj e c t   l o c a l i z a t i o n   a n d   c l a s s i f i c a t i o o f   f a c i a l   e xpr e s s i o n s   i n   t h e   r e c e i v e d   i m a ge s ,   w i t h   t h e   i n f e rr e e m o t i o n a l   c l a s s e s   o f   t h e   l o c a l i z e f a c e s   b e i n l o gge i n t o   a   f i l e .   T h e   r o bo t   c o n t i n ue s   t o   c a pt u r e   l i v e   f e e ds   du r i n g   t h e   i nt e r a c t i o s e s s i on,   s e n ds   t h e m   t o   t h e   S E D   m o de l   f o r   p r e di c t i o n s ,   a n l o gs   t h e   r e s ul t s   i n t o   a   f i l e .           F i gu r e   3 T h e   p r o po s e de e f uz z y   pe r s o n a l i z a t i o f ra m e w o r k       A t   a   p r e de t e rm i n e t i m e   po i nt ,   de n o t e a s   t   (e . g . ,   ha l f w a y   t h ro ugh   t h e   l e s s o n ),   t h e   r o bo t   e xe c ut e s   t h e   f uz z y   l o gi c   c o n t r o l l e r   t o   e s t i m a t e   t h e   c h i l d' s   e n g a ge m e n t   l e ve l .   T h e   f uz z y   l o gi c   c o n t r o l l e r   ut i l i z e s   i n f o r m a t i o s uc a s   t h e   c hi l d' s   n a m e ,   IQ   l e v e l ,   t a s k   d i f f i c ul t y ,   a nd   s c o r e   t o   e s t i m a t e   t h e   e n g a ge m e n t   l e v e l   ( HE E ,   o NE ).   T h e   i n f e r e n c e   e n g i n e   o f   t h e   f uz z y   c o n t r o l l e c o n s i s t s   o f   27  rul e s   f o e s t i m a t i n g   e n g a ge m e n t ,   w h i c w e r e   de ve l o pe c o l l a b o r a t i v e l y   w i t c a r e gi v e r s   o f   c h i l d r e w i t a ut i s m .   T h e   o ut put   f r o m   t h e   f uz z y   i n f e r e n c e   s y s t e m ,   a l o n g   w i t t h e   hi g h e s t   a gg r e ga t e d   e m o t i o na l   c l a s s ,   i s   t h e n   p r o c e s s e by   t h e   de e f uz z y   a c t i v i t y   s e l e c t i o n   e n g i n e .   T hi s   e ngi n e   s ugge s t s   t o   t h e   t e a c h e r   t h e   a ppr o p r i a t e   a c t i o t o   t a ke   i f   t h e   c hi l d ' s   p r e di c t e d   e n ga ge m e nt   i s   l o w   o r   a v e r a ge   (f o r   i n s t a n c e ,   c h a ngi n g   t h e   l e s s o n   o t a ki n g   a   b r e a k).     2 . 4   Ev al u ati o n   o th e   d e e p   fu z z y   r o b o b e h av i ou r   ad ap tati o n   fr am e w o r k   A n   e m pi ri c a l   i n v e s t i ga t i o n   w a s   c o n duc t e ut i l i z i n t w o   di s t i n c t   c o n f i gu r a t i o n s   o f   t h e   R o CA   r o bo t :   t h e   R S E D F uz z y   s e t up,   w h e r e i t h e   r o b o t ,   e qui ppe w i t t h e   S E D   m o de l   a n d   f uz z y   i n f e r e n c e   e n g i n e ,   o pe ra t e d   s e m i - a u t o n o m o us l y ,   a n d   t h e   R W O Z   s e t up,   w h e r e   t h e   r o bo t   w a s   m a nua l l y   o pe r a t e d .   I t h e   R S E D F uz z y   s e t up,   t h e   r o b o t   e xt e n s i v e l y   e m pl oy e d   t h e   de e f uz z y   pe r s o n a l i z a t i o n   f ra m e w o r k,   l e v e r a g i n t h e   h i g h e s t   p r e di c t e e m o t i o n a l   s t a t e ,   s c o r e ,   a nd  t a s di f f i c ul t y   t o   de l i v e r   c us t o m i z e l e s s o n s   t o   c h i l d r e n.   F o r   i n s t a n c e ,   i f   t h e   e m o t i o n a l   s t a t e s   de t e c t e b y   t h e   S E D   m o de l   i ndi c a t e   t h a t   a   c h i l d' s   p r e do m i na nt   e m o t i o na l   s t a t e   du ri n g   t h e   l e a rn i ng  s e s s i o n   i s   s a d n e s s ,   w i t a   l o w   s c o r e   b ut   a n   e a s y   t a s di f f i c ul t y   l e v e l ,   t h e   r o bo t   i n t e r v e n e s   by   pl a y i n g   m us i c   o a l t e r i n g   t h e   l e s s o n   t o   r e - e n ga ge   t h e   c h i l d.   Co n v e r s e l y ,   w h e o pe r a t e i R W O Z   m o de ,   t h e   r o b o t   di s r e g a r de d   a l l   f a c t o r s   a nd   p r o c e e d e t o   de l i v e r   l e s s o n s   u nt i l   t h e   s e s s i o n s   c o n c l ude d.   T h e   e m pi ri c a l   s t udy   a i m e t o   e v a l ua t e   t h e   i m p a c t   o f   R S E D F uz z y - b a s e pe r s o n a l i z a t i o n   o n   l e a rni n g   o ut c o m e s   i a ut i s t i c   c h i l d r e n   c o m pa r e d   t o   a   ra n do m l y   o pe r a t e d   r o b o t   (R W O Z ).   T h e   r e s e a rc que s t i o po s e w a s :   W o ul d   t h e   t a s k   s c o r e s   o c h i l d r e n   w i t A S D   b e   hi g h e i " f rui t   l e a rn i ng   l e s s o n s "   c o nduc t e w i t a R S E D F uz z y - b a s e pe r s o n a l i z e r o b o t   c o m pa r e t o   a   W i z a rd  o f   O z - o pe ra t e r o b o t ?   T h e   i nde pe n de n t   v a r i a b l e s   w e r e   R S E D F uz z y   a nd  R W O Z w h i l e   t h e   de pe n de nt   v a r i a b l e   w a s   t h e   t a s s c o r e s .   T w e l ve   pa rt i c i p a n t s   (11  m a l e s   a n d   o n e   f e m a l e b e t w e e t h e   a ge s   o f   e l e ve n   a n d   t w e n t y - s i x,   di a g n o s e w i t A S D   a nd  a t t e n d i n t h e   g a r de n   c i t y   s pe c i a l   s c h o o l   i K um a s i ,   G ha n a ,   w e r e   r e c r u i t e f o r   t h e   s t udy .   A   r a n do m i z e d   c o n t r o l l e d   r e s e a r c de s i g w a s   e m pl o y e d,   w i t s i x   p a r t i c i pa nt s   r a n do m l y   a s s i g n e t o   t h e   R S E D F uz z y   gr o up  a nd  t h e   r e m a i ni n s i t o   t h e   R W O Z   g r o up.   T h e   m e a n   a ge   i t h e   R S E D F uz z y   gr o up  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 :   320 - 3 30   326   w a s   18. 0,   w i t h   a   s t a n d a r d   de v i a t i o n   o f   5. 4 ,   w hi l e   i t h e   R W O Z   gr o up,   t h e   m e a a ge   w a s   16. 7 ,   w i t a   s t a n d a r de v i a t i o o f   5. 5 .   A   M a nn - W h i t n e y   U   t e s t   w a s   c o n duc t e d   t o   a s s e s s   t h e   s i g ni f i c a n c e   o f   t h e   a ge   di f f e r e n c e   b e t w e e n   t h e   R S E D F uz z y   a nd  R W O Z   gr o ups .   T h e   r e s ul t s ,   U = 16  a n d   P = 0 . 74 7,   i n d i c a t e d   n o   s i g n i f i c a nt   di f fe r e n c e   i t h e   a ge s   o f   c h i l d r e n   b e t w e e n   t h e   t w o   gr o ups .     2 . 4 . 1.   Ex p e r i m e n tal   s e tu p   T h e   e xpe ri m e n t s   w e r e   c o n duc t e a t   t h e   c o m put e r   l a b o r a t o r y   of   t h e   g a r de n   c i t y   s pe c i a l   s c h o o l   i n   G ha n a ,   ut i l i z i ng  t h e   hum a n o i r o b o t   Ro CA .   I n f o r m e d   c o n s e n t   w a s   o b t a i n e d   f r o m   t h e   s c h o o l .   E a c h   c h i l d   pa r t i c i pa t e i ni n e   i n t e r a c t i o s e s s i o n s   w i t h   t h e   r o b o t ,   t o t a l i ng  1 08  s e s s i o n s .   T h e   s t udy   p r o t o c o l   i n v o l ve d   t w o   pr e t e s t   s e s s i o n s   (i de nt i c a l   f o r   b o t g r o ups ),   f o l l ow e by   f i ve   t ra i ni n g   s e s s i o n s   a nd  t w o   i m m e di a t e   po s t - t e s t s .   T hr o ug h o ut   t h e   e xpe r i m e n t ,   a   t e a c h e r   a c c o m pa n i e t he   c h i l d r e n   t o   t h e   e xpe ri m e n t a l   r o o m .   T h e   r o bo t   pr o v i de po s i t i v e   r e i n f o r c e m e n t   b y   s a y i n g   " go o j o b "   a nd   off e r e v e r b a l   p r o m pt s   a s   n e e de d.   A   t a b l e t   w a s   a f f i xe t o   R o CA   t o   di s pl a y   v i de o   r e c o r di n gs   o f   s e l e c t e f r ui t s ,   w h i l e   t w o   t a b l e s   w e r e   po s i t i o n e b e s i de   Ro CA ,   o n e   w i t h   a   b a n a na   a nd  t h e   o t h e r   w i t h   a n   a pp l e .   T h e   i n i t i a l   t w o   s e s s i o n s   s e r v e a s   pr e t e s t   l e s s o n s   t o   a s s e s s   t h e   c h i l d r e n' s   a b i l i t y   t o   i de nt i f y   t w o   f r ui t s ,   a a pp l e   a n d   a   b a n a na .   B e fo r e   e a c s e s s i o n ,   t h e   o pe ra t o e n t e r e t h e   c h i l d' s   na m e   i nt o   a   t e xt b o o n   t h e   r o b o t   c o n t r o l   s y s t e m ,   w h i c h   w a s   us e t o   r e t ri e v e   t h e   c hi l d ' s   i n f o r m a t i o f r o m   a   d a t a b a s e ,   i n c l u di n g   IQ   l e v e l   a n d   t a s di ff i c ul t y .   R o CA   i nt r o duc e i t s e l f   t o   t h e   c hi l d   by   s a y i n g ,   " H e l l o   +   c h i l d' s   n a m e ,   m y   n a m e   i s   R o CA .     T o da y ,   w e   w i l l   s t udy   f r ui t s .   C hi l d ' s   na m e ,   pl e a s e   t a ke   t h e   a pp l e   f r o m   t h e   t a b l e . "   If   t h e   c h i l d   s e l e c t e t h e   c o rr e c t   f r u i t ,   t h e y   w e r e   a w a r de a   s c o r e ,   a nd  t he   r o b o t   i n s t r uc t e t h e m   t o   gi v e   t h e   f r u i t   t o   t h e i r   t e a c h e r .   T h e   s a m e   p r o c e s s   w a s   r e pe a t e f o r   t h e   o t h e r   f rui t ,   i t hi s   c a s e ,   t h e   b a na n a .   F o l l o w i n e a c h   q ue s t i o n,   t h e   r o b o t   a w a i t e d   c o n f i rm a t i o by   t h e   o pe ra t o (by   c l i c ki n g   t h e   " r e w a rd"   b ut t o i t h e   s o f t w a r e   i nt e r f a c e i f   t h e   t a s k   w a s   pe r f o r m e c o rr e c t l y .   If   t h e   " go o j ob "   b ut t o w a s   n o t   c l i c ke w i t h i n   t e n   s e c o n ds ,   t h e   r o bo t   r e pe a t e t h e   i n s t ruc t i o a nd  w a i t e f o r   c o n f i rm a t i o n   o i s s ue a   f i na l   p r o m pt   a f t e a a dd i t i o na l   f i f t e e n   s e c o n ds   b e f o r e   pr o c e e di n t o   t h e   n e xt   que s t i o n .   A f t e t h e   q ue s t i o n   a n d   a n s w e r   s e s s i o n ,   t h e   r o bo t   c o n c l ude t h e   s e s s i o n   by   pl a y i n m us i c   a n d   d a n c i n g ,   s i g n a l i ng  t h e   e nd  of   t h e   s e s s i o n   t o   t h e   c hi l d .   F r o m   s e s s i o n s   3   t o   7 ,   R o CA   e m pl oy e v i de o   m o de l i ng  t e c hn i q ue s   a n d   i nt e r a c t i v e   s e s s i o n s   t o   i n s t r uc t   t h e   c h i l d r e o i de n t i f y i n g   a n d   c o n s u m i ng   a p pl e s   a nd   b a n a na s .   T o   p r e v e n t   s e n s o r y   ov e r l o a d,   c o m m o n   i a u t i s t i c   c h i l d r e n,   t h e   l e s s o n s   f oc us e s o l e l y   o n   t h e s e   t w o   f r ui t s .   E a c h   s e s s i o n   c o m m e n c e w i t h   Ro CA   a dd r e s s i n g   t h e   c hi l d   b y   n a m e   a n d   a nn o u n c i n g   t h e   l e s s o n ' s   t o pi c ,   f o e xa m p l e ,   " H e l l o   +   c hi l d ' s   n a m e t o da y   w e   w i l l   l e a rn  a b o ut   f r ui t s . "   A   pi c t u r e   o f   t h e   de s i g na t e f r u i t ,   s uc h   a s   a n   a pp l e ,   a ppe a r e d   o t h e   t a b l e t   a t t a c h e t o   t h e   r o bo t .   R o CA   vo c a l i z e t h e   na m e   o f   t h e   f rui t ,   fo l l ow e by   a   b r i e f   v i de o   di s pl a y i n t h e   f r u i t   o t h e   t a b l e t .   R o CA   t h e ge s t u r e a n d   t u rn e d   i t s   h e a d   t o w a r d   t h e   s pe c i f i c   f r u i t   o t h e   n e a r by   t a b l e   w hi l e   r e i t e ra t i ng   i t s   n a m e .   T h e   c h i l d   w a s   p r o m pt e d   t o   r e t r i e v e   t h e   de s i g n a t e d   f r u i t ,   w i t r e w a r ds   o a dd i t i o n a l   v e r b a l   c ue s   p r o v i de a s   n e e de d.   T hi s   p r o c e s s   w a s   r e pe a t e d   fo r   t h e   o t h e f rui t .   F i na l l y ,   Ro CA   c o n c l ude t h e   i n t e r a c t i o s e s s i o n   w i t a   s o n g .   I t h e   R W O Z   gr o up,   t h e   r o b o t   f un c t i o n e i a   n o n - a da p t i v e   m o de ,   de l i v e r i ng  s t a n d a r di z e l e a rni n g   s e s s i o n s   w i t h o ut   c o n s i de ri n t h e   c hi l d' s   e m o t i o n a l   s t a t e ,   l e a rni n p r o g r e s s ,   o t a s di f f i c ul t y   l e v e l .   Co n v e r s e l y ,   i t h e   R S E D F uz z y   g r o up,   R o C A   a c t e d   a s   a a d a p t i v e   a ge n t ,   t a i l o r i ng   l e a rni n g   s e s s i o n s   b a s e o i n pu t s   r e c e i v e by   t h e   de e p - l e a rni n g   m o de l   a nd  f uz z y - b a s e e n ga ge m e n t   p r e di c t i o e n g i n e .   T h e s e   i nput s   i n c l ude t h e   c hi l d ' s   p r e do m i na n t   e m o t i o n a l   s t a t e ,   l e a rni n p r o g r e s s ,   IQ ,   a nd  t a s d i f f i c ul t y .   T h e   l a s t   t w o   s e s s i o n s   s e r v e a s   po s t - t e s t s   t o   e v a l ua t e   t h e   c h i l d re n ' s   k n o w l e dge   fo l l ow i n t h e   t e a c hi n s e s s i o n s .   T h e   s c ri pt   de l i v e r e b y   Ro CA   i n   t h e s e   s e s s i o n s   m i rr o r e t ha t   o f   s e s s i o n s   a nd  2.   I n   b o t t h e   p r e t e s t   a nd  po s t - t e s t   s e s s i o n s ,   e a c c o r r e c t   t a s c o m pl e t i o n   b y   t h e   c hi l w a s   s c o r e 5.     2 . 4 . 2 D ata   an al ys i s   T o   a s s e s s   t h e   i m pa c t   o f   pe r s o n a l i z a t i o n   o l e a rni n o ut c o m e s ,   t h e   c hi l d r e n ' s   b a s e l i n e   k n o w l e dge   of  f r ui t s   w a s   m e a s u r e d   du ri n g   t h e   p r e t e s t   p ha s e ,   a n d   t h e i k n o w l e dge   a c qu i s i t i o f o l l ow i n g   t h e   l e a rni ng   s e s s i o n s   w a s   ga uge t hr o ug h   po s t - t e s t s .   E a c h   c o rr e c t   t a s k   c o m pl e t i o n   duri n b o t h   p r e t e s t   a n d   po s t - t e s t   s e s s i o n s   e a rn e d   a   s c o r e   o f   5.   A   M a nn - W h i t n e y   t e s t   w a s   e m pl oy e t o   de t e r m i n e   a n y   s i g n i f i c a n t   d i f fe r e n c e s   b e t w e e n   t h e   pr e t e s t   s c o r e s   o f   bo t h   g r o ups ,   a s   w e l l   a s   t o   e xa m i n e   di f f e r e n c e s   i po s t - t e s t   s c o r e s .   T h e   ut i l i z a t i o n   o f   t h e   M a nn - W h i t n e y   t e s t   w a s   due   t o   i t s   n o n - pa ra m e t ri c   n a t u r e   a n s u i t a b i l i t y   fo r   s m a l l   s a m pl e   s i z e s   a n t e s t   s c o r e s ,   e n s u r i ng  r o b us t   a na l y s i s   de s pi t e   l i m i t e d a t a .       3.   R ES U LTS   A N D   D I S C U S S I O N     T a b l e   2   i l l us t ra t e s   t h e   p r e t e s t   a n po s t - t e s t   s c o r e s   of   c h i l d r e n   i n   t h e   t w o   gr o ups .   T h e   a gg r e g a t e pr e t e s t   s c o r e s   f o r   bo t h   g r o ups   di f f e r   by   20.   A   M a nn - W h i t n e y   t e s t   c o n duc t e o n   t h e   p r e t e s t   s c o r e s   i n di c a t e s   n n o t a b l e   di s t i n c t i o n   b e t w e e n   t h e   t w o   gr o ups ,   w i t h   U = 13. 0   a n d   P = 0 . 37 .   Co n v e r s e l y ,   t h e   a g g r e ga t e po s t - t e s t   s c o r e s   di f f e r   by   55  (T a b l e   1).   A   M a nn - W h i t n e y   t e s t   pe r f o r m e o t h e   po s t - t e s t   s c o r e s   r e v e a l s   a   s i g ni f i c a n t   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       D e e p - f uz z y   pe r s ona l i s at i on   f r am e w or k   f or   r obo t - as s i s t e . . .   ( R os e - M ar y   O w us uaa  Me ns ah  G y e n i ng)   327   di f fe r e n c e   b e t w e e n   t h e   t w o   gr o ups ,   w i t h   U = 3. a n d   P = 0 . 012.   T h e s e   f i n di ngs   i n di c a t e   t ha t   c h i l d r e n   w h o   r e c e i v e pe r s o n a l i z e l e s s o n s   f r o m   R o CA ,   e m pl oy i n t he   R S E D F uz z y   s y s t e m ,   de m o n s t ra t e s upe r i o r   pe r f o r m a n c e   i t h e   po s t - t e s t s ,   t h us   a f f i r m i ng  t h e   f a v o r a b l e   i m pa c t   o f   pe r s o n a l i z a t i o t hr o ug h   t h e   de e p - f uz z y   pe r s o n a l i z a t i o n   f ra m e w o r k.       T a b l e   2 .   P r e t e s t   a n d   po s t - t e s t   s c o r e s   o f   t h e   c h i l d r e n   i n   t h e   R S E D F uz z y   a n d   R W O Z   gr o ups   Co n d i t i o n   S u b j e c t   P re t e s t   P o s t - t e s t   RS E D F u z z y   1   15   20     2   0   10     3   0   15     4   10   20     5   0   20     6   15   10   A g g r e g a t e d   R S E D F u z z y   g ro u p   t e s t   s c o r e s     40   95   RW O Z   7   10   10     8   0   10     9   10   10     10   0   5     11   0   0     12   0   5   A g g r e g a t e d   RW O Z   t e s t   s c o r e s     20   40       3. 1 .     D i s c u s s i o n   Ro bo t - m e di a t e t h e ra py   fo r   c h i l d r e n   w i t a u t i s m   ha s   ga i n e s i g n i f i c a n t   a t t e nt i o i r e c e n t   y e a r s ,   w i t h   r e s e a r c h e r s   e xpl o ri n v a ri o us   a pp r o a c h e s   t o   e nha n c e   t h e   e f fe c t i ve n e s s   of   i n t e r a c t i o n s   b e t w e e n   r o b o t s   a n a ut i s t i c   c h i l d r e n .   T h e   c o n v e n t i o n a l   W i z a r d - of - O z   a pp r o a c h,   w h e r e   r o bo t s   e xe c ut e   pr e - de f i n e b e h a v i o r s ,   ha s   b e e n   t h e   p r i m a r y   m e t h o us e i m a n y   s t udi e s .   H ow e ve r ,   t h i s   a pp r o a c h   i s   i nh e r e n t l y   l i m i t e a s   i t   r e qu i r e s   s ub s t a n t i a l   h u m a e f fo r t   a n d   l a c ks   a da p t a b i l i t y   i r e a l - t i m e   i nt e ra c t i o n s .   I t hi s   s t udy ,   w e   i nt r o duc e a   n o v e l   de e p - f uz z y   pe r s o n a l i z a t i o n   f r a m e w o r de s i g n e t o   a dd r e s s   t h e s e   l i m i t a t i o n s   a n d   e nha n c e   t h e   e f f i c a c y   of  r o b o t - m e di a t e t h e ra py   fo r   a u t i s t i c   c h i l d r e n .   T h e   l a c k   o f   s i gni f i c a n t   di s p a r i t y   i n   t h e   p r e t e s t   s c o r e s   b e t w e e t h e   R S E D F uz z y   a n d   R W O Z   gr o ups   s ugge s t s   t ha t   a l l   c h i l d r e n   c o m m e n c e t h e   e xpe ri m e nt   w i t c o m pa r a b l e   k n o w l e dge   of   a ppl e   a nd  b a na n a   f rui t s .   F o l l ow i n t h e   i n t e r v e n t i o n ,   b o t g r o ups   e x h i b i t e d   e nha n c e l e a rni n g   g a i n s ,   a s   e v i de n c e by   t h e i r   po s t - t e s t   s c o r e s .   N o t a b l y ,   s o m e   c h i l d r e w h o   i ni t i a l l y   s t ruggl e d   t o   i d e n t i fy   f r ui t s   s h o w e i m p r o v e m e n t ,   w h i l e   o t h e r s   w i t h   l o w   pr e t e s t   s c o r e s   de m o n s t r a t e e nha n c e pe r f o r m a n c e   i n   t h e   po s t - t e s t .   T h e s e   f i n d i n gs   a l i g n   w i t h   pr e v i o us   r e s e a r c h   [28] [30] ,   i n d i c a t i n g   t ha t   a u t i s t i c   c h i l d r e m a y   b e n e f i t   f r o m   r e pe a t e d   l e s s o n s   w i t r o b o t s   ov e r   t i m e .   E xa m i na t i o n   o f   T a b l e   r e v e a l s   t h a t   w h i l e   b o t h   g r o ups   e xpe r i e n c e i n c r e a s e l e a rni ng  ga i n s ,   a   M a nn - W h i t n e y   t e s t   r e v e a l e h i g h e g a i n s   i t h e   R S E D F uz z y   g r o up,   w h i c r e c e i ve pe r s o na l i z e i n t e ra c t i o n s   f r o m   t h e   r o bo t .   T hi s   u n de r s c o r e s   t h e   s i g ni f i c a n c e   of   fos t e r i ng  r a ppo rt   a nd  s us t a i n i ng  e n ga ge m e nt   i i n t e r a c t i o n s   b e t w e e n   a u t i s t i c   c hi l d r e a n d   r o bo t s .   T h e   a do pt i o n   o f   a   de e p - f uz z y   pe r s o n a l i z a t i o n   f r a m e w o r by   t h e   r o bo t   f a c i l i t a t e c o o p e r a t i o n,   p r o l o n ge b i - d i r e c t i o na l   c o m m uni c a t i o n ,   a nd  h e i g ht e n e a t t e n t i o n   i n   t h e   R S E D F uz z y   gr o up.   M a n y   s t udi e s   i l i t e r a t u r e   ut i l i z e t h e   N a o   r o bo t ,   a n d   t h e   c on c e nt r a t i o n   a r e a s   f o r   e xpe ri m e n t s   w e r e   j o i n t   a t t e nt i o n,   e y e   c o n t a c t   e xe r c i s e ,   i m i t a t i o n,   a n d   c o m m u ni c a t i o n   s k i l l s .   T h e   l e v e l s   of   pa r t i c i p a t i o a m o n g   t h e   c h i l d r e a l s o   v a ri e d   de pe n d i n g   o t h e i m e nt a l   a nd   c ogni t i v e   a b i l i t i e s .   D e e l e a rn i ng   i hum a n - r o b o t   i n t e r a c t i o i s   g r a d ua l l y   pr o v i n g   b e n e f i c i a l   due   t o   i t s   a b i l i t y   t o   p r o v i de   pe r s o na l i z a t i o n .   A l b e i t   t h e   s u ppo s e d   b e n e f i t s ,   t h e   h i g c o s t   a s s o c i a t e w i t t h e   de s i g a nd   de v e l o pm e n t   o f   r o b o t s   a n d   t h e   s o ph i s t i c a t e d   na t u r e   o t r a i ni n g   de e l e a rni n g   a l go ri t hm s   m a ke s   i t   di f f i c ul t   f o r   l o w - i n c o m e   c o un t r i e s   t o   b e n e f i t .   T h e   f i n di ngs   f r o m   t h i s   r e s e a r c h   a r e   c o n s i s t e n t   w i t h   [3 1] ,   w h o   o pi n e s   t h a t   s upe r v i s e a u t o n o m y   c o ul h e l a ut i s t i c   c hi l d - r o b o t   i n t e r a c t i o n s .   T h e r e   i s   a   n e e t o   a s c e rt a i n   w h e t h e r   t h e   l e a rn i n g   ga i n s   w o ul t ra n s c e n b e y o n t h e   c l a s s r o o m   an b e   l i f e l o n g.     T h e   de e p - f uz z y   pe r s o n a l i z a t i o n   f r a m e w o r l e v e r a ge s   a dv a n c e m e n t s   i de e l e a rni n g   t e c hni que s   a n d   f uz z y   l o gi c   t o   i m b ue   s o c i a l   r o bo t s   w i t a d a p t a b i l i t y   a nd  r e s po n s i v e n e s s   du ri n g   i nt e ra c t i o n s   w i t h   a u t i s t i c   c h i l d r e n .   T h e   de e l e a rni n g - b a s e e m o t i o de t e c t i o n   s y s t e m ,   w i t a   h i g m e a n   a v e r a ge   p r e c i s i o o f   93%,   e n a b l e s   t h e   r o b o t   t o   pe r c e i v e   a n d   i nt e rp r e t   t h e   c hi l d r e n' s   e m o t i o n a l   s t a t e s   a c c u r a t e l y .   T h e   f uz z y   e n ga ge m e nt   e s t i m a t o e n a b l e s   r e a l - t i m e   a dj us t m e n t s   i i nt e ra c t i o ns T h e   pe r s o n a l i z e a n d   a da p t i v e   i n t e r v e n t i o n s   a r e   t a i l o r e t o   t h e   u n i que   n e e ds   a nd  p r e f e r e n c e s   o f   e a c h   a ut i s t i c   c h i l d .   T h e   r o b o t   c a n   f a c i l i t a t e   m o r e   m e a ni n gf ul   a n e f fe c t i ve   i n t e ra c t i o n s   by   a dj us t i n i t s   b e h a v i o r   b a s e on   r e a l - t i m e   a s s e s s m e n t s   o f   e m o t i o n a l   s t a t e s   a n d   e n ga ge m e nt   l e v e ls ,   r e s ul t i ng  i i m p r o v e t h e r a pe ut i c   o ut c om e s .   T h e   p r o po s e a pp r o a c h   r e duc e s   t h e   n e e fo r   h u m a i n t e r v e n t i o n ,   m a k i n g   i t   m o r e   s c a l a b l e   a n d   c o s t - e ffe c t i v e   i n   a u t i s m   t h e ra py .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 :   320 - 3 30   328   In  a   de v e l o pi n g   c o un t r y   l i ke   G h a na ,   w h e r e   t e c hn o l o gi c a l   r e s o ur c e s   a r e   l i m i t e d,   t h e   p r o po s e d   f r a m e w o r k,   w h i c h   i s   b a s e o l i g ht w e i gh t   ML   a nd  f uz z y   m o de l s ,   w o ul b e   b e n e f i c i a l   i c o m pl e m e nt i ng  t h e   e ffo r t s   o f   s ki l l e pe r s o nn e l .   A l b e i t   t h e   s uppo s e b e n e f i t s ,   t h e r e   s h o ul b e   c o n s c i o us   e ff o r t s   t o   a dd r e s s   pri v a c y   a n e t hi c a l   c o n c e rn s   a s s o c i a t e d   w i t S A R s ,   w h i c h   c o ul m a r   t h e   a dv a nt a ge s   w h e n   l e f t   una t t e nde d.   M u l t i - purpo s e   a c t i v i t i e s   n e e t o   b e   r e s e a r c h e a nd  de s i g n e d   f or  c hi l d r e b a s e o n   t h e i l e v e l s   o n   t h e   a u t i s m   s pe c t r um   [32] .   F ut u r e   r e s e a r c h   s h o ul d   i n v e s t i ga t e   w h e t h e a ut i s t i c   c hi l d r e c o ul s h o w   a ggr e s s i v e   b e h a v i o r s   t o w a r r o b o t s   l o n g - t e r m   [33] .   T hi s   s t u dy   c o r r o b o r a t e s   r e s e a r c by   [34]  a n d   [35] ,   w hi c h   i n di c a t e   t ha t   ML   a ppl i c a t i o n s   c a b e   ut i l i z e i t h e   de s i g o f   i nt e r v e n t i o n s   f o r   a ut i s t i c   c h i l d r e n .       4.   C O N C LU S I O N     T h i s   pa pe i n t r o duc e s   a   f r a m e w o r f o r   pe r s o n a l i z i ng  r o b o t   b e h a v i o i nt e n de f o us e   i i n t e r a c t i o n s   b e t w e e n   a ut i s t i c   c hi l d r e a nd   r o bo t s .   T hi s   f r a m e w o r k   i nt e gra t e s   a   n o v e l   S E D   a nd  a   f uz z y - b a s e e n g a ge m e n t   e s t i m a t i o s y s t e m ,   i m p l e m e nt e i P y t h o n   a nd  C# ,   r e s pe c t i v e l y .   E v a l ua t i o n   o f   t h e   f ra m e w o r w a s   c a rri e o ut   o n   t h e   hum a n o i d   r o bo t   R o CA   t hr o ugh  m u l t i pl e   i n t e ra c t i o s e s s i o n s   w i t a ut i s t i c   c h i l d r e n,   r e v e a l i n g   t ha t   pe r s o n a l i z e l e s s o n s   l e d   t o   a c c e l e r a t e l e a rni n g .   T h e   d a t a   g e n e ra t e f r o m   t hi s   r e s e a r c c a f a c i l i t a t e   f u r t h e e xpl o r a t i o o f   s ui t a b l e   r o bo t - m e di a t e i n t e r v e n t i o n s   f o r   a ut i s t i c   c h i l d r e n   i n   e n v i r o nm e nt s   w i t h   l i m i t e r e s o ur c e s .     W h i l e   o ur  s t u dy   de m o n s t ra t e s   p r o m i s i n g   r e s ul t s ,   s e v e r a l   l i m i t a t i o n s   a n d   a r e a s   f o r   f ut u r e   r e s e a r c h   s h o ul b e   a c k n o w l e dge d.   F i r s t l y ,   t h e   s a m pl e   s i z e   o f   o ur   e m pi r i c a l   s t u di e s   w a s   r e l a t i v e l y   s m a l l ,   n e c e s s i t a t i n g   l a r ge r - s c a l e   t r i a l s   t o   f ur t h e r   v a l i d a t e   t h e   e f f i c a c y   of   t h e   de e p - f uz z y   pe r s o n a l i z a t i o n   f ra m e w o r k.   A dd i t i o na l l y ,   l o n g - t e rm   f o l l ow - up  s t ud i e s   a r e   n e e de t o   a s s e s s   t h e   s us t a i n a b i l i t y   o f   t h e   o b s e r v e i m p r o v e m e n t s   i l e a rn i ng  o ut c o m e s   a n t o   e xpl o r e   t h e   po t e nt i a l   f o r   ge n e ra l i z a t i o n   a c ro s s   di ff e r e n t   s e t t i n gs   a nd  po pul a t i o n s   o f   a ut i s t i c   c h i l d r e n A ddi t i o na l l y ,   c o n s i de ri n g   t h e   u np r e di c t a b l e   b e ha v i o c o m m o nl y   ob s e r ve i c h i l d r e o t h e   a ut i s m   s pe c t r um ,   i t   i s   s ugge s t e t ha t   f ut u r e   r e s e a r c e xpl o r e   t h e   po t e n t i a l   o f   e n s e m b l e   ML   m o de l s   i n c o r po r a t i ng  f a c i a l   e xp r e s s i o n s ,   a udi o   c ue s ,   a nd  b o d y   po s t ur e   t o   p r e di c t   t he   e m o t i o n a l   s t a t e s   o f   t h e s e   c h i l d r e n.   M o r e o ve r ,   i t   i s   i m pe ra t i v e   f o r   r e s e a r c h e r s   t o   de di c a t e   e ffo r t s   t o   ga t h e ri n da t a s e t s   s pe c i f i c   t o   a ut i s t i c   c h i l d r e n ,   e na b l i n t h e   de ve l o pm e n t   o f   ML   a pp l i c a t i o n s   t a i l o r e t o   m e e t   t h e   n e e ds   of   bo t h   t h e   c h i l d r e a n t h e i c a r e gi v e r s .       F U N D I N G   I N F O R M A TI O N     T h e   a u t h o r s   s t a t e   n o   f undi n g   i s   i n v o l v e d.       CO N F LI C O F   I N T ER ES S TA T EM EN T   T h e   a u t h o r s   s t a t e   n o   c o n f l i c t   o f   i n t e r e s t .       D A TA   A V A I LA B I LI T Y   D a t a   a v a i l a b i l i t y   i s   n o t   a ppl i c a b l e   t o   t hi s   pa pe r   a s   n o   n e w   d a t a   w e r e   c r e a t e d   o a n a l y z e i t hi s   s t udy .       R EF ER EN C ES   [1 ]   J .   J .   Ca b i b i h a n ,   H .   J a v e d ,   M .   A n g ,   a n d   S .   M .   A l j u n i e d ,   W h y   R o b o t s ?   A   s u rv e y   o n   t h e   ro l e s   a n d   b e n e f i t s   o s o c i a l   r o b o t s   i n   t h t h e ra p y   o c h i l d r e n   w i t h   a u t i s m ,   In t e r n a t i o n a l   J o u r n a l   o f   S o c i a l   R o b o t i c s ,   v o l .   5 ,   n o .   4 ,   p p .   5 9 3 6 1 8 ,   N o v .   2 0 1 3 ,   d o i :   1 0 . 1 0 0 7 / s 12369 - 013 - 0202 - 2.   [2 ]   B.   S c a s s e l l a t i ,   H .   A d m o n i ,   a n d   M .   M a t a ri ć ,   R o b o t s   fo u s e   i n   a u t i s m   r e s e a rc h ,   A n n u a l   R e v i e w   o f   B i o m e d i c a l   E n g i n e e r i n g ,   v o l .   1 4 ,   n o .   1 ,   p p .   2 7 5 2 9 4 ,   A u g .   2 0 1 2 ,   d o i :   1 0 . 1 1 4 6 / a n n u re v - b i o e n g - 071811 - 1 5 0 0 3 6 .   [3 ]   B.   Ro b i n s ,   A   h u m a n o i d   ro b o t   a s   a s s i s t i v e   t e c h n o l o g y   f o r   e n c o u ra g i n g   s o c i a l   i n t e ra c t i o n   s k i l l s   i n   c h i l d r e n   w i t h   a u t i s m ,   p .   1 7 3 ,   2 0 0 5 ,   [O n l i n e ] .   A v a i l a b l e :   h t t p s : / / u h ra . h e rt s . a c . u k / h a n d l e / 2 2 9 9 / 1 4 2 7 3   [4 ]   K .   D a u t e n h a h n ,   Ro l e s   a n d   f u n c t i o n s   o f   r o b o t s   i n   h u m a n   s o c i e t y :   Im p l i c a t i o n s   f r o m   r e s e a r c h   i n   a u t i s m   t h e ra p y ,   R o b o t i c a ,   v o l .   2 1 ,   n o .   4 ,   p p .   4 4 3 4 5 2 ,   A u g .   2 0 0 3 ,   d o i :   1 0 . 1 0 1 7 / S 0 2 6 3 5 7 4 7 0 3 0 0 4 9 2 2 .   [5 ]   K .   D a u t e n h a h n   a n d   A .   Bi l l a r d ,   G a m e s   c h i l d r e n   w i t h   a u t i s m   c a n   p l a y   w i t h   ro b o t a ,   a   h u m a n o i d   r o b o t i c   d o l l ,   i n   U n i v e r s a l   A c c e s s   a n d   A s s i s t i v e   T e c h n o l o g y ,   L o n d o n :   S p ri n g e r   L o n d o n ,   2 0 0 2 ,   p p .   1 7 9 190 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4471 - 3719 - 1_18.   [6 ]   C.   A .   H u i j n e n ,   M .   A S   L e x i s ,   a n d   L .   P .   d e   W i t t e ,   R o b o t s   a s   n e w   t o o l s   i n   t h e ra p y   a n d   e d u c a t i o n   f o r   c h i l d r e n   w i t h   a u t i s m ,   In t e r n a t i o n a l   J o u r n a l   o f   Ne u r o r e h a b i l i t a t i o n ,   v o l .   0 4 ,   n o .   0 4 ,   2 0 1 7 ,   d o i :   1 0 . 4 1 7 2 / 2 3 7 6 - 0 2 8 1 . 1 0 0 0 2 7 8 .   [7 ]   S .   T h i l l ,   C.   A .   P o p ,   T .   Be l p a e m e ,   T .   Z i e m k e ,   a n d   B.   V a n d e r b o rg h t ,   Ro b o t - a s s i s t e d   t h e ra p y   f o a u t i s m   s p e c t ru m   d i s o rd e r s   w i t h   (p a rt i a l l y )   a u t o n o m o u s   c o n t r o l :   c h a l l e n g e s   a n d   o u t l o o k ,   P a l a d y n ,   v o l .   3 ,   n o .   4 ,   p p .   2 0 9 2 1 7 ,   J a n .   2 0 1 2 ,   d o i :   1 0 . 2 4 7 8 / s 1 3 2 3 0 - 013 - 0107 - 7.   [8 ]   F .   T h a b t a h ,   M a c h i n e   l e a r n i n g   i n   a u t i s t i c   s p e c t ru m   d i s o r d e b e h a v i o ra l   r e s e a rc h :   A   r e v i e w   a n d   w a y s   fo r w a r d ,   In f o r m a t i c s   f o r   H e a l t h   a n d   S o c i a l   Ca r e ,   v o l .   4 4 ,   n o .   3 ,   p p .   2 7 8 2 9 7 ,   J u l .   2 0 1 9 ,   d o i :   1 0 . 1 0 8 0 / 1 7 5 3 8 1 5 7 . 2 0 1 7 . 1 3 9 9 1 3 2 .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       D e e p - f uz z y   pe r s ona l i s at i on   f r am e w or k   f or   r obo t - as s i s t e . . .   ( R os e - M ar y   O w us uaa  Me ns ah  G y e n i ng)   329   [9 ]   A .   Cri p p a   e t   a l . ,   U s e   o f   m a c h i n e   l e a r n i n g   t o   i d e n t i fy   c h i l d r e n   w i t h   a u t i s m   a n d   t h e i r   m o t o a b n o r m a l i t i e s ,   J o u r n a l   o f   A u t i s m   a n d   D e v e l o p m e n t a l   D i s o r d e r s ,   v o l .   4 5 ,   n o .   7 ,   p p .   2 1 4 6 2 1 5 6 ,   J u l .   2 0 1 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 8 0 3 - 015 - 2379 - 8.   [1 0 ]   Y .   J i a o ,   R.   C h e n ,   X .   K e ,   K .   Ch u ,   Z .   L u ,   a n d   E .   H .   H e r s k o v i t s ,   P r e d i c t i v e   m o d e l s   o a u t i s m   s p e c t ru m   d i s o r d e b a s e d   o n   b ra i n   re g i o n a l   c o rt i c a l   t h i c k n e s s ,   Ne u r o Im a g e ,   v o l .   5 0 ,   n o .   2 ,   p p .   5 8 9 5 9 9 ,   A p r .   2 0 1 0 ,   d o i :   1 0 . 1 0 1 6 / j . n e u r o i m a g e . 2 0 0 9 . 1 2 . 0 4 7 .   [1 1 ]   Y .   Z h o u ,   F .   Y u ,   a n d   T .   D u o n g ,   M u l t i p a ra m e t ri c   M RI  c h a ra c t e ri z a t i o n   a n d   p r e d i c t i o n   i n   a u t i s m   s p e c t ru m   d i s o rd e r   u s i n g   g ra p h   t h e o r y   a n d   m a c h i n e   l e a r n i n g ,   P L o S   O NE ,   v o l .   9 ,   n o .   6 ,   p .   e 9 0 4 0 5 ,   J u n .   2 0 1 4 ,   d o i :   1 0 . 1 3 7 1 / j o u rn a l . p o n e . 0 0 9 0 4 0 5 .   [1 2 ]   W .   L i u ,   M .   L i ,   a n d   L .   Y i ,   Id e n t i fy i n g   c h i l d r e n   w i t h   a u t i s m   s p e c t ru m   d i s o rd e r   b a s e d   o n   t h e i r   f a c e   p ro c e s s i n g   a b n o r m a l i t y :   A   m a c h i n e   l e a r n i n g   f ra m e w o rk ,   A u t i s m   R e s e a r c h ,   v o l .   9 ,   n o .   8 ,   p p .   8 8 8 8 9 8 ,   A u g .   2 0 1 6 ,   d o i :   1 0 . 1 0 0 2 / a u r. 1 6 1 5 .   [1 3 ]   M .   N a z e m i z a d e h ,   M .   T a h e ri ,   a n d   S .   N a z e r i ,   T h e   a p p l i c a t i o n   o f   f u z z y - l o g i c   m e t h o d   t o   c o n t r o l   o f   r o b o t s :   a   r e v i e w   s t u d y ,   In t e r n a t i o n a l   J o u r n a l   o f   M e c h a n i c a l   E n g i n e e r i n g   a n d   R o b o t i c s   R e s e a r c h ,   v o l .   3 ,   n o .   2 ,   p .   2 2 9 ,   2 0 1 4 .   [1 4 ]   G .   G i o rg a n a   a n d   P .   G .   P l o e g e r,   F a c i a l   e x p re s s i o n   r e c o g n i t i o n   fo d o m e s t i c   s e r v i c e   Ro b o t s ,   i n   L e c t u r e   No t e s   i n   Co m p u t e r   S c i e n c e   ( i n c l u d i n g   s u b s e r i e s   L e c t u r e   No t e s   i n   A r t i f i c i a l   In t e l l i g e n c e   a n d   L e c t u r e   No t e s   i n   B i o i n f o r m a t i c s ) ,   v o l .   7 4 1 6   L N C S ,   2 0 1 2 ,   p p .   3 5 3 364 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 642 - 32060 - 6_30.   [1 5 ]   F .   A l o n s o - M a r t í n ,   M .   M a l f a z ,   J .   S e q u e i ra ,   J .   F .   G o r o s t i z a ,   a n d   M .   A .   S a l i c h s ,   A   m u l t i m o d a l   e m o t i o n   d e t e c t i o n   s y s t e m   d u ri n g   h u m a n - r o b o t   i n t e ra c t i o n ,   S e n s o r s   ( S wi t z e r l a n d ) ,   v o l .   1 3 ,   n o .   1 1 ,   p p .   1 5 5 4 9 1 5 5 8 1 ,   N o v .   2 0 1 3 ,   d o i :   1 0 . 3 3 9 0 / s 1 3 1 1 1 5 5 4 9 .   [1 6 ]   F .   Ci d ,   J .   A .   P ra d o ,   P .   Bu s t o s ,   a n d   P .   N u n e z ,   A   r e a l   t i m e   a n d   r o b u s t   f a c i a l   e x p r e s s i o n   r e c o g n i t i o n   a n d   i m i t a t i o n   a p p ro a c h   fo a ffe c t i v e   h u m a n - ro b o t   i n t e ra c t i o n   u s i n g   G a b o r   f i l t e r i n g ,   i n   I E E E   In t e r n a t i o n a l   Co n f e r e n c e   o n   In t e l l i g e n t   R o b o t s   a n d   S y s t e m s IE E E ,   N o v .   2 0 1 3 ,   p p .   2 1 8 8 2 1 9 3 ,   d o i :   1 0 . 1 1 0 9 / IRO S . 2 0 1 3 . 6 6 9 6 6 6 2 .   [1 7 ]   M .   L e o   e t   a l . ,   A u t o m a t i c   e m o t i o n   r e c o g n i t i o n   i n   r o b o t - c h i l d r e n   i n t e ra c t i o n   f o r   A S D   t r e a t m e n t ,   i n   P r o c e e d i n g s   o f   t h e   IE E E   In t e r n a t i o n a l   Co n f e r e n c e   o n   Co m p u t e r   V i s i o n ,   I E E E ,   D e c .   2 0 1 5 ,   p p .   1 4 5 1 5 3 ,   d o i :   1 0 . 1 1 0 9 / ICCV W . 2 0 1 5 . 7 6 .   [1 8 ]   Z .   L i u   e t   a l . ,   A   f a c i a l   e x p r e s s i o n   e m o t i o n   r e c o g n i t i o n   b a s e d   h u m a n - ro b o t   i n t e ra c t i o n   s y s t e m ,   IE E E / C A A   J o u r n a l   o f   A u t o m a t i c a   S i n i c a ,   v o l .   4 ,   n o .   4 ,   p p .   6 6 8 6 7 6 ,   2 0 1 7 ,   d o i :   1 0 . 1 1 0 9 / J A S . 2 0 1 7 . 7 5 1 0 6 2 2 .   [1 9 ]   A .   M o l l a h o s s e i n i ,   D .   C h a n ,   a n d   M .   H .   M a h o o r,   G o i n g   d e e p e i n   f a c i a l   e x p r e s s i o n   r e c o g n i t i o n   u s i n g   d e e p   n e u ra l   n e t w o rk s ,   i n   2 0 1 6   IE E E   W i n t e r   Co n f e r e n c e   o n   A p p l i c a t i o n s   o f   Co m p u t e r   V i s i o n ,   W A C V   2 0 1 6 ,   IE E E ,   M a r .   2 0 1 6 ,   p p .   1 10 ,   d o i :   1 0 . 1 1 0 9 / W A C V . 2 0 1 6 . 7 4 7 7 4 5 0 .   [2 0 ]   V .   M a y y a ,   R .   M .   P a i ,   a n d   M .   M .   M a n o h a ra   P a i ,   A u t o m a t i c   f a c i a l   e x p re s s i o n   r e c o g n i t i o n   u s i n g   D CN N ,   P r o c e d i a   Co m p u t e r   S c i e n c e ,   v o l .   9 3 ,   p p .   4 5 3 4 6 1 ,   2 0 1 6 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s . 2 0 1 6 . 0 7 . 2 3 3 .   [2 1 ]   Z .   Y u   a n d   C .   Z h a n g ,   I m a g e   b a s e d   s t a t i c   f a c i a l   e x p r e s s i o n   r e c o g n i t i o n   w i t h   m u l t i p l e   d e e p   n e t w o rk   l e a r n i n g ,   i n   IC M 2 0 1 5   -   P r o c e e d i n g s   o f   t h e   2 0 1 5   A CM   In t e r n a t i o n a l   Co n f e r e n c e   o n   M u l t i m o d a l   In t e r a c t i o n ,   N e w   Y o rk ,   N Y ,   U S A :   A C M ,   N o v .   2 0 1 5 ,   p p .   435 442 ,   d o i :   1 0 . 1 1 4 5 / 2 8 1 8 3 4 6 . 2 8 3 0 5 9 5 .   [2 2 ]   L .   W a n g   e t   a l. ,   M u l t i - c h a n n e l   c o n v o l u t i o n a l   n e u ra l   n e t w o rk   b a s e d   3 D   o b j e c t   d e t e c t i o n   fo r   i n d o o r o b o t   e n v i ro n m e n t a l   p e rc e p t i o n ,   S e n s o r s   ( S w i t z e r l a n d ) ,   v o l .   1 9 ,   n o .   4 ,   p .   8 9 3 ,   F e b .   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / s 1 9 0 4 0 8 9 3 .   [2 3 ]   J .   C .   K i m ,   P .   A z z i ,   M .   J e o n ,   A .   M .   H o w a rd ,   a n d   C .   H .   P a rk ,   A u d i o - b a s e d   e m o t i o n   e s t i m a t i o n   f o r   i n t e ra c t i v e   ro b o t i c   t h e ra p y   fo r   c h i l d r e n   w i t h   a u t i s m   s p e c t ru m   d i s o rd e r,   i n   2 0 1 7   1 4 t h   I n t e r n a t i o n a l   Co n f e r e n c e   o n   U b i q u i t o u s   R o b o t s   a n d   A m b i e n t   In t e l l i g e n c e ,   U R A 2 0 1 7 ,   IE E E ,   J u n .   2 0 1 7 ,   p p .   3 9 44 ,   d o i :   1 0 . 1 1 0 9 / U R A I. 2 0 1 7 . 7 9 9 2 8 8 1 .   [2 4 ]   M .   A .   Q u i ro s - Ra m i r e z   a n d   T .   O n i s a w a ,   Co n s i d e ri n g   c r o s s - c u l t u ra l   c o n t e x t   i n   t h e   a u t o m a t i c   r e c o g n i t i o n   o e m o t i o n s ,   In t e r n a t i o n a l   J o u r n a l   o f   M a c h i n e   L e a r n i n g   a n d   Cy b e r n e t i c s ,   v o l .   6 ,   n o .   1 ,   p p .   1 1 9 1 2 7 ,   F e b .   2 0 1 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 3 0 4 2 - 013 - 0192 - 2.   [2 5 ]   H .   A .   E l f e n b e i n   a n d   N .   A m b a d y ,   O n   t h e   u n i v e r s a l i t y   a n d   c u l t u ra l   s p e c i f i c i t y   o f   e m o t i o n   r e c o g n i t i o n :   A   m e t a - a n a l y s i s ,   P s y c h o l o g i c a l   B u l l e t i n ,   v o l .   1 2 8 ,   n o .   2 ,   p p .   2 0 3 2 3 5 ,   M a r.   2 0 0 2 ,   d o i :   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 8 . 2 . 2 0 3 .   [2 6 ]   W .   L i u   e t   a l . ,   S S D :   S i n g l e   s h o t   m u l t i b o x   d e t e c t o r ,   i n   L e c t u r e   No t e s   i n   Co m p u t e r   S c i e n c e   ( i n c l u d i n g   s u b s e r i e s   L e c t u r e   No t e s   i n   A r t i f i c i a l   In t e l l i g e n c e   a n d   L e c t u r e   No t e s   i n   B i o i n f o r m a t i c s ) ,   v o l .   9 9 0 5   L N CS ,   2 0 1 6 ,   p p .   2 1 37 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 319 - 46448 - 0_2.   [2 7 ]   M .   S a n d l e r,   A .   H o w a r d ,   M .   Z h u ,   A .   Z h m o g i n o v ,   a n d   L .   C .   C h e n ,   M o b i l e N e t V 2 :   i n v e r t e d   r e s i d u a l s   a n d   l i n e a b o t t l e n e c k s ,   P r o c e e d i n g s   o f   t h e   I E E E   Co m p u t e r   S o c i e t y   Co n f e r e n c e   o n   Co m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n ,   p p .   4 5 1 0 4 5 2 0 ,   2 0 1 8 ,   d o i :   1 0 . 1 1 0 9 / CV P R. 2 0 1 8 . 0 0 4 7 4.   [2 8 ]   A .   D u q u e t t e ,   F .   M i c h a u d ,   a n d   H .   M e rc i e r ,   E x p l o r i n g   t h e   u s e   o f   a   m o b i l e   ro b o t   a s   a n   i m i t a t i o n   a g e n t   w i t h   c h i l d r e n   w i t h   l o w - f u n c t i o n i n g   a u t i s m ,   A u t o n o m o u s   R o b o t s ,   v o l .   2 4 ,   n o .   2 ,   p p .   1 4 7 1 5 7 ,   F e b .   2 0 0 8 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 5 1 4 - 007 - 9056 - 5.   [2 9 ]   J .   W a i n e r,   B.   Ro b i n s ,   F .   A m i ra b d o l l a h i a n ,   a n d   K .   D a u t e n h a h n ,   U s i n g   t h e   h u m a n o i d   r o b o t   K A S P A R   t o   a u t o n o m o u s l y   p l a y   t ri a d i c   g a m e s   a n d   f a c i l i t a t e   c o l l a b o ra t i v e   p l a y   a m o n g   c h i l d r e n   w i t h   a u t i s m ,   I E E E   T r a n s a c t i o n s   o n   A u t o n o m o u s   M e n t a l   D e v e l o p m e n t v o l .   6 ,   n o .   3 ,   p p .   1 83 1 9 9 ,   S e p .   2 0 1 4 ,   d o i :   1 0 . 1 1 0 9 / T A M D . 2 0 1 4 . 2 3 0 3 1 1 6 .   [3 0 ]   V .   P e n n a z i o ,   S o c i a l   r o b o t i c s   t o   h e l p   c h i l d re n   w i t h   a u t i s m   i n   t h e i r   i n t e ra c t i o n s   t h ro u g h   i m i t a t i o n ,   R e s e a r c h   o n   E d u c a t i o n   a n d   M e d i a ,   v o l .   9 ,   n o .   1 ,   p p .   1 0 1 6 ,   J u n .   2 0 1 7 ,   d o i :   1 0 . 1 5 1 5 / re m - 2017 - 0003.   [ 31]   M .   A .   I s l a m ,   M .   M .   H a s a n ,   a n d   S .   A .   D e o w a n ,   R o b o t - a s s i s t e d   t ra i n i n g   fo c h i l d r e n   w i t h   a u t i s m   s p e c t ru m   d i s o r d e r:   a   re v i e w ,   J o u r n a l   o f   In t e l l i g e n t   a n d   R o b o t i c   S y s t e m s T h e o r y   a n d   A p p l i c a t i o n s ,   v o l .   1 0 8 ,   n o .   3 ,   p .   4 1 ,   J u l .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 8 4 6 - 023 - 0 1 8 7 2 - 9.   [3 2 ]   A .   Z h a n a t k y z y ,   Z .   T e l i s h e v a ,   A .   A m i r o v a ,   N .   Ra k h y m b a y e v a ,   a n d   A .   S a n d y g u l o v a ,   M u l t i - p u r p o s e f u l   a c t i v i t i e s   f o r   r o b o t - a s s i s t e d   a u t i s m   t h e ra p y :   W h a t   w o rk s   b e s t   fo c h i l d r e n s   s o c i a l   o u t c o m e s ? ,   i n   A CM / I E E E   In t e r n a t i o n a l   Co n f e r e n c e   o n   H u m a n - R o b o In t e r a c t i o n ,   N e w   Y o rk ,   N Y ,   U S A :   A CM ,   M a r .   2 0 2 3 ,   p p .   3 4 43 ,   d o i :   1 0 . 1 1 4 5 / 3 5 6 8 1 6 2 . 3 5 7 6 9 6 3 .   [3 3 ]   A .   L a n g e r,   P .   J .   M a r s h a l l ,   a n d   S .   L e v y - T z e d e k ,   E t h i c a l   c o n s i d e ra t i o n s   i n   c h i l d - ro b o t   i n t e ra c t i o n s ,   Ne u r o s c i e n c e   a n d   B i o b e h a v i o r a l   R e v i e w s ,   v o l .   1 5 1 ,   p .   1 0 5 2 3 0 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . n e u b i o r e v . 2 0 2 3 . 1 0 5 2 3 0 .   [3 4 ]   N .   K a u a n d   G .   G u p t a ,   R e f u r b i s h e d   a n d   i m p r o v i s e d   m o d e l   u s i n g   c o n v o l u t i o n   n e t w o rk   fo a u t i s m   d i s o r d e r   d e t e c t i o n   i n   f a c i a l   i m a g e s ,   In d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r   S c i e n c e ,   v o l .   2 9 ,   n o .   2 ,   p p .   8 8 3 8 8 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s . v 2 9 . i 2 . p p 8 8 3 - 889.   [3 5 ]   M .   Ik e r m a n e   a n d   A .   E l   M o u a t a s i m ,   W e b - b a s e d   a u t i s m   s c r e e n i n g   u s i n g   f a c i a l   i m a g e s   a n d   c o n v o l u t i o n a l   n e u ra l   n e t w o rk ,   In d o n e s i a n   J o u rn a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   Co m p u t e r   S c i e n ce ,   v o l .   2 9 ,   n o .   2 ,   p p .   1 1 4 0 1 1 4 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s . v 2 9 . i 2 . p p 1 1 4 0 - 1147.                 Evaluation Warning : The document was created with Spire.PDF for Python.