I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   16 ,   No .   5 ,  Octo b er   20 26 ,   p p .   2 7 8 2 ~ 2 7 9 4   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 16 i 5 . pp 2 7 8 2 - 2 7 9 4           2782       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   Desig n  science  res ea rch in  d ev elo ping  a relig io us cha tbot bas ed  o n Bulug h  a l - M a ra m       Aris T j a hy a nto ,   I rm a s a ri  H a f idz,  F a iza l J o ha n At let ik o   D e p a r t me n t   o f   I n f o r m a t i o n   S y st e ms,   F a c u l t y   o f   I n t e l l i g e n t   El e c t r o n i c s a n d   I n f o r mat i c s T e c h n o l o g y ,     I n st i t u t   Te k n o l o g i   S e p u l u h   N o p e m b e r ,   S u r a b a y a ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   1 5 ,   2 0 2 4   R ev is ed   J u n   3 ,   2 0 2 6   Acc ep ted   Au g   1 9 ,   2 0 2 6       Ch a tb o ts   h a v e   re c e n tl y   g a i n e d   sig n ifi c a n t  p o p u larity .   F o r  in sta n c e ,   Ch a tG P T  h a s  b e c o m e   a   p re fe rre d   to o l  fo r   m a n y   in d iv i d u a ls  se e k in g   in sta n t  a n sw e rs  with o u t  re ly i n g   o n   h u m a n   re sp o n se s.  Th is  imm e d iac y   se ts  c h a tb o ts  a p a rt   fro m   b o o k s,  wh ich   re q u ire  u se rs  to   se a rc h   fo r  in f o rm a ti o n   m a n u a ll y .   Th is  ti m e - c o n su m in g   p ro c e ss   d o e s  n o t  a li g n   with   m il len n ials'   p re fe re n c e   fo r  c o n v e n ien c e   a n d   e fficie n c y .   S tu d y in g   h a d it h   in d e p e n d e n tl y   u sin g   th e     Bu lu g h   al - M a ra m   b o o k   d e m a n d s   c o n si d e ra b le  ti m e   a n d   e ffo rt .   T h e   li m it e d   u se   o f  n a tu ra l   lan g u a g e   p ro c e ss in g   tec h n o l o g ies   in   re li g i o u s   c h a tb o ts  re stricts  th e ir  a b il i ty   to   h a n d le  c o m p lex   i n q u iri e s  e ffe c ti v e ly .   A  c h a tb o t   c a p a b le  o f   a n sw e rin g   h a d it h - re lat e d   q u e stio n s  c o u l d   g re a tl y   a ss ist  th e   p u b li c   in   st u d y in g   h a d it h   tex ts   b y   p ro v id i n g   d irec t  re sp o n se s  wit h o u t   e x ten siv e   se a rc h in g .   Th is  c h a tb o t  wa s  d e sig n e d   fo r  we b   b ro ws e rs,  u ti l izin g   d e e p   lea rn in g   a s  it s  c o re   tec h n o lo g y .   Th is  re se a rc h   led   to   th e   d e v e lo p m e n t  o f  a   c h a tb o t   p r o t o ty p e   f o r   lea rn in g   h a d it h   fr o m   Bu lu g h   a l - M a ra m .   B u il t  u si n g   t h e   d e sig n   sc ien c e   re se a rc h   (DSR)  m e th o d o l o g y ,   th e   p ro t o t y p e   a c h iev e s  a n   in ten t   re c o g n it i o n   ra te  (IRR)   o f   8 6 . 8 2 % .   Ho we v e r,   it s   c a p a b il it ies   a re   b e lo w   th e   BERT   m o d e l,   d e m o n stra ti n g   a   stro n g   a b il it y   to   a c c u ra tely   i n terp re t  u se r   q u e stio n s a n d   sta tem e n ts.   K ey w o r d s :   C h atb o t d esig n   I n ten t r ec o g n itio n   Ma ch in e  lear n in g   Natu r al  lan g u ag e   p r o ce s s in g   Pro p h etic  h ad ith   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ar is   T jah y an to   Dep ar tm en t o f   I n f o r m atio n   Sy s tem s ,   Facu lty   o f   I n tellig en t E lectr o n ics an d   I n f o r m atics T ec h n o lo g y ,   I n s titu t  T ek n o lo g i Sep u lu h   No p em b er   Su r ab ay a,   I n d o n esia   E m ail: a r is tj@ its . ac . id       1.   I NT RO D UCT I O N   I n   th is   d ec ad e,   ch atb o ts   h av e   em er g ed   as  a  p o wer f u l  to o l   to   im p r o v e  cu s to m er   s er v ice ,   s im p lify   b u s in ess   p r o ce s s es,  an d   m ak e  h u m an   life   ea s ier   with   t h e  h el p   o f   tech n o lo g y .   L e v er ag in g   a r tific ial  in tellig en ce   an d   n atu r al  lan g u ag e  p r o ce s s in g ,   ch atb o ts   h av e  tr a n s ce n d ed   th eir   o r ig in s   in to   v er s atile  to o ls   ca p ab le  o f   u n d er s tan d i n g   a n d   r esp o n d in g   to   u s er   q u esti o n s   with   asto n is h in g   p r ec is io n .   Ste m m in g   f r o m   ea r ly   d ev elo p m e n ts   in   a r tific ial  in te llig en ce   ( AI )  an d   n at u r al  lan g u ag e  p r o ce s s in g   ( NL P ) ,   ch at b o ts   ca n   ac c u r ately   u n d er s tan d   a n d   r esp o n d   to   h u m an   q u esti o n s .   Ap p licatio n s   o f   ch atb o ts   in clu d e  cu s to m er   s er v ice,   ed u ca tio n ,   h ea lth   s er v ices,  an d   r elig i o n ,   s h o win g   t h e  in c r ea s in g   im p o r t an ce   o f   ch atb o t  tech n o lo g y   in   m ak in g   h u m a n   life   ea s ier   [ 1 ] ,   [ 2 ] .   C h atb o ts   h av e  also   ev o lv ed   f r o m   s im p le  r u le - b ased   s y s tem s   to   s o p h is ticate d   to o ls   d ev elo p ed   u s in g   m ac h in e   lear n in g   to   tr an s f o r m er s - b ased   tech n o lo g y .   S ev er al  ch atb o ts   in   th e  r elig io u s   s ec to r   ar e  s tar tin g   to   em er g e,   f o r   e x am p le,   R ab b i A n y tim e,   Haji  an d   Um r a,   Ask   Mo r m o n ,   an d   s o   o n   [ 3 ] .   W ith   r elig io u s   ch atb o ts ,   it   is   h o p ed   th at  th e y   ca n   p r o v id e   g u id an ce ,   an s wer   th e o lo g ical  q u esti o n s ,   an d   p r o v id e   em o tio n al  s u p p o r t  to   th o s e  in   n ee d .   O n e  o f   th e  b en ef its   o f   r elig io u s   ch atb o ts   is   th e  ab ilit y   to   p r o v id e   s p ir itu al  g u id a n ce   a n d   em o tio n al   s u p p o r t.   Ho wev er ,   s ev er al  is s u es  n ee d   to   b e   f ix e d ,   s u ch   as  co n ce r n s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Desig n   s cien ce   r esea r ch   in   d ev elo p in g   a   r elig io u s   ch a tb o t b a s ed   o n   …   ( A r is   Tja h ya n to )   2783   ab o u t  th e  ac cu r ac y   o f   th e  in f o r m atio n   s u p p lied   b y   ch at b o ts ,   u s er   p r iv ac y   [ 4 ] ,   an d   eth ical  q u esti o n s   ab o u t  h o w  AI   ca n   b e  u s ed   in   s o ciety   [ 5 ] ,   esp ec ially   f o r   r elig io u s   p u r p o s es.  So m e  p eo p le  h av e  ex p r ess ed   co n ce r n s   th at  u s in g   ch atb o ts   co u ld   r ep lace   tr ad itio n al  f o r m s   o f   r elig io u s   g u id an ce ,   wh ich   s o m e  s ay   ar e  m o r e  ef f ec tiv e  in   p r o v id i n g   em o tio n al  s u p p o r t a n d   b u il d in g   c o m m u n ity .   E v en   th o u g h   ch atb o t  tech n o lo g y   h as  a d v an ce d   s o   m u ch ,   w h en   d esig n in g   it,  it  is   n ec ess ar y   to   in v o lv e  u s er s   in   th e  p r o p er   in ter ac tio n   p r o ce s s   at  th e  ex p licate  p r o b le m   s tag e.   E x p licatin g   p r o b lem s   u s in g   p r o to ty p in g   tech n iq u es  in v o lv es  u s er s   f r o m   th e  s tar t  to   u n d er s tan d   th ei r   n ee d s ,   ex p lo r in g   p o ten tial  c h atb o t  f u n ctio n ality ,   an d   r e f in in g   th e   p r o b lem   s tate m en t.  E x is tin g   ch atb o ts   o f ten   s tr u g g le  to   u n d er s tan d   u s er   in ten t,  ca u s in g   u s er s   to   b ec o m e  f r u s tr ated   ac cu r atel y .   T o   d ev elo p   an   ar tifa ct  as  a  u s er - o r ien ted   c h atb o t  p r o to ty p e,   we  h av e  s ev er al  g o als  to   an s wer   th e  f o llo win g   r esear ch   q u esti o n s :  i)   W h at  f ea tu r es  d o   u s er s   wan t  in   a  ch atb o t  to   f ac ilit ate  r elig io u s   s tu d ies  r elate d   to   h a d ith   lear n in g ?  ii)  Ho w   ca n   a   ch atb o t  p r o to ty p e  b e   d esig n ed   to   p r o v id e   o p tim al   p er f o r m an ce   wh e n   d ev el o p in g   a  ch atb o t f o r   h ad ith   lear n i n g   s tu d ies?   T h e  m o tiv atio n   f o r   th is   r esear ch   lies   in   its   p o ten tial  to   a d v an ce   th e  f ield   o f   ch at b o t  d esig n   an d   in cr ea s e  u s er   p ar ticip atio n   in   t h e  d esig n   p r o ce s s .   B y   g ain in g   d ee p er   i n s ig h ts   in to   u s er s '   n ee d s   wh en   s tu d y in g   r elig io u s   tex ts ,   u n d er s tan d in g   th eir   in ten t,   an d   en s u r in g   d ia lo g u e  c o h er en ce ,   th is   s tu d y   s ee k s   to   cr ea te  m o r e   ef f ec tiv e  a n d   u s er - f r ie n d ly   co n v er s atio n al  a g en ts .   T h e  f in d i n g s   f r o m   t h is   r esear ch   ca n   in f o r m   t h e  d esig n   a n d   im p lem en tatio n   o f   ch atb o ts   ac r o s s   v ar io u s   d o m ain s ,   ex ten d in g   b e y o n d   r elig io u s   ap p lic atio n s .   Ultim ately ,   in co r p o r atin g   u s er   in p u t  d u r in g   th e  d esig n   p h ase  ca n   im p r o v e  ch atb o t c ap a b ilit ies.   T h is   s tu d y   ex p l o r es  u s er s '   n ee d s   co n ce r n i n g   r elig i o u s   ch atb o ts ,   p ar ticu lar ly   f o r   lear n in g   h ad ith   tex ts .   T h e  o b jectiv e  is   to   tr a n s f o r m   tr ad itio n al,   s tatic  b o o k s   in to   a  m o r e  in ter ac tiv e  a n d   en g ag in g   lear n in g   ex p er ien ce .   Sp ec if ically ,   th is   r esear ch   aim s   to   d ev elo p   a  ch atb o t  ca p ab le  o f   ac cu r ately   in ter p r etin g   u s er   in ten t  an d   d eliv er i n g   co n tex tu ally   r elev an t,  r ea l - tim e  r esp o n s es b ased   o n   h ad ith   s o u r ce s   f r o m   B u lu g h   al - Ma r a m .   B u lu g h   al - Ma r am   is   a  f a m o u s   h ad ith   co llectio n   c o m p iled   b y   I b n   Haja r   al - Asq alan i   ar o u n d   th e  1 4 th   ce n tu r y   a n d   is   an   ess en tial  s o u r ce   f o r   u n d er s tan d in g   th e  p o s tu lates  in   th e  I s lam ic  r elig io n .   T h e  B u lu g h   al - Ma r am   B o o k   co m p r is es  1 , 3 5 6   h ad ith   o r g a n ized   b y   to p ic  an d   co v er s   p u r ity ,   p r a y er ,   f a s tin g ,   an d   m o r e.   I n   B u lu g h   al - Ma r am ,   n o tes  o n   t h e  v alid ity   o f   th e  h ad ith   ar e   o f ten   in clu d ed ,   in d icatin g   w h eth er   it  is   s tr o n g   ( s a h ih )   o r   wea k   ( d a 'if )  [ 6 ] .   T h is   b o o k   aim s   to   p r o v id e  a   co m p r eh en s iv e  r ef er e n ce   f o r   s tu d e n ts   an d   s ch o lar s   o f   I s lam ic  ju r is p r u d en ce .   Ov e r all,   th is   b o o k   is   an   ess en tial  tex t   f o r   th o s e  wh o   wis h   to   u n d er s tan d   an d   ap p ly   th e   p r in cip les o f   th e   I s lam ic  r elig i o n   in   e v er y d a y   life   [ 7 ] .   R esear ch   r elate d   to   ch atb o ts   h as  p r o g r ess ed   s ig n if ican tly   in   th e  last   d ec ad e,   d r iv en   b y   th e  in cr ea s in g   d em an d   f o r   ch atb o t  s er v ices  in   v ar io u s   d o m ai n s .   T h is   s ec tio n   r ev iews  s ev er al  s tu d ies  r elev an t  to   c h atb o t  d ev elo p m e n t,  f o c u s in g   o n   id en tify in g   th e   tech n iq u es  an d   ch allen g es  th ey   f ac e.   B y   lo o k in g   f r o m   s ev er al   an g les  at  p r ev io u s   r esear ch   in   th is   ar ea ,   we  aim   to   d em o n s tr ate  o u r   r esear ch   p r o g r ess   in   d ev elo p in g   r elig i o u s   ch atb o ts .   First,  we  ex p lain   d esig n   s cien ce   r esear ch   ( DSR ) ,   th en   r ev iew  ch atb o ts '   h i s to r ical  ev o lu tio n ,   tr ac in g   th eir   d e v elo p m e n t  f r o m   r u le - b ased   s y s tem s   to   m o d e r n   m ac h in e - lear n i n g   a p p r o ac h es.   Nex t,  we   ex p l o r e   v ar io u s   r esear ch   m eth o d o lo g i es  u s ed   in   ch atb o t  d esig n .   T h ese  in clu d e  r u le - b ased   s y s tem s ,   m ac h in e  lear n in g   tech n iq u es,  n at u r al  lan g u ag e  p r o ce s s in g   tech n i q u es,  f ea tu r e   ex tr ac tio n   tec h n iq u es  f o r   tex t   d ata,   an d   s o f twar e   d ev elo p m e n t  p r in ci p les  th r o u g h   p r o to ty p in g   tech n i q u es.  W e  th en   ex am in e  h o w  ch atb o ts   ar e  ap p lied   ac r o s s   d o m ain s   s u ch   as  cu s to m er   s er v ice,   h ea lth ca r e,   a n d   ed u ca tio n ,   h ig h lig h tin g   th eir   c h allen g es.  Fin ally ,   we  d is cu s s   eth ical  co n s id er atio n s   in   ch atb o t im p lem en tatio n ,   f o c u s in g   o n   p r iv ac y   an d   t r an s p ar e n cy   is s u es.   DSR   i s   a  m eth o d o lo g y   th at  i n v o lv es  cr ea tin g   an d   e v alu ati n g   ar tifa cts  d esig n ed   t o   s o lv e   a  p r o b lem   [ 8 ] ,   [ 9 ] .   DSR   is   co m m o n ly   u s ed   in   in f o r m atio n   s y s tem s ,   in f o r m atics,  an d   co m p u ter   s cien ce .   T h e  g o als  o f   DSR   r ev o lv e  a r o u n d   cr ea tin g   p r ac tical  an d   in n o v ativ e   s o lu ti o n s   to   r ea l - wo r l d   p r o b lem s ,   ca r ef u lly   ev alu atin g   th o s e  s o lu tio n s ,   a n d   p r o v id in g   b o th   p r ac tical  an d   th e o r etic al  co n tr ib u tio n s .   Sev e r al  f r a m ewo r k s   h a v e  b ee n   d ev elo p e d   to   g u id e   th e  DSR   p r o ce s s .   T h is   f r am ew o r k   o f f e r s   a  s tr u ctu r ed   m eth o d o lo g y   f o r   co n d u ctin g   DSR   an d   en s u r es  th at   th e  r esear ch   i s   r ig o r o u s   a n d   r elev an t.  Hev n er ' s   DS R   f r am ewo r k   p r i m ar ily   f o cu s es  o n   g u id i n g   th e  r esear ch   p r o ce s s   to   en s u r e   th at  DSR   is   ca r r ied   o u t  r ig o r o u s ly   an d   p r o d u ce s   p r ac tical  ar tifa cts  g r o u n d ed   in   th eo r y   [ 1 0 ] .   Me an w h ile,   Gr eg o r   an d   Hev n er ' s   DS R   K n o wled g e  C o n tr ib u tio n   f r am ewo r k   f o c u s es  o n   ca teg o r izin g   th e   ty p es o f   k n o wled g e  co n tr ib u tio n s   m ad e   b y   DSR   [ 1 1 ] .   J o h an n ess o n   an d   Per jo n s '   f r am ewo r k ,   d escr ib ed   in   d etail  in   th e  b o o k   “ I n tr o d u ctio n   to   d esig n   s ci en ce , ”   p r o v id es  a  s tr u ctu r ed   ap p r o ac h   to   c o n d u ctin g   DSR   th at  em p h asizes  a  s y s tem atic  p r o ce s s   f o r   d esig n in g   an d   ev al u atin g   ar tif ac ts   an d   aim s   to   ad d r ess   r ea l - wo r ld   p r o b lem s   wh ile  co n tr ib u tin g   to   ac ad em ic   k n o wled g e.   T h e y   also   ex p la in ed   th at   th er e   ar e   at  least  f iv e   ty p ical  ca s es  o f   DSR ,   o n e   o f   wh ich   is   R eq u ir em en ts - f o cu s ed   DSR .   R eq u ir em en ts - f o cu s ed   DSR   is   a  s p ec if ic  ap p r o ac h   th at  em p h asizes  th e   id en tific atio n ,   an aly s is ,   an d   f u lf illme n t  o f   r e q u ir em en ts   f o r   th e  d esig n   an d   d ev elo p m en t  o f   an   ar tifa ct.   T h is   ap p r o ac h   ce n ter s   o n   u n d er s tan d in g   s tak eh o l d er   n ee d s ,   co n s tr ain ts ,   an d   th e  co n tex t o f   u s in g   th e  ar tifa ct  [ 1 2 ] .   Ad v an ce s   in   n atu r al  lan g u ag e  p r o ce s s in g ,   m ac h in e  lear n in g ,   an d   d ee p   lear n i n g   d r i v e  th e  ev o lu tio n   o f   m o d er n   AI - p o wer ed   ch atb o ts .   Fro m   ea r l y   r u le - b ased   s y s te m s   lik e  E L I Z A  i n   1 9 6 6   an d   AL I C E   in   1 9 9 5   t o   ad v an ce d   AI   m o d els  lik e  GPT - 3   an d   GPT - 4 ,   to d a y ' s   ch atb o ts   ar e  in cr ea s in g ly   ca p a b le  o f   u n d e r s tan d in g   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 8 2 - 2 7 9 4   2784   p r o d u cin g   h u m an - lik e   co n v er s atio n s ,   m ak in g   th em   p o ten t  to o ls   in   m an y   way s   [ 1 3 ] ,   [ 1 4 ] .   T h e   AL I C E   is   a   p io n ee r in g   ch atb o t  t h at  u s es  n atu r al  lan g u ag e   p r o ce s s in g   t o   s im u late  co n v er s atio n s   wit h   h u m an   u s er s .   Dr .   R ich ar d   W allac e  d ev elo p ed   A L I C E .   AL I C E   o r   Aliceb o t   ca n   co n d u ct  co n v er s atio n s   with   h u m an s   b y   ap p l y in g   s ev er al  h eu r is tic  p atter n - m atc h in g   r u les  to   in ter p r et  an d   r esp o n d   to   u s er   in p u t.  Af ter   a  u s er   p r o v id es  a  p h r ase  o r   q u esti o n ,   AL I C E   s ea r ch es  th e  ar tific ial  in tellig en ce   m ar k u p   lan g u a g e  ( AI ML )   f i le  to   f in d   m atch i n g   p atter n s   an d   r etu r n s   th e  ap p r o p r iate  r esp o n s e.   T h is   ap p r o a ch   allo ws  Aliceb o t  to   s im u lat e  co n v er s atio n s   b y   r ec o g n izin g   s p ec if ic  k ey w o r d s   an d   p h r ases   an d   p r o v id i n g   p r ed ef in ed   r esp o n s es  [ 1 5 ] ,   [ 1 6 ] .   I n tr o d u cin g   c h atb o t  f r am ewo r k s   an d   p latf o r m s   s u ch   as  Pan d o r a b o ts   in   2 0 0 8   an d   W it.a i  in   2 0 1 3   allo ws  d ev elo p er s   to   c r ea te  an d   im p lem en t  c h atb o ts   m o r e  ea s ily .   T h is   ch atb o t  f r am ewo r k   an d   p latf o r m   m a k e   it  ea s ier   f o r   d e v elo p er s   to   d e v elo p ,   tr ain ,   an d   im p lem e n t  c h atb o ts .   T h ese   p latf o r m s   d if f er   in   ap p r o ac h   an d   ca p ab ilit ies ,  s ee   T ab le  1 ,   s er v in g   v a r io u s   n ee d s ,   f r o m   s im p le  r u les - b ased   ch atb o t s   to   s o p h is ticated   co n v er s atio n al  a g en ts   d r iv e n   b y   ar tific ial  in tellig en ce   [ 1 7 ] ,   [ 1 8 ] .       T ab le  1 .   C h atb o t  d ev elo p m en t   p latf o r m   No   P l a t f o r m   N a m e   D e v e l o p e r   K e y   f e a t u r e s   a n d   c a p a b i l i t i e s   I n t e g r a t i o n   o p t i o n   1   W i t . a i   W i t . a i ,   I n c .   ( F a c e b o o k )   N a t u r a l   l a n g u a g e   u n d e r st a n d i n g   ( N L U ) ,   mu l t i l i n g u a l   su p p o r t ,   e n t i t y   r e c o g n i t i o n ,   i n t e n t s   a n d   a c t i o n s   A P I s a n d   S D K s   2   D i a l o g f l o w   A p i . a i   ( a c q .   B y   G o o g l e )   I n t e n t   r e c o g n i t i o n ,   e n t i t y   e x t r a c t i o n ,   p r e b u i l t   a g e n t s ,   N LP,  m u l t i - l a n g u a g e   G o o g l e   A ssi st a n t ,   S l a c k ,   F a c e b o o k ,   Te l e g r a m   3   A maz o n   Le x   A maz o n   W e b   S e r v i c e s   N LU ,   a u t o ma t i c   s p e e c h   r e c o g n i t i o n   ( A S R ) ,   m u l t i - l a n g u a g e   su p p o r t ,   o m n i - c h a n n e l   d e p l o y me n t   A W S   S e r v i c e s   4   R A S A   R a sa   Te c h n o l o g i e s   G mb H   O p e n   S o u r c e ,   N LU ,   d i a l o g u e   ma n a g e men t ,   i n t e r a c t i v e   l e a r n i n g ,   m u l t i - l a n g u a g e   s u p p o r t   S l a c k ,   F a c e b o o k   M e sse n g e r ,   W h a t sA p p ,   Te l e g r a m   5   K o r e . a i   K o r e . a i ,   I n c .   N LP,  C o n v e r sat i o n a l   A I ,   B o t   B u i l d e r ,   M u l t i - c h a n n e l ,   C h a t b o t   T e m p l a t e   F a c e b o o k ,   W h a t sA p p   6   C h a t t e r b o t   G u n t h e r   C o x   O p e n   S o u r c e ,   P y t h o n - b a s e d   l i b r a r y ,   L a n g u a g e   I n d e p e n d e n c e ,   D a t a b a se  B a c k e n d ,   A P I s,  D j a n g o ,   F l a sk       NL P   is   es s en tial  f o r   cr ea tin g   in tellig en t  an d   co n v er s atio n al  ch atb o ts   th at  ca n   ef f ec tiv ely   u n d er s tan d   u s er   in p u t,  g en er ate  ap p r o p r i ate  r esp o n s es,  an d   en g ag e  u s er s   in   n atu r al  in ter ac tio n s .   NL P  h elp s   ch atb o ts   u n d er s tan d   th e   m ea n i n g   o f   u s er   q u esti o n s   b y   an aly zin g   tex t   f o r   s em an tics ,   s y n tax ,   an d   co n tex t.  T h is   in v o lv es  tex t  an aly s is ,   en tity   r ec o g n itio n ,   an d   s en tim en t  an aly s is ,   wh ich   en ab le  t h e  ch atb o t  t o   ex tr ac t  r elev a n t  in f o r m atio n   an d   u n d e r s tan d   th e  ap p r o p r iate  in ten t.  NL P is   also   u s ed   to   g en e r ate  h u m a n - lik e  r esp o n s es th at  ar e   g r am m atica lly   co r r ec t a n d   co n tex tu ally   ap p r o p r iate  [ 1 9 ] .   Featu r e  ex tr ac tio n   tech n i q u es  f o r   tex t  d ata  in   ch atb o t   d ev elo p m en t  i n v o lv e   tr an s f o r m in g   r aw  tex t   d ata  in to   n u m er ical  o r   s tr u ctu r ed   r ep r esen tatio n s   th at  ca n   b e  u s ed   as  in p u t  f o r   m ac h in e  l ea r n in g   m o d els  o r   o th er   n atu r al   lan g u a g e  p r o ce s s in g   task s .   T h ese  tech n i q u es  ai m   to   ca p tu r e   r elev a n t  in f o r m at io n   an d   p atter n s   in   tex t  d ata,   en ab lin g   ch at b o ts   t o   u n d er s tan d   an d   r esp o n d   to   u s er   q u er ies  ef f ec tiv ely .   B y   lev er ag i n g   f ea tu r e   ex tr ac tio n   tech n iq u es,  ch atb o ts   ca n   tr an s f o r m   r aw  tex t  d ata  in to   s tr u ctu r ed   r ep r esen t atio n s   th at  ca p tu r e   r elev an t  in f o r m atio n   an d   p atte r n s   n ec ess ar y   to   u n d e r s tan d   u s er   q u esti o n s ,   g en er ate  a p p r o p r iate  r esp o n s es,  an d   p er f o r m   v a r io u s   n atu r al  la n g u ag e  p r o ce s s in g   task s   ef f ec tiv e ly .   So m e   co m m o n   f ea tu r e   ex t r ac tio n   tech n iq u es   u s ed   in   ch atb o t  d ev elo p m en t :   b ag - of - w o r d s   ( B OW )   [ 1 9 ] ,  [ 2 0 ] ,  ter m   f r e q u en c y - in v e r s e  d o cu m en t  f r e q u en c y   (TF - I DF) ,   wo r d   em b e d d in g s   ( s u ch   as  W o r d 2 Vec ,   Glo V e,   o r   Fas tTe x t) ,   s en ten ce   e m b ed d in g s   ( s u ch   as   Do c2 Vec ,   B E R T ) ,   n am ed   en tity   r ec o g n itio n   ( NE R ) ,   an d   s o   o n   [ 2 1 ] .   C u r r e n tly ,   m o s t  ar e  b ased   o n   d ee p   lear n in g   t o   r ec o g n ize  t h e  in ten t  o f   q u esti o n s   o r   p r o m p ts   g i v e n   b y   u s er s   [ 2 2 ] ,   [ 2 3 ] .   I n ten t r e co g n itio n   m eth o d s ,   wh ich   ar e  th e  b r ain s   o f   th e  ch a tb o t,  in clu d e   B E R T   [ 2 4 ] – [ 2 6 ] ,   B iLST M  [ 2 7 ] ,   an d   p r o m p t - b a s ed   m o d el  [ 2 2 ] .   B id ir ec tio n al  en co d er   r ep r ese n tatio n s   f r o m   tr an s f o r m er s   ( B E R T )  ar e   a  tr an s f o r m er - b a s ed   m o d el   d ev elo p e d   b y   Go o g le  th at  is   d esig n ed   to   u n d er s tan d   th e   c o n tex t  o f   wo r d s   in   a  s en ten c e  in   two   d ir ec ti o n s   ( b id ir ec tio n al) .   Sev er al  B E R T   v ar ian ts   h av e  b ee n   d ev el o p ed   to   im p r o v e  its   ef f icien cy   an d   p er f o r m an ce ,   s u ch   as  AL B E R T   an d   T in y B E R T .   AL B E R T   ( A  L ite  B E R T )   r ed u ce s   th e  n u m b er   o f   p ar am eter s   th r o u g h   p a r am eter   s h ar in g   an d   f ac to r ized   em b ed d in g   tech n i q u es.  Me an wh ile,   T in y B E R T   is   a  co m p r ess ed   v er s io n   o f   B E R T   th at   allo ws p er f o r m a n ce   clo s e  to   th e  o r ig in al  B E R T   with   a  m u ch   s m aller   m o d el  s ize  [ 2 8 ] .   On   th e  o t h e r   h an d ,   g a th er in g   r e q u i r e m e n ts   f o r   a   h a d it h   lea r n i n g   c h a tb o t   r e q u ir es  u n d er s t a n d in g   s p e ci f ic   n e e d s ,   p r e f e r e n c es,   an d   s e n s it iv it y   t o   u s er   h ab its .   T h e  f i r s t   s t e p   is   t o   i d e n t if y   a ll   s t a k e h o l d e r s   w h o   will   in t er ac t   w it h   t h e  c h at b o t.   T h is   ca n   i n cl u d e  s ta k e h o l d e r s ,   i n c lu d i n g   m e m b er s   o f   r el ig io u s   c o m m u n iti es,   r el ig io u s   co m m u n it y   l ea d e r s ,   r eli g i o u s   t ea c h e r s ,   s t u d e n ts ,   a n d   s o   o n .   W e  co n d u ct   f a ce - to - f ac e   o r   g r o u p   i n t e r v iews   w it h   p o te n ti al   u s e r s   a n d   s ta k e h o l d er s   t o   e n s u r e  th e   c h a tb o t   m e ets  u s er   n e ed s   an d   e x p e cta ti o n s .   T h e   g o al   is   t o   co m p let e   q u alit ati v e  in f o r m a ti o n   ab o u t   u s e r s '   n e ed s ,   e x p e ct ati o n s ,   a n d   c o n s tr ai n ts   w h e n   u s i n g   ch at b o ts .   W e   cr ea t ed   a   p r o t o t y p e   b ase d   o n   th e   i n i tial   r e q u i r e m e n ts   a n d   t este d   it  o n   li m it ed   u s e r s .   T h e n ,   u s i n g   t h a t  i n i tia l   p r o t o t y p e ,   we   g at h e r e d   f ee d b a ck   o n   t h e   p r o t o t y p e' s   f u n cti o n a lit y ,   u s a b ili ty ,   a n d   o v e r al l  u s e r   ex p e r i en ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Desig n   s cien ce   r esea r ch   in   d ev elo p in g   a   r elig io u s   ch a tb o t b a s ed   o n   …   ( A r is   Tja h ya n to )   2785   C h atb o ts   h av e  b ee n   ap p lied   in   v ar io u s   d o m ain s ,   s u ch   as  cu s to m er   s er v ice,   e - co m m er ce ,   h ea lth   s er v ices,  en ter tain m en t,  an d   s o   o n   [ 2 9 ] ,  [ 3 0 ] .   On e  ex am p le  is   Ask   B o ,   wh ich   is   a  ch atb o t  d ev elo p e d   b y   Air Asi a.   T h is   ch atb o t   is   d esig n ed   to   p r o v id e  c u s to m er   s er v ice  an d   s u p p o r t   to   Air Asi a  p ass en g er s ,   h elp in g   th em   with   v ar io u s   q u esti o n s   a n d   task s   r elate d   to   t h eir   tr a v el   ex p er ie n ce .   An o th er   ex am p le  is   Netf lix   C h atb o t,   wh ich   o f f er s   s u p p o r t  an d   c o n ten t  r ec o m m e n d atio n s   ac c o r d in g   to   u s er   n ee d s .   Netf lix ' s   ch atb o t  h el p s   u s er s   with   ac co u n t  m an ag em e n t,  tech n ical  tr o u b lesh o o tin g ,   an d   f in d in g   m o v ies  an d   T V  s h o ws  b ased   o n   u s er   p r ef er en ce s .   Sev er al   p lat f o r m s   f o r   d e v el o p i n g   ch at b o ts   ca n   g e n e r a ll y   b e   g r o u p e d   i n t o   c o m m e r c ial   an d   o p e n - s o u r c e  ca t eg o r ies .   C o m m e r c ial   p lat f o r m s   s u ch   as  D ial o g f lo w  a n d   Ko r e . ai   o f f e r   c o m p r e h en s iv e  t o o ls   f o r   d es ig n i n g ,   im p le m e n t in g ,   a n d   m a n ag in g   ch at b o ts   a c r o s s   m u lt i p le   c h a n n els ,   as  s ee n   i n   T ab le  1 .   O p e n - s o u r ce   p la tf o r m s   in c lu d e  R ASA ,   w h i ch   p r o v id es   f le x i b il it y   a n d   c u s t o m i za ti o n ,   al lo wi n g   d ev el o p e r s   to   b u il d   c h at b o t   ap p li ca ti o n s .   Ad d i ti o n all y ,   t h e r e   a r e   Py th o n - b ase d   li b r ar ies   s u c h   as  C h a tte r B o t   th at  o f f e r   s i m p lic it y   a n d   ea s e  o f   u s e   f o r   b eg in n er s ,   wit h   a  f o c u s   o n   r u l e - b ase d   r es p o n s es   a n d   b asic   n at u r al   la n g u a g e   p r o ce s s i n g   t ask s   [ 1 7 ] ,   [ 1 8 ] .   I n   ad d itio n ,   eth ical  c o n s id er at io n s   wh en   u s in g   ch atb o ts   ar e  ess en tial  to   m in im ize  p o ten tia l  h ar m   to   u s er s .   T h in g s   t h at  n ee d   t o   b e   co n s id er e d   in clu d e  p r iv ac y ,   t r an s p ar en cy ,   ac c o u n tab ilit y ,   a n d   u s er   au to n o m y .   T h u s ,   it  is   n ec ess ar y   to   b u ild   an d   im p lem en t  c h atb o ts   t h at  ca n   b e   tr u s ted   an d   p a y   atten tio n   to   eth ical   s tan d ar d s .   Ap ar t f r o m   th at,   u p d ates to   ch atb o t p o licies ar e  also   n ee d ed   to   m ain tain   p u b lic  t r u s t  [ 3 1 ] ,   [ 3 2 ] .   Sev er al  im p o r tan t  id ea s   em er g e  b y   ex p lain in g   DSR ,   r ev iewin g   th e  d ev elo p m en t  o f   ch atb o t   tech n o lo g y ,   a n d   s u m m ar izin g   f in d in g s   f r o m   p r ev i o u s   r esea r ch .   Pre v io u s   r esear c h   h as   s h o wn   th at   m ac h in e   lear n in g   tech n i q u es'   p er f o r m a n ce   an d   d ee p   lear n in g   ar c h ite ctu r e  ar e  im p r o v in g   ch atb o t  c ap ab ilit ies.  E ar lier   r esear ch   also   ex p lain s   th e   im p o r tan ce   o f   i n v o lv i n g   u s er s   d u r in g   t h e  d esig n   p r o ce s s   an d   in clu d es  eth ical   co n s id er atio n s   in   ch atb o t  d e v elo p m en t.  W ith   th e  en lig h t en m en t  f r o m   p r io r   r esear ch ,   th is   p ap er   aim s   to   p r o v id e   a  f r am ewo r k   f o r   ad v an cin g   c h atb o t   tech n o l o g y ,   esp ec ially   f o r   d e v elo p in g   r eli g io u s   ch atb o ts   u s in g   DSR .   T h e  m eth o d o lo g y   u s ed   i n   t h is   r esear ch   in v o l v es  a  co m p r eh en s iv e  a p p r o ac h   to   r e q u ir em en ts   elicitatio n   an d   ch atb o t  d esig n .   W e  attem p ted   to   co n d u ct   a  th o r o u g h   r ev iew  o f   th e  e x is tin g   liter atu r e  o n   ch atb o t  tech n o l o g y ,   n atu r al  la n g u ag e  p r o ce s s in g   alg o r ith m s ,   an d   co n v er s atio n al  ag en t  d e s ig n .   Nex t,  we  will  d ev elo p   a  ch atb o t  p r o to ty p e  u s in g   a  m ac h in e - lear n in g   f r a m ewo r k .   T h e  ch atb o t  will  b e  tr ain ed   b ased   o n   a  d iv er s e  d ata  s et  o f   u s er   q u esti o n s   an d   r esp o n s es  to   o p tim ize  its   n atu r al  lan g u ag e  u n d er s tan d in g   ca p a b ilit ies.  Nex t,  we  will  co n d u ct   a  u s er   t esti n g   s ess io n   to   ev al u ate  th e   ch atb o t' s   ac cu r ac y   p er f o r m an c e.   Fin ally ,   we   will  an aly ze   th e  r esu lts   an d   iter ati v ely   r ef i n e  th e  c h atb o t  d esig n   b ased   o n   u s er   f ee d b ac k   an d   i n s ig h ts   g ain ed   f r o m   th e  ev alu atio n   p r o ce s s .   T o   p r o v i d e  a  co m p r e h en s iv e  o v er v iew  o f   o u r   r esear ch ,   th e  s tr u ctu r e  o f   th is   p ap er   will  b e  ex p lain ed .   I n   th e   f ir s t  s ec tio n ,   we  b r ief ly   ex p lain   d esig n   s cien ce   r esear ch   an d   th e n   r ev iew  r ele v an t  li ter atu r e  o n   c h atb o t   tech n o lo g y ,   p r ev i o u s   r esear c h   f in d in g s ,   an d   cu r r en t  tr e n d s   in   th e   f ield .   Af ter   th at,   we  will  p r esen t  th e   m eth o d o l o g y   u s ed   i n   d esig n in g   an d   e v alu atin g   o u r   ch at b o t  s y s tem ,   d etailin g   th e   s tep s   in v o lv e d   in   its   d ev elo p m e n t  an d   test in g .   Nex t,  we  will  s h o w  th e  ty p es  o f   u s er   n ee d s   f o r   ch atb o ts   an d   t h e  r esu lts   o f   test in g   s ess io n s   an d   d is cu s s   th e  im p licatio n s   o f   o u r   f in d i n g s .   Fin ally ,   we  will  co n clu d e  with   a  s u m m ar y   o f   o u r   co n tr ib u tio n s ,   s tu d y   lim itatio n s ,   an d   d ir ec tio n s   f o r   f u tu r e  r esear ch .       2.   M E T H O D    T h e  m eth o d o lo g y   u s ed   i n   t h is   r esear ch   in v o l v es  a  co m p r eh en s iv e  a p p r o ac h   to   r e q u ir em en ts   elicitatio n   an d   ch atb o t  d esig n ,   f o llo win g   th e  s tag es  o f   d esig n   s cien ce   r esear ch   m eth o d o l o g y   ( DSR M) .   W e  attem p ted   to   co n d u ct  a   th o r o u g h   r e v iew  o f   th e   ex is tin g   liter atu r e  o n   ch at b o t  tech n o lo g y   a n d   n at u r al  lan g u ag e   p r o ce s s in g   alg o r ith m s .   Nex t,  we  will  d ev elo p   a  ch atb o t  p r o to ty p e  u s in g   a  m ac h in e - lea r n i n g   f r am ew o r k .   T h e  ch atb o t  will  b e   tr ain e d   b ased   o n   a   d ataset  co n tai n in g   q u esti o n s   an d   r esp o n s e  an s wer s ,   a   c o llectio n   o f   h a d ith s   f r o m   t h e  b o o k   B u lu g h   al - Ma r am .   Nex t,   we  will  co n d u ct   a  test in g   s ess io n   to   ev al u ate  th e  ch atb o t' s   in ten t   r ec o g n itio n   r ate  ( I R R )   p er f o r m an ce .   Fin ally ,   we  will  an aly ze   th e  r esu lts   an d   iter ativ ely   r ef in e  th e  ch atb o t  d esig n   b ased   o n   u s er   f ee d b ac k   an d   in s ig h ts   g ain e d   f r o m   th e  ev alu atio n   p r o ce s s .   T h e  DSR M  r e s ea r ch   m eth o d o lo g y   ap p r o ac h   u s ed   to   d eter m in e  tech n ical  p o licy   m o d el  ar t if ac ts   f o r   d ev elo p m e n t  an d   ap p licatio n   d ev elo p m e n t  h as  f i v e  s tag es:  ex p licate  th e  p r o b lem ,   d ef i n e  r eq u ir em en ts ,   d esig n   an d   d e v elo p   ar tifa cts,  im p le m en t a n d   d em o n s tr ate  ar tifa cts,  an d   ev alu ate  a r tifa cts  [ 8 ] .     2 . 1 .     E x pli ca t e  pro blem   At  th e  “ E x p licate  p r o b le m s ”   s tag e,   ef f o r ts   ar e  m a d e  to   clar if y   th e  p r o b lem   b y   id e n tify in g   a n d   d ef in in g   th e  is s u e  in   m o r e  d etail.   T h is   b eg an   with   a  th o r o u g h   liter atu r e  r ev iew  to   u n d er s tan d   p r ev io u s   ap p r o ac h es  an d   e x p lo r e   o n lin e  r eso u r ce s   in   th e   f o r m   o f   FAQs .   T h e  n ex t  s tep   is   to   co n d u ct  in ter v iews  with   s ev er al  s tak eh o ld er s   to   o b tain   a  b r o a d er   p ictu r e.   T h is   s tep   en s u r es  th at  th e  r esear ch   is   b ased   o n   ac tu al  an d   r elev an t p r o b lem s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 8 2 - 2 7 9 4   2786   Attem p tin g   to   g et  q u ick   a n d   ac cu r ate  an s wer s   to   s p ir itu al  q u esti o n s   is   o f ten   ch allen g i n g .   W h eth er   lo o k in g   f o r   g u id an c e  in   d ail y   r elig io u s   p r ac tices,  u n d er s t an d in g   c o m p lex   t h eo lo g ical  co n ce p ts ,   o r   s im p ly   f in d in g   q u o tes  f r o m   h ad ith   te x ts ,   th e  p r o ce s s   is   co m p licate d   an d   r eq u ir es  tim e  o r   ef f o r t  i f   d o n e  th r o u g h   th ick   tex tb o o k s .   I n   g ettin g   a n s wer s ,   it  is   u s u ally   ea s ier   to   ask   r elig io u s   lead er s   d ir ec tly   o r   s ea r ch   v ar io u s   o n lin e  s o u r ce s ,   alth o u g h   t h ey   ar e  n o t  alwa y s   r eliab le.   T h u s ,   a  s o lu tio n   is   n ee d ed   to   p r o v i d e   f ast,  r eliab le,   an d   ac cu r ate  in f o r m atio n   tailo r e d   t o   r elig io u s   n ee d s   in   an   ea s ily   a cc ess ib le  an d   u s er - f r ien d ly   wa y .     2 . 2 .     Def ine  re qu irem ent s   At  th e  “ Def in e   r eq u ir em en ts ”   s tag e,   th e   s ec o n d   s tag e  o f   DSR M,   as  s ee n   in   Fig u r e  1 ,   d etailed   r eq u ir em e n ts   an d   c r iter ia  ar e   d eter m in e d   as  th e   b asis   f o r   ef f ec tiv e  c h atb o t  d esig n .   T h is   s tag e  id en tifie s   f u n ctio n al  a n d   n o n - f u n ctio n al  r eq u ir em e n ts   an d   en s u r es  th at  ea ch   r eq u i r em en t  h as  b ee n   d e s cr ib ed   th o r o u g h ly   an d   clea r l y .   Fu n ctio n al  r eq u ir em en ts   d ef in e   wh at   a  s y s t em   m u s t  d o ,   d escr ib in g   th e   s p ec if ic  b e h av io r ,   f u n ctio n s ,   an d   f ea tu r es   a  s y s tem   m u s t  h av e  t o   m ee t   th e   n e ed s   o f   its   u s er s   as  s h o wn   in   T ab le  2 .   Me an wh ile,   non - f u n ctio n al  r eq u ir em en ts   s p ec if y   p er f o r m an ce ,   s ec u r ity ,   s ca lab ilit y ,   an d   r eu s ab ilit y   as  s h o wn   in   T ab le  3 .   At  th is   s tag e,   in p u t   f r o m   v a r i o u s   u s er s   is   v er y   im p o r tan t   to   en s u r e  all   r elev an t   n ee d s   h av e  b ee n   co n s id er e d .   T h e  r esu lt   o f   th is   s tag e  is   a  c o m p r eh en s iv e   r eq u ir em en ts   s p e cif icatio n   d o cu m en t   p r ep ar ed   u s in g   th e   I E E E   8 3 0   Stan d ar d ,   wh ich   will late r   b e  u s ed   as a   g u id e  in   t h e  d esig n   a n d   d ev elo p m en t  p r o ce s s .           Fig u r e  1 .   I DE F0   d iag r am   f o r   d ev elo p in g   B u lu g h   al - Ma r am   c h atb o t       T ab le  2 .   Fu n ctio n al  R eq u ir em en ts   f o r   B u lu g h   al - Ma r am   c h a tb o t   ID   R e q u i r e me n t s   C a t e g o r y   UA1   Th e   sy s t e m   a l l o w s  u sers  t o   c r e a t e   a n   a c c o u n t   b y   p r o v i d i n g   t h e   r e q u i r e d   i n f o r mat i o n ,   s u c h   a s   n a me ,   e ma i l ,   a n d   p a s sw o r d ,   a n d   v e r i f y i n g   t h e   u ser’ s  i d e n t i t y   t h r o u g h   a   se c u r e   a u t h e n t i c a t i o n   mec h a n i sm.   U ser A u t h e n t i c a t i o n   H I 1   Th e   sy s t e m   a l l o w s  u sers  t o   sa v e   a n d   d i sp l a y   a   c h r o n o l o g y   o f   c h a t b o t   q u e s t i o n s a n d   r e sp o n s e s   H i st o r y   TA 1   Th e   sy s t e m   p r o v i d e s   f a c i l i t i e s  t o   a c c e ss h a d i t h   t e x t s   i n   I n d o n e si a n ,   A r a b i c ,   o r   b o t h .   Te x t   A c c e ss   a n d   N a v i g a t i o n   TA 2   U sers c a n   e a s i l y   q u e r y   a n d   n a v i g a t e   p a r t s  o f   t h e   h a d i t h   b o o k ,   su c h   a s   c h a p t e r s,  v e r ses ,   a n d   o t h e r   p a r t s.   Te x t   A c c e ss   a n d   N a v i g a t i o n   TA 3   U sers c a n   q u e r y   c e r t a i n   p a r t s   o f   t h e   h a d i t h   b a s e d   o n   k e y w o r d s  i n   t h e   t e x t .   Te x t   A c c e ss   a n d   N a v i g a t i o n   LM 1   U sers c a n   a sk   q u e st i o n s  a b o u t   s p e c i f i c   t e x t s  a n d   r e c e i v e   e x p l a n a t i o n s.   Le a r n i n g   M o d e s   LM 2   U sers c a n   t e s t   t h e i r   k n o w l e d g e   w i t h   q u i z z e s   o n   v a r i o u s  p a r t s  o f   t h e   h a d i t h   t e x t .   Le a r n i n g   M o d e s   N LP1   C h a t b o t   s y st e ms  c a n   u n d e r st a n d   a n d   r e sp o n d   t o   u ser  q u e st i o n s   i n   n a t u r a l   l a n g u a g e .   N a t u r a l   La n g u a g e   P r o c e ss i n g   N LP2   Th e   c h a t b o t   sy st e m c a n   i n t e r p r e t   q u e s t i o n s   a b o u t   v e r ses   o r   c e r t a i n   c o n c e p t s  i n   h a d i t h   t e x t s.   N a t u r a l   La n g u a g e   P r o c e ss i n g   C U 1   C h a t b o t   s y st e ms  c a n   m a i n t a i n   c o n v e r s a t i o n   c o n t e x t   t o   p r o v i d e   c o h e r e n t   a n d   r e l e v a n t   r e s p o n ses .   C o n t e x t u a l   U n d e r s t a n d i n g   C U 2   U sers c a n   a sk   f o l l o w - u p   q u e st i o n s ,   a n d   t h e   c h a t b o t   u n d e r s t a n d s   t h e   c o n t e x t   w i t h o u t   r e p e a t i n g   t h e   p r e v i o u s   q u e s t i o n .   C o n t e x t u a l   U n d e r s t a n d i n g   C R 1   Th e   c h a t b o t   sy st e m c a n   p r o v i d e   s u g g e st i o n s   o r   r e c o mm e n d a t i o n s fo r   c o m p l e me n t a r y   ma t e r i a l s   b a se d   o n   u s e r   r e q u e st s.   C o n t e n t   R e c o m me n d a t i o n s   AV1   U sers c a n   l i s t e n   t o   a u d i o   r e c i t a t i o n s   o f   t h e   r e q u e s t e d   h a d i t h   t e x t .   A u d i o   a n d   V i s u a l   S u p p o r t   AV2   Th e   sy s t e m   c a n   d i sp l a y   i ma g e s,  d i a g r a ms,  o r   v i d e o s r e l a t e d   t o   t e x t   a n d   t h e i r   i n t e r p r e t a t i o n   a c c o r d i n g   t o   u ser r e q u e st s.   A u d i o   a n d   V i s u a l   S u p p o r t     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Desig n   s cien ce   r esea r ch   in   d ev elo p in g   a   r elig io u s   ch a tb o t b a s ed   o n   …   ( A r is   Tja h ya n to )   2787   T ab le  3 .   No n - f u n ctio n al  r e q u ir em en ts   f o r   B u lu g h   al - Ma r am   ch atb o t   ID   R e q u i r e me n t s   C a t e g o r y   N P 1   C h a t b o t   s y st e ms  c a n   r e s p o n d   t o   u ser  q u e s t i o n s   q u i c k l y   a n d   h a n d l e   m u l t i p l e   r e q u e s t s  si mu l t a n e o u s l y .   P e r f o r ma n c e   NU1   Th e   c h a t b o t   sy st e m  h a s  a   u ser - f r i e n d l y   u ser  i n t e r f a c e   d e si g n   t h a t   i s e a sy   t o   n a v i g a t e   a n d   si m i l a r   t o   o t h e r   c h a t b o t s.   U sab i l i t y   N R 1   C h a t b o t s  a r e   a v a i l a b l e   2 4 / 7   w i t h   mi n i mal   d o w n t i m e .   R e l i a b i l i t y   N R 2   B a c k u p   a n d   r e c o v e r y   me c h a n i sms   a r e   i m p l e me n t e d   t o   p r o t e c t   u ser   d a t a .   R e l i a b i l i t y   N S 1   U ser d a t a   i s   e n c r y p t e d   a n d   s t o r e d   sec u r e l y   i n   t h e   c l o u d .   S e c u r i t y   N S 2   A u t h e n t i c a t i o n   m e c h a n i sm s  p r o t e c t   u s e r   a c c o u n t s   f r o m  u n a u t h o r i z e d   a c c e ss .   S e c u r i t y   N C 1   C h a t b o t s  c a n   b e   a c c e ss e d   o n   v a r i o u s  d e v i c e s ,   i n c l u d i n g   smar t p h o n e s,  t a b l e t s ,   a n d   d e s k t o p   c o m p u t e r s .   C o m p a t i b i l i t y   N C 1   Th e   c h a t b o t   sy st e m s u p p o r t s m a n y   o p e r a t i n g   s y st e ms  a n d   b r o w sers.   C o m p a t i b i l i t y       2 . 3 .     Desig n a nd   dev elo p  c ha t bo t   T h e  “De s ig n   a n d   d ev elo p   ch at b o t ”  s tag e  in v o lv es  d esig n in g   an d   b u ild in g   a  ch at b o t  s y s tem   b ased   o n   s p ec if ied   r eq u ir em en ts .   T h is   s tag e  b eg i n s   with   s elec tin g   a  c h atb o t  p latf o r m   to   en s u r e   th at   th e  p r o to t y p e  will   b e  d e v elo p ed   ef f e ctiv ely .   T h e  d esig n   o f   th e   ch atb o t  p r o to ty p e  was  d o n e  f r o m   s cr atch   u s in g   lib r ar ies  av ailab le   in   Py th o n ,   o f f e r in g   h ig h   f le x ib ilit y   an d   p r o v id in g   co m p lete  c o n tr o l o v er   th e   tech n o l o g y   u s ed .     T h e  d esig n   p r o ce s s   in clu d es  cr ea tin g   a  ch atb o t  ar c h itectu r e,   d esig n in g   a  u s er - f r ie n d l y   in ter f ac e,   d ef in in g   t h e  ch atb o t  co n v er s a tio n   f lo w,   a n d   in teg r atin g   th e   b o o k   B u lu g h   al - Ma r am   as  a   k n o wled g e  b ase.   Dev elo p m en t  in v o lv es  co d i n g   th e  ch atb o t,  a p p ly in g   NL P  alg o r ith m s ,   an d   d ee p   lea r n in g .   T esti n g   in itially   u s es   a  lis t  o f   q u esti o n s   s elec ted   an d   d eter m in e d   b ased   o n   th e  p r ev io u s   s tag e.   T h e  lis t  o f   q u es tio n s   is   th en   g iv en   d ir ec tly   to   th e  ch atb o t  m ac h in e,   an d   th e  r esp o n s e  is   o b s er v e d .   Ap ar t  f r o m   th at,   test in g   was  also   ca r r ied   o u t  b y   ask in g   s ev er al  u s er s   to   ask   q u esti o n s   ab o u t   th e  ch at b o t  p r o to ty p e.   User   f ee d b ac k   is   th en   co llected   a n d   an aly ze d ,   a n d   th e  r esu lts   ar e  u s ed   to   r ef in e  a n d   im p r o v e   th e  ch atb o t.     2 . 4 .     De m o ns t ra t e  cha t bo t   T h e  “De m o n s tr ate  ch atb o t ”  s tag e  is   u s ed   to   d em o n s tr ate  th e  ca p ab ilit ies  an d   ef f ec tiv e n ess   o f   th e  ch atb o t  p r o to t y p e.   At  th is   s ta g e,   s ev er al   ac tu al  u s er s   ar e   s elec ted   to   in ter ac t  with   th e   c h atb o t  a n d   aim   to   v alid ate  wh eth er   t h e  ch atb o t  m ee ts   th e  s p ec if ied   r eq u ir em e n ts .   User s   ar e  p r o v i d ed   with   s ev er al  s h o r t  p r o m p ts   to   ask   q u esti o n s   in   th eir   d i ctio n .   Feed b ac k   f r o m   th is   s tag e  is   v er y   im p o r tan t   b ec a u s e  it  attem p ts   to   d em o n s tr ate  th e   ch atb o t' s   s tr en g th s   an d   r ev ea l   wea k n ess es.  I n ter ac tio n s   b etwe en   th e  c h atb o t  an d   th e  u s er   will  b e  s to r ed   an d   an aly ze d   to   en s u r e  th e  ch atb o t  p r o v id es  ac cu r ate  an d   f ast  r esp o n s es.  An y   is s u es  en co u n ter ed   f r o m   th is   s tag e  will b e  n o ted   a n d   u s ed   f o r   f u r th er   im p r o v em e n ts .       2 . 5 .     E v a lua t e   cha t bo t   At  th e  “ C h atb o t  ev alu atio n ”   s tag e,   an   ev alu atio n   is   ca r r ied   o u t  r eg ar d in g   ch atb o t  u s er s '   p er f o r m an ce ,   ef f ec tiv en ess ,   an d   s atis f ac tio n   b ased   o n   p r e d eter m in e d   r eq u ir em en ts   an d   o b jectiv es.   E v alu atio n   at  t h e   “ Desig n   an d   d ev elo p   c h atb o t ”   s tag e  aim s   to   en s u r e   th at  th e   ch atb o t  m ee ts   u s er   n ee d s   an d   allo ws  f o r   r ep ea ted   im p r o v em e n ts .   Me an wh ile,   th e  ev alu atio n   at  th e   “ Dem o n s tr ate  ch atb o t ”   s tag e   aim s   to   e n s u r e  th at   th e  c h atb o t   en g in e  ca n   p r o v id e  ap p r o p r iat e  r esp o n s es  to   a  p r ed eter m in e d   lis t  o f   q u esti o n s .   E v alu atio n   is   ca r r ied   o u t  b y   m ea s u r in g   th e  I R R   v alu e.   W e  u s e  th e  I R R   in d icato r   b ec au s e  th e  d ata  u s ed   f o r   test in g   is   to o   s m all  co m p ar ed   to   th e  n u m b er   o f   in ten t  lab els.  I R R   is   a   m etr ic  u s ed   to   as s es s   th e  ac cu r ac y   o f   a  ch atb o t  in   id en tify in g   a  q u er y   o r   q u esti o n   p r o v id e d   b y   a  u s er ,  s ee   ( 1 ) .      =   100%   ( 1 )     W h er e  C   r ep r esen ts   th e   n u m b er   o f   c o r r ec tly   r ec o g n ize d   in ten ts ,   a n d   T   r ep r esen ts   th e  to tal  n u m b er   o f   q u esti o n s   o r   u tter a n ce s .     T h is   m ea s u r e  m ea s u r es  th e   p r o p o r tio n   o f   s u cc ess f u lly   r ec o g n ized   in ten ts   to   th e   to t al  q u er ies  p r o v id e d .   A  h ig h   I R R   s co r e  in d icate s   th at  th e  ch atb o t c an   u n d er s tan d   an d   ca teg o r ize  t h e  in p u t p r o v id ed   b y   th e   u s er .   T h is   m etr ic  is   cr itical  f o r   ev alu atin g   th e  p er f o r m an c e  o f   a  ch atb o t' s   “ Pre p r o ce s s in g ”   an d   “ C lass if ier ”   co m p o n en ts .   Facto r s   in f lu en ci n g   I R R   in clu d e  th e  tr ain in g   d ata  q u ality ,   th e  lan g u ag e  m o d el's  s o p h is ticatio n ,   an d   th e   ch atb o t' s   ab ilit y   to   h an d le  a  wid e   r an g e  o f   p h r ase s   an d   lan g u ag e   v ar iatio n s .   T h is   ca n   b e   d o n e  to   in cr ea s e  I R R   b y   ad d in g   tr ain in g   d ata  an d   o p tim izin g   th e  clas s if ier   m o d el  ar ch itectu r e.   E v alu atio n   is   also   d o n e  b y   c o llectin g   q u esti o n s   an d   r esp o n s es  wh en   u s er s   in ter ac t  with   th e  ch atb o t.   E ac h   q u esti o n   will  b e  m atch e d   to   th e  r esp o n s e  an d   co m p a r ed   to   in itial  g o als  an d   ex p ec t atio n s   to   d eter m in e   wh eth er   th e   ch at b o t  m ee ts   th e   d esire d   s tan d ar d s .   An y   d if f e r en ce s   o r   d ef icien cies  a r e  id e n t if ied   an d   a n aly ze d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 8 2 - 2 7 9 4   2788   to   p r o ce e d   with   th e  n ec ess ar y   m o d if icatio n s   o r   im p r o v em e n ts .   Ov er all,   th is   p h ase  h elp s   v a lid ate  th e  ch atb o t' s   f u n ctio n ality ,   u s ab ilit y ,   an d   o v er all  im p ac t,  en s u r in g   th e  c h atb o t is r ea d y   f o r   b r o a d er   im p le m en tatio n .     3.   RE SU L T S AN D  D I SCU SS I O N    I n   th is   s ec tio n ,   we   p r esen t   th e   r esu lts   o f   d e v elo p in g   a   ch atb o t  to   h elp   s tu d y   th e   h ad ith   co n tain ed   i n   th e  b o o k   B u lu g h   al - Ma r am .   I t  s tar ts   b y   d is cu s s in g   h o w  to   cr ea te  th e  d ataset  u s ed   f o r   i n itial  ex p er im en ts .   T h en ,   it e x p lain s   h o w  to   c o n d u ct  ex p er im e n ts   an d   ev al u ate  ch atb o ts   h an d lin g   u s er   q u esti o n s .     3 . 1 .     Da t a s et   co ns t ruct io n   T h e  d ataset  is   a  cr u cial  p ar t   n ee d ed   at  t h e  tr ain in g   a n d   test in g   s tag e  o f   th e   ch atb o t  class if ier   m o d el.   B ased   o n   th e   tr ain in g   d ata   p r o v id ed   allo ws  t h e  m o d el  to   lear n   d ata   p atter n s   a n d   r elatio n s h i p s   an d   en s u r es  th e   m o d el  ca n   p r ed ict  o r   class if y   in ten ts   ac co r d in g l y .   T h e  t esti n g   d ata  in   th is   r esear ch   co n s is ts   o f   s ev er al  q u esti o n s   th at  h av e  n ev er   b ee n   u s ed   in   p r ev io u s   s tag es.  T es tin g   d ata  is   u s ed   to   ev alu ate  th e  p er f o r m an ce   an d   ab ilit y   o f   th e  class if ier   m o d el  to   p r ed ict  a p p r o p r iate  in ten t  b a s ed   o n   th e  q u esti o n s   g iv en .   T h e  d ataset  f o r   tr ain in g   co n s is ts   o f   6 4 6   h ad ith s   f r o m   all  1 , 3 5 4   h ad ith s   in   t h e  b o o k   B u lu g h   al - Ma r am   ( T h e  b o o k   o f   Pu r if icatio n ,   Pr ay er ,   Fu n e r als,  Z ak ah ,   Fas tin g ,   an d   Hajj)   an d   a  co llectio n   o f   FAQs   r elate d   to   h ad ith s .   R aw  d ata  o r ig in atin g   f r o m   th e  b o o k   is   p r o ce s s ed   at  th e  p r ep r o ce s s in g   s tag e  an d   lab eled   to   m ak e  it   ea s ier   to   id en tify   in ten ts .   I n   t h e  r esu ltin g   d ataset,   ea ch   h ad i th   co m p o n en t  will  b e  r ep r ese n ted   b y   th e  o r ig in al  tex t  an d   k e y wo r d s   ex tr ac ted   f r o m   t h e  B u lu g h   al - Ma r am   h a d ith   co llectio n ,   p lu s   s ev er al   o t h er   k ey wo r d s   tak en   f r o m   FAQs   th at  h a v e  a   s o lid   c o n n ec tio n   to   t h e  co n ten t  o f   th e  h ad ith .   T h is   d ataset  is   th en   u s ed   f o r   th e  tr ain i n g   p r o ce s s ,   wh ich   p r o d u ce s   th e   in ten t c lass if ier   m o d el  u s ed   in   t h e  ch atb o t  p r o to t y p e.   Data s et  cr ea tio n   co n s is ts   o f   two   s tag es,  as  s ee n   in   Fig u r e  2 .   I n   th e   f ir s t  s tag e,   a  s m all - s ca le  d ataset   was  cr ea ted   f r o m   th e  b o o k   Pu r if icatio n   ( Th a h a r a h ) .   T h is   m in i  d ataset  was  m ad e  m an u ally   with   th e  aim   o f   b etter   u n d er s tan d i n g   th e  d ata  m o d el  th at  will  b e  u s ed .   Sev er al  q u esti o n s   o r   u tter an ce s   ar e  co llected   f o r   ea ch   h ad ith   tex t,   wh ich   will  b ec o m e  p r o m p ts   f o r   th e   h ad ith   tex t.  Ap ar t  f r o m   th at,   th e  p r o m p t  is   also   en r ich e d   wit h   k ey wo r d s   e x tr ac ted   f r o m   ea c h   h a d ith   tex t.   T h e   p u r p o s e  o f   ad d i n g   t h ese  k ey w o r d s   is   s o   th at  we   ca n   s till   r ec o g n ize  p r o m p ts   o r   q u esti o n s   g iv en   b y   u s er s   b ased   o n   th e  k ey wo r d s .           Fig u r e  2 .   T h e  p r o ce s s   o f   d atas et  co n s tr u ctio n       I n   th e  s ec o n d   s tag e,   t h e  d ataset  was  ad d ed   f r o m   t h e  h ad ith   c o n tain ed   in   th e   Pra y er ,   Fu n er a ls ,   Z ak ah ,   Fas tin g ,   an d   Hajj  b o o k s .   Sev er al  p r o ce s s es  ar e  ca r r ie d   o u t   at  th is   s tag e,   s u ch   as  co n v er tin g   th e   B u lu g h   al - Ma r am   tex t  d ata.   Star tin g   with   th e  t o k en izatio n   p r o ce s s   co n tin u ed   b y   ch an g in g   th e  c h ar ac ter s   to   lo wer ca s e,   r em o v in g   p u n ctu atio n   an d   s to p   wo r d s ,   a n d   th e n   th e  s tem m i n g   p r o ce s s   r ed u ce d   th e  wo r d s   to   th eir   b asic  f o r m .   T h e  r esu lts   o f   th is   p r o ce s s   ar e   th en   co m b i n ed   with   s ev er al  q u esti o n s   o r   p r o m p ts   f o r   ea ch   h ad ith   co m p o n e n t  lab eled   o r   tag g e d   to   o b tain   a  d ataset  u s ed   f o r   th is   ch atb o t  p r o to ty p e.   T h e  d ataset  s h o ws  ea ch   b o o k   ca teg o r y ' s   d is tr ib u tio n   in   Fig u r e  3.   Du e  to   th e  lim ited   n u m b er   o f   q u esti o n s /u tter an ce s   co llected   m an u ally ,   th is   p a p er   also   u til izes  in p u t   f r o m   u s er s   wh o   tr ie d   o u t  th e   c h atb o t  p r o to ty p e.   Af ter   th e  d a ta  f ilter in g   a n d   clea n i n g   p r o ce s s   is   ca r r ied   o u t  t o   r em o v e   o th er   r ed u n d a n t  in f o r m atio n ,   s u c h   as  p u n ctu atio n ,   an d   o th er   in f o r m atio n   th at   m ay   i n v o lv e   u s er   p r iv ac y ,   s u ch   as  a   p er s o n ' s   n am e.   Fin ally ,   a   d ataset  was  o b tain ed   f o r   test in g   with   a   to tal  o f   a r o u n d   1 5 0   q u esti o n s /u tter an ce s ,   wh ich   w er e  lab eled   as g r o u n d   tr u th .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Desig n   s cien ce   r esea r ch   in   d ev elo p in g   a   r elig io u s   ch a tb o t b a s ed   o n   …   ( A r is   Tja h ya n to )   2789       Fig u r e  3 .   T h e  p r o p o r tio n   o f   ea ch   ca teg o r y   in   th e  d ataset        3 . 2 .     E x perim ent   s et t ing s   T o   th o r o u g h l y   ass ess   ch atb o t   p er f o r m a n ce ,   we  cr ea ted   a  s tr u ctu r ed   ex p e r im en tal  s etu p   d esig n ed     to   m im ic  r ea l - wo r ld   co n v er s a tio n al  s ce n ar io s .   E x p er im en ts   wer e  co n d u cted   o n   a   co m p u ter   with   an   AM D  R y ze n   5   p r o ce s s o r   5 6 0 0   H  wit h   R ad eo n   Gr ap h ics 1 6   GB   R A M.   T h is   ch atb o t p r o to ty p e  was   b u ilt u s in g   a  d ee p   lear n in g   m o d el  in   th e  f o r m   o f   a  f ee d f o r war d   n eu r al  n etwo r k   d esig n ed   f o r   m u lti - class   class i f icatio n   task s .   T h e   m o d el  s tar ts   with   a   d e n s e  la y er   o f   1 0 2 4   n eu r o n s ,   wh ic h   p r o ce s s   th e  i n p u t   d ata   with   t h e  R eL U  ac tiv atio n   f u n ctio n .   I t  f o llo ws  with   a  d r o p o u t  lay e r   th at  r an d o m ly   s et s   5 0 %  o f   in p u t  u n its   to   ze r o   d u r in g   tr ai n in g   to   p r ev en t o v er f itti n g .   T h e  n ex t d en s e  lay er   with   1 0 2 4   n eu r o n s   an d   R eL U  ac tiv atio n   f u r th er   r ef in es th e   ex tr ac ted   f ea tu r es,  an d   th en   a  s ec o n d   d r o p o u t  lay er   is   ap p lied   to   m ain tain   r o b u s tn ess .   T h e  f in al  o u tp u t  lay er   u s es  a  So f tMa x   ac tiv atio n   f u n ctio n   t o   g en e r ate  a  p r o b ab ilit y   d is tr i b u tio n   ac r o s s   th e  d i f f er en t   o u t p u t  class es,  en s u r in g   th e  s u m   o f   th e  p r o b ab ilit ies  eq u als  o n e.   T h is   m o d el  is   s tr u ctu r ed   with   ca teg o r ical  cr o s s - en tr o p y   as  th e  lo s s   f u n ctio n .   T h e  ex p e r im en t  in v o lv ed   a  s er ies  o f   u s er   in ter ac tio n s ,   m o s tly   s im p le  q u esti o n s ,   to   test   th e  ch atb o t' s   ab ilit y   to   u n d e r s tan d   co n te x t  an d   g en e r ate  ac cu r ate  r esp o n s es.  T h e  d ataset  is   d iv id ed   in t o   tr ain in g   d ata  an d   v alid atio n   d ata  f o r   test in g .   T h e  p er f o r m an ce   m et r ics  in clu d e  tr ain in g   an d   v alid atio n   ac cu r ac y   an d   I R R .   T h e  ch atb o t  p r o to ty p e   ca n   b e   ac ce s s ed   v ia  th e  ad d r ess   h ttp : //1 0 1 . 5 0 . 3 . 1 2 1 : 3 0 0 0 ,   w h ile  th e  p r o ce s s   s eq u en ce   f r o m   s tar t to   tr ial  ca n   b e  s ee n   in   t h e  ch atb o t a r ch itectu r e  in   Fig u r e  4.           Fig u r e  4 .   T h e  ar ch itectu r e  o f   t h e  p r o p o s ed   m o d el        Pre p r o ce s s in g   aim s   to   p r e p ar e   th e  d ataset  n ee d ed   t o   tr ain   an d   test   th e  m o d el.   T h is   p r o ce s s   in v o lv es   ch an g in g   to   l o wer ca s e,   clea n i n g   u n n ec ess ar y   c h ar ac ter s ,   r e m o v in g   s to p   wo r d s ,   an d   s tem m in g .   I n   g en er al,   th is   p r o ce s s   will  p r o d u ce   a  clea n   i n ten ts   d atab ase  th at  ca n   p r o v i d e  a  class if ier   m o d el   with   g o o d   p er f o r m a n ce   an d   p r ed ict  th e  in ten t  o f   a  g iv en   q u esti o n .   T h e  p r o p o s ed   m o d el  i s   b u ilt  u s in g   T en s o r Flo w  an d   Ker as .   T h is   m o d el,   wh ich   h as  a  f ee d f o r war d   ar c h i tectu r e  ( as  s h o wn   in   Fig u r e  5 ,   h as  th r ee   m ain   lay er s :  an   in p u t  lay er   with   1 , 0 2 4   n eu r o n s   an d   a  R eL U  ac tiv atio n   f u n ctio n ,   f o llo wed   b y   a  d r o p o u t  lay er   ( 0 . 5 )   to   r e d u ce   o v e r f itti n g   b y   r an d o m ly   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 8 2 - 2 7 9 4   2790   ig n o r in g   5 0 %  o f   n e u r o n s   d u r i n g   tr ain in g   s o   th at  th e  m o d el  b ec o m es  m o r e  g e n er alis t  an d   less   d ep en d en t  o n   tr ain in g   d ata.   T h en ,   t h er e  is   a   s ec o n d   h id d en   lay e r   with   1 , 0 2 4   n eu r o n s ,   a  R eL U  ac tiv atio n   f u n ctio n ,   an d   th e  s am e  d r o p o u t  f o r   tr ain in g   s tab ilizatio n .   Fin ally ,   th e  m o d el   h as  an   o u tp u t  lay er   with   7 9 4   n eu r o n s .   I t  u s es  So f tMa x   ac tiv atio n ,   wh ic h   is   s u itab le  f o r   m u lti - class .           Fig u r e  5 .   Pro p o s ed   n eu r al  n et wo r k   ar ch itectu r e  f o r   B u lu g h - al  Ma r am   ch atb o t       3 . 3 .     T ra ini ng   t he  mo dels   A  ce r tain   am o u n t  o f   tr ain in g   d ata  is   p r o v id ed   at  th e  tr ain in g   s tag e  s o   th e  class if ier   m o d el  ca n   r ec o g n ize   th e  q u esti o n s '   in ten t.  T h e  c h atb o t   class if ier   m o d el   f ac es  a  d ataset  with   k n o wn   f ea tu r es  an d   tag s   o r   class   lab els,  allo win g   th e   m o d el  to   lear n   p atter n s   an d   r elatio n s h ip s   b etwe en   i n p u t   f ea tu r es   an d   tar g et  class es.  I n   th is   r esear ch ,   f ea tu r es  a r e   o b tain ed   b y   ap p l y in g   t h e  b ag   o f   wo r d s   ( B OW )   alg o r ith m   to   th e   r esu lts   o f   p r ep r o ce s s in g   h ad ith   tex ts ,   wh er e  ea ch   h ad ith   will  b e  g i v en   a  d if f er en t   tag   o r   lab el.   T h e  tr ain ed   ch atb o t  class if ier   will th en   p r ed ict  th e  class   o r   in ten t o f   th e  q u esti o n s   g iv en .   I n   th e  tr ain in g   s tag e,   s ev er al  m etr ics  ar e  r ec o r d ed   as  tr ain i n g   h is to r y   in v o lv in g   a n aly s is   o f   ac cu r ac y   p lo ts   o v er   a  ce r tain   ep o c h   r a n g e  to   ev alu ate  t h e  m o d el  p er f o r m an ce   d u r in g   tr ain in g .   I n   Fig u r e  6 ,   th e  tr ain i n g   cu r v e  s h o ws  a  g r ad u al  in cr ea s e  in   ac cu r ac y ,   with   th e  v alid atio n   m etr ics  tr ailin g   th e  tr ain in g   m etr ics  u n til  ar o u n d   ep o c h   6 .   Desp ite  th e  d if f er en ce s   b etwe en   th e   tr ain in g   an d   v alid atio n   c u r v es,  th e  m o d el  p er f o r m s   well  o n   th e  v alid atio n   d ata.     Sev er al  q u esti o n s /u tter an ce s   ar e  g iv en   t o   v alid ate  th e   ch a tb o t  m o d el,   as  s ee n   in   T ab le   4 .   I n te n t  p r ed ictio n   in   th is   ch atb o t  p r o t o ty p e  aim s   to   u n d er s tan d   t h e  q u esti o n s   ask ed   b y   th e  u s er .   T h is   p r o ce s s   in v o lv es  tex t  an aly s is   o f   q u esti o n s   g iv en   b y   th e  u s er   an d   class if y in g   th em   in to   p r e d eter m in ed   class   lab els.  B ef o r e  th e   class if icatio n   p r o ce s s   o r   i n te n t  r ec o g n itio n ,   an   in itial  ex a m in atio n   is   co n d u cte d   to   d et er m in e  wh eth e r   th e   q u esti o n s '   m ea n in g   is   clea r .   I f   it  is   u n clea r ,   th e  ch atb o t  will  tr y   to   clar if y   it  to   th e  u s er .   I f   th e  q u esti o n   is   clea r ,   a  p r o ce s s   will  b e  ca r r ied   o u t  to   r ec o g n ize  th e  in ten t  u s in g   an   in ten t  class if ier .   B y   id e n tify in g   u s er   in ten t,   ch atb o ts   ca n   p r o v id e  r elev a n t   an d   co n tex tu alize d   r esp o n s es.  I n ten t  p r ed ictio n   is   cr itical  t o   en s u r in g   th at  th e  ch atb o t  in ter p r ets  u s er   q u esti o n s   co r r ec tly .   B ased   o n   th e  in ten t  p r ed ictio n   r esu lts ,   it  will  s ea r ch   f o r   th e  ap p r o p r iate  an s wer   in   th e   d ata b ase  an d   p r o v id e   it to   th e  u s er .   I n ten t  p r ed ictio n s   ar e   d eter m in ed   b ased   o n   th e  p r o b a b ilit y   d is tr ib u tio n   v alu es  p r o d u c ed   b y   th e   ch atb o t  in ten t  class if ier .   T h e  h ig h est  p r o b a b ilit y   will  b e  s elec ted   as  th e  p r ed icted   in ten t,  s h o win g   th e  m o d el's   co n f id en ce   in   th e  i n ten t  class if icatio n .   T h e   s elec tio n   u s es  th e  a r g ma x   f u n ctio n ,   wh ich   i d en tifie s   th e  in d ex   with   th e  h ig h est  p r o b ab ilit y   an d   m ee ts   th e  th r esh o l d   v a lu e  to   en s u r e  th e  m o d el  co n f id en ce   m ee ts   th e                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Desig n   s cien ce   r esea r ch   in   d ev elo p in g   a   r elig io u s   ch a tb o t b a s ed   o n   …   ( A r is   Tja h ya n to )   2791   m in im u m   lev el.   I f   th e  h ig h est  p r o b ab ilit y   v alu e  is   b elo w  th is   th r esh o ld ,   th en   th e  q u esti o n   g iv en   b y   th e  u s er   ca n   b e  class if ied   as  “ u n k n o w n ”   o r   “ u n ce r tai n . ”   Ap ar t   f r o m   th at,   th e  class if ier   m o d el  ca n   also   p r o d u ce   m o r e   th an   o n e   in ten t  p r ed ictio n   o r   h as  m an y   an s wer s ,   wh ich   m ea n s   th er e  is   m o r e  th a n   o n e  h ad it h   th at  is   co n s id er ed   to   m atch   th e  q u esti o n /u tter an c e  g iv en .           Fig u r e  6 .   C h atb o t   in ten t c lass if ier   m o d el  v alid atio n       T ab le  4 .   E x am p les o f   q u esti o n s /u tter an ce s   an d   in ten t p r ed ictio n   #   Q u e st i o n s / U t t e r a n c e s      P r e d i c t e d   I n t e n t s   I n d o n e si a n     En g l i sh   1   t o l o n g   t u n j u k k a n   d a f t a r   h a d i t s   p a d a   k i t a b   s h a l a t     p l e a se   sh o w   m e   t h e   l i s t   o f   h a d i t h s  i n   t h e   b o o k   o f   p r a y e r   h a d i t sk i t a b   2   b a g a i ma n a   n a i k   h a j i     h o w   t o   g o   o n   p i l g r i ma g e     p r o s e sca r a   3   a p a k a h   sh a l a t   t a h a j u d     w h a t   i s   t h e   t a h a j j u d   p r a y e r ?     t a n y a a p a k a h   4   a p a k a h   sh a l a t   mal a m    w h a t   i s   n i g h t   p r a y e r ?     t a n y a a p a k a h   5   a p a k a h   sh o l a t   su b u h ?     w h a t   i s   mo r n i n g   p r a y e r ?     t a n y a a p a k a h   6   b e r a p a   r a k a a t   s h o l a t   s u b u h ?     h o w   ma n y   r a k a a h s  i s  t h e   m o r n i n g   p r a y e r ?     t a n y a b e r a p a   7   b a g a i ma n a   sh o l a t   su b u h   d i l a k s a n a k a n ?     h o w   i s  t h e   m o r n i n g   p r a y e r   p e r f o r me d ?     p r o s e sca r a   8   men g a p a   sh o l a t   su b u h   d u a   r a k a a t ?     w h y   d o e s   t h e   mo r n i n g   p r a y e r   h a v e   t w o   r a k a a h s ?     t a n y a me n g a p a   9   a p a k a h   sh o l a t   su b u h   d u a   r a k a a t ?     i s t h e   m o r n i n g   p r a y e r   t w o   r a k a a h s?     t a n y a a p a k a h   10   b a g a i ma n a   j i k a   t e l a t   me l a k sa n a k a n   s h o l a t   s u b u h ?     w h a t   i f   y o u   a r e   l a t e   f o r   m o r n i n g   p r a y e r s?    p r o s e sca r a   11   b a g a i ma n a   a p a b i l a   l u p a   s h o l a t   s u b u h ?     w h a t   i f   y o u   f o r g e t   t h e   mo r n i n g   p r a y e r ?     sh a l a t 3 0 5   12   a p a   sa j a   h a d i t s   t e r k a i t   sh o l a t   su b u h ?     w h a t   a r e   t h e   h a d i t h s r e l a t e d   t o   m o r n i n g   p r a y e r s?     men y e b u t k a n   13   a p a   s h o l a t   y a n g   d i l a k s a n a k a n   se b e l u m   sh o l a t   su b u h ?   w h a t   p r a y e r s a r e   p e r f o r me d   b e f o r e   t h e   mo r n i n g   p r a y e r ?   sh a l a t 9 7   14   a p a k a h   a d a   s h o l a t   s u n n a h   se t e l a h   s h o l a t   s u b u h ?     i s t h e r e   a   su n n a h   p r a y e r   a f t e r   t h e   m o r n i n g   p r a y e r ?     t a n y a a p a k a h   15   a p a k a h   b o l e h   b e r w u d l u   d e n g a n   a i r   l a u t     i s i t   p e r m i ssi b l e   t o   p e r f o r m  a b l u t i o n   w i t h   se a w a t e r ?   t a n y a a p a k a h   16   b o l e h k a h   w u d l u   p a k a i   a i r   l a u t     c a n   I   u se  s e a w a t e r   f o r   a b l u t i o n ?     j e n a z a h 1 2   17   a p a k a h   a i r   l a u t   i t u   s u c i ?     i s se a w a t e r   p u r e ?     t a n y a a p a k a h   18   a p a k a h   a i r   l a u t   s u c i ?     i s se a w a t e r   p u r e ?     t a n y a a p a k a h   19   a i r   l a u t   s u c i     p u r e   se a w a t e r     t h a h a r a h 1       3 . 4 .     Co m pa riso n o f   t he  re s ults   T h e  p e r f o r m an ce   o f   th e  i n ten t   class if ier   is   ev alu ated   u s in g   th e  I R R   m etr ic,   w h ich   is   u s ed   to   ass ess   th e  ch atb o t' s   ac cu r ac y   in   p r e d ictin g   in ten t  b ased   o n   th e  q u esti o n s   p r o v i d ed .   T h is   ex p er im e n t  o b tain ed   a n   I R R   o f   8 6 . 8 2 %,  wh ich   is   q u ite  g o o d   ev en   th o u g h   it  o n ly   u s ed   B OW   f ea tu r es  ex tr ac ted   f r o m   q u esti o n s /u tter an ce s .   T h e  I R R   v alu e  is   n o t  y et  m a x im al,   p ar tly   d u e   to   t h e  u s e  o f   ter m s   d if f er en t  f r o m   th e  q u esti o n s   g iv en   to   th e  ter m s   wr itten   in   th e   B u lu g h   al - Ma r am   b o o k .   Fo r   e x am p le,   I n d o n esian   p eo p le  u s u ally   u s e  th e  ter m s   “ p er g i  h aji , ”   “ b ay ar   za k at ”   wh ich   ar e  n o t  k n o wn   in   B u lu g h   al - M ar am .   B ec au s e  th is   p r o to ty p e  o n ly   u s es  s tan d ar d   ter m in o lo g y   f o u n d   in   th e  B u lu g h   al - Ma r am   b o o k ,   q u esti o n s   s u ch   as  “ B ag aim an a  p er h itu n g an   b a y ar   za k at? ”   ca n n o t  b e  an s wer ed   s atis f ac to r ily .   Un til  th is   ex p er im en t  was  ca r r ied   o u t,  id en tific atio n   an d   co llectio n   o f   n o n - s tan d ar d   ter m s   o f ten   u s ed   d a ily   wer e  s till   b ein g   ca r r ied   o u t  s o   th at  th e  class if ier ' s   p er f o r m an ce   co u ld   b e   f u r th er   im p r o v ed .   Evaluation Warning : The document was created with Spire.PDF for Python.