I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   1 ,  Feb r u ar y   2 0 2 6 ,   p p .   788 ~ 797   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 1 . p p 7 8 8 - 7 9 7           788     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   A  no v el  BE RT - lo ng  sho rt - te rm me mo ry   hy brid mo d el f o r  eff ec tive cr edit  card fraud  det ectio n       O us s a m a   Nda m a 1 ,   Sa f a e  Nd a m a 1 ,   I s ma il B ens a s s i 1, 2 ,   E l  M o k hta r  E n - Na im i 1   1 D S A I 2 S   R e sea r c h   Te a m,   C 3 S   L a b o r a t o r y ,   F a c u l t y   o f   S c i e n c e s a n d   T e c h n i q u e s  o f   T a n g i e r ,   A b d e l m a l e k   Ess a â d i   U n i v e r si t y ,     Te t o u a n ,   M o r o c c o   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   F a c u l t y   o f   S c i e n c e s  o f   R a b a t ,   M o h a m me d   V   U n i v e r s i t y ,   R a b a t ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   1 ,   2 0 2 4   R ev is ed   De c   2 1 ,   2 0 2 5   Acc ep ted   J an   1 0 ,   2 0 2 6       In   th e   ra p i d ly   e v o lv in g   lan d sc a p e   o f  fin a n c ial  tran sa c ti o n s,  th e   d e tec ti o n   o f   fra u d u le n t  a c ti v it ies   re m a in s  a   c rit ica l  c h a ll e n g e   fo r  fi n a n c ial  i n stit u t io n s  wo rld wi d e .   Th is  st u d y   in tro d u c e s  a   n o v e l  b i d irec ti o n a l  e n c o d e r   re p re se n tatio n   fr o m   tran sf o rm e rs  (BERT ) – l o n g   sh o rt - term   m e m o ry   (LS TM )   h y b rid   m o d e l   th a t   in teg ra tes   b o th   te x tu a l   a n d   n u m e rica l  d a ta  t o   e n h a n c e   c re d it   c a rd   fra u d   d e tec ti o n .   Lev e ra g in g   BERT   f o r  d e e p   c o n tex t u a l  e m b e d d in g s  a n d   LS T M   f o r   se q u e n c e   a n a ly sis,   th e   m o d e l   p r o v i d e s  a   c o m p re h e n siv e   a p p r o a c h   t h a t  s u rp a ss e s  trad it io n a l  fra u d   d e tec ti o n   sy ste m s  p rima ril y   b a se d   o n   n u m e rica l  a n a ly sis.  O n   th e   v a li d a ti o n   se t,   t h e   m o d e l   a c h iev e d   a   re c a ll   o f   1 0 0 %   a n d   a n   a c c u ra c y   o f   9 9 . 1 1 % ,   h ig h li g h ti n g   stro n g   e ffe c ti v e n e ss   in   i d e n ti f y in g   fra u d u l e n t  tran sa c ti o n s  u n d e r  c las s  i m b a lan c e .   Th ro u g h   rig o ro u s  e v a lu a ti o n ,   th e   m o d e l  d e m o n stra ted   e x c e p ti o n a l   a c c u ra c y   a n d   re li a b i li ty ,   p r o m isin g   imp r o v e m e n ts  in   fra u d   d e tec ti o n   a n d   m it ig a ti o n .   Th is  p a p e r  d e tails  t h e   d e v e l o p m e n t  a n d   v a li d a ti o n   o f  t h e   h y b rid   m o d e l,   e m p h a siz in g   it s  u se   o f   m ix e d   d a ta  ty p e s  to   c a p tu re   c o m p lex   p a tt e rn s  in   tran sa c ti o n   d a ta.   Th e   re su lt s   in d ica te  a   n e w  fr o n t ier  i n   fra u d   d e t e c ti o n   b y   c o m b in i n g   n a t u ra l  lan g u a g e   p r o c e ss in g   (NLP )  a n d   se q u e n ti a l  d a t a   a n a ly sis  to   c re a te  a   ro b u st  so l u ti o n   fo r   r eal - wo rld   a p p l ica ti o n s,  s u p p o rti n g   t h e   se c u rit y   a n d   in teg rit y   o f   fin a n c ial  sy ste m s g lo b a ll y .   K ey w o r d s :   B E R T - L STM   h y b r id   C r ed it c ar d   f r au d   d etec tio n   Fin an cial  s ec u r ity   Hy b r id   m o d els   Natu r al  lan g u ag e   p r o ce s s in g   Seq u en ce   an aly s is   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ou s s am a  Nd am a   DSAI 2 S R esear ch   T ea m ,   C 3 S   L ab o r ato r y ,   Facu lty   o f   Scien c es a n d   T ec h n i q u es o f   T a n g ier   Ab d elm alek   E s s aâ d i U n iv er s ity   T eto u an ,   M o r o cc o   E m ail: o u s s am a. n d am a@ etu . u ae . ac . m a       1.   I NT RO D UCT I O N   As  th e  d ig ital  ag e  p r o g r ess es,  cr ed it  ca r d   t r an s ac tio n s   h av e  in cr ea s in g ly   b ec o m e  ce n tr a l  to   d aily   co m m er ce ,   p r o m o tin g   co n v e n ien ce   an d   ef f icien cy   ac r o s s   g lo b al   m ar k ets.  W ith   m illi o n s   o f   tr an s ac tio n s   o cc u r r in g   ev er y   m in u te,   th e  f in an cial  ec o s y s tem   h ea v ily   d ep en d s   o n   th e  tr u s t  an d   s ec u r ity   ass o ciate d   wi th   th ese  in ter ac tio n s   [ 1 ] .  Ho we v er ,   th is   s u r g e  in   o n lin e   tr a n s ac tio n s   h as  also   led   t o   a   m ar k ed   in cr ea s e  in   f r au d u le n t  ac tiv ities .   C r ed it  ca r d   f r au d   n o t  o n ly   in f licts   s u b s tan tial  f in a n cial  lo s s es  o n   co n s u m er s   an d   f in an cial  in s titu tio n s   b u t  also   er o d es  tr u s t  in   th e  p ay m en t  s y s tem ,   p r esen tin g   a  f o r m id ab le  th r ea t  to   th e  g lo b al  ec o n o m y   [ 2 ] .  Dete ctin g   f r au d u len t  tr an s ac tio n s   is   a   co m p l ex   an d   ch allen g in g   task   d u e  t o   th e   d y n am ic  a n d   ev o lv in g   n atu r e  o f   f r au d   s tr ateg ies  [ 3 ] .  Fra u d s ter s   co n tin u o u s ly   ad ap t  an d   em p l o y   s o p h is ti ca ted   tech n iq u es  to   b y p ass   tr ad itio n al  s ec u r ity   m ea s u r es   [ 4 ] ,   [ 5 ] .   C o n s eq u e n tly ,   th er e  is   a  p r ess in g   n ee d   f o r   ad v a n ce d   an d   ad ap tiv e   f r a u d   d etec tio n   s y s tem s   th at  ca n   ef f ec tiv ely   id en tif y   an d   m itig ate  f r au d u len t a ctiv ities   in   r ea l - tim e.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r y  h yb r id   mo d el  fo r   effe ctive   cred it c a r d   …   ( Ou s s a ma   N d a ma )   789   R ec e n t  a d v a n ce m e n ts   i n   m a ch i n e  l ea r n in g   ( M L )   a n d   ar tifi ci al  i n t ell ig e n ce   ( AI )   h a v e  o p en e d     n ew   av e n u es   f o r   d e v el o p i s n g   s o p h is t ica te d   m o d e ls   ca p a b le   o f   i d e n ti f y i n g   s u b tl e   p att er n s   a n d   a n o m a lies   in d ic ati v e  o f   f r a u d .   T h ese   m o d els   l e v e r a g e   v as t  am o u n ts   o f   t r a n s a cti o n al   d a ta   t o   le ar n   a n d   p r e d i ct   f r au d u l en t   b e h a v i o r   w it h   h i g h   ac c u r ac y .   Ho w ev er ,   th e  a v ail ab ilit y   a n d   q u ali ty   o f   r e al  tr an s ac ti o n al  d a ta  f o r   tr ai n i n g   t h ese   m o d els  a r e   o f t en   li m it ed   d u e   to   p r i v a cy   c o n ce r n s ,   r eg u l at o r y   r es tr ict io n s ,   a n d   t h e  in h e r e n t  s en s iti v it y   o f   f i n a n c ial   d at a  [ 6 ] ,   [ 7 ] .   T o   ad d r ess   th ese  lim itatio n s ,   r esear ch er s   h av e  tu r n e d   to   s im u lated   d atasets ,   wh ich   ca n   m im ic  th e  co m p lex ity   an d   v a r iab ilit y   o f   r ea l - wo r ld   d ata  with o u t  co m p r o m is in g   in d iv i d u al  p r iv ac y .   Simu lated   d ataset s   p r o v id e   a  co n tr o lled   e n v ir o n m en t  to   test   an d   v alid ate  ML   m o d els,  o f f e r in g   v alu ab le  i n s ig h ts   an d   en ab lin g   th e   d ev elo p m e n t  o f   m o r e  r o b u s t  f r au d   d etec tio n   s y s tem s .   I n   th is   s tu d y ,   a  s im u lated   cr e d it - ca r d   tr an s ac tio n   d ataset  p r o d u ce d   b y   th e   Sp ar k o v   d ata   g en e r atio n   to o l   is   em p lo y ed   [ 8 ] .  A  h y b r i d   f r au d - d etec tio n   m o d el  is   p r o p o s ed   th at  co u p les  b id ir ec tio n al  en c o d er   r ep r esen tatio n   f r o m   tr an s f o r m er s   ( B E R T )   f o r   n atu r al  la n g u ag e  p r o ce s s in g   ( NL P)  with   lo n g   s h o r t - ter m   m em o r y   ( L STM )   n etwo r k s   f o r   s eq u e n ce   m o d elin g .   B E R T   is   u s ed   to   en co d e   tex tu al  f ield s ,   s p ec if ically   m e r ch an t  n am es  a n d   tr a n s ac tio n   c ateg o r ies,  ca p tu r i n g   r ich   co n te x tu al  r elatio n s h ip s   [ 9 ] ,   [ 1 0 ] ,  wh ile  L STM   ca p tu r es  tem p o r al   d ep e n d en cies  p r esen t  in   tr a n s ac tio n   s eq u e n ce s   [ 1 1 ] ,   [ 1 2 ] .  B y   in teg r atin g   th ese  c o m p o n en ts ,   th e  m o d el  lev er a g es  co m p le m en tar y   tex t u al  an d   s eq u en ti al  s ig n als  to   b etter   d etec t c o m p lex   f r au d   p atter n s   an d   cu r b   f alse p o s itiv es.   T h e  p u r p o s e  o f   th is   p ap er   is   to   p r esen t  th e  d ev elo p m en t,   im p lem en tatio n ,   a n d   v alid atio n   o f   o u r   h y b r id   B E R T - L STM   m o d el  f o r   f r a u d   d etec tio n .   T h e   m o d e l's   ef f ec tiv en ess   will  b e  d em o n s tr ated   u s in g   th e   s im u lated   d ataset,   s h o wca s in g   its   p o ten tial  to   s ig n if ican tly   im p r o v e  f r au d   d etec tio n   r ate s .   Ad d itio n ally ,   th e  im p licatio n s   o f   o u r   f in d in g s ,   t h e  s tr en g th s   a n d   lim itatio n s   o f   o u r   ap p r o ac h ,   a n d   p o ten tial  av en u es  f o r   f u tu r e   r esear ch   in   th is   cr itical  d o m ai n   will b e  d is cu s s ed .       2.   RE L AT E D  WO RK S   2 . 1 .     T ra ditio na l  m a chine le a rning   a nd   im ba la nce  ha nd li ng   Ad d r ess in g   im b ala n ce   r e m ain s   ce n tr al  to   f r a u d   d etec tio n .   B r esk u v ien ė  an d   Dze m y d a   [ 1 3 ]   p r o p o s e  f ea tu r e  im p o r tan ce – d r iv e n   ( F I D)   s elf - o r g an izin g   m ap s   ( S OM ) ,   a  SOM - b ased   f ea t u r e  s elec tio n   tailo r ed   to   s k ewe d   d ata,   alig n in g   well  wi th   m o d er n   tr ee /b o o s tin g   p ip eli n es.  C h u n g   an d   L ee   [ 1 4 ]   em p h asize  r ec all  v ia  a   lig h tweig h t  k - n ea r est  n eig h b o r s   ( KNN) ,   lin ea r   d is cr im in a n t   an aly s is   ( L DA) - lin ea r   r e g r es s io n   en s em b le  with   s im p le  r u le   lo g ic   to   f av o r   m i n o r ity   d etec tio n .   Af r iy ie   et  a l .   [ 1 5 ]   r ea f f ir m   th e   p r ac ticality   o f   class ical  b aselin es   u n d er   u n d e r s am p lin g ,   n o tab l y   r an d o m   f o r est.  Ou r   wo r k   co m p lem en ts   th ese  d ir ec tio n s   b y   in tr o d u cin g   a   u n if ied   tex t – n u m e r ic  f u s io n   ( B E R T   em b ed d in g s   p lu s   am o u n t)   with in   a  s in g le  en d - to - e n d   m o d el.     2 . 2 .     Dee p sequ ence   m o dels   S e q u e n c e - a w a r e   m e t h o d s   c a p t u r e   t e m p o r a l   r e g u l a r i t i e s   i n   t r a n s a c t i o n   s t r e a m s .   F o r o u g h   a n d   M o m t a z i   [ 1 6 ]   ca s t  f r au d   d etec tio n   as  s eq u e n ce   lab elin g   v ia  L STM   co n d i tio n al  r an d o m   f ield   ( CRF )   s tack ,   o u tp e r f o r m in g   L STM ,   g ated   r ec u r r en t  u n it  ( GR U) ,   an d   ar tific ial  n eu r al  n etwo r k   ( ANN)   b aselin es  an d   in tr o d u cin g   a   s eq u en ce - awa r e  u n d er s am p li n g   m eth o d   ( Seq - US)   th at  p r eser v es  p r e - f r a u d   co n tex t.   C o m p lem en tar ily ,   B o u lier is   et  a l.   [ 1 7 ]   in teg r at e  ex p lain ab le  A I   with   L ST M  ar ch itectu r es  to   e n h an ce   tr an s p ar en cy ,   wh ile   Mie n y e  an d   J er e   [ 1 8 ]   s u r v e y   co n v o l u tio n al  n e u r al  n etwo r k   ( C NN ) ,   r ec u r r en t  n eu r al  n etwo r k   ( R NN) ,   L STM ,   an d   GR U  ad v an ce s   t h at  m o d el  co m p le x   s eq u e n tial  p atter n s .   E x ten d in g   b ey o n d   p u r el y   s eq u en tial  v iews,   C h er if   et  a l.   [ 1 9 ]   em p lo y   a n   en co d er – d ec o d er   g r a p h   n e u r al  n etwo r k   o n   lar g e  Sp ar k o v   d ata  to   ex p lo it   cu s to m er – m er c h an t  r elatio n s ,   u s in g   a  g r ap h   co n v er ter   an d   b atch   n o r m aliza tio n   to   s ta b ilize  tr ain in g   an d   r ep o r tin g   g ain s   in   p r ec is io n ,   r ec all,   F1 - s co r e ,   an d   r ec eiv er   o p er atin g   ch ar ac ter is tic  ( R OC ) ;  th ey   f u r th er   u n d er s co r e   g eo s p atial  m er c h a n t – cu s to m er   d is tan ce   as a n   in f o r m ativ e  s ig n al  f o r   f r au d .     2 . 3 .    T ra ns f o rm er - ba s ed  a nd   hy brid m o dels     R ec en t  wo r k   co m b in es  tr an s f o r m er   r ep r esen tatio n s   with   o t h er   lear n e r s .   I leb er i   an d   Su n   [ 2 0 ]   p r esen t  a  s tack in g   en s em b le  ( C NN,   L STM ,   T r an s f o r m er )   with   an   e x tr em e  g r ad ie n t b o o s tin g   ( XG B o o s t )   m eta - lear n er ,   ac h iev in g   h i g h   s en s itiv ity ,   s p ec if icity ,   an d   ar ea   u n d er   t h e  cu r v e  ( AUC )   o n   E u r o p ea n   an d   T aiwa n   d atasets .   Hew ap ath ir an a  et  a l.  [ 2 1 ]   i n v esti g ate  T ab B E R T   f o r   tr a n s ac tio n al  d ep e n d en cies,  a n d   N L P - ce n tr ic  lin es  b y   [ 2 2 ] ,   [ 2 3 ]   lev er a g e  lan g u ag e  t ec h n o lo g ies ( in clu d in g   ch atb o ts )   to   d etec t o r   m itig ate  f r au d .   Mo s t  h y b r id   s y s tem s   ar e  c o m p u te - h ea v y   an d   eith er   c o n v er t  tex t  f ield s   in to   p u r el y   n u m er ic  s u r r o g ates  o r   f u s e  m o d alities   o n ly   at  t h e  s co r e  lev el.   Ou r   n o v elty   is   a  s in g le - b r an c h ,   r ep r esen tatio n - lev el   f u s io n   th at  p r eser v es  th e  NL P   s ig n al  b y   u s in g   co n tex tu al  B E R T   em b ed d in g s   o f   m e r ch an t   an d   ca teg o r y ,   an d   in teg r ates  th is   with   th e  n u m er ic  am o u n t  in   o n e  e n d - to - en d   ( B E R T →f u s io n →L STM )   ar ch itectu r e  r ath er   th a n   f latten in g   ev er y t h in g   in to   n u m er ic .   T h is   p r eser v es  m o d alit y - s p ec if ic  in f o r m atio n   an d   a v o id s   h ea v y   s tack in g ,   wh ich   d is tin g u is h es o u r   a p p r o ac h   f r o m   p r io r   wo r k   th at  h o m o g en izes a ll in p u ts   in to   n u m er ic  v ec to r s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   1 ,  Feb r u ar y   2 0 2 6 :   788 - 7 9 7   790   3.   M E T H O D   T h is   s ec tio n   d etails  th e  d ata  s o u r ce s ,   p r ep r o ce s s in g   s tep s ,   an d   th e  m eth o d o l o g ies  em p lo y ed   in   d ev elo p in g   th e  cr ed it  ca r d   f r au d   d etec tio n   m o d el.   T h e  d ataset  is   f ir s t  d escr ib e d ,   f o llo wed   b y   th e   p r ep r o ce s s in g   tech n iq u es  a p p l ied   to   p r e p ar e  th e   d ata  f o r   m o d elin g .   Su b s eq u en tly ,   t h e  im p lem en tatio n   d etails  ar e  o u tlin ed ,   in clu d in g   th e  al g o r ith m s   u s ed   a n d   th e  a r ch it ec tu r e  o f   p r o p o s ed   B E R T - L STM   h y b r i d   m o d el.   Fig u r e  1   illu s tr ates  th e  h y b r id   m o d el  ar ch itectu r e  d iag r am ,   wh ich   v is u ally   r ep r esen ts   all  th e  s tep s   f o llo wed   to   b u ild   th e  m o d el  an d   p r o v id es  a  f r am ewo r k   f o r   th e  d is cu s s io n s   in   th is   s ec tio n .           Fig u r e  1 .   T h e  ar ch itectu r e  d ia g r am   o f   th e  B E R T - L STM   h y b r id   m o d el  f o r   c r ed it c ar d   f r au d   d etec tio n       3 . 1 .     Da t a s et   T h e  d ataset  u s ed   in   th is   s tu d y   is   a  s im u lated   cr ed it  ca r d   tr an s ac tio n   d ataset  g en er ated   u s in g   th e   Sp ar k o v   Data   Gen er ati o n   t o o l .   I t  c o n tain s   tr a n s ac tio n s   f r o m   1 , 0 0 0   cu s to m er s   an d   8 0 0   m er ch an ts ,   s p a n n in g   th e  p er io d   f r o m   J an u ar y   1 ,   2 0 1 9   to   Dec em b er   3 1 ,   2 0 2 0   with   a  to tal  o f   1 , 2 9 6 , 6 7 5   r ec o r d s .   T h e  d ataset  in clu d es   b o th   leg itima te  an d   f r au d u len t  tr an s ac tio n s ,   with   f ea tu r e s   s u ch   as  tr an s ac tio n   am o u n t,  m er ch an t  n am e,   ca teg o r y ,   a n d   a  b in a r y   f r a u d   la b el  in d icatin g   wh eth er   a  tr a n s ac tio n   is   f r au d u len t,  t h e  f ea tu r es in   th e  d ataset  ar e  as p r esen ted   in   T ab le  1 .   T h is   d iv er s e  s et  o f   f ea tu r es   p r o v id es  a  r ich   co n te x t  f o r   ea ch   tr an s ac tio n ,   ca p tu r in g   n o t  o n l y   tr an s ac tio n al  d etails  b u t  also   d em o g r ap h ic  an d   s p atial  in f o r m atio n   ab o u t  b o th   ca r d h o ld e r s   an d   m er c h an ts .   B y   co m b in in g   tex tu al,   ca teg o r ica l,  an d   n u m er ic  attr ib u tes,  th e   d ataset  en ab les  in ter ac tio n s   th at  r ev ea l  s u b tle   p atter n s   ass o ciate d   with   f r au d .   T h is   r ich n ess   allo ws  f o r   co m p r eh en s iv e  a n aly s is   an d   m o r e  r o b u s t  m o d elin g   o f   f r au d u le n t b eh a v io r .       T ab le  1 .   Data s et  f ea tu r es   F e a t u r e   D e scri p t i o n   Ty p e   t r a n s _ d a t e _ t r a n s _ t i me   Th e   d a t e   a n d   t i m e   o f   t h e   t r a n sa c t i o n   o b j e c t   c c _ n u m   Th e   c r e d i t   c a r d   n u m b e r   u s e d   i n   t h e   t r a n sa c t i o n   i n t 6 4   merch a n t   Th e   n a me   o f   t h e   m e r c h a n t   w h e r e   t h e   t r a n sa c t i o n   o c c u r r e d   o b j e c t   c a t e g o r y   Th e   c a t e g o r y   o f   t h e   m e r c h a n t   o b j e c t   a mt   Th e   a m o u n t   o f   t h e   t r a n s a c t i o n   f l o a t 6 4   f i r st   Th e   f i r st   n a me   o f   t h e   c a r d h o l d e r   o b j e c t   l a st   Th e   l a st   n a me  o f   t h e   c a r d h o l d e r   o b j e c t   g e n d e r   Th e   g e n d e r   o f   t h e   c a r d h o l d e r   o b j e c t   st r e e t   Th e   st r e e t   a d d r e ss  o f   t h e   c a r d h o l d e r   o b j e c t   c i t y   Th e   c i t y   o f   t h e   c a r d h o l d e r   o b j e c t   st a t e   Th e   st a t e   o f   t h e   c a r d h o l d e r   o b j e c t   z i p   Th e   ZI P   c o d e   o f   t h e   c a r d h o l d e r   i n t 6 4   l a t   Th e   l a t i t u d e   o f   t h e   c a r d h o l d e r 's  l o c a t i o n   f l o a t 6 4   l o n g   Th e   l o n g i t u d e   o f   t h e   c a r d h o l d e r 's  l o c a t i o n   f l o a t 6 4   c i t y _ p o p   Th e   p o p u l a t i o n   o f   t h e   c i t y   w h e r e   t h e   c a r d h o l d e r   r e s i d e s   i n t 6 4   j o b   Th e   o c c u p a t i o n   o f   t h e   c a r d h o l d e r   o b j e c t   d o b   Th e   d a t e   o f   b i r t h   o f   t h e   c a r d h o l d e r   o b j e c t   t r a n s _ n u m   Th e   t r a n sa c t i o n   n u m b e r   o b j e c t   u n i x _ t i m e   Th e   t r a n sa c t i o n   t i me  i n   U n i x   t i me   f o r mat   i n t 6 4   merch _ l a t   Th e   l a t i t u d e   o f   t h e   merc h a n t 's  l o c a t i o n   f l o a t 6 4   merch _ l o n g   Th e   l o n g i t u d e   o f   t h e   mer c h a n t 's  l o c a t i o n   f l o a t 6 4   i s_ f r a u d   A   b i n a r y   l a b e l   i n d i c a t i n g   w h e t h e r   t h e   t r a n s a c t i o n   i s   f r a u d u l e n t   i n t 6 4   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r y  h yb r id   mo d el  fo r   effe ctive   cred it c a r d   …   ( Ou s s a ma   N d a ma )   791   3 . 2 .     P re pro ce s s ing   Data s et  p r ep r o ce s s in g   is   a  cr u cial  s tep   in   p r ep ar in g   t h e  d a ta  f o r   m o d el  tr ain i n g .   T h e  p r e p r o ce s s in g   s tep s   f o r   th is   s tu d y   in clu d e:   i)   Data   s am p lin g :  t h e  o r ig in al  d a taset  co n tain s   1 , 2 9 6 , 6 7 5   r ec o r d s ,   wh ich   ca n   b e  co m p u tatio n ally   in ten s iv e   to   p r o ce s s .   T o   b alan ce   c o m p u tatio n al  ef f icien cy   with   m o d el   p er f o r m an ce ,   a  r a n d o m   s am p le  o f   1 0 0 , 0 0 0   r ec o r d s   was  s elec ted   f o r   a n a ly s is .   T h is   s am p lin g   en s u r es  th at  th e  s u b s et  o f   d ata  r etai n s   th e  o v er all   ch ar ac ter is tics   an d   d is tr ib u tio n   o f   th e   en tire   d ataset,   f ac ilit atin g   ef f ec tiv e   m o d el  tr ain i n g   a n d   e v alu atio n .   Fro m   th is   s am p le d   d ata,   o n l y   th e   r elev a n t  co l u m n s   ' m er ch an t' ,   ' ca teg o r y ' ,   ' am t ' ,   an d   ' is _ f r au d '   wer e   s elec ted .   T h is   s tep   f o cu s ed   th e  an aly s is   o n   th e  f ea tu r es  d ir ec tly   p er tin e n t  to   d etec ti n g   f r a u d u len t   tr an s ac tio n s ,   s im p lify in g   th e  d ataset ,   an d   en h an ci n g   co m p u ta tio n al  ef f icien cy .   ii)   Han d lin g   m is s in g   v alu es :  a n y   m is s in g   v alu es  in   th e  d atase t   wer e  h an d led   u s in g   ap p r o p r i ate  im p u tatio n   tech n iq u es  to   m ain tain   d ata  in teg r ity   [ 2 4 ] .  T h is   s tep   en s u r es  th at  th e  d ataset  is   co m p lete   an d   s u itab le  f o r   m o d el  tr ain in g   with o u t in t r o d u cin g   b ias o r   in ac cu r ac ies.   iii)   Featu r e  en g i n ee r in g :  t o   en h a n ce   th e  m o d el' s   p er f o r m an ce ,   a d d itio n al  f ea tu r es  wer e   en g in e er ed   f r o m   th e   ex is tin g   d ata.   T h e  g o al  o f   f e atu r e  en g in ee r in g   is   to   cr ea te  n ew  in p u t  f ea tu r es  th at  ca n   im p r o v e  th e   p r ed ictiv e  p o wer   o f   th e   m o d el   [ 2 5 ] ,   [ 2 6 ] .   I n   th is   s tu d y ,   te x tu al  f ea tu r es  s u ch   as  ' m er ch an t'   an d   ' ca teg o r y '   wer e  co m b in ed   to   cr ea te  a  s in g le,   en r ich ed   tex tu al  in p u t.  T h is   co m b in ed   f ea tu r e  en ca p s u lates  th e   id en tity   o f   th e  m er ch a n t  an d   th e  ty p e  o f   tr an s ac tio n ,   p r o v id in g   a   r ich e r   co n tex t  f o r   t h e  m o d el.   B y   m er g in g   th ese  two   co lu m n s ,   we  aim   to   ca p tu r e   th e   r elatio n s h ip   b etwe en   wh er e   th e  tr a n s ac tio n   to o k   p lace   an d   wh at  k in d   o f   tr an s ac tio n   it  was,  wh ich   ca n   b e  cr u cial  f o r   id en tify in g   f r au d   p atter n s .   T h is   n ew   tex tu al  f ea tu r e  was th en   p r ep a r ed   f o r   f u r th er   p r o ce s s in g   an d   em b ed d in g .   iv )   T o k en izatio n   an d   em b e d d in g :  t h e  co m b in ed   tex tu al  f ea tu r e s   wer e  to k en ize d   an d   em b ed d ed   u s in g   th e   B E R T   to k en izer   an d   m o d el  [ 2 7 ] .  T o k en izatio n   is   th e  p r o ce s s   o f   co n v er tin g   tex t  in t o   s m aller   u n its   ca lle d   to k en s   [ 2 8 ] .  T h e   B E R T   to k en izer   b r ea k s   d o wn   th e   co m b in ed   tex tu al   in p u t   in to   to k e n s   a n d   m a p s   ea ch   to k en   t o   a   u n iq u e  n u m er ical   i d en tifie r ,   c r ea tin g   to k en   I Ds.  T h ese  to k en   I Ds  ar e   th en   f e d   in to   th e   B E R T   m o d el,   wh ich   g en er ates  n u m e r ical  em b ed d in g s   f o r   ea ch   to k en .   B E R T   em b ed d in g s   ar e   co n tex tu ally   r ic h   v ec to r   r ep r esen tatio n s   th at   ca p tu r e  th e   s em an tic  m ea n in g   a n d   r elatio n s h ip s   with in   th e   te x t  [ 2 9 ] .  T h is   p r o ce s s   tr an s f o r m s   th e  tex tu al  d ata  in to   a  f o r m at  th at  th e  m o d el  ca n   ef f ec tiv ely   u s e,   allo win g   it  to   u n d er s tan d   an d   le v er ag e  th e   c o n tex tu al  n u an ce s   o f   th e  in p u t   tex t.   v)   C o m b in in g   f ea tu r es :  th e   g e n er ated   te x t  em b ed d in g s   we r e  co m b in ed   with   th e   n u m er ical  f ea tu r e,   tr an s ac tio n   am o u n t  ( a m t) .   T h is   s tep   in teg r ates  th e  c o n te x tu ally   r ich   tex tu al  in f o r m at io n   with   th e   q u an titativ e  d ata,   f o r m in g   a  c o m p r eh e n s iv e  f ea tu r e  s et  f o r   ea ch   tr an s ac tio n .   T h e   co m b in atio n   o f   tex tu a l   an d   n u m er ical  d ata  allo ws  th e  m o d el  t o   co n s id er   b o th   th e   s em an tic  co n tex t   o f   th e  tr a n s ac tio n   an d   its   m o n etar y   v alu e.   B y   m e r g in g   th ese  d iv er s e  f ea tu r es,  th e  m o d el  g ain s   a  h o lis tic  v iew  o f   ea c h   tr an s ac tio n ,   en h an cin g   its   ab ilit y   to   id en tif y   f r au d u len t  ac tiv ities   b ased   o n   b o th   th e  n atu r e  o f   th e  tr an s ac tio n   an d   its   f in an cial  attr ib u tes.   v i)   C las s   im b alan ce   h an d li n g :  th e  d ataset  ex h ib ited   class   im b alan ce ,   with   f r a u d u len t   tr an s ac tio n s   b ein g   s ig n if ican tly   f ewe r   th an   leg itima te  o n es.  Fra u d u len t   r ec o r d s   r ep r esen t   ap p r o x im ately   0 . 6 0 %  o f   th e   en tir e   d ataset.   C lass   im b alan ce   ca n   n eg ativ ely   im p ac t  th e   m o d e l's   p er f o r m a n ce ,   as  it  m ay   b ec o m e  b iased   to war d s   th e  m aj o r ity   class   ( le g itima te  tr an s ac tio n s )   an d   f ail   to   d etec t   f r au d u len t   o n es.  T o   ad d r ess   th is   is s u e,   th e  s y n th etic  m in o r ity   o v er - s am p lin g   tec h n iq u e  ( SMOT E )   was  ap p lied .   SMO T E   g en er ate s   s y n th etic  s am p les  f o r   th e  m in o r ity   class   ( f r au d u len t  tr a n s ac tio n s )   b y   in ter p o latin g   b et wee n   ex is tin g   m in o r ity   class   s am p les  [ 3 0 ] .  T h is   tech n iq u e  e n s u r es  a  b al an ce d   r ep r esen tatio n   o f   b o t h   class es  d u r in g   m o d el  tr ain in g ,   en ab lin g   t h e  m o d el  to   lear n   an d   d etec t  f r au d u len t  tr an s ac tio n s   m o r e  ef f ec tiv ely   [ 3 1 ] .  B y   ad d r ess in g   class   im b alan ce ,   th e  m o d el' s   s en s i tiv ity   to   f r au d u le n t  ac tiv ities   is   im p r o v ed ,   an d   th e   lik elih o o d   o f   f alse n eg ativ es is   r ed u ce d .   T h ese  p r ep r o ce s s in g   s tep s   p r e p ar e  th e   d ataset  f o r   ef f e ctiv e  m o d el  tr ain i n g .   B y   co n s o lid ati n g   r ele v an t   f ea tu r es,  g en e r atin g   B E R T - r e ad y   tex t  em b ed d i n g s ,   an d   c o r r ec tin g   class   im b alan ce ,   th ey   im p r o v e  s ig n al   q u ality   an d   s tab ilit y .   C o n s eq u en tly ,   th e  m o d el  lear n s   m o r e  r o b u s tly   an d   d etec ts   f r a u d u le n t  tr an s ac tio n s   with   h ig h er   ac c u r ac y .     3 . 3 .     Det a ils   o f   im plem ent a t i o n   T h e  im p lem en tatio n   o f   o u r   B E R T - L STM   h y b r id   m o d el  f o r   cr ed it  ca r d   f r au d   d etec tio n   was  ca r r ied   o u t  o n   Go o g le  C o lab ,   u tili zin g   th e  p o wer f u l  NVI DI A  A1 0 0   g r ap h ics  p r o ce s s in g   u n it  ( GPU )   to   m ee t  th e   co m p u tatio n al  n ee d s   o f   d ee p   l ea r n in g .   Py t h o n   s er v ed   as  th e  p r im ar y   la n g u a g e,   s u p p o r ted   b y   lib r ar ies  s u ch   a s   Pan d as  an d   Nu m Py   f o r   d ata   p r o ce s s in g ,   Py T o r ch   f o r   m o d el   d ev elo p m en t,   an d   Hu g g in g   F ac e’ s   tr an s f o r m e r s   lib r ar y   f o r   e f f icien t  h a n d lin g   o f   tex t u al  d ata  with   B E R T .   Scik it - lear n   was  u s ed   f o r   d ata  s p litt in g   an d   ev alu atio n ,   w h ile  im b alan ce d - lear n   an d   SMOT E   ad d r ess ed   class   im b alan ce .   T h is   s etu p   en s u r e d   ef f icien t,   ef f ec tiv e  m o d el  d ev elo p m en t,  lev er ag in g   s tate - of - th e - ar t   to o l s   f o r   lar g e - s ca le  d ata  a n d   d ee p   lear n in g .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   1 ,  Feb r u ar y   2 0 2 6 :   788 - 7 9 7   792   3 . 4 .     Alg o rit hm s   T h e  d e v elo p m e n t  o f   t h e  cr e d i t  ca r d   f r au d   d etec tio n   m o d el   em p lo y ed   two   m ain   alg o r ith m s :  B E R T   an d   L STM .   E ac h   o f   th ese  al g o r ith m s   p la y s   a  cr itical  r o le  in   h a n d lin g   d if f e r en t  asp ec ts   o f   t h e  d ataset  an d   m o d elin g   c h allen g es.  B E R T   en co d es  co n te x tu al  s em an tics   f r o m   m er c h an t  a n d   ca teg o r y   te x t,  wh er ea s   L STM   ca p tu r es  tem p o r al  d ep en d en ci es  ac r o s s   tr an s ac tio n s ,   allo win g   th e   h y b r id   to   ad d r ess   co m p l em en tar y   f ac ets  o f   f r au d   d etec tio n .     3 . 4 . 1 .   B idi re ct io na l e nco der  re presenta t io ns   f ro m   t ra ns f o rm er s   T h e  B E R T ,   d ev el o p ed   b y   G o o g le,   is   a  g r o u n d b r ea k in g   m o d el  in   th e   f ield   o f   NL P.  I t  u s es  a   m ec h an is m   k n o wn   as  t r an s f o r m er s   to   u n d er s tan d   th e  co n te x t o f   a  wo r d   with in   a  tex t,  r ath er   th an   ju s t th e  wo r d   in   is o latio n   [ 3 2 ] .  T h is   ab ilit y   m ak es  B E R T   ex tr em ely   ef f ec tiv e  f o r   task s   th at  r ely   o n   th e   co n tex tu al  u s e  o f   wo r d s ,   s u ch   as  s en tim en t  an aly s is ,   n am ed   en tity   r ec o g n itio n ,   an d   in   o u r   ca s e,   p r o ce s s in g   an d   u n d er s tan d in g   tex tu al  d ata  r elate d   to   tr a n s ac tio n s   [ 3 3 ] .  I n   th is   p r o ject,   B E R T   was  u tili ze d   to   p r o ce s s   tex t u al  f ea tu r es  s u ch   as  m er ch an t  n a m es  an d   tr an s ac t io n   ca teg o r ies.  B y   tr an s f o r m i n g   th ese  tex tu al  in p u ts   in to   em b ed d e d   v ec to r s ,   B E R T   p r o v id ed   a   n u a n ce d   r ep r esen tatio n   o f   th e   tex t,   ca p tu r in g   s u b tle  m ea n i n g s   th at   co u l d   in d icate   f r a u d u le n t   ac tiv ity .   T h e   em b e d d in g s   g en er ated   b y   B E R T   s er v e   as  a   s o p h is ticated   in p u t   to   th e  s u b s eq u en t  s tag es  o f   th e   m o d el,   en h an cin g   its   ab ilit y   to   d is ce r n   p atter n s   in d icativ e  o f   f r au d .     3 . 4 . 2 .   L o ng   s ho rt - t er m m e mo ry   T h e  L STM   n etwo r k s   ar e   a  ty p e  o f   R N N   s p ec if ically   d esig n ed   to   h an d le   s eq u en ce   p r ed ictio n   p r o b lem s   [ 3 4 ] .  L STM s   ar e  ca p ab le  o f   lear n in g   lo n g - te r m   d e p en d en cies  in   s eq u en ce   d ata,   wh ich   is   cr u cial  f o r   ap p licatio n s   lik e  tim e - s er ies  an aly s is ,   s p ee ch   r ec o g n itio n ,   an d   im p o r tan tly ,   tr a n s ac tio n   s eq u en ce   an aly s is   [ 3 5 ] .  I n   th e  co n tex t  o f   cr e d it  ca r d   f r au d   d etec tio n ,   L STM   n etwo r k s   wer e  em p lo y ed   to   an aly ze   th e  s eq u en ce s   o f   tr an s ac tio n s ,   co n s id er in g   th e  tem p o r al  r elatio n s h ip s   an d   p atter n s   th at  em er g e  o v er   ti m e.   B y   in teg r atin g   L STM   with   B E R T   em b ed d in g s ,   th e  m o d el  c o u ld   e f f ec tiv ely   lev er ag e  b o th   th e   co n tex t u al  an d   s eq u e n tial   in f o r m atio n   in   th e  d ataset.   T h i s   in teg r atio n   allo ws  th e   L ST M  to   in ter p r et  th e   em b ed d ed   tex t  in   th e   co n te x t  o f   tr an s ac tio n   s eq u en ce s ,   en h a n c in g   its   ab ilit y   to   p r ed ict  f r au d u len t  tr a n s ac tio n s   b ased   o n   b eh av io r al   p atter n s   th at  u n f o ld   o v er   tim e.   T o g eth e r ,   B E R T   an d   L STM   f o r m   a  p o wer f u l c o m b in atio n   f o r   tack lin g   th e  co m p lex ities   o f   f r a u d   d etec tio n   in   tr a n s ac tio n   d ata.   B E R T ’ s   d ee p   u n d er s t an d in g   o f   tex tu al  c o n tex t,  c o u p led   with   L STM ’ s   p r o f icien c y   in   s eq u en ce   m o d elin g ,   p r o v id es  a   co m p r eh e n s iv e  ap p r o ac h   to   i d en tify in g   f r au d u len t   ac tiv ities   with   h ig h er   ac c u r ac y   a n d   ef f ic ien cy .       4.   T H E   P RO P O SE D  B E RT - L ST M   H YB R I D  M O D E L   I n   th is   s tu d y ,   a  h y b r id   m o d el   was  d ev elo p ed   th at  co m b in e s   th e  s tr en g th s   o f   B E R T   an d   L STM   to   en h an ce   c r ed it  ca r d   f r a u d   d etec tio n   ca p ab ilit ies.  T h is   s ec tio n   d etails  th e  m o d el  ar c h itectu r e  an d   th e  tr ai n in g   an d   v alid atio n   m eth o d o lo g ies   u s ed   to   co n s tr u ct  a n d   d e p lo y   th e  s y s tem   ef f ec tiv ely .   I t  also   h ig h lig h ts   th e   d esig n   ch o ices  th at  d is tin g u is h   o u r   a p p r o ac h ,   p r eser v in g   t o k en - lev el  B E R T   r ep r esen tatio n s   f o r   L STM - b ased   s eq u en ce   m o d elin g   an d   m itig a tin g   class   im b alan ce .     4 . 1 .     M o del  a rc hite ct ure   T h e  B E R T – L STM   h y b r id   m o d el  lev er ag es  B E R T   to   p r o d u ce   d ee p   co n te x tu al  em b ed d in g s   f r o m   tex tu al  in p u ts ,   wh ile  L STM   c ap tu r es  tem p o r al  d ep e n d en cie s   to   an aly ze   tr an s ac tio n   p atter n s   o v er   tim e.   T h ese  f u s io n   p r eser v es   to k e n - lev el   s em an tics   an d   s eq u en tial  d y n am ics,  en ab lin g   th e  d etec to r   to   ex p lo it  co m p lem en tar y   cu es  f o r   f r au d   id en tific atio n ,   esp ec ially   u n d er   class   im b alan ce .   At  a  h ig h   lev el,   th e  p ip elin e  p r o ce ed s   th r o u g h   tex t f ea t u r e  p r o ce s s in g ,   s eq u en ce   m o d elin g ,   an d   f in al  in teg r atio n   an d   cla s s if icatio n .     4 . 1 . 1 .   T ex t   f ea t ure  pro ce s s in g   Fo r   ea ch   tr an s ac tio n ,   th e  two   tex tu al  f ield s ,   m er ch an t  an d   ca teg o r y ,   ar e  c o n ca ten ated   i n to   a  s in g le  in p u t  s tr in g .   T h is   tex t  is   to k en ized   with   th e  s tan d ar d   B E R T   t o k en izer   an d   p ass ed   th r o u g h   th e  B E R T   en co d er .   T h e  [ C L S]  to k en   em b ed d i n g   is   u s ed   as   a  f ix ed - len g th   r ep r esen tatio n   o f   th e  tr an s ac ti o n   tex t,  ca p tu r in g   co n tex tu al  in f o r m atio n   ab o u t t h e  m er ch a n t a n d   t h e  p u r ch ase  ty p e  in   a  7 6 8 - d im en s io n al  v ec to r .     4 . 1 . 2 .   Sequ ence   m o delin g   T h e  [ C L S]  em b ed d i n g   is   co n ca ten ate d   with   t h e  tr an s ac tio n   am o u n t  ( am t) ,   y ield in g   a     769 - d im en s io n al  f ea tu r e  v ec t o r .   T h is   v ec to r   is   p r esen ted   to   an   L STM   lay er   as  a  s i n g le - s tep   s eq u en ce   ( s eq u en ce   len g t h =1 ) ,   w h ich   f u n ctio n s   as  a  g ated   p r o jectio n   th at  ca n   m o d el  n o n lin ea r   i n ter ac tio n s   b etwe en   tex tu al  co n tex t  a n d   a m o u n t.  Alth o u g h   n o   tem p o r al  s eq u e n ce   ac r o s s   to k en s   o r   tr an s ac tio n s   is   u s ed   in   t h e   cu r r en t  im p lem en tatio n ,   t h e  L STM ’ s   g atin g   s till   p r o v id e s   a  lear n ab le  tr an s f o r m atio n   th at  ca n   im p r o v e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r y  h yb r id   mo d el  fo r   effe ctive   cred it c a r d   …   ( Ou s s a ma   N d a ma )   793   s ep ar ab ilit y   r elativ e  to   a  p u r ely   lin ea r   h ea d .   T h is   s in g le - s tep   d esig n   is   ju s t if ied   b y   o u r   p er - tr a n s ac tio n   s cr ee n in g   o b jectiv e  an d   th e   a b s en ce   o f   r eliab le,   s ess io n - lev el  o r d er i n g   ac r o s s   tr an s ac tio n s ,   wh er e  f a b r icatin g   win d o ws  co u ld   i n tr o d u ce   s p u r io u s   d y n am ics.  I t  also   k ee p s   laten cy   an d   p ar am eter   co u n t   lo w,   wh ich   h elp s   cu r b   o v er f itti n g   u n d er   class   im b alan ce ,   wh ile  leav in g   a   clea r   p ath   to   m u lti - s tep   s eq u en ce s   wh en   co n s is ten t  in ter - tr an s ac tio n   o r d er in g   b ec o m es a v ailab le.     4 . 1 . 3 .   I nte g ra t io n a nd   o utput   T h e  L STM   o u tp u ts   a   co m p a ct  r ep r esen tatio n   th at  in te g r a tes  co n tex tu al  m ea n in g   with   tem p o r al   s tr u ctu r e,   wh ich   is   s u b s eq u en t ly   f ed   to   a   f u lly   co n n ec ted   cl ass if icatio n   h ea d .   A  s ig m o id   ac tiv atio n   m ap s   th e   o u tp u t  to   a   p r o b ab ilit y   o f   f r au d ,   en a b lin g   th r esh o ld - b ase d   d ec is io n   m ak in g   alig n e d   w ith   o p er atio n al  r is k   p r ef er en ce s .   T h is   en d - to - en d   d esig n   allo ws  th e  m o d el  to   co m b in e  n u an ce d   tex t  u n d er s tan d i n g   with   s eq u en tial  p atter n   r ec o g n itio n   i n   a  s in g le  tr ain ab le  p ip elin e.     4 . 2 .     M o del  co ns t ruct io n a nd   t ra ini ng   m et ho do lo g ies   C o n s tr u ctin g   an d   tr ai n in g   th e   B E R T – L STM   h y b r id   m o d el  i n v o lv e d   p r ag m atic   ch o ices  to   m ax im ize  p er f o r m an ce   u n d er   class   im b alan ce   wh ile  p r eser v in g   g e n e r aliza tio n .   A  p r e - tr ain e d   B E R T - b ase - u n ca s ed   is   f in e - tu n e d   to   o b tain   d o m ain - s p ec if ic  tex t   em b ed d in g s   an d   m o d el  t o k en - le v el  s eq u e n ce s   with   an   L STM .   An   im b alan ce - awa r e  o b jectiv e  an d   a  h eld - o u t v alid atio n   s p lit g u id e  iter ativ e  r ef in em e n ts   an d   e ar ly   s to p p in g .     4 . 2 . 1 .   P re - t r a ini ng ,   f ine - t un ing   a nd   s eque ntia l da t a   ha nd lin g   B E R T   is   in itia lized   with   p u b licly   av ailab le  p r e - tr ain ed   weig h ts   to   en co d e   s tr o n g   le x ical  an d   s em an tic  p r io r s .   I t  is   th en   f in e - tu n ed   o n   tr an s ac tio n   te x t  ( m er ch an t+c ateg o r y )   s o   t h e  e m b ed d in g s   ad ap t  to   d o m ain - s p ec if ic,   f r au d - r elev a n t  r eg u lar ities .   T h is   two - s tag e  tr an s f er   ac ce ler ates  co n v er g e n ce ,   ad d s   m in im al  ex tr a  p ar am eter s ,   a n d   y ield s   m o r e  d is cr im in ativ e  r e p r esen tatio n s   f o r   f r au d   cu es.   T h e  L STM   lay er   is   tr ain ed   o n   th e  to k e n - lev el  em b ed d in g s   to   m o d el  tem p o r al  d e p en d e n cies  with in   ea ch   tex tu al  s eq u en ce .   B y   le ar n in g   h o w  m ea n in g   u n f o ld s   ac r o s s   to k en s ,   th e  n etwo r k   e x p o s es  b eh av io r ally   r elev an t  s ig n als  th at   s tatic  p o o lin g   m i g h t  o v er lo o k .   T h is   s eq u en tial  tr ea tm e n t  co m p lem en ts   th e  co n tex tu al   p o wer   o f   B E R T   an d   s u p p o r ts   h ig h er   r ec all  o n   m i n o r ity   f r au d   ca s es.     4 . 2 . 2 .   H y perpa ra m et er s   a nd   t ra ini ng   s et t ing s   Fo r   th e  h y b r id   m o d el,   b er t - b ase - u n ca s ed   is   u s ed   as  a  f r o ze n   tex t  en c o d er ,   with   to k en izatio n   co n f ig u r ed   f o r   p ad d in g   an d   tr u n ca tio n   at  t h e  d ef a u lt  m ax im u m   len g th .   T h e   f u s ed   r ep r esen tatio n   co n ca ten ates   th e  B E R T   [ C L S]  v ec to r   ( 7 6 8   d im en s io n s )   with   th e  n u m er i c  am o u n t  to   f o r m   a  7 6 9 - d im e n s io n al  in p u t.  T h e   class if ier   h ea d   is   a  s in g le - lay er   L STM   with   h id d en   s ize  2 5 6 ,   b atch _ f ir s t=T r u e,   u n id ir ec tio n al,   an d   d r o p o u t  s et  to   0 ,   f o llo wed   b y   a  s ig m o id   o u tp u t.  Op tim izatio n   u s es  Ad am   with   a   lear n in g   r ate  o f   0 . 0 0 1   an d   b in a r y     cr o s s - en tr o p y   lo s s .   T r ain in g   u s es  f u ll - b atch   u p d ates  ( b atch   s ize  eq u al  to   t h e  n u m b er   o f   tr ai n in g   ex a m p les)  f o r   5 0 0   e p o ch s ,   a n d   e v alu atio n   is   p er f o r m e d   o n   an   8 0 /2 0   r an d o m   t r ain - v alid atio n   s p lit.   T o   ad d r ess   class   im b alan ce ,   SMOT E   is   ap p lie d   to   th e  co m b in ed   f ea t u r e  m atr ix   b ef o r e  th e  s p lit.  Un less   o th er wis e  n o ted ,   m etr ics ar e  co m p u te d   at  a  d ec i s io n   th r esh o ld   o f   0 . 5 .     4 . 2 . 3 .   Va lid a t io n a nd   it er a t iv e  im pro v e m ent   Mo d el  d e v elo p m e n t  f o llo ws  a  h eld - o u t  v alid atio n   s ch em e   to   ass ess   g en er aliza tio n   t o   u n s ee n   d ata   an d   g u id e  ea r ly   s to p p i n g .   Sta n d ar d   m et r ics  s u ch   as  ac cu r ac y ,   p r ec is io n ,   r ec all,   a n d   F1 - s co r e  ar e  m o n ito r ed ,   an d   h y p er p ar am eter s   an d   ar ch itectu r al  d etails  ar e  ad j u s ted   in   r esp o n s e  to   v alid atio n   tr en d s .   I ter ativ e   r ef in em en ts   f o cu s   o n   s tab iliz in g   tr ain in g ,   i m p r o v in g   m in o r ity - class   s en s itiv ity ,   an d   e n s u r in g   th e  p ip elin e   r em ain s   r o b u s t u n d er   class   im b alan ce .       5.   RE SU L T S AN D  D I SCU SS I O N   T h e  B E R T - L STM   h y b r id   m o d el  s h o wca s ed   o u ts tan d i n g   p er f o r m a n ce   o n   th e  v alid atio n   s et,   ac h iev in g   an   ac c u r ac y   o f   9 9 . 1 1 %.  T h is   h ig h   lev el   o f   ac cu r a cy   h ig h lig h ts   th e  m o d el' s   r o b u s t  ab ilit y   to   class if y   tr an s ac tio n s   ef f ec tiv ely .   Pre ci s io n   was  n o tab l y   h i g h   at  9 8 . 2 7 %,  wh ile  th e   m o d el  ac h ie v e d   a  p er f ec t   r ec all  o f   1 0 0 %,  in d icatin g   its   s u cc ess   in   id en tify in g   all  f r a u d u len t   tr an s ac tio n s   with in   th e  d ataset.   T h e  F1 - s co r e,   b alan cin g   p r ec is io n   an d   r ec all ,   s to o d   im p r ess iv ely   at  9 9 . 1 3 %.  T h e  f o llo win g   is   a  co n cise  s u m m ar y   o f   th e  k ey   p er f o r m an ce   m etr ics,  as illu s tr ated   in   T ab le  2 .   T h e  m o d el  also   m ain tain ed   a  l o w  v alid atio n   lo s s   o f   0 . 0 3 7 5 ,   f u r th er   v alid atin g   its   ef f icien cy   in   f r au d   d etec tio n .   T h is   b len d   o f   h i g h   p r ec is io n ,   r ec all,   an d   ac cu r ac y   u n d er s co r es  th e  m o d el’ s   ca p ab ilit ies  in   ef f ec tiv ely   d etec tin g   f r au d ,   p o s itio n in g   it  as  a  p o ten t  to o l  in   f in an cial  s ec u r ity   s y s tem s .   T h e  class if icatio n   r ep o r t  f u r th e r   d etails  th ese  r esu lts   in   Fig u r e  2 ,   p r o v i d in g   a  c o m p r e h en s iv e  b r ea k d o wn   o f   th e  m o d el’ s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   1 ,  Feb r u ar y   2 0 2 6 :   788 - 7 9 7   794   p er f o r m an ce   ac r o s s   d if f er e n t  class es.  T h i s   v is u aliza tio n   en h an ce s   u n d er s tan d in g   o f   th e  m o d el' s   p r ec is io n   an d   r ec all  b y   class ,   illu s tr atin g   its   b alan ce d   ef f ec tiv en ess   in   f r au d   d etec tio n .       T ab le  2 .   Per f o r m an ce   m etr ics o f   th e  B E R T - L STM   h y b r i d   m o d el   M o d e l   A c c u r a c y   A c c u r a c y   0 . 9 9 1 1   P r e c i s i o n   0 . 9 8 2 7   R e c a l l   F 1   sc o r e   1 . 0 0 0 0   0 . 9 9 1 3           Fig u r e  2 .   C lass if icatio n   r ep o r t  o f   th e  B E R T - L STM   h y b r i d   m o d el       T h e  B E R T - L STM   h y b r id   m o d el  ef f ec tiv ely   co m b in es  B E R T ' s   co n tex tu al  em b ed d in g s   wi th   L STM 's   s eq u en ce   an aly s is   ca p ab ilit ies,  o f f er in g   a  r o b u s t  ap p r o ac h   to   f r au d   d etec tio n .   T h i s   m o d el  n o t  o n ly   d em o n s tr ates  s tr o n g   s tatis tica l  p er f o r m a n ce   b u t  also   ex h i b its   a  d ee p   u n d er s tan d in g   o f   c o m p lex   tr an s ac tio n   p atter n s   ess en tial  f o r   id en tify in g   f r au d u len t  ac tiv ities .   I ts   h ig h   r ec all  r ate  is   c r u cial  in   a  f r au d   d etec tio n   co n tex t,  en s u r i n g   n o   f r a u d u len t  tr an s ac tio n   is   m is s ed ,   wh ich   co u ld   o th er wis e  h av e  s ev er e  f in an cial   im p licatio n s .   Ad d itio n ally ,   th e  m o d el’ s   im p r ess iv e  p r ec is io n   m in im izes  f alse  p o s itiv es,  th er eb y   p r eser v i n g   cu s to m er   tr u s t a n d   o p er atio n al   ef f icien cy .   Fo r   ex ter n al  co n tex t,   T ab le   3   co n tr asts   o u r   r esu lts   with   r ep r esen tativ e  ex is tin g   m et h o d s   e v alu ated   o n   th e  s am e  d ataset  f am ily .   R elat iv e  to   r an d o m   f o r est  b aselin es   [ 1 3 ] ,   [ 1 5 ] ,   a  lig h tweig h t  class ical  en s em b le  [ 1 4 ] ,   an d   an   en co d er - d ec o d er   GNN  [ 1 9 ] ,   th e  p r o p o s ed   B E R T - L STM   f u s io n   attain s   th e  h ig h est  F1 - s co r e   an d   r ec all   wh ile  p r eser v in g   s tr o n g   p r ec is io n .   T h ese  co m p ar is o n s   s u g g e s t th at  u n if y in g   tex tu al  m er ch a n t/categ o r y   s ig n als  with   n u m er ic  a m o u n t  in s id e  o n e  m o d el   ca n   b e  ad v an tag eo u s .   Pro to co ls   an d   r esam p lin g   s t r ateg ies  v ar y   ac r o s s   s tu d ies,  s o   th e  n u m b e r s   ar e  in d icativ e  r ath er   th a n   s tr ictly   co m p ar ab le.   Ho wev er ,   th e  m o d el  f ac es  ch allen g es,  p ar ticu lar ly   with   th e  ad ap tab ilit y   to   s o p h is ticated   o r   p r ev io u s ly   u n s ee n   f r au d   tactics  as  f r au d s ter s   co n tin u ally   ev o lv e  th eir   s tr ateg ies.  T o   en h a n ce   its   ad ap tab ilit y ,   f u tu r e  en h an ce m e n ts   co u ld   i n clu d e  d y n am ic  lear n i n g   an d   u p d atin g   m ec h an is m s   to   b et ter   r esp o n d   t o   n ew  f r au d   p atter n s .   Fu r th e r   r esear ch   m ig h t  also   ex p lo r e  in te g r atin g   ad d itio n al  d ata  ty p es   s u ch   as  cu s to m er   b eh av io r   o r   m ac r o ec o n o m ic  in d icato r s   to   b o o s t  th e  m o d el's  p r ed ictiv e  p o wer .   Dep lo y in g   th is   m o d el  in     r ea l - wo r ld   f in a n cial  s y s tem s   wo u ld   n ec ess itate  r o b u s t  in f r astru ctu r e  f o r   r ea l - tim e  a n a ly s is   an d   s ea m les s   in teg r atio n   with   ex is tin g   m o n i to r in g   f r am ewo r k s ,   alo n g s id e  en s u r in g   c o m p lian ce   with   s tr i n g en t  d ata  p r iv ac y   r eg u latio n s   an d   m ain tain in g   h i g h   d ata  s ec u r ity   s tan d ar d s .       T ab le  3 .   C o m p a r is o n   with   ex i s tin g   m eth o d s   ( Sp ar k o v   d ataset  f am ily )   M o d e l   A c c u r a c y   P r e c i s i o n   R e c a l l   F 1   sc o r e   O u r   mo d e l   ( B ER T - LST M )   0 . 9 9 1 1   0 . 9 8 2 7   1 . 0 0 0 0   0 . 9 9 1 3   R a n d o m F o r e s t   [ 1 3 ]   -   -   -   0 . 8 3 5 0   K N N ,   LD A ,   L R   [ 1 4 ]   R a n d o m  f o r e s t   [ 1 5 ]   -   0 . 9 6 0 0   -   0 . 0 9 0 0   0 . 9 7 0 1   0 . 9 7 0 0   -   0 . 1 7 0 0   En c o d e r - d e c o d e r   G N N   [ 1 9 ]   0 . 9 7 0 0   0 . 8 2 0 0   0 . 9 2 0 0   0 . 8 6 0 0       6.   CO NCLU SI O N   T h e  B E R T - L STM   h y b r id   m o d el  d ev elo p ed   in   th is   s tu d y   r ep r esen ts   a  s ig n if ican t  s tep   f o r war d   in   cr ed it  ca r d   f r au d   d etec tio n   b y   in teg r atin g   b o th   te x tu al  an d   n u m e r ical  d ata.   B y   co m b i n in g   B E R T ’ s   d ee p   co n tex tu al  em b e d d in g s   with   L STM ’ s   s eq u en ce   an aly s is ,   t h e  ap p r o ac h   o u t p er f o r m s   tr ad itio n al  m o d els  th at  o n ly   u s e  n u m er ical  f ea t u r es,  s ettin g   a  n ew  b en c h m ar k   f o r   h an d lin g   h eter o g en e o u s   d ata   in   f r a u d   d etec tio n .   Ho wev er ,   th e  s tu d y   is   lim ited   b y   its   r elian ce   o n   s y n th etic  d ata,   ab s en ce   o f   tr u e  tr an s ac tio n   s eq u en ce s ,   an d   a   n ar r o w  f ea tu r e  s et  ( m er ch an t,   ca teg o r y ,   am o u n t) .   T o   ad v a n ce   f u r th er ,   f u tu r e  wo r k   s h o u l d   test   th e  m o d el  o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r y  h yb r id   mo d el  fo r   effe ctive   cred it c a r d   …   ( Ou s s a ma   N d a ma )   795   r ea l  tr an s ac tio n   d ata  with   p r iv ac y   s af e g u ar d s ,   ap p ly   e x p lain ab le  AI   m eth o d s   lik e   S h ap ley   a d d itiv e  ex p lan atio n s   ( SHAP )   an d   lo c al  in ter p r etab le  m o d el - ag n o s tic  ex p lan atio n s   ( LIME )   f o r   d e cisi o n   au d itin g ,   an d   ex p er im en t   with   tr an s f o r m er - b ased   tab u lar   m o d els  ( e. g . ,   T ab T r an s f o r m er   a n d   FT - T r an s f o r m er )   f o r   r ich e r   in p u t  h an d lin g .   Ad d itio n ally ,   d ep lo y in g   a  r ea l - tim e  s tr ea m in g   p ip elin e  with   m o d el - d r if t  m o n ito r in g   will  b e  cr u cial  f o r   m ain tain i n g   r o b u s t   an d   co m p lia n t  p er f o r m an ce   as  f r au d   tactics  ev o lv e.   T h ese   d ir ec tio n s   ar e  k ey   f o r   tr an s latin g   t h e  ap p r o ac h   i n to   a  r eliab le  f r a u d   d etec tio n   s o lu tio n   in   r ea l - w o r ld   f i n an cial  s y s tem s .       F UNDING   I NF O R M A T I O N    Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .      Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ou s s am a  Nd am a   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   Saf ae   Nd am a   ✓   ✓         ✓         ✓           I s m ail  B en s as s i             ✓         ✓           E l M o k h tar   E n - Naim i     ✓     ✓     ✓         ✓     ✓   ✓       C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h e  d ataset  u s ed   in   th is   s tu d y   is   p u b licly   av ailab le  an d   o b tain ed   f r o m   a  well - estab lis h ed   r ep o s ito r y .   T h e  d ata  s u p p o r tin g   th e  cr ed it  ca r d   f r au d   d etec tio n   ( C C FD)   ex p er im en ts   ar e  o p en ly   av ail ab le  o n   GitHu b   at:  h ttp s ://g ith u b . co m /n a m eb r an d o n /Sp ar k o v _ Data _ Gen er ati o n .       RE F E R E NC E S   [ 1 ]   H .   M .   A l z o u b i ,   M .   T.   A l s h u r i d e h ,   B .   A .  K u r d i ,   K .   M .   K .   A l h y a sa t ,   a n d   T .   M .   G h a z a l ,   “ Th e   e f f e c t   o f   e - p a y me n t   a n d   o n l i n e   sh o p p i n g   o n   sal e s  g r o w t h :   e v i d e n c e   f r o m  b a n k i n g   i n d u st r y , ”   I n t e r n a t i o n a l   J o u rn a l   o f   D a t a   a n d   N e t w o r k   S c i e n c ,   v o l .   6 ,   n o .   4 ,     p p .   1 3 6 9 – 1 3 8 0 ,   2 0 2 2 ,   d o i :   1 0 . 5 2 6 7 / j . i j d n s. 2 0 2 2 . 5 . 0 1 4 .   [ 2 ]   M .   H .   U .   S h a r i f   a n d   M .   A .   M o h a m med ,   “ A   l i t e r a t u r e   r e v i e w   o f   f i n a n c i a l   l o ss e s  st a t i s t i c s  f o r   c y b e r   se c u r i t y   a n d   f u t u r e   t r e n d , ”   Wo r l d   J o u r n a l   o f   A d v a n c e d   Re s e a r c h   a n d   Re v i e w s ,   v o l .   1 5 ,   n o .   1 ,   p p .   1 3 8 – 1 5 6 ,   J u l .   2 0 2 2 ,   d o i :   1 0 . 3 0 5 7 4 / w j a r r . 2 0 2 2 . 1 5 . 1 . 0 5 7 3 .   [ 3 ]   O .   A .   B e l l o   a n d   K .   O l u f e m i ,   “ A r t i f i c i a l   i n t e l l i g e n c e   i n   f r a u d   p r e v e n t i o n :   e x p l o r i n g   t e c h n i q u e s   a n d   a p p l i c a t i o n s  c h a l l e n g e s  a n d  o p p o r t u n i t i e s, ”   C o m p u t e r   S c i e n c e   a n d   I n f o rm a t i o n   T e c h n o l o g y   Re s e a rc h   J o u r n a l ,   v o l .   5 ,   n o .   6 ,   p p .   1 5 0 5 – 1 5 2 0 ,   Ju n .   2 0 2 4 ,     d o i :   1 0 . 5 1 5 9 4 / c si t r j . v 5 i 6 . 1 2 5 2 .   [ 4 ]   S .   C h e r n i a v s k y i ,   V .   B a b a n i n a ,   I .   V a r t y l e t s k a ,   a n d   O .   M y k y t c h y k ,   “ P e c u l i a r i t i e s o f   t h e   e c o n o m i c   c r i mes   c o mm i t t e d   w i t h   t h e   u s e   o f   i n f o r mat i o n   t e c h n o l o g i e s, ”   Eu r o p e a n   J o u r n a l   o f   S u st a i n a b l e   D e v e l o p m e n t ,   v o l .   1 0 ,   n o .   1 ,   F e b .   2 0 2 1 ,     d o i :   1 0 . 1 4 2 0 7 / e j s d . 2 0 2 1 . v 1 0 n 1 p 4 2 0 .   [ 5 ]   J.  R o b i n s o n   a n d   M .   E d w a r d s ,   “ F r a u d st e r s  t a r g e t   t h e   e l d e r l y :   b e h a v i o u r a l   e v i d e n c e   f r o m  r a n d o mi s e d   c o n t r o l l e d   sca m - b a i t i n g   e x p e r i me n t s, ”   S e c u r i t y   J o u r n a l ,   v o l .   3 7 ,   n o .   4 ,   p p .   1 1 7 3 – 1 1 9 6 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 0 5 7 / s4 1 2 8 4 - 0 2 3 - 0 0 4 1 0 - 4.   [ 6 ]   S .   W a n g ,   M .   A s i f ,   M .   F .   S h a h z a d ,   a n d   M .   A sh f a q ,   “ D a t a   p r i v a c y   a n d   c y b e r sec u r i t y   c h a l l e n g e s   i n   t h e   d i g i t a l   t r a n sf o r mat i o n   o f   t h e   b a n k i n g   sec t o r , ”   C o m p u t e rs &   S e c u ri t y ,   v o l .   1 4 7 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c o s e . 2 0 2 4 . 1 0 4 0 5 1 .   [ 7 ]   M .   C a n a y a z ,   I .   K a n t o r o v i t c h ,   a n d   R .   M i h e t ,   “ C o n s u mer   p r i v a c y   a n d   v a l u e   o f   c o n s u m e r   d a t a , ”   S S R N   El e c t r o n i c   J o u rn a l ,   2 0 2 1 ,   d o i :   1 0 . 2 1 3 9 / s sr n . 3 9 8 6 5 6 2 .   [ 8 ]   B .  H a r r i s ,   “ G i t H u b   -   n a me b r a n d o n / sp a r k o v _ d a t a _ g e n e r a t i o n :   sy n t h e t i c   c r e d i t   c a r d   t r a n sa c t i o n   g e n e r a t o r   u s e d   i n   t h e   s p a r k o v   p r o g r a m , ”   G i t H u b .   A c c e sse d :   J u n .   2 6 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / g i t h u b . c o m/ n a m e b r a n d o n / S p a r k o v _ D a t a _ G e n e r a t i o n   [ 9 ]   S .   S i n g l a ,   P r i y a n sh u ,   A .   Th a k u r ,   A .   S w a mi ,   U .   S a w a r n ,   a n d   P .   S i n g l a ,   “ A d v a n c e me n t s   i n   n a t u r a l   l a n g u a g e   p r o c e ssi n g :   B E R T   a n d   t r a n sf o r mer - b a se d   m o d e l s  f o r   t e x t   u n d e r s t a n d i n g , ”   i n   2 0 2 4   S e c o n d   I n t e r n a t i o n a l   C o n f e re n c e   o n   Ad v a n c e d   C o m p u t i n g   &   C o m m u n i c a t i o n   T e c h n o l o g i e s (I C AC C T e c h ) ,   I EEE,   N o v .   2 0 2 4 ,   p p .   3 7 2 – 379 ,   d o i :   1 0 . 1 1 0 9 / I C A C C T e c h 6 5 0 8 4 . 2 0 2 4 . 0 0 0 6 8 .   [ 1 0 ]   A .   Tu r c h i n ,   S .   M a s h a r sk y ,   a n d   M .   Z i t n i k ,   “ C o mp a r i s o n   o f   B E R T  i mp l e m e n t a t i o n s  f o r   n a t u r a l   l a n g u a g e   p r o c e s si n g   o f   n a r r a t i v e   med i c a l   d o c u me n t s , ”   I n f o rm a t i c s  i n   Me d i c i n e   U n l o c k e d ,   v o l .   3 6 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i mu . 2 0 2 2 . 1 0 1 1 3 9 .   [ 1 1 ]   S .   N o s o u h i a n ,   F .   N o s o u h i a n ,   a n d   A .   K .  K h o s h o u e i ,   “ A   r e v i e w   o f   r e c u r r e n t   n e u r a l   n e t w o r k   a r c h i t e c t u r e   f o r   s e q u e n c e   l e a r n i n g :   c o m p a r i so n   b e t w e e n   LST M   a n d   G R U , ”   Pr e p r i n t s ,   2 0 2 1 ,   d o i :   1 0 . 2 0 9 4 4 / p r e p r i n t s 2 0 2 1 0 7 . 0 2 5 2 . v 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   1 ,  Feb r u ar y   2 0 2 6 :   788 - 7 9 7   796   [ 1 2 ]   Y .   C h e n   a n d   M .   D u ,   “ F i n a n c i a l   f r a u d   t r a n sa c t i o n   p r e d i c t i o n   a p p r o a c h   b a se d   o n   g l o b a l   e n h a n c e d   G C N   a n d   b i d i r e c t i o n a l   LST M , ”   C o m p u t a t i o n a l   Ec o n o m i c s ,   v o l .   6 6 ,   n o .   2 ,   p p .   1 7 4 7 – 1 7 6 6 ,   A u g .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 1 4 - 0 2 4 - 1 0 7 9 1 - 2.   [ 1 3 ]   D .   B r e s k u v i e n ė   a n d   G .   D z e my d a ,   “ En h a n c i n g   c r e d i t   c a r d   f r a u d   d e t e c t i o n :   h i g h l y   i m b a l a n c e d   d a t a   c a s e , ”   J o u rn a l   o f   B i g   D a t a ,    v o l .   1 1 ,   n o .   1 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 0 2 4 - 0 1 0 5 9 - 5.   [ 1 4 ]   J.  C h u n g   a n d   K .   Le e ,   “ C r e d i t   c a r d   f r a u d   d e t e c t i o n :   a n   i mp r o v e d   st r a t e g y   f o r   h i g h   r e c a l l   u s i n g   K N N ,   LD A ,   a n d   l i n e a r   r e g r e ssi o n , ”   S e n so rs ,   v o l .   2 3 ,   n o .   1 8 ,   S e p .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s2 3 1 8 7 7 8 8 .   [ 1 5 ]   J.  K .   A f r i y i e   e t   a l . ,   “ A   su p e r v i s e d   mac h i n e   l e a r n i n g   a l g o r i t h m   f o r   d e t e c t i n g   a n d   p r e d i c t i n g   f r a u d   i n   c r e d i t   c a r d   t r a n s a c t i o n s,”   D e c i s i o n   An a l y t i c s   J o u r n a l ,   v o l .   6 ,   M a r .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . d a j o u r . 2 0 2 3 . 1 0 0 1 6 3 .   [ 1 6 ]   J.  F o r o u g h   a n d   S .   M o mt a z i ,   “ S e q u e n t i a l   c r e d i t   c a r d   f r a u d   d e t e c t i o n :   a   j o i n t   d e e p   n e u r a l   n e t w o r k   a n d   p r o b a b i l i st i c   g r a p h i c a l   m o d e l   a p p r o a c h , ”   Ex p e rt   S y s t e m s ,   v o l .   3 9 ,   n o .   1 ,   Ja n .   2 0 2 2 ,   d o i :   1 0 . 1 1 1 1 / e x s y . 1 2 7 9 5 .   [ 1 7 ]   P .   B o u l i e r i s,   J.   P a v l o p o u l o s,   A .   X e n o s,  a n d   V .   V a ssa l o s ,   “ F r a u d   d e t e c t i o n   w i t h   n a t u r a l   l a n g u a g e   p r o c e ssi n g , ”   M a c h i n e   L e a rn i n g ,  v o l .   1 1 3 ,   n o .   8 ,   p p .   5 0 8 7 – 5 1 0 8 ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 0 9 9 4 - 0 2 3 - 0 6 3 5 4 - 5.   [ 1 8 ]   I .   D .   M i e n y e   a n d   N .   J e r e ,   “ D e e p   l e a r n i n g   f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n :   a   r e v i e w   o f   a l g o r i t h ms,  c h a l l e n g e s,  a n d   so l u t i o n s , ”   I EEE   Ac c e ss ,   v o l .   1 2 ,   p p .   9 6 8 9 3 – 9 6 9 1 0 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 4 . 3 4 2 6 9 5 5 .   [ 1 9 ]   A .   C h e r i f ,   H .   A mm a r ,   M .   K a l k a t a w i ,   S .   A l s h e h r i ,   a n d   A .   I mi n e ,   “ E n c o d e r – d e c o d e r   g r a p h   n e u r a l   n e t w o r k   f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n , ”   J o u rn a l   o f   K i n g   S a u d   U n i v e rs i t y – C o m p u t e r   a n d   I n f o r m a t i o n   S c i e n c e s ,   v o l .   3 6 ,   n o .   3 ,   M a r .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 2 4 . 1 0 2 0 0 3 .   [ 2 0 ]   E.   I l e b e r i   a n d   Y .   S u n ,   “ A   h y b r i d   d e e p   l e a r n i n g   e n se mb l e   mo d e l   f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n , ”   I EEE   Ac c e ss ,   v o l .   1 2 ,     p p .   1 7 5 8 2 9 – 1 7 5 8 3 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 4 . 3 5 0 2 5 4 2 .   [ 2 1 ]   I .   H e w a p a t h i r a n a ,   N .   K e k a y a n ,   a n d   D .   D i y a se n a ,   “ A   s y s t e m a t i c   i n v e st i g a t i o n   o n   t h e   e f f e c t i v e n e ss   o f   t h e   t a b b e r t   m o d e l   f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n , ”   i n   2 0 2 2   I n t e r n a t i o n a l   Re s e a r c h   C o n f e re n c e   o n   S m a rt   C o m p u t i n g   a n d   S y st e m s   E n g i n e e r i n g   ( S C S E) ,   I EEE,   S e p .   2 0 2 2 ,   p p .   9 6 – 1 0 1 ,   d o i :   1 0 . 1 1 0 9 / S C S E5 6 5 2 9 . 2 0 2 2 . 9 9 0 5 2 0 8 .   [ 2 2 ]   J.  R a v a l   e t   a l . ,   “ R a K S h A :   a   t r u s t e d   e x p l a i n a b l e   LST M   m o d e l   t o   c l a ssi f y   f r a u d   p a t t e r n s  o n   c r e d i t   c a r d   t r a n sa c t i o n s,”   M a t h e m a t i c s ,  v o l .   1 1 ,   n o .   8 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / m a t h 1 1 0 8 1 9 0 1 .   [ 2 3 ]   J. - W .   C h a n g ,   N .   Y e n ,   a n d   J.  C .   H u n g ,   “ D e si g n   o f   a   N LP - e m p o w e r e d   f i n a n c e   f r a u d   a w a r e n e ss  m o d e l :   t h e   a n t i - f r a u d   c h a t b o t   f o r   f r a u d   d e t e c t i o n   a n d   f r a u d   c l a ss i f i c a t i o n   a s  a n   i n st a n c e , ”   J o u rn a l   o f   Am b i e n t   I n t e l l i g e n c e   a n d   H u m a n i ze d   C o m p u t i n g ,   v o l .   1 3 ,     n o .   1 0 ,   p p .   4 6 6 3 – 4 6 7 9 ,   O c t .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s1 2 6 5 2 - 021 - 0 3 5 1 2 - 2.   [ 2 4 ]   Y .   H a n y f   a n d   H .   S i l k a n ,   “ A   me t h o d   f o r   mi ssi n g   v a l u e s  i m p u t a t i o n   o f   m a c h i n e   l e a r n i n g   d a t a se t s, ”   I AE S   I n t e r n a t i o n a l   J o u r n a l   o f   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 3 ,   n o .   1 ,   pp .  8 8 8 - 898 ,  M a r .   2 0 2 4 ,   d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 3 . i 1 . p p 8 8 8 - 8 9 8 .   [ 2 5 ]   T.   V e r d o n c k ,   B .   B a e s e n s ,   M .   Ó sk a r sd ó t t i r ,   a n d   S .   V .   B r o u c k e ,   “ S p e c i a l   i ss u e   o n   f e a t u r e   e n g i n e e r i n g   e d i t o r i a l , ”   M a c h i n e   L e a r n i n g ,   v o l .   1 1 3 ,   n o .   7 ,   p p .   3 9 1 7 – 3 9 2 8 ,   Ju l .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 9 9 4 - 0 2 1 - 0 6 0 4 2 - 2.   [ 2 6 ]   E.   K a t y a ,   “ E x p l o r i n g   f e a t u r e   e n g i n e e r i n g   s t r a t e g i e s   f o r   i m p r o v i n g   p r e d i c t i v e   m o d e l s  i n   d a t a   sc i e n c e , ”   R e se a rc h   J o u r n a l   o f   C o m p u t e r   S y st e m s E n g i n e e ri n g ,   v o l .   4 ,   n o .   2 ,   p p .   2 0 1 – 2 1 5 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 5 2 7 1 0 / r j c se. 8 8 .   [ 2 7 ]   F .   C .   S o u z a ,   R .   F .   N o g u e i r a ,   a n d   R .   A .   Lo t u f o ,   “ B ER T  mo d e l s  f o r   b r a z i l i a n   p o r t u g u e se :   p r e t r a i n i n g ,   e v a l u a t i o n   a n d   t o k e n i z a t i o n  a n a l y si s , ”   Ap p l i e d   S o f t   C o m p u t i n g ,   v o l .   1 4 9 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . a s o c . 2 0 2 3 . 1 1 0 9 0 1 .   [ 2 8 ]   A .   N a y a k ,   H .   T i mm a p a t h i n i ,   K .   P o n n a l a g u ,   a n d   V .   G .  V e n k o p a r a o ,   “ D o m a i n   a d a p t a t i o n   c h a l l e n g e s   o f   B E R T   i n   t o k e n i z a t i o n   a n d   su b - w o r d   r e p r e se n t a t i o n s   o f   O u t - of - V o c a b u l a r y   w o r d s,”   i n   F i rst   Wo r k sh o p   o n   I n si g h t s   f r o m   N e g a t i v e   Re su l t s   i n   N L P ,  S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,  2 0 2 0 ,   p p .   1 – 5 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . i n s i g h t s - 1 . 1 .   [ 2 9 ]   G .   P u c c e t t i ,   A .   M i a s c h i ,   a n d   F .   D e l l ’ O r l e t t a ,   “ H o w   d o   B E R T   e m b e d d i n g s   o r g a n i z e   l i n g u i s t i c   k n o w l e d g e ? , ”   i n   P r o c e e d i n g s   o f   D e e p   L e a r n i n g   I n s i d e   O u t   ( D e e L I O ) :   T h e   2 n d   W o r k s h o p   o n   K n o w l e d g e   E x t r a c t i o n   a n d   I n t e g r a t i o n   f o r   D e e p   L e a r n i n g   A r c h i t e c t u r e s ,  S t r o u d s b u r g ,   P A ,   U S A :   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 1 ,   p p .   4 8 – 57 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . d e e l i o - 1 . 6 .   [ 3 0 ]   F .   A .   G h a l e b ,   F .   S a e e d ,   M .   A l - S a r e m,  S .   N .   Q a sem ,   a n d   T.   A l - H a d h r a m i ,   “ E n sem b l e   s y n t h e s i z e d   m i n o r i t y   o v e r sam p l i n g - b a s e d   g e n e r a t i v e   a d v e r sari a l   n e t w o r k s  a n d   r a n d o m   f o r e s t   a l g o r i t h m  f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n , ”   I EE E  Ac c e ss ,   v o l .   1 1 ,     p p .   8 9 6 9 4 – 8 9 7 1 0 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 3 0 6 6 2 1 .   [ 3 1 ]   H .   H a i r a n i ,   T.   W i d i y a n i n g t y a s,   a n d   D .   D .  P r a s e t y a ,   “ A d d r e ssi n g   c l a ss   i m b a l a n c e   o f   h e a l t h   d a t a :   a   sy s t e m a t i c   l i t e r a t u r e   r e v i e w   o n   mo d i f i e d   s y n t h e t i c   m i n o r i t y   o v e r sa mp l i n g   t e c h n i q u e   ( S M O TE)   st r a t e g i e s,”   J O I V   I n t e r n a t i o n a l   J o u rn a l   o f   I n f o rm a t i c s   a n d   Vi su a l i z a t i o n ,   v o l .   8 ,   n o .   3 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 6 2 5 2 7 / j o i v . 8 . 3 . 2 2 8 3 .   [ 3 2 ]   B .   G h o j o g h   a n d   A .   G h o d s i ,   “ A t t e n t i o n   me c h a n i sm,   t r a n sf o r mers ,   B ER T,   a n d   G P T :   t u t o r i a l   a n d   s u r v e y , ”   O S F   Pre p r i n t s ,    D e c .   2 0 2 0 ,  d o i :   1 0 . 3 1 2 1 9 / o sf . i o / m 6 g c n .   [ 3 3 ]   L.   Z h a o ,   L .   Li ,   X .   Z h e n g ,   a n d   J.  Z h a n g ,   “ A   B E R T  b a se d   s e n t i m e n t   a n a l y si s   a n d   k e y   e n t i t y   d e t e c t i o n   a p p r o a c h   f o r   o n l i n e   f i n a n c i a l   t e x t s, ”   i n   2 0 2 1   I EE E  2 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r  S u p p o rt e d   C o o p e r a t i v e   W o r k   i n   D e si g n   ( C S C WD) ,   I EEE,   M a y   2 0 2 1 ,   p p .   1 2 3 3 – 1 2 3 8 ,   d o i :   1 0 . 1 1 0 9 / C S C W D 4 9 2 6 2 . 2 0 2 1 . 9 4 3 7 6 1 6 .   [ 3 4 ]   R .   D i P i e t r o   a n d   G .   D .   H a g e r ,   “ D e e p   l e a r n i n g :   R N N s  a n d   LS TM , ”   i n   H a n d b o o k   o f   M e d i c a l   I m a g e   C o m p u t i n g   a n d   C o m p u t e r   Assi st e d   I n t e r v e n t i o n ,   El s e v i e r ,   2 0 2 0 ,   p p .   5 0 3 – 519 ,   d o i :   1 0 . 1 0 1 6 / B 9 7 8 - 0 - 12 - 8 1 6 1 7 6 - 0 . 0 0 0 2 6 - 0.   [ 3 5 ]   C .   U b a l ,   G .   D . - G i o r g i ,   J.  E.   C . - R e y e s,  a n d   R .   S a l a s ,   “ P r e d i c t i n g   t h e   l o n g - t e r m  d e p e n d e n c i e s  i n   t i me  ser i e s   u si n g   r e c u r r e n t   a r t i f i c i a l   n e u r a l   n e t w o r k s, ”   M a c h i n e   L e a r n i n g   a n d   K n o w l e d g e   Ex t ra c t i o n ,   v o l .   5 ,   n o .   4 ,   p p .   1 3 4 0 – 1 3 5 8 ,   O c t .   2 0 2 3 ,     d o i :   1 0 . 3 3 9 0 / ma k e 5 0 4 0 0 6 8 .       B I O G RAP H I E S O F   AUTH O RS       O u ss a m a   Nd a m a           is  a   d o c to r  P h . D .   in   C o m p u ter  S c ien c e   a n d   Artifi c ial  In telli g e n c e   with   th e   DSAI 2 S   ( Da ta  S c ien c e ,   Artifi c ial  In tell ig e n c e   a n d   S m a rt  S y ste m s)   Re se a rc h   Tea m ,   C3 S   Lab o ra to r y ,   F a c u lt y   o f  S c ien c e s  a n d   Tec h n o lo g ies ,   Tan g ier,  M o r o c c o .   He   is  a lso   a   b u si n e ss   in tell ig e n c e   e n g i n e e r  with   m o re   t h a n   6   y e a rs  o f  e x p e rien c e   in   m u lt in a ti o n a l  c o m p a n ies .   H is  re s e a rc h   in tere sts  in c lu d e   sm a rt  sy ste m s,  m a c h in e   lea rn in g ,   d e e p   lea rn in g ,  n a tu ra l   lan g u a g e   p r o c e ss in g   (NLP ),   a rti ficia l   n e u ra l   n e two rk s  (AN N),   se n ti m e n t   a n a ly sis,  a n d   sm a rt  c it ies .  He   c a n   b e   c o n tac ted   a t  e m a il :  o u ss a m a . n d a m a @e tu . u a e . a c . m a .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r y  h yb r id   mo d el  fo r   effe ctive   cred it c a r d   …   ( Ou s s a ma   N d a ma )   797     S a fa e   N d a m a           is  a   P h . D .   st u d e n t  i n   DSAI 2 S   (Da ta  S c ie n c e ,   Arti ficia l  In telli g e n c e   a n d   S m a rt  S y ste m s  Re se a rc h   Tea m ),   C3 S   Lab o ra to ry ,   F a c u lt y   o f   S c ien c e s  a n d   Tec h n o l o g ies   (F S T),   Tan g ier,  M o r o c c o .   S h e   e a r n e d   h e r  m a ste r' s  in   C o m p u ter  S c i e n c e   a n d   B ig   Da ta  fro m   th e   F S T  o f  Tan g ier.  Wi th   two   y e a rs  o f  e x p e rien c e   a s  a   d a ta  sc ien ti st,   h e r  re se a rc h   in tere sts  in c lu d e   sm a rt  sy ste m s,  d a ta  sc ien c e ,   a rti ficia l  in tell ig e n c e ,   se n ti m e n t   a n a ly sis,  a n d   sm a rt  c it ies .   S h e   c a n   b e   c o n tac ted   a t   e m a il :  sa fa e . n d a m a @e tu . u a e . a c . m a .         Is m a il   Be n sa ss i           is  a   d o c to r   in   DSAI2 S   (Da ta  S c ien c e ,   Artif icia l  In telli g e n c e   a n d   S m a rt  S y ste m s  Re se a rc h   Tea m ) ,   C3 S   La b o ra t o ry ,   F a c u lt y   o f  S c ien c e s  a n d   Tec h n o lo g ies ,   Tan g ier,   M o r o c c o .   He   is  a n   e n g i n e e r  in   Co m p u ter  S c ien c e ,   lau re a te   o f  F S T   o f   Tan g ier.  His   re se a rc h   in tere sts  in c lu d e   sm a rt  c o n n e c ti o n   o f   u se r  p ro fi les   in   a   b i g   d a ta   c o n te x t,   m u lt i - a g e n t   sy ste m s  (M AS),   c a se - b a se d   re a s o n i n g   (CBR),   o n to l o g y ,   m a c h in e   lea rn in g ,   sm a rt  c it ies ,   a n d   e Lea rn in g /M OO C/ S P OC.  He   c a n   b e   c o n tac ted   a t  e m a il :  b e n sa ss i. is m a il @g m a il . c o m .         Dr .   El  Mo k h t a r   En - Na i m i          is  a   fu ll   p ro fe ss o r  in   t h e   Un iv e rsi ty   o f  A b d e lma lek   Essa â d i  (UA E),   F a c u lt y   o f  S c ie n c e s  a n d   Tec h n o l o g ies   (F S T)   o f  Tan g ier,   De p a rtme n t  o f   Co m p u ter   S c ien c e s.  He   wa s  tem p o ra ry   p r o fe ss o r  fr o m   1 9 9 9   to   2 0 0 3   a n d   p e rm a n e n t   p ro fe ss o r   sin c e   2 0 0 3 /2 0 0 4   u n ti l   n o w.  He   is   a   F u ll   P r o fe ss o r  i n   UA E,   F S T   o f   Tan g ier.  He   wa s  a   h e a d   i n   De p a rtme n t  o f   Co m p u ter   S c ien c e s,  sin c e   Oc to b e r  2 0 1 6   u n ti l   t h e   e n d   o f   De c e m b e r  2 0 2 0 .   He   wa s  re sp o n sib le  fo r   a   Li c e n se   o f  S c ien c e   a n d   Tec h n o lo g y ,   L S T  Co m p u ter   En g in e e rin g   (“ Li c e n c e   LS T - G I ” ),   fro m   Ja n u a ry   2 0 1 2   to   Oc to b e r  2 0 1 6 .   He   is  a   c h ief  o f  Da ta  S c i e n c e ,   Artifi c ial  In telli g e n c e   a n d   S m a rt  S y ste m s  (DSAI2 S )  Re se a rc h   Tea m   sin c e   th e   a c a d e m ic  y e a r   2 0 2 2 / 2 0 2 3 .   He   is also   a   fo u n d in g   m e m b e r  o f  th e   b o t h   lab o ra to ries :  Lab o ra to ire  d ' In fo rm a ti q u e ,   S y stè m e s  e t  Télé c o m m u n ica ti o n s  (LI S T)  Lab o ra to r y   (fro m   2 0 0 8   to   2 0 2 2 )  a n d   C o m p u ter   S c ien c e   a n d   S m a rt  S y ste m s  (C3 S )  Lab o ra to r y   sin c e   th e   a c a d e m ic  y e a r  2 0 2 2 / 2 0 2 3   u n t il   n o w,   th e   Un i v e rsity   o f   Ab d e lma lek   Essa â d i,   F S T   o f   Tan g ier,  M o ro c c o .   He   is  a lso   a n   e x p e r t   e v a lu a to r  with   t h e   AN EAQ,  sin c e   th e   a c a d e m ic   y e a r  2 0 1 6 / 2 0 1 7   u n ti l  n o w ,   t h a t  a n   e x p e rt  o f   th e   p ri v a te  e sta b li sh m e n ts  b e l o n g in g   to   th e   territ o ry   o f  t h e   UA E   a n d   a lso   a n   e x p e rt   o f  t h e   in it ial  o r  f u n d a m e n tal  fo rm a ti o n s  a n d   fo rm a ti o n s  c o n t in u o u s  a t  th e   M in istr y   o f  Hig h e r   Ed u c a ti o n ,   S c ien ti f ic  Re se a rc h   a n d   E x e c u ti v e   Train in g   a n d   a ls o   a t   t h e   UA E  U n iv e rsit y   a n d   th e   F S T  Tan g ier  sin c e   2 0 1 2 /2 0 1 3   u n ti l   n o w.  He   is  a n   a u t h o r/co - a u th o rs  o f  se v e ra l  a rti c les ,   p u b li sh e d   i n   T h e   In tern a ti o n a l  J o u r n a ls  in   Co m p u ter  S c ien c e s,  i n   p a rti c u lar,  i n   m u lt i - a g e n t   sy ste m s  (M AS),   c a se s - b a se d   re a so n in g   (CBR) ,   a rti ficia l   in telli g e n t  (AI),   m a c h in e   lea rn in g   (M L),   d e e p   lea rn in g   (DL),   e Lea r n in g ,   M OO C/S P OC,  b i g   d a ta,  d a ta - m in in g ,   wire les s  se n so r   n e two rk ,   VA Ne t,   M AN e t,   a n d   s m a rt  c it y .   He   wa s/is  a lso   d irec to r   o f  se v e ra l  d o c to ra l  th e se s  in   c o m p u ter  sc ien c e s.  He   h a s  t o o   s e rv e d   a s  a   g e n e ra l  c h a ir,   tec h n ic a l  p ro g ra m   c h a ir,   tec h n ica l  p ro g ra m   c o m m it tee   m e m b e r,   o rg a n izin g   c o m m it tee   m e m b e r,   se ss io n   c h a ir ,   a n d   re v iew e r  fo r   m a n y   i n tern a ti o n a l  c o n fe re n c e s  a n d   wo rk s h o p s.  I n   a d d i ti o n ,   h e   is  a n   a ss o c iate   m e m b e r  o f   th e   IS CN - In stit u te   o f   Co m p lex   S y ste m s  in   N o rm a n d y ,   th e   U n iv e rsit y   o f  t h e   Ha v re ,   F ra n c e ,   si n c e   2 0 0 9   u n t il   n o w.  He   c a n   b e   c o n tac ted   a t  e m a il :  e n - n a imi@u a e . a c . m a .     Evaluation Warning : The document was created with Spire.PDF for Python.