I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   11 ,   No .   5 Octo b er   2 0 2 1 ,   p p .   4 3 9 2 ~ 4 4 0 2   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 1 i 5 . pp 4 3 9 2 - 4 4 0 2          4392       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Artif i cia l neural  netw o rk  t echn iqu e f o r i m p ro v ing  predict io n of   credit ca rd de faul t:  A  stac k ed  spa rs e auto enco der ap pro a ch       Sa ra h.  A.   E bia re do h - M ieny e E .   E s eno g ho T heo   G .   Sw a r t   Ce n tre f o T e lec o m m u n ica ti o n ,   D e p a rtme n t   o f   El e c tri c a a n d   El e c tr o n ic E n g in e e rin g   S c ien c e ,     Un iv e rsit y   o f   Jo h a n n e sb u rg ,   J o h a n n e sb u rg ,   S o u th   A f ri c a       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   21 ,   2 0 20   R ev i s ed   Mar   16 ,   2 0 21   A cc ep ted   Mar   26 ,   2 0 21       P re se n tl y ,   th e   u se   o f   a   c re d it   c a rd   h a b e c o m e   a n   in teg ra p a rt  o f   c o n tem p o ra r y   b a n k in g   a n d   f in a n c ial  s y ste m .   P re d ictin g   p o te n ti a c re d it   c a rd   d e f a u lt e rs  o d e b t o rs  is  a   c ru c ial  b u si n e ss   o p p o r tu n it y   f o r   f in a n c ial  in stit u ti o n s.  F o n ow ,   so m e   m a c h in e   lea rn in g   m e th o d h a v e   b e e n   a p p li e d   to   a c h iev e   th is  ta sk .   Ho w e v e r,   w it h   th e   d y n a m ic   a n d   i m b a lan c e d   n a tu re   o c re d it   c a rd   d e f a u lt   d a ta ,   it   is  c h a ll e n g in g   f o c las sic a m a c h in e   lea rn in g   a lg o rit h m to   p ro f f e ro b u st  m o d e ls  w it h   o p ti m a p e rf o r m a n c e .   Re se a rc h   h a s   sh o w n   th a th e   p e rf o r m a n c e   o f   m a c h in e   lea rn in g   a lg o rit h m c a n   b e   sig n if ica n tl y   i m p ro v e d   w h e n   p r o v id e d   w it h   o p ti m a f e a tu re s.  In   t h is  p a p e r,   w e   p ro p o se   a n   u n s u p e rv ise d   fe a tu re   lea rn in g   m e th o d   to   imp ro v e   th e   p e rf o r m a n c e   o f   v a rio u c las si f i e rs  u sin g   a   sta c k e d   sp a rse   a u to e n c o d e (S S A E) .   T h e   S S A wa s   o p ti m iz e d   to   a c h iev e   i m p ro v e d   p e r f o r m a n c e .   T h e   p ro p o se d   S S A lea rn e d   e x c e ll e n t   f e a tu re   re p re se n tatio n th a w e re   u se d   t o   train   th e   c las sif iers .   T h e   p e r f o rm a n c e   o f   th e   p ro p o se d   a p p ro a c h   is   c o m p a re d   w it h   a n   in sta n c e   w h e re   th e   c las si fiers   w e re   train e d   u sin g   th e   ra w   d a ta.  A lso ,   a   c o m p a riso n   is  m a d e   w it h   p re v io u sc h o larly   w o rk s,  a n d   th e   p ro p o se d   a p p ro a c h   s h o w e d   su p e ri o p e rf o r m a n c e   o v e o th e m e th o d s.   K ey w o r d s :   A r ti f icial  n e u r al  n et w o r k   C r ed it c ar d   d ef au lt   Dee p   lear n in g   Featu r lear n i n g   Ma ch i n lear n i n g   Sp ar s au to en co d er   Un s u p er v i s ed   lear n i n g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E b en ez er   E s en eg h o   C en tr f o r   T elec o m m u n icatio n   Dep ar t m en t o f   E lectr ical  an d   E lectr o n ic  E n g in ee r i n g   Scie n c e   Un i v er s it y   o f   J o h an n esb u r g ,   K in g s w a y   A v e n u an d   U n iv er s i t y   R o ad ,   Au c k la n d   P ar k   J o h an n e s b u r g   2 0 0 6 ,   So u th   Af r ica   E m ail: e b en ez er e @ u j . ac . za       1.   I NT RO D UCT I O N     I n   ar ti f icial   in telli g en ce   an d   m ac h in e   lear n i n g ,   ta s k s   s u c h   as  clas s i f icatio n   a n d   cl u s ter i n g ,   t h i n p u d ata  ten d s   to   in f l u e n ce   th p er f o r m a n ce   o f   th al g o r ith m s .   O p ti m al  p er f o r m a n ce   is   o b tain e d   w h e n   alg o r it h m s   ar g iv e n   s u itab le  d ata.   T o   th is   en d ,   s o m m ac h in lear n i n g   m et h o d s   f o cu s   o n   p r o ce s s in g   h ig h   d i m en s io n al   d ata,   in clu d i n g   li n ea r   d i m e n s io n alit y   r ed u ctio n   m et h o d s   s u c h   as   li n ea r   d is cr i m i n a n an al y s is ,   p r in c ip al   co m p o n e n a n al y s is ,   a n d   m u l t ip le  d im e n s io n al  s ca li n g   an d   n o n li n ea r   d i m e n s io n alit y   r ed u ctio n   m et h o d s   s u c h   as  i s o m etr ic  f ea t u r m ap p i n g ,   lo ca ll y   li n ea r   e m b ed d in g ,   an d   L ap lacia n   E ig e n m ap .   Me an w h ile,   f ea t u r e   en g i n ee r i n g   a n d   r ep r esen tatio n   lear n i n g   ar t h t w o   m ain   m et h o d s   u s ed   to   ac h ie v r ep r esen tat io n   f r o m   r a w   d ata.   R ec en t   r esear ch   h a s   f o c u s ed   o n   t h la t ter   s i n ce   f ea t u r en g i n ee r in g   m et h o d s   ar u s u all y   d ep en d en t   o n   d o m ai n   k n o w led g e,   ar lab o u r - i n te n s i v e,   a n d   ti m e - co n s u m i n g   [ 1 ] .   Fu r th er m o r e,   r ep r esen tat io n   lear n i n g   m et h o d s   te n d   to   lear n   r ep r esen tatio n   f r o m   d ata  a u to m atica ll y ,   w h ic h   ca n   t h e n   b u s ed   f o r   class i f icatio n .   A au to en co d er   ( A E )   is   t y p o f   u n s u p er v is ed   r ep r esen tatio n   le ar n in g .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A r tifi cia l n eu r a l n etw o r tech n iq u fo r   imp r o vin g   p r ed ictio n   o f c r ed it c a r d …  ( S a r a h .   A .   E b ia r ed o h - Mien ye )   4393   Au to en co d er s   ar u n s u p er v is e d   n eu r al  n et w o r k s   w it h   t h r ee   la y er s ,   in cl u d i n g   a n   in p u la y er ,   h id d en   la y er ,   an d   an   o u tp u la y er .   T h o u tp u t la y er   ca n   b co n s id er ed   as th r ec o n s tr u ctio n   la y er   [ 2 ] .   T h s tr u ct u r o f   b asic  au to en co d er   is   s h o w n   in   Fig u r 1 .   A u to en co d er s   t en d   to   lear n   r e p r esen tatio n   o f   th in p u d ata,   u s u all y   f o r   d i m e n s io n alit y   r e d u ctio n ,   b y   tr ai n i n g   th e   n et wo r k   to   i g n o r n o is e.   T o g eth er   w it h   t h r ed u c tio n   s id e,   r ec o n s tr u cti n g   s id is   lear n ed ,   w h er t h A E   atte m p t s   to   cr ea te  r e p r esen tatio n   of   th o r ig in al  i n p u t   [ 3 ] ,   [ 4 ] .   T h er ar d if f er e n t y p es  o f   au to e n co d er s ,   in clu d i n g   s p ar s e,   d en o is i n g ,   co n tr ac ti v e,   v ar iatio n al,   an d   co n v o lu tio n al  a u to en co d er s   [ 5 ] .           Fig u r 1 .   Stru ct u r o f   an   a u to en co d er       C r ed it  ca r d   d ef au lt /f r a u d   d etec tio n   is   cr u cial   p r o b lem   t h at  h as  g o tte n   t h atte n tio n   o f   m ac h i n e   lear n in g   r esear c h er s ,   an d   s ig n if ican n u m b er   o f   ap p r o ac h es  h av b ee n   p r o p o s ed   [ 6 ] - [ 9 ] .   Ho w e v er ,   th e   p r o b lem   is   s ti ll  c h allen g i n g   s in ce   m o s cr ed it  ca r d   d ata  s e e m   to   s u f f er   f r o m   clas s   i m b a lan ce   as   n o n - f r au d   tr an s ac tio n s   o v er w h el m in g l y   s u p er s ed f r au d   tr an s ac tio n s ,   m a k i n g   it  d if f icu l f o r   m a n y   m ac h i n lear n i n g   alg o r ith m s   to   ac h ie v g o o d   p e r f o r m an ce .   Me a n w h ile,   g o o d   f ea tu r r ep r esen tatio n   ca n   b o b tain ed   f r o m   th e   d ataset,   w h ic h   ca n   e n h an ce   t h clas s if icatio n   p er f o r m an ce   o f   th al g o r ith m s .   R ep r esen t atio n   lear n i n g   is   a   p o s s ib le  s o lu tio n   to   th ch alle n g o f   cr ed it  ca r d   d ef au lt  an d   f r au d   p r ed ictio n   b ec au s o f   it s   r em ar k ab le  f ea t u r e   lear n in g   ab ilit y   i n   lar g e   an d   u n b alan ce d   d ataset s .   W h ile  b as ic  au to en co d er s   ai m   at  lear n i n g   r ep r ese n tatio n   o r   en co d d ata  b y   tr ai n i n g   th e   n et w o r k   to   ig n o r n o is e   an d   r ec o n s tr u ct in g   t h d ata  as   clo s as  p o s s ib le  to   t h e   in p u d ata,   h o w e v er ,   tr ain in g   th au to en co d er   n et w o r k   i n   s u ch   w a y   t h at  e n co u r ag e s   s p ar s it y   ca n   r es u lt  i n   o p tim a f ea t u r lear n in g .   S p ar s it y   i n d u ce d   n e u r al  n e t wo r k s   h a v b ee n   e x te n s i v el y   ap p lied   in   i m a g e   r ec o g n itio n   an d   s e v er al  o th er   ap p licatio n s   r esu lti n g   i n   s tate - of - t h e - ar t p er f o r m a n ce   [ 1 0 ] - [ 1 2 ] .     I n   th i s   p ap er ,   an   ap p r o ac h   is   p r o p o s ed   to   im p r o v t h cla s s if ica tio n   p er f o r m an ce   o f   clas s if ier s   b y   u s i n g   t h u n s u p er v is ed   f ea t u r lear n i n g   ca p ab ilit y   o f   a u to e n co d er s .   Du r i n g   th e   tr ain in g   o f   t h au to en co d er ,   s p ar s it y   is   e n co u r a g ed ,   an d   th m o d el  is   o p ti m ized   u s i n g   t h A d aM a x   al g o r ith m   [ 1 3 ]   in s tead   o f   th e   co n v e n tio n al   s to c h asti g r ad i en d esce n t.  T o   en s u r ac c u r ate  f ea t u r r ep r esen tatio n ,   we  s tack   t w o   s p ar s au to en co d er s   to   g et  th f i n al  m o d el.   A ls o ,   to   f u r t h er   p r ev en o v er f itti n g   a n d   en h a n ce   th p er f o r m a n ce ,   s p ee d ,   an d   s tab ilit y   o f   t h n et w o r k ,   w in tr o d u ce d   t h b atc h   n o r m aliza tio n   tec h n iq u e   [ 1 4 ]   to   th e   n et w o r k .   T h lo w - d i m en s io n al   f ea tu r e s   ar t h en   u s ed   to   tr ain   v ar io u s   c lass i f ier s ,   in cl u d i n g   lo g is tic   r eg r ess i o n   ( L R ) ,   class if i ca t io n   an d   r eg r ess i o n   t r e ( C A R T ) ,   k - n e ar est  n eig h b o r   ( KNN ) ,   s u p p o r v ec t o r   m a ch in ( SVM ) ,   an d   lin ea r   d is cr im in an an aly s is   ( L DA ) .   T h p er f o r m a n ce   o f   t h p r o p o s ed   m e th o d   is   co m p ar ed   w it h   a n   in s ta n ce   w h er t h c lass if ier s   w er e   tr ai n ed   w it h   th e   r a w   d ata.   Fu r t h er   co m p ar is o n   is   m ad w it h   o t h er   s ch o lar l y   w o r k s ,   an d   o u r   p r o p o s ed   m et h o d   s h o w s   b etter   p er f o r m a n ce .   T h m ain   co n tr ib u t io n s   o f   th i s   s t u d y   ca n   b s u m m ar ized   is   b ein g   as :     T o   c o n s tr u ct  a n   ef f e cti v ar ti f icial  n eu r al  n et w o r k   f o r   f ea t u r lear n i n g   u s in g   m u ltip le  l a y er s   o f   s p ar s e   au to en co d er .       T o   im p r o v th cla s s i f icat io n   p er f o r m a n ce   o f   v ar io u s   cl ass i f ier s   u s i n g   t h p r o p o s ed   s tack ed   s p ar s e   au to en co d er .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   5 Octo b e r   2 0 2 1 :   4 3 9 2   -   4402   4394     T o   d em o n s tr ate  th e f f ec ti v en ess   o f   t h p r o p o s ed   m et h o d   b y   ap p ly i n g   i t to   p o p u lar   cr ed it   ca r d   d ataset.     T h r est  o f   th p ap er   is   o r g an i ze d   is   b ein g   a s .   I n   s ec tio n   2 ,   w b r ief l y   r e v ie w   p r ev io u s   r el ated   w o r k s   th at  u tili ze d   d if f er en t y p es  o f   au to en co d er s .   Sectio n   3   p r ese n ts   t h p r o p o s ed   m et h o d   an d   s ec tio n   4   p r o v id es  a   b r ief   ca s s t u d y   o f   cr ed it  ca r d   d ef au lt in g   p r ed ictio n   m o d el s .   T h o b tain ed   r esu lts   ar p r ese n ted   an d   d is c u s s ed   in   s ec tio n   5 .   L ast l y ,   s ec t io n   6   co n clu d es t h p ap er   an d   h ig h li g h t s   s o m f u t u r r esear ch   d ir ec tio n s .       2.   RE L AT E WO RK S   R ec en t l y ,   a u to en co d er s   h a v e   b ee n   ap p lied   to   s ev er al  ta s k s ,   an d   t h e y   ac h ie v ed   s tat e - of - t h e - ar t   p er f o r m a n ce .   I n   th is   s ec tio n ,   w d is c u s s   s o m p r ev io u s   w o r k s   th at  u tili ze d   v ar io u s   au to en co d er s   an d   la y   th e   f o u n d atio n   f o r   th p r o p o s ed   s t ac k ed   s p ar s au to en co d er   n et w o r k .   S u n   et  a l.  [ 1 5 ]   p r o p o s e d   m et h o d   f o r   f au l t   d iag n o s i s   b y   ap p l y i n g   a   s p ar s s tack ed   d e n o is i n g   au to e n co d er   f o r   f ea t u r ex tr ac tio n   d u t o   its   r o b u s t n es s   a n d   d ata  r ec o n s tr u ctio n   ca p ab ilit y ,   w h ich   i m p r o v ed   th d iag n o s t ic  ac cu r ac y .   T h au to en co d er   w a s   u s ed   to g et h er   w it h   an   o p ti m ized   tr an s f er   le ar n in g   alg o r it h m .   Si m ilar l y ,   Z h u   et  a l.  [ 1 6 ]   p r o p o s ed   a   n o v el  s tac k ed   p r u n in g   s p ar s d en o is i n g   a u to en co d er   f o r   in tell ig e n f au lt  d iag n o s i s   o f   r o llin g   b ea r in g s .   T h m et h o d   co m p r is ed   o f   f u ll y   co n n ec ted   a u to en co d er   n et w o r k ,   co n n ec tin g   th e   o p tim al  f ea t u r es   ex tr ac ted   f r o m   p r ev io u s   la y er s   to   s u b s eq u en t   la y er s .   T o   ef f ec ti v el y   tr ai n   t h a u to en co d er ,   a   p r u n i n g   o p er atio n   w a s   ad d e d   to   th e   m o d el  to   r estrict  n o n - s u p er io r   u n it s   f r o m   p ar ticip atin g   i n   all  s u b s e q u en la y er s .   W h en   co m p ar e d   w it h   o t h er   f a u l t   d iag n o s t ic  m o d els,  t h eir   ap p r o ac h   s h o w ed   s u p er io r   p er f o r m a n ce .     Fu r t h er m o r e,   San k ar an   et  a l.  [ 1 7 ]   p r o p o s ed   f ea tu r ex tr ac tio n   m et h o d   u s i n g   an   a u to en co d er   n et w o r k ,   an d   2, 1 - n o r m   b ased   r eg u lar izatio n   w as  u s ed   to   ac h iev s p ar s it y .   T h au t h o r s   id en ti f ied   th at  d u to   th p r esen ce   o f   m a n y   tr ai n i n g   p ar am eter s ,   s e v er al  f ea t u r lear n in g   m o d els  ar s u s ce p tib le  to   o v er f itti n g ,   an d   d if f er e n r e g u lar izat io n   ap p r o ac h es  h a v b ee n   s t u d ied   in   l i ter atu r to   m iti g ate  o v er f itti n g   i n   d ee p   lear n i n g   m o d el s .   T h p er f o r m an ce   o f   t h eir   m o d el  w a s   s t u d ied   o n   p u b licl y   av ailab le  late n f i n g er p r in d atasets ,   an d   it   g av e   an   i m p r o v ed   p er f o r m an ce .   C h e n   e a l.  [ 1 8 ]   p r o p o s ed   m et h o d   to   ad d r ess   t h c h alle n g e   o f   lear n i n g   ef f icien c y   an d   co m p u ta tio n al   co m p lex it y   i n   d ee p   n eu r al   n et w o r k s .   T h tech n iq u e   u s ed   d ee p   s p ar s e   au to en co d er   n et w o r k   to   lear n   f ac ial  f ea t u r es  a n d   s o f t m a x   r eg r ess io n   ap p lied   to   class i f y   ex p r ess io n   f ea t u r es.  T h s o f t m a x   r e g r ess io n   ai m ed   at  h a n d lin g   e x te n s i v d ata  i n   th o u tp u o f   th a u to e n co d er   n et w o r k .   A l s o ,   to   o v er co m lo ca e x tr e m a n d   th c h alle n g e   o f   g r ad ien d if f u s io n   d u r i n g   tr ai n in g ,   t h n et w o r k   w ei g h t s   w er e   f i n etu n ed ,   an d   th is   i m p r o v ed   th p er f o r m a n ce   o f   th ar c h itec tu r e.     Mo s ap p r o ac h es  u s ed   to   i m p l e m en a u to en co d er s   d ep en d   o n   t h s i n g le   a u to en co d er   m o d el,   an d   t h i s   p r esen ts   p r o b lem   w h e n   lear n in g   d if f er en ch ar ac ter is tic s   o f   d ata.   Yan g   et  a l.  [ 1 9 ]   p r o p o s ed   m eth o d   to   s o lv t h p r o b le m   b y   i m p le m en ti n g   f ea t u r lear n in g   f r a m e w o r k   u s in g   s er ia au to e n co d er s .   T h tech n iq u e   ac h iev ed   s u p er io r   r ep r esen tatio n   lear n i n g   b y   s er iall y   co n n ec tin g   t w o   d i f f er en t y p es  o f   au to en co d er s .   T h ap p r o ac h   in co r p o r ated   tw o   e n co d in g   s tag e s   u s i n g   m ar g i n a lized   d en o is i n g   a u to e n co d er   an d   s tac k ed   r o b u s t   au to en co d er   v ia  g r ap h   r eg u lar izatio n .   W h en   co m p ar ed   to   b aselin m e t h o d s ,   th p r o p o s e d   ap p r o ac h   s h o w ed   s ig n i f ica n i m p r o v e m e n t.  Me an w h ile,   A l - H m o u et  a l.   [ 2 0 ] ,   in tr o d u ce d   lo g ic - d r iv e n   au t o en co d er ,   w h er eb y   th n et w o r k   s tr u ct u r w as  ac h iev ed   u s i n g   s o m f u zz y   lo g ic  o p er atio n s .   T h au to en co d er   w a s   also   o p ti m ized   u s i n g   g r ad ie n t - b ased   lear n i n g .   L as tl y ,   s p ar s a u to en co d er   n e t w o r k s   h av ac h ie v ed   r e m ar k a b le  p er f o r m a n ce   i n   r ep r esen tatio n   lear n i n g   [ 2 1 ] ,   [ 2 2 ] .   Ho w e v er ,   b etter   r ep r e s en tat io n   lear n i n g   ca n   b g o tten   w h e n   m u l tip le   s p ar s au to en co d er s   ar s tack e d   an d   o p tim ized   e f f ec t iv e l y ,   wh ich   i s   t h f o cu s   o f   t h is   r esear ch .       3.   P RO P O SE M E T H O D   T h is   s ec tio n   co n s id er s   t h m et h o d   ap p lied   to   d ev elo p in g   th e   p r o p o s ed   au to en co d er .   A n   a u to en co d er   co n s is ts   o f   t w o   f u n ctio n s ,   i.e . ,   an   en co d er   an d   d ec o d er ,   th f o r m er   m ap s   t h d - d i m e n s io n al   in p u d ata  to   g et  h id d en   r ep r esen tatio n ,   an d   th e   latter   m ap s   t h h id d en   r ep r es en tatio n   b ac k   to   d - d i m e n s io n al  v ec to r   th at  i s   as  clo s as p o s s ib le  to   th e n co d er   in p u t   [ 2 3 ] .   A s s u m i n g   th e   o r ig in a l i n p u t i s   ,   th a u to en co d e r   en co d es it i n to   a   h id d en   la y er     to   r ed u ce   th i n p u d i m e n s io n ,   w h ich   is   th e n   d ec o d ed   at  th o u tp u t.  T h in p u v ec to r   is   en co d ed   ac co r d in g   to :     = (  + )     ( 1 )     w h er   r ep r esen ts   t h ac ti v ati o n   f u n c tio n i n   t h is   ca s e,   th e   s ig m o id   ac tiv a tio n   f u n ctio n ,     is   th w e ig h t   m atr i x ,   an d     is   b ias  v ec to r .   T h h id d en   r ep r esen tatio n   i s   d ec o d ed   to   g et  th d ata  as  clo s e   as  p o s s ib le  to   th e   in p u   u s i n g :     ̂ = ( + )     ( 2 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A r tifi cia l n eu r a l n etw o r tech n iq u fo r   imp r o vin g   p r ed ictio n   o f c r ed it c a r d …  ( S a r a h .   A .   E b ia r ed o h - Mien ye )   4395   w h er   is   w eig h t m atr ix   an d     r ep r es en ts   th e   b ias v e ct o r   [ 2 4 ] T h s ig m o id   ac tiv a tio n   f u n ct i o n   is   d escr ib ed   as:     = 1 1 +     ( 3)     T h d is p ar ity   b et w ee n   th e   o r ig in a i n p u   an d   t h r ec o n s tr u cted   in p u t   ̂   is   ca ll e d   th e   r ec o n s tr u ct io n   er r o r .   T o   o p tim ize  th p ar am ete r s   W ,   ,   th e   m ea n   s q u a r e d   er r o r   ( MS E )   f u n cti o n   is   u s ed   as  th e   r e co n s t r u ct io n   e r r o r   f u n ct io n :     = 1 ̂ 2 = 1   ( 4 )       T h av er ag ac tiv at io n   o f   n eu r o n s   in   t h h id d en   la y er   i s   r ep r esen ted   as:     ̂ = 1 ( ) = 1     ( 5 )     T o   in d u ce   s p ar s i ty   in   th au to en co d er ,   w lim it   ̂ = ,   w h er   is   t h s p ar s ity   p r o p o r ti o n ,   an d   it   is   u s u ally   s m all  p o s itiv e   n u m b er   n ea r   0 .   T h e r ef o r e,   w tr y   to   m in im ize  th k u llb ac k - leib l er   ( KL )   d iv e r g en c b etw ee n   ̂   an d     ac c o r d in g   to :      ( | | ̂ ) = l og ( ̂ ) + ( 1 ) l og ( 1 1 ̂ )     ( 6 )     A ls o ,   t o   en s u r b et te r   f e atu r r e p r esen t ati o n   an d ,   b y   ex te n s io n ,   en h an ce   th e   p er f o r m an ce   o f   th e   class if i er s ,   m u ltip l s p a r s e   au t o en c o d e r s   ar s t ac k e d .   A   s ta c k ed   s p a r s e   au t o en co d e r   ( SS A E )   ca n   c o m p r is e   o f   n u m er o u s   s p ar s au t o en co d e r s   w h er eb y   th o u t p u ts   o f   e ac h   l ay er   ar c o n n ec t e d   t o   th in p u ts   o f   th n ex l ay er   [ 2 5 ] .   T h e   SS A E   is   b ase d   o n   r es ea r ch   co n d u ct ed   b y   Hin to n   an d   Sal ak h u td in o v   [ 2 6 ] ,   w h e r th ey   p r o p o s e d   a   d e ep   n eu r al   n etw o r k   w ith   lay er   b y   lay er   in iti ali za t io n .   T h e r r o r   f u n cti o n   o f   th e   SS A E   is   ex p r ess e d   as:     ( , ) = 1 [ 1 2 ( ( ) + ) ( ) 2 ] + 2 [  ( ) ] 2 = 1 = 1 1 = 1 = 1   ( 7 )     w h er   an d     r e p r esen ts   th e   n u m b er   o f   s am p les   an d   th e   n u m b e r   o f   l ay er s ,   r es p ec tiv ely ,   th e   o r ig in al   in p u t   is   ,   an d     d en o tes   th e   c o r r es p o n d i n g   la b el .   T h e   r eg u la r i za t io n   c o ef f icien t   is   r e p r esen t ed   b y     an d     d en o t es   th r o w s   an d   c o lu m n s   o f   th m atr ix    ( )   [ 2 7 ] .   B y   a d d in g   th s p ar s i ty   ter m   t o   ( 7 ) ,   th e   o v er all   co s t   f u n cti o n   o f   th SS A E   b ec o m es:       ( , ) = ( , ) +  ( | | ̂ ) = 1   ( 8 )     w h er e   S   r e p r es en ts   th e   t o t al   n u m b er   o f   n eu r o n s   in   a   lay er   an d     is   th e   s p a r s i ty   r eg u l ar i za ti o n   p a r am ete r ,   an d   i t   s ets  th s p ar s i ty   p en a lty   te r m .   W e   n o w   h av th r e o p tim izat i o n   p a r am ete r s ,   in c lu d in g   ,   an d   ,   an d   w s et  th eir   v a lu es  as  3 ,   0 . 0 0 0 1 ,   an d   0 . 0 5 ,   r es p ec tiv ely .   I n   th s p a r s au t o en c o d er   n etw o r k ,   n eu r o n   is   s ai d   t o   b e   ac tiv if   its   o u t p u is   v a lu c lo s to   1 ,   w h ile  it  is   in ac tiv if   its   o u t p u is   v alu cl o s e r   t o   0   [ 8 ] A lg o r ith m   1   s h o w s   t h p r o p o s ed   s p ar s a u to en co d er   p r o ce d u r e.   Fig u r e   2   s h o w s   th s tr u ctu r o f   th e   p r o p o s e d   s ta ck e d   s p a r s au t o en co d er   ( SS A E ) .   Fo r   s im p li city ,   th d e c o d er   p a r ts   o f   th SA E   ar n o s h o w n .   T h o u tp u o f   th e   SS A E   is   th en   u s e d   t o   t r a in   th v ar i o u s   class if ie r s .     A l g o r ith m   1 .   P r o p o s ed   m et h o d   o f   th SS A E   Input:    train  set x   Process:   Start   Initialize  , , ,   Ob t ai n  t he   co st  f u nc ti o ac c or d in t (4 )   Apply weight penalty to the cost function according to (7)   Add the sparsity regularizer to the cost function according to (8)   Train network until convergence    End   Output:   Reconstructed representation of the input   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   5 Octo b e r   2 0 2 1 :   4 3 9 2   -   4402   4396   T h g r e ed y   lay er - w is tr ain in g   s tr at eg y   p r o p o s e d   b y   B en g i o   et  a l .   [ 2 8 ]   is   em p l o y ed   to   s u cc ess iv e ly   tr a in   ev e r y   lay er   o f   th e   SS A E   in   o r d e r   t o   o b tain   ac ce s s   t o   t h w eig h ts   an d   b ias   p a r am ete r s   o f   th e   n etw o r k .   A ls o ,   th n e tw o r k   is   f in etu n e d   u s in g   th b a ck p r o p ag at io n   al g o r i th m   to   o b tain   th b est  p a r am eter   s ettin g s .   T h e   A d aM ax   alg o r i th m   [ 1 3 ] ,   v a r ian o f   th e   a d a p t iv m o m en e s tim atio n   ( A d am )   alg o r ith m   th at  u s es  th in f in ity   n o r m ,   w as  ap p li e d   to   o p t im ize  th au to en c o d e r   n etw o r k .   L astl y ,   w in tr o d u ce d   th b at ch   n o r m aliz ati o n   tech n i q u [ 1 4 ]   t o   p r ev en t   o v e r f itti n g   an d   en h an ce   th e   p e r f o r m an ce ,   s p ee d ,   an d   s ta b i lity   o f   t h n etw o r k .           Fig u r 2 .   Stru ct u r o f   th p r o p o s ed   SS A E   m o d el       4.   CASE   S T UD O F   CRED I T   CARD   DE F AU L T I N G   P R E DIC T I O M O DE L S   C r ed it  r is k   p la y s   cr u c ial  r o le  in   th e   f in a n cial   i n d u s tr y .   Mo s f i n a n cial  i n s tit u tio n s   g r an lo a n s ,   m o r t g a g e,   an d   cr ed it  ca r d s ,   a m o n g   m a n y   o t h er   s er v ice s .   Du to   th r is in g   n u m b er   o f   cr ed it  ca r d   clien ts ,   th ese   in s t itu tio n s   h a v f ac ed   an   i n c r ea s in g   d ef a u lt   r ate.   T h e y   ar e   th er eb y   r eso r ti n g   to   th u s e   o f   m ac h i n lear n in g   m et h o d s   to   au to m ate  th ap p licatio n   p r o ce s s   an d   p r ed ict  th p r o b a b ilit y   o f   clien t s   f u t u r e   d ef au lt.  Ho w e v er ,   s ev er al  m ac h in lear n i n g   m et h o d s   h a v b ee n   d ev elo p ed   in   v ar io u s   l iter atu r w it h   v ar y i n g   p er f o r m an ce .   m aj o r   lim ita tio n   to   ac h ie v in g   o p tim a p er f o r m an ce   i n   th cr ed it  ca r d   d ef au lt  p r ed ictio n   is   th at  th d ataset s   ar h ig h l y   i m b a lan ce d ,   i.e . ,   th i n s tan ce s   w h er clien ts   d o   n o t d ef au lt a r m o r th a n   th d e f au l t in g   ca s es.    C er tain   s tu d ie s   h a v u s ed   t h d ef au lt  o f   c r e d it  c ar d   cl ien ts   d a tase [ 2 9 ]   an d   ac h ie v ed   g o o d   p e r f o r m an ce .   F o r   ex am p le,   Pr u s ti  an d   R ath   [ 3 0 ]   u s ed   v a r i o u s   alg o r ith m s   s u ch   as  d ec is i o n   tr ee ,   KNN ,   SVM ,   an d   m u ltil ay er   p e r ce p t r o n   to   m ak p r ed ict io n s   o n   th d at a s et.   A d d iti o n a lly ,   th ey   p r o p o s ed   m eth o d   th a h y b r i d i ze d   d e cisi o n   t r ee ,   S V M,   an d   K NN,   w h ich   g av i m p r o v e d   p e r f o r m an ce   c o m p a r e d   t o   th s tan d - al o n e   alg o r ith m s .   Say j a d ah   et  a l .   [ 3 1 ]   c o n d u c te d   p e r f o r m an ce   e v alu ati o n   o f   cr ed it  c a r d   d ef au lt  p r e d i cti o n   u s in g   lo g is t ic  r eg r ess i o n ,   r an d o m   f o r est ,   an d   d e cisi o n   t r ee .   T h e   ex p er im en tal  r esu lts   s h o w ed   th at  r an d o m   f o r est   ac h iev e d   s u p er io r   p er f o r m an ce   w ith   an   ac cu r ac y   o f   ab o u t   8 2 %.    Fu r th e r m o r e ,   b ec au s th d a t aset  is   im b alan c ed ,   m eth o d   is   p r o p o s e d   t o   t ac k l th p r o b lem   u s in g   s y n th etic  m in o r ity   o v er - s am p l in g   tech n iq u ( SMO T E )   [ 3 2 ] .   Usi n g   th SMO T E   m eth o d   t o g eth e r   w ith   s ev en   o th e r   a lg o r ith m s ,   th r an d o m   f o r est  alg o r i th m   ac h iev ed   th b est  p e r f o r m an ce   w ith   an   ac cu r ac y   o f   8 9 . 0 1 an d   F1 - s c o r o f   8 9 % .   L astl y ,   Hsu   et  a l .   [ 3 3 ]   an d   C h is h ti  an d   Aw a n   [ 3 4 ]   als o   p r o p o s e d   m o d els  t o   p r ed ict  th e   d ef au l tin g   o f   c r ed it c ar d   cli en t s   an d   ac h iev ed   c o m p ar ab le  p e r f o r m an ce .   Ho w ev er ,   w ar ai m in g   to   im p r o v o n   w h at  h as  b e en   d o n b y   ap p ly in g   o u r   p r o p o s e d   m eth o d   o n   th e   s am d at ase t.       5.   RE SUL T S AN D   DIS C USSI O N   I n   th is   w o r k ,   th d ef au ltin g   o f   th cr e d it  ca r d   cli en d atas et   [ 2 9 ]   is   u s ed .   T h d a tase w a s   o b tain e d   f r o m   th Un iv e r s ity   o f   C alif o r n ia  I r v in e   ( UC I )   m ac h in l ea r n in g   r e p o s it o r y ,   an d   it  co n t ain s   3 0 , 0 0 0   in s t an ce s   an d   2 5   att r i b u tes ,   in clu d in g   d em o g r a p h i an d   f in an cia r ec o r d s .   T h d a tase w as  est ab l is h e d   t o   p r e d i ct  cu s to m er s   w h o   ar e   lik e ly   to   d ef au l o n   p ay m en ts   in   T aiw an .   Ou o f   th 3 0 , 0 0 0   in s t an c es  2 3 , 3 6 4   a r n o n - Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A r tifi cia l n eu r a l n etw o r tech n iq u fo r   imp r o vin g   p r ed ictio n   o f c r ed it c a r d …  ( S a r a h .   A .   E b ia r ed o h - Mien ye )   4397   d ef au l an d   6 , 6 3 6   a r d ef au lt  ca s es .   T h r at io n ale  b eh in d   th d a tas et  is   f o r   f in an cia in s tit u ti o n s   t o   b a b le  t o   id en t if y   p o s s i b le   cu s t o m er s   w h o   w ill  d ef au l o n   th ei r   cr ed it  c ar d   p ay m en ts ,   th er e b y   d ec l in in g   s u ch   ap p li ca ti o n s .   W e   u s th 7 0 - 3 0 t r a in - test   s p l it .   T h SS A E   is   t r ain e d   w ith   th tr ain in g   s et   in   an   u n s u p er v is e d   f ash io n ,   w h ile  th test   s et  is   in p u w ith   th lear n ed   SS A E   m o d el  t o   o b t ain   th lo w - d im en s io n al  d a ta .   T h e   class if i er s   a r th en   tr ain e d   u s in g   th lo w - d im en s io n al  tr ain   s et,   an d   th p e r f o r m an ce   tes ted   u s in g   th l o w - d im en s io n al  t est  s et .   T h n u m b er   o f   n eu r o n s   in   th f ir s an d   s ec o n d   h id d en   lay er s   w as  s et  at  1 0 0   an d   8 5 ,   r es p e ctiv e ly .   T o   ef f ici en tly   ev alu at th e   p er f o r m an ce   o f   o u r   ap p r o ac h ,   w u tili ze   p e r f o r m an ce   m etr i cs  s u ch   as   ac cu r a cy ,   s en s itiv ity ,   p r e cisi o n ,   an d   F 1   s co r e .   A cc u r ac y   is   th r at io   o f   th n u m b er   o f   c o r r ec p r ed ict io n s   t o   th e   to t al  n u m b er   o f   p r e d ic ti o n s   m ad e,   s en s itiv ity   is   th r ati o   o f   th n u m b er   o f   c o r r e ct  p o s itiv e   p r e d ict io n s   t o   th to t al  ac tu al  p o s itiv es,   p r e cisi o n   is   th n u m b er   o f   c o r r e ct  p o s i tiv p r e d ic ti o n s   d iv id e d   b y   th n u m b er   o f   p o s it iv e   r esu lts   p r e d i ct ed ,   an d   F1   s co r is   th h a r m o n ic  m ea n   b etw ee n   p r e cisi o n   an d   s en s i tiv ity .   Ma th em atic ally ,   th e   p e r f o r m an ce   m etr i cs  ca n   b r e p r esen t ed   as :         =  +   +  +  +    ( 9 )     See  ap p en d ix   f o r   th co m p le te   d er iv atio n   o f   F1   s co r e :        =     +    ( 1 0 )       =   +    ( 1 1 )     1    = 2 ×   ×     +     ( 1 2 )     T h er ef o r e,   it c an   b r ep r esen te d   as   ( 1 3 ) :     1    = 2 [ (   +    ) (   +  ) (  +    ) + (   +  ) ]   ( 1 3 )     Fo r   s i m p licit y ,   F1   s co r in   ( 1 3 )   ca n   b d er iv ed   is   b ein g   as:     2 [ (   +    ) (   +  ) (   +    ) + (   +  ) ] = 2 (    ) 2 (  +  ) (  +  ) (   +    ) + (   +  )     [ 2 (    ) 2 (  +  ) (  +  ) ] ÷ [ (   +    ) + (   +  ) ]     Fin d i n g   t h lo w est co m m o n   f a cto r     [ 2 (    ) 2 (  +  ) (  +  ) ] ÷ [  (  +  ) +  (  +  ) (  +  ) (  +  ) ]     Op en   th b r ac k et     [ 2 (    ) 2 (  +  ) (  +  ) ] ÷ [ (    ) 2 + + (    ) 2 + (  +  ) (  +  ) ]     B r in g   li k ter m s   to g et h er   an d   f ac to r ize.     2 (    ) 2 (  +  ) (  +  ) ÷ 2 (    ) 2 +  (  +  ) (  +  ) (  +  )     I n v er t a n d   ca n ce l o u t li k ter m s     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   5 Octo b e r   2 0 2 1 :   4 3 9 2   -   4402   4398   2 (    ) 2 (  +  ) (  +  ) × (  +  ) (  +  ) 2 (    ) 2 +  (  +  )     2 (    ) 2 2 (    ) 2 +  (  +  )     Facto r ized   TP   o u t o f   th d en o m i n ato r     2 (    ) 2  [ ( 2  ) + (  +  ) ]     Fo r   s i m p licit y   w h a v e,     1    = [ 2  2  + (  +  ) ]   ( 1 4 )     w h er e         s tan d s   f o r   th e   n u m b er   o f   t r u e   p o s itiv es ,   th e   n u m b er   o f   t r u e   n eg a tiv es ,   th e   n u m b er   o f   f alse  p o s it iv es,  an d   th n u m b er   o f   f alse  n eg at iv es,  r es p e ctiv ely .   Me an w h ile,   all  th ex p er i m en ts   w er ca r r i e d   o u u s in g   c o m p u ter   w ith   th f o ll o w in g   s p ec if ica ti o n s I n tel   C o r i5 - 6 3 0 0 U,   2 . 4 0   GHz ,   w it h   1 6   GB   R A M.   An d   P y th o n   p r o g r a m m in g   l an g u a g w as  u s ed   f o r   th c o m p u tatio n s .   T o   s h o w   th e f f ec tiv en ess   o f   th e   p r o p o s e d   a p p r o a ch ,   w co n d u ct  c o m p ar ativ s tu d y   w ith   f iv b as cl ass if ie r s .   T h er ef o r e ,   w f ir s s h o w   th e   p e r f o r m an ce   o f   th ese   cl ass if ie r s   o n   th e   r aw   d atas et.   T h e   cl ass if ier s   in clu d C A R T ,   L R ,   KN N,   SV M,   an d   L DA ,   an d   th e   r esu lts   a r e   s h o w n   in   T ab l 1 .       T ab le  1 P er f o r m a n ce   o f   t h b ase  class i f ier s   o n   th d atase t   A l g o r i t h m   A c c u r a c y   ( %)   P r e c i si o n   ( %)   S e n si t i v i t y   ( %)   F 1   sco r e   ( %)   LR   78   62   78   69   C A R T   73   74   73   73   K N N   75   71   75   72   S V M   36   74   36   35   L D A   81   79   81   78       T a b le  2   s u m m ar izes  th r esu l ts   o b tain e d   w h en   th class if ie r s   ar tr ain e d   u s in g   th f ea tu r es  lea r n e d   f r o m   th s t ac k e d   s p ar s au to en co d er .   I t   ca n   b s ee n   th at   th lea r n e d   f ea tu r es  s ig n if ic an tly   im p r o v e   th e   p e r f o r m an ce   o f   th class if ie r s .   Fu r th e r m o r e ,   th r es u lts   s h o w   th a b ili ty   o f   th p r o p o s e d   SS A E   to   le a r n   g o o d   r e p r esen t ati o n   o f   th d ata .   T o   f u r th er   s h o w   th ef f ec t iv en e s s   o f   th e   p r o p o s ed   m eth o d ,   t h b est  p e r f o r m in g   m o d el  f r o m   o u r   ex p er im en ts ,   w h ich   is   th L DA ,   is   u s ed   to   c o m p ar w ith   o th er   w ell - p er f o r m in g   m eth o d s   p r o p o s e d   in   r ec en s tu d ies   th a h av b ee n   d is cu s s ed   in   s ec t i o n   4 .   T o   g iv e   a   f ai r   co m p a r is o n ,   w f o cu s ed   o n   s tu d ies  th at  u s e d   s im ilar   d atas ets.  T h is   c o m p ar is o n   is   s h o w n   in   T ab le  3 ,   an d   it  c an   b s e en   th at  o u r   m eth o d   o u t p e r f o r m s   th o s in   th e   s ta te d   li te r a tu r e .   A ls o ,   th r ec eiv e r   o p e r at in g   ch a r ac te r is ti ( R OC )   cu r v is   em p l o y ed   to   s h o w   th i m p r o v e d   p er f o r m an ce   o f   th SS A E   b ased   L D A   co m p ar e d   to   th L DA   th at  w as   tr ain e d   w ith   th e   r aw   d atas et .   T h R OC   cu r v i s   g r a p h ica p l o w h ich   s h o w s   th p r e d ict i o n   p er f o r m an ce   o f   b in a r y   class if ie r s .   Fro m   th R OC   cu r v s h o w n   i n   Fig u r e   3 ,   it  ca n   b s e en   th a th e   p r o p o s ed   m eth o d   p e r f o r m ed   b e tte r   th an   th e   co n v en ti o n a l L DA .       T ab le  2 I m p ac t o f   th f ea t u r es   lear n ed   b y   t h SS AE   o n   th b ase  class i f ier s   A l g o r i t h m   A c c u r a c y   ( %)   P r e c i si o n   ( %)   S e n si t i v i t y   ( %)   F 1   sco r e   ( %)   LR   90   87   91   89   C A R T   86   84   84   84   K N N   89   87   90   88   S V M   88   86   88   87   L D A   90   91   90   90       Fro m   th a b o v e   r esu lts ,   w ca n   s ee   th at   o u r   p r o p o s ed   a p p r o a ch   a ch iev e d   b ett er   p er f o r m an ce   co m p a r e d   t o   th e   o th er   m eth o d s .   T h im p r o v ed   p er f o r m an ce   ca n   b a tt r i b u te d   t o   th e   p r o p o s ed   SS A E   th at  w as  ab l t o   l ea r n   g o o d   r e p r es en t ati o n   o f   th e   o r ig in a in p u d at a .   A ls o ,   th r esu lts   h av s h o w n   th ca p a b i lity   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A r tifi cia l n eu r a l n etw o r tech n iq u fo r   imp r o vin g   p r ed ictio n   o f c r ed it c a r d …  ( S a r a h .   A .   E b ia r ed o h - Mien ye )   4399   d e ep   le ar n in g   in   ac h iev in g   ex c ep t io n al  p e r f o r m an ce   in   d if f e r en task s ,   in clu d in g   f ea tu r r e p r es en tati o n .   L astl y ,   th is   s tu d y   h as d em o n s tr at e d   th im p o r tan ce   o f   t r ain in g   m ac h i n le ar n in g   a lg o r ith m s   w ith   s u ita b le   d ata ,   an d   th at   im p r o v e d   p e r f o r m an ce   c an   b e   o b ta in e d   n o t   o n ly   b y   h y p er - p ar am eter   tu n in g   b u t   als o   an d   m o r ef f ici en tly   b y   ef f ec tiv e   f ea tu r l ea r n in g .       T ab le  3 C o m p ar is o n   w i th   o t h er   m e th o d s   L i t e r a t u r e   A c c u r a c y   ( %)   P r e c i si o n   ( %)   S e n si t i v i t y   ( %)   F 1   sco r e   ( %)   P r u st i   a n d   R a t h   [ 2 6 ]   8 2 . 5 8   9 6 . 8 3   8 3 . 5 7   8 9 . 7 1   S a y j a d a h   e t   a l .   [ 2 7 ]   8 1 . 8 1   -   -   -   S u b a si   a n d   C a n k u r t   [ 3 2 ]   8 9 . 0 1   -   -   89   H su   e t   a l .   [ 3 3 ]   8 0 . 2   -   -   -   C h i sh t i   a n d   A w a n   [ 3 4 ]   82   84   96   89   P r o p o se d   S S A E+ L D A   90   91   90   90           Fig u r 3 .   R OC   C u r v s h o w in g   i m p r o v ed   p er f o r m a n ce       6.   CO NCLU SI O N   C o n v en t io n al   m ac h i n lear n i n g   al g o r ith m s   ar o f te n   i n e f f ec t iv i n   p er f o r m i n g   cla s s i f icatio n   o n   lar g e   d atasets   s u c h   as  m o s cr ed it  c ar d   d atasets .   Hen ce ,   i n   t h is   p a p er ,   s tack ed   s p ar s au to e n c o d er   is   p r o p o s ed   to   ac h iev e   o p t i m al   f ea tu r lear n i n g .   I n   t h p r o p o s ed   au to en co d er   n et w o r k ,   w e   i n tr o d u ce d   b atch   n o r m aliza t io n   tech n iq u to   en h a n ce   th p er f o r m a n ce ,   s p ee d ,   an d   s tab ilit y   o f   th m o d el  an d   to   p r ev en o v er f itti n g   f u r th er .   A l s o ,   th m o d el  w as  o p ti m ized   u s in g   t h A d aM a x   alg o r it h m .   T h lear n ed   d ata  w as  t h e n   u s ed   to   tr ain   f iv e   s h allo w   m ac h i n lear n in g   al g o r ith m s ,   an d   t h p er f o r m a n ce   test ed .   W h e n   co m p ar ed   w it h   ca s w h er th e   alg o r ith m s   w er tr ai n ed   w it h   t h r a w   d ata,   o u r   p r o p o s ed   m et h o d   s h o w ed   s u p er io r   p er f o r m an ce .   F u r th er m o r e,   th r esu l ts   w er co m p ar ed   w ith   m e th o d s   in   s o m liter at u r th at  u s ed   s i m ilar   d ataset,   an d   th p r o p o s ed   ap p r o ac h   also   s h o w ed   s i g n i f ic an i m p r o v e m en t.  F u t u r r ese ar ch   w ill   f o cu s   o n   s t u d y i n g   t h ef f ec o f   d i f f er e n t   o p tim izer s   an d   s tac k i n g   d i v e r s au to en co d e r s   an d   o b s er v i n g   t h r esu ltan i m p ac o n   t h f ea t u r lear n i n g   p r o ce s s .   A ls o ,   f u t u r r esear ch   w ill  co n s id er   co m p ar in g   th e   f ea tu r lea n i n g   ca p ab ilit y   o f   th s tac k ed   s p ar s e   au to en co d er   w i th   o t h er   f ea t u r lear n in g   an d   f ea tu r e n g in ee r i n g   m et h o d s .       ACK NO WL E D G E M E NT   T h is   w o r k   is   s u p p o r ted   p ar tiall y   b y   t h C en ter   o f   T elec o m m u n ica tio n s ,   Un i v er s i t y   o f   J o h an n e s b u r g ,   So u t h   A f r ica.   T h is   r e s ea r ch   r ec eiv ed   n o   e x ter n al  f u n d i n g .   T h A P C   w ill  b p aid   f r o m   o u r   r esear ch   ce n ter   f u n d s .       RE F E R E NC E   [1 ]   A .   S .   S h a m sa b a d i,   M .   Ba b a ie - Z a d e h ,   S .   Z.   S e y y e d sa l e h i,   H.  R .   Ra b iee ,   a n d   C.   Ju tt e n ,   A   n e a lg o rit h m   f o r   train in g   sp a rse   a u to e n c o d e rs,”  in   2 0 1 7   2 5 t h   Eu r o p e a n   S i g n a Pro c e ss in g   Co n fer e n c e   ( EUS IP CO ) ,   A u g .   2 0 1 7 ,     p p .   2 1 4 1 - 2 1 4 5 ,   d o i:   1 0 . 2 3 9 1 9 / EUS I P CO.2 0 1 7 . 8 0 8 1 5 8 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   5 Octo b e r   2 0 2 1 :   4 3 9 2   -   4402   4400   [2 ]   B.   Ya n   a n d   G .   Ha n ,   Eff e c ti v e   F e a tu re   Ex trac ti o n   v ia  S tac k e d   S p a rse   A u to e n c o d e t o   Im p ro v e   In tru sio n   De tec ti o n   S y st e m ,   IEE Acc e ss ,   v o l.   6 ,   p p .   4 1 2 3 8 - 4 1 2 4 8 ,   2 0 1 8 ,   d o i 1 0 . 1 1 0 9 /A CCES S . 2 0 1 8 . 2 8 5 8 2 7 7 .   [3 ]   G .   E.   Hin t o n ,   A .   Kriz h e v sk y ,   a n d   S .   D.   W a n g ,   T ra n s f o r m in g   a u to - e n c o d e rs,”  in   Pro c e e d i n g o f   t h e   2 1 th   in ter n a t io n a l   c o n fer e n c e   o n   Arti fi c ia l   n e u r a n e two rk s ,   Esp o o ,   F in lan d ,   J u n .   2 0 1 1 ,   p p .   4 4 - 5 1 ,     d o i:   d o i. o rg / 1 0 . 1 0 0 7 /9 7 8 - 3 - 6 4 2 - 2 1 7 3 5 - 7 _ 6 .   [4 ]   S .   Na re jo ,   E .   P a se ro ,   a n d   F .   K u lso o m ,   EE G   Ba se d   Ey e   S tate   Clas sif ica ti o n   u sin g   De e p   Be li e f   Ne t w o rk   a n d   S tac k e d   A u to En c o d e r,   I n ter n a t i o n a J o u rn a o f   El e c trica a n d   Co mp u ter   E n g in e e rin g   ( IJ ECE ) ,   v o l.   6 ,   n o .   6 ,     p p .   3 1 3 1 - 3 1 4 1 De c e m b e 2 0 1 6 ,   d o i:   1 0 . 1 1 5 9 1 / ij e c e . v 6 i6 . p p 3 1 3 1 - 3 1 4 1 .   [5 ]   G .   Do n g ,   G .   L i a o ,   H.  L iu ,   a n d   G .   Ku a n g ,   A   Re v ie w   o f   th e   A u to e n c o d e a n d   Its  V a rian ts:  A   Co m p a ra ti v e   P e rsp e c ti v e   f ro m   T a rg e Re c o g n it io n   in   S y n th e ti c - A p e rtu re   Ra d a Im a g e s,”   IEE Ge o sc ien c e   a n d   Rem o te  S e n si n g   M a g a zin e ,   v o l.   6 ,   n o .   3 ,   p p .   4 4 - 6 8 ,   S e p .   2 0 1 8 ,   d o i:   1 0 . 1 1 0 9 /M G RS . 2 0 1 8 . 2 8 5 3 5 5 5 .   [6 ]   Cre d it   Ca rd   F ra u d   De tec ti o n A   Re a li stic M o d e li n g   a n d   a   No v e Lea rn in g   S trate g y ,   IEE T ra n sa c ti o n s o n   Ne u ra l   Ne two rk s a n d   L e a rn in g   S y ste ms ,   v o l.   2 9 ,   n o .   8 ,   p p .   3 7 8 4 - 3 7 9 7 ,   A u g .   2 0 1 8 ,   d o i:   1 0 . 1 1 0 9 /T NN L S . 2 0 1 7 . 2 7 3 6 6 4 3 .   [7 ]   C.   Jia n g ,   J.  S o n g ,   G .   L iu ,   L .   Zh e n g ,   a n d   W .   L u a n ,   Cre d it   Ca rd   F ra u d   De tec ti o n A   No v e Ap p r o a c h   Us in g   Ag g re g a ti o n   S trate g y   a n d   F e e d b a c k   M e c h a n is m ,   IEE In ter n e o T h in g J o u rn a l ,   v o l.   5 ,   n o .   5 ,   p p .   3 6 3 7 - 3 6 4 7 ,   Oc t.   2 0 1 8 ,   d o i:   1 0 . 1 1 0 9 /JIO T . 2 0 1 8 . 2 8 1 6 0 0 7 .   [8 ]   A .   A .   T a h a   a n d   S .   J.  M a leb a ry ,   " A n   In telli g e n A p p ro a c h   to   Cre d it   Ca rd   F ra u d   De tec ti o n   Us i n g   a n   Op ti m ize d   L ig h t   G ra d ien Bo o stin g   M a c h in e , "   in   IEE Acc e ss ,   v o l.   8 ,   p p .   2 5 5 7 9 - 2 5 5 8 7 ,   2 0 2 0 ,     d o i:   1 0 . 1 1 0 9 /A CCES S . 2 0 2 0 . 2 9 7 1 3 5 4 .   [9 ]   S .   Ka m le y ,   S .   Ja lo re e ,   a n d   R.   S .   T h a k u r,   P e rf o rm a n c e   F o re c a stin g   o f   S h a re   M a rk e u sin g   M a c h in e   L e a rn in g   T e c h n iq u e s:  Re v ie w ,   In ter n a ti o n a J o u rn a o El e c trica a n d   Co mp u ter   En g i n e e rin g   ( IJ ECE ) ,   v o l.   6 ,   n o .   6 ,     p p .   3 1 9 6 - 3 2 0 4 De c .   2 0 1 6 ,   d o i 1 0 . 1 1 5 9 1 / ij e c e . v 6 i6 . p p 3 1 9 6 - 32 0 4 .   [1 0 ]   D.  L iu ,   Z.   Wan g ,   B.   W e n ,   J.  Y a n g ,   W .   H a n ,   a n d   T .   S .   Hu a n g ,   Ro b u st  S i n g le  Im a g e   S u p e r - Re so lu ti o n   v ia  De e p   Ne tw o rk W it h   S p a rse   P r io r,   IE EE   T ra n s a c ti o n o n   Im a g e   Pro c e ss in g ,   v o l.   2 5 ,   n o .   7 ,   p p .   3 1 9 4 - 3 2 0 7 ,   Ju l.   2 0 1 6 ,   d o i:   1 0 . 1 1 0 9 /T IP . 2 0 1 6 . 2 5 6 4 6 4 3 .   [1 1 ]   M .   G o n g ,   J.  L iu ,   H.  L i,   Q.  Ca i,   a n d   L .   S u ,   A   M u lt io b jec ti v e   S p a rse   F e a tu re   L e a rn in g   M o d e f o De e p   Ne u ra l   Ne tw o rk s,”   IEE T ra n sa c t io n o n   Ne u ra Ne tw o rk a n d   L e a rn in g   S y ste ms ,   v o l.   2 6 ,   n o .   1 2 ,   p p .   3 2 6 3 - 3 2 7 7 ,   De c .   2 0 1 5 ,   d o i:   1 0 . 1 1 0 9 /T NN L S . 2 0 1 5 . 2 4 6 9 6 7 3 .   [1 2 ]   J.  A .   El li a n d   S .   Ra jam a n ick a m ,   S c a lab le  In f e re n c e   f o S p a rse   De e p   Ne u ra Ne t w o rk u sin g   Ko k k o Ke rn e ls,”  in   2 0 1 9   IEE Hi g h   Per fo rm a n c e   Extre me   Co mp u ti n g   Co n fer e n c e   ( HPEC) ,   S e p .   2 0 1 9 ,   p p .   1 - 7 ,     d o i:   1 0 . 1 1 0 9 /H P EC. 2 0 1 9 . 8 9 1 6 3 7 8 .   [1 3 ]   D.  P .   Ki n g m a   a n d   J.  Ba ,   A d a m A   M e th o d   f o S t o c h a stic Op ti m iza ti o n ,   a rXiv:1 4 1 2 . 6 9 8 0   [ c s ] ,   Ja n .   2 0 1 7 .   [1 4 ]   S .   Io f f e   a n d   C.   S z e g e d y ,   Ba tc h   No rm a li z a ti o n A c c e lera ti n g   De e p   Ne t w o rk   T ra in in g   b y   Re d u c in g   In ter n a Co v a riate   S h if t,   a rXiv:1 5 0 2 . 0 3 1 6 7 ,   M a r.   2 0 1 5 .   [1 5 ]   M .   S u n ,   H .   W a n g ,   P .   L iu ,   S .   Hu a n g ,   a n d   P .   F a n ,   A   sp a rse   sta c k e d   d e n o isi n g   a u to e n c o d e w it h   o p t im iz e d   tran sf e r   lea rn in g   a p p li e d   t o   th e   f a u lt   d ia g n o sis  o f   ro ll in g   b e a rin g s,”   M e a su re me n t ,   v o l.   1 4 6 ,   p p .   3 0 5 - 3 1 4 ,   No v .   2 0 1 9 ,     d o i:   1 0 . 1 0 1 6 /j . m e a su re m e n t. 2 0 1 9 . 0 6 . 0 2 9 .   [1 6 ]   H.  Zh u ,   J.  Ch e n g ,   C.   Zh a n g ,   J.  W u ,   a n d   X .   S h a o ,   S tac k e d   p ru n i n g   sp a rse   d e n o isin g   a u to e n c o d e b a se d   in telli g e n f a u lt   d iag n o sis  o f   ro ll in g   b e a rin g s,”   Ap p li e d   S o ft   Co mp u ti n g ,   v o l.   8 8 ,   M a r.   2 0 2 0 ,   A rt.   No .   1 0 6 0 6 0 ,     d o i:   1 0 . 1 0 1 6 /j . a so c . 2 0 1 9 . 1 0 6 0 6 0 .   [1 7 ]   A .   S a n k a ra n ,   M .   V a tsa ,   R.   S i n g h ,   a n d   A .   M a ju m d a r,   G ro u p   sp a rse   a u to e n c o d e r,   Ima g e   a n d   V isio n   C o mp u t in g v o l.   6 0 ,   p p .   6 4 - 7 4 ,   A p r.   2 0 1 7 ,   d o i 1 0 . 1 0 1 6 /j . im a v is.2 0 1 7 . 0 1 . 0 0 5 .   [1 8 ]   L .   Ch e n ,   M .   Zh o u ,   W .   S u ,   M .   W u ,   J.  S h e ,   a n d   K.  Hiro ta,  S o ftm a x   r e g re ss io n   b a se d   d e e p   sp a rse   a u to e n c o d e n e tw o rk   f o f a c ial  e m o ti o n   re c o g n it io n   i n   h u m a n - ro b o in tera c ti o n ,   In fo rm a ti o n   S c ien c e s ,   v o l.   4 2 8 ,   p p .   4 9 - 6 1 ,   F e b .   2 0 1 8 ,   d o i:   1 0 . 1 0 1 6 / j. i n s.2 0 1 7 . 1 0 . 0 4 4 .   [1 9 ]   S .   Ya n g ,   Y.  Zh a n g ,   Y.  Zh u ,   P .   L i,   a n d   X .   Hu ,   Re p re se n tatio n   lea rn in g   v ia  s e rial  a u to e n c o d e rs  f o d o m a in   a d a p tatio n ,   Ne u ro c o m p u t in g ,   v o l .   3 5 1 ,   p p .   1 - 9 ,   J u l.   2 0 1 9 ,   d o i:   1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 9 . 0 3 . 0 5 6 .   [2 0 ]   R.   A l - H m o u z ,   W .   P e d ry c z ,   A .   Ba lam a sh ,   a n d   A .   M o rf e q ,   L o g ic - d riv e n   a u to e n c o d e rs,”  Kn o wle d g e - Ba se d   S y ste ms v o l.   1 8 3 ,   No v .   2 0 1 9 ,   A rt.   No .   1 0 4 8 7 4 d o i:   1 0 . 1 0 1 6 /j . k n o sy s.2 0 1 9 . 1 0 4 8 7 4 .   [2 1 ]   S .   F e n g ,   H.  Yu ,   a n d   M .   F .   Du a rte,  A u to e n c o d e b a se d   sa m p le  se lec ti o n   f o se l f - tau g h lea rn in g ,   Kn o wled g e - Ba se d   S y ste ms ,   v o l.   1 9 2 ,   M a r.   2 0 2 0 ,   A rt.   No .   1 0 5 3 4 3 d o i 1 0 . 1 0 1 6 /j . k n o sy s.2 0 1 9 . 1 0 5 3 4 3 .   [2 2 ]   B.   X u ,   H.  L in ,   Y.  L in ,   a n d   K.  X u ,   In c o r p o ra ti n g   q u e ry   c o n stra in ts  f o a u to e n c o d e e n h a n c e d   ra n k in g ,   Ne u ro c o mp u ti n g ,   v o l .   3 5 6 ,   p p .   1 4 2 - 1 5 0 ,   S e p .   2 0 1 9 ,   d o i:   1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 9 . 0 3 . 0 6 8 .   [2 3 ]   O.  İrso y   a n d   E.   A lp a y d ın ,   Un su p e rv ise d   f e a tu re   e x trac ti o n   w it h   a u to e n c o d e tree s,”   Ne u r o c o mp u ti n g ,   v o l.   2 5 8 ,     p p .   6 3 - 7 3 ,   Oc t.   2 0 1 7 ,   d o i:   1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 7 . 0 2 . 0 7 5 .   [2 4 ]   I.   D.  M ien y e ,   Y.  S u n ,   a n d   Z.   W a n g ,   Im p ro v e d   sp a rse   a u to e n c o d e b a se d   a rti f icia n e u ra n e tw o rk   a p p ro a c h   f o r   p re d ictio n   o f   h e a rt  d ise a se ,   In fo rm a t ics   in   M e d icin e   Un l o c k e d ,   v o l.   1 8 ,   Ja n .   2 0 2 0 ,   A rt.   No .   1 0 5 3 4 3 ,   d o i:   1 0 . 1 0 1 6 /j . im u . 2 0 2 0 . 1 0 0 3 0 7 .   [2 5 ]   J.  X u   e a l . ,   " S tac k e d   S p a rse   A u to e n c o d e (S S A E)  f o Nu c lei  De t e c ti o n   o n   Bre a st  Ca n c e Hi sto p a th o lo g y   I m a g e s,"   in   IEE E   T ra n sa c ti o n o n   M e d ic a l   Ima g i n g ,   v o l.   3 5 ,   n o .   1 ,   p p .   1 1 9 - 1 3 0 ,   Ja n .   2 0 1 6 ,   d o i:   1 0 . 1 1 0 9 /T M I. 2 0 1 5 . 2 4 5 8 7 0 2 .   [2 6 ]   G .   E.   Hin to n   a n d   R.   R .   S a lak h u t d in o v ,   Re d u c i n g   th e   Dim e n sio n a li ty   o f   Da ta  w it h   Ne u ra Ne t w o rk s ,   S c ien c e ,   v o l.   3 1 3 ,   n o .   5 7 8 6 ,   p p .   5 0 4 - 5 0 7 ,   Ju l .   2 0 0 6 ,   d o i:   1 0 . 1 1 2 6 /sc ien c e . 1 1 2 7 6 4 7 .   [2 7 ]   C.   S h i,   B.   L u o ,   S .   He ,   K.  L i,   H.  L iu ,   a n d   B.   L i,   T o o W e a r   P re d ictio n   v ia  M u lt id im e n sio n a l   S tac k e d   S p a rse   A u to e n c o d e rs  W it h   F e a tu re   F u si o n ,   IEE T ra n s a c ti o n o n   I n d u s tria In f o rm a ti c s ,   v o l.   1 6 ,   n o .   8 ,   p p .   5 1 5 0 - 5 1 5 9 ,   A u g .   2 0 2 0 ,   d o i:   1 0 . 1 1 0 9 /T II. 2 0 1 9 . 2 9 4 9 3 5 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A r tifi cia l n eu r a l n etw o r tech n iq u fo r   imp r o vin g   p r ed ictio n   o f c r ed it c a r d …  ( S a r a h .   A .   E b ia r ed o h - Mien ye )   4401   [2 8 ]   Y.  Be n g io ,   P .   L a m b li n ,   D.  P o p o v ic i,   a n d   H.  L a ro c h e ll e ,   G re e d y   L a y e r - W is e   T ra in in g   o f   De e p   Ne tw o rk s,”   in   Ad v a n c e s i n   Ne u ra l   In f o rm a ti o n   Pro c e ss in g   S y ste ms ,   v o l.   1 9 ,   p p .   1 5 3 - 1 6 0 2 0 0 7 .   [2 9 ]   UCI  M a c h in e   L e a rn in g   Re p o sit o ry d e fa u lt   o f   c re d it   c a rd   c li e n ts  Da ta  S e t.   [ On li n e ] ,   A v a ib le:   h tt p s:/ /ar c h iv e . ics . u c i. e d u /m l/ d a tas e ts /d e f a u lt + o f+ c re d it + c a rd + c li e n ts.   [3 0 ]   D.  P r u sti  a n d   S .   K .   Ra th ,   " W e b   se rv ice   b a se d   c re d it   c a rd   f ra u d   d e t e c ti o n   b y   a p p ly in g   m a c h in e   lea rn in g   tec h n iq u e s,"   T ENCON  2 0 1 9 - 2 0 1 9   IEE Reg io n   1 0   C o n fer e n c e   ( T ENCON) ,   Ko c h i,   In d ia,  2 0 1 9 ,   p p .   4 9 2 - 4 9 7 ,     d o i:   1 0 . 1 1 0 9 /T ENCON . 2 0 1 9 . 8 9 2 9 3 7 2 .   [3 1 ]   Y.  S a y j a d a h ,   I.   A .   T .   Ha sh e m ,   F .   A lo taib i,   a n d   K.  A .   Ka s m iran ,   Cre d it   Ca rd   De f a u lt   P re d icti o n   u sin g   M a c h in e   L e a rn in g   Tec h n iq u e s,”   in   2 0 1 8   Fo u rt h   In ter n a ti o n a C o n fer e n c e   o n   Ad v a n c e in   C o mp u t in g ,   Co mm u n ic a ti o n   Au t o m a ti o n   ( ICACCA ) ,   Oc t.   2 0 1 8 ,   p p .   1 - 4 ,   d o i:   1 0 . 1 1 0 9 /ICA CCA F . 2 0 1 8 . 8 7 7 6 8 0 2 .   [3 2 ]   A .   S u b a si  a n d   S .   Ca n k u rt,   P re d i c ti o n   o f   d e f a u lt   p a y m e n o f   c r e d it   c a rd   c li e n ts  u sin g   Da ta  M in i n g   T e c h n iq u e s,”   in   2 0 1 9   I n ter n a ti o n a l   En g in e e rin g   C o n fer e n c e   ( IEC) ,   Ju n .   2 0 1 9 ,   p p .   1 1 5 - 1 2 0 ,   d o i:   1 0 . 1 1 0 9 /IE C 4 7 8 4 4 . 2 0 1 9 . 8 9 5 0 5 9 7 .   [3 3 ]   T .   C.   Hs u ,   S .   T .   L io u ,   Y. - P .   W a n g ,   Y. - S .   Hu a n g ,   a n d   C h e - L in ,   En h a n c e d   Re c u rre n Ne u r a Ne tw o rk   f o r   Co m b in in g   S tatic  a n d   Dy n a m i c   F e a tu re f o Cre d it   Ca rd   De f a u lt   P re d icti o n ,   in   ICA S S 2 0 1 9   -   2 0 1 9   IEE E   In ter n a t io n a l   Co n fer e n c e   o n   Ac o u stics ,   S p e e c h   a n d   S i g n a Pro c e ss in g   ( ICAS S P) ,   M a y   2 0 1 9 ,   p p .   1 5 7 2 - 1 5 7 6 ,     d o i:   1 0 . 1 1 0 9 /ICA S S P . 2 0 1 9 . 8 6 8 2 2 1 2 .   [3 4 ]   W .   A .   Ch ish ti   a n d   S .   M .   Aw a n ,   De e p   Ne u ra N e t w o rk   a   S tep   b y   S tep   A p p ro a c h   to   Clas sify   Cre d i Ca rd   De f a u lt   Cu sto m e r,   in   2 0 1 9   I n ter n a ti o n a Co n fer e n c e   o n   I n n o v a ti v e   Co mp u ti n g   ( ICIC) ,   No v .   2 0 1 9 ,   p p .   1 - 8 ,     d o i:   1 0 . 1 1 0 9 /ICIC4 8 4 9 6 . 2 0 1 9 . 8 9 6 6 7 2 3 .       B I O G RAP H I E S O F   AUTH O RS       S .   A.  Eb ia r e d o h - M ien y e   re c e iv e d   h e BS   d e g re e   in   S o f twa re   E n g in e e rin g   in   2 0 1 2   f ro m   th e   Un iv e rsit y   o f   Eas L o n d o n ,   UK .   Cu rre n tl y ,   sh e   is  ro u n d in g   u p   h e M a ste rs  in   E lec tri c a a n d   El e c tro n ic  E n g in e e rin g   a t   th e   U n i v e rsit y   o f   Jo h a n n e sb u rg ,   S o u t h   A f rica .   S h e   is  a   re se a rc h e a n d   tea c h e w it h   o v e 5   y e a rs   o e x p e rien c e .   He r e se a r c h   in tere sts  in c lu d e   m a c h in e   lea rn in g ,   d e e p   lea rn in g ,   Io T ,   f in a n c ial  m o d e li n g ,   a n d   a n a ly ti c s.          Eb e n e z e r   Es e n o g h o   re c e iv e d   th e   Dip lo m a   in   Co m p u ter  En g in e e rin g   (Up p e Div isio n in   2 0 0 3 ,   B. En g .   d e g re e   ( 2 n d   Clas Ho n Up p e Div . in   Co m p u ter  E n g in e e rin g   in   2 0 0 8 ,   t h e   M . E n g .   d e g re e   (Up p e Div . in   El e c tro n ic/T e lec o m m u n ica ti o n   En g in e e rin g   f ro m   th e   Un iv e rsit y   o f   Be n in   in   2 0 1 2 .   He   p re v io u sly   lec tu re d   a th e   Un iv e rsit y   o f   Be n in   f ro m   M a rc h   2 0 1 1   to   2 0 1 3   a n d   ro se   t o   ra n k   o f   L e c tu re I,   b e f o re   e m b a rk in g   o n   h is  P h . D.  p ro g ra m   in   2 0 1 3 .   P rio r   to   n o w ,   h e   w a s   in v o lv e d   in   re se a rc h   a n d   tea c h in g   w it h   th e   Ce n tre  f o Ra d io   Ac c e ss   a n d   Ru ra T e c h n o lo g y ,   Un iv e rsit y   o f   K w a Zu lu - Na tal,   Ce n tre  o f   Ex c e ll e n c e ,   w h e re   h e   ro u n d e d - u p   h is  P h . D.  d e g re e   in   El e c tro n ic  (5 G   Co g n it iv e   N e t w o rk f ro m   2 0 1 3 - 2 0 1 7   f u n d e d   b y   A l c a tel,   Eri c c sio n   a n d   Hu a we i.   Cu rre n tl y ,   h e   is  h ired   in to   th e   p r e stig io u G lo b a Ex c e ll e n c e   a n d   S tatu re   (G ES P o st - Do c t o ra l   Re se a rc h   F e ll o w sh ip   a th e   U n iv e rsit y   o f   Jo h a n n e sb u rg ,   A u c k lan d   P a rk   u n d e t h e   In st it u te  f o r   In telli g e n S y ste m   (IIS ),   Ce n ter   f o T e lec o m m u n ica ti o n   Re se a rc h   (Cf T to   p u rs u e   f u rth e re se a rc h .   He   is  a   re c ip ien o se v e ra g ra n ts/sc h o lars h ip /aw a rd /f e ll o w sh ip in c lu d i n g   th e   CEP S /E sk o m ’s  HV DC  2 0 1 3 ,   CE P S /E sk o m ’s  HV DC  2 0 1 4 ,   J.  W   Ne lso n   2 0 1 5   a n d   G ES   2 0 1 7 ,   2 0 1 8 ,   2 0 1 9 /2 0 .   He   is  p a ss io n a te  a b o u se rv ice   to   h u m a n it y   a n d   se rv e d   in   se v e ra c o m m u n it y   se rv ice b o th   in   th e   Re p u b li c   o f   S o u t h   Af rica   a n d   h is  h o m e   c o u n try .   His  le a d e rsh ip   se rv ice   is  e v id e n c e   a a   f irst  p o stg ra d u a te  re p re se n tativ e   f o S tu d e n E n g in e e rin g   Co u n c il   in   t h e   F a c u lt y   m a n a g e m e n b o a rd   o f   Un iv e rsit y   o f   K w a Zu lu - Na tal  d u ri n g   h is  P h d a y s,  2 0 1 6 - 2 0 1 7 .   P re se n tl y ,   h e   se rv in g   a th e   f irst  p o std o c to ra re se a rc h   fe ll o w sh ip   re p re se n tativ e   in   th e   Un iv e rsit y   o Jo h a n n e sb u rg   S e n a te/Co u n c il ,   2 0 1 8 - d a te.  He   wa a   UJ /DS T /N RF   re se a rc h   d e le g a te  to   th e   H2 0 2 0 - ES A S TA P   EU - S o u t h   A f r ica   S T Co o p e ra ti o n   o n   S tren g th i n g   T e c h n o lo g y ,   Re s e a rc h   a n d   In n o v a ti o n   i n   V ien n a ,   A u stria.  Dr.  Eb e n e z e r   h a a u t h o re d /co - a u th o re d   se v e ra p e e r - re v ie w e d   jo u r n a ls  a n d   c o n f e re n c e   p a p e rs,  c h a ired   se ss io n in   c o n f e re n c e a n d ,   re v iew e d   f o so m e   n o tab le   IS I/S c o p u j o u r n a ls  in   h is  f ield .   He   is  v e ry   fa m il iar  w it h   IS 0 - 9 0 0 1 / 1 8 0 0 1 /1 4 0 0 1 / 2 2 3 0 1 / 2 7 0 0 1 / 2 0 0 0 0 - 1   w it h   a   stro n g   a ff in it y   f o p ro jec li n k e d   to   R& D.  His   re se a rc h   in te re sts  a re   in   b u n o li m it e d   to   th e   F if th   G e n e ra ti o n   (5 G W irele s Ne t w o rk s,  Co g n it iv e   Ra d io   Ne tw o rk s,  Ne t w o rk   S e c u rit y /C y b e rs e c u rit y ,   S m a rt  G rid   Ne tw o rk s,  Io T /Io E,   S DN /S DR,  W irele ss   S e n so Ne t w o rk s,  A rti f icia In telli g e n c e /M a c h in e   L e a rn in g ,   Big   Da ta   &   M o b i le/Clo u d   Co m p u ti n g   a n d   V isib le  li g h c o m m u n ica ti o n .   H e   is  a   re g istere d   En g in e e in   Nig e ria  a n d   a   m e m b e o f   S o u t h   Af rica   In stit u te  o f   El e c tri c a E n g in e e rs  (S A IEE a n d   IEE re g io n   8 .         Evaluation Warning : The document was created with Spire.PDF for Python.