I A ES   I n te r n at i o n al   Jo u r n al   o A r ti fi c i al   I n te l l i ge n c e   (I J - AI )   V o l .   10 ,   N o .   1 Ma r ch   2021 ,   pp.   10 1 ~ 109   IS S N :   2252 - 8938 ,   D O I :   10. 1 1591 / i j a i . v 10 .i 1 . pp 101 - 10 9             101       Jou r n al   h o m e pa ge ht t p: / / i j ai . i ae s c or e . c om   Im p l e m e n t a t i o n   o f   a n   i n c r e m e n t a l   d e e p   l e a r n i n g   m o d e l   f o r   su r v i v a l   p r e d i c t i o n   o f   c a r d i o v a s c u l a r   p a t i e n t s       S an aa  El yas s am i 1 A c h r af  A i t   K ad d o u r 2   1 D e pa r t m e n t   o f   I nf o r m a t i o S e c ur i t y   a nd  E ng i ne e r i ng   T e c hno l o gy A bu  D ha bi   P o l y t e c hni c U n i t e d   A r a b   E m i r a t e s   2 M a nc he s t e r   U n i v e r s i t y U ni t e d   K i ng do m       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e A ug   1 5 ,   20 20   R e v i s e D ec   2 8 ,   20 20   A c c e pt e F eb   5 ,   20 21       C a r d i o v a s c ul a r   di s e a s e s   r e m a i t he   l e a d i ng   c a us e   o f   de a t h ,   t a ki ng   a e s t i m a t e d   17 . m i l l i o l i v e s   e a c y e a r   a n r e p r e s e nt i ng   31 %   o f   a l l   g l o ba l   de a t hs .   T he   p a t i e n t   r e c o r ds   i nc l ud i ng   bl o o r e po r t s ,   c a r d i a c   e c ho   r e po r t s ,   a nd   phy s i c i a n’ s   no t e s   c a be   us e t o   p e r f o r m   f e a t u r e   a n a l y s i s   a nd  t o   a c c ur a t e l y   c l a s s i f y   he a r t   d i s e a s e   p a t i e n t s .   I t h i s   p a pe r ,   a n   i nc r e m e n t a l   de e l e a r ni ng   m o de l   w a s   d e v e l o pe a nd  t r a i n e w i t s t o c ha s t i c   g r a d i e n t   d e s c e nt   us i ng   f e e df o r w a r ne u r a l   ne t w o r ks .   T he   c hi - s qu a r e   t e s t   a n t he   dr o po ut   r e g ul a r i z a t i o ha v e   be e i nc o r po r a t e i n t o   t he   m o de l   t o   i m pr o v e   t he   g e ne r a l i z a t i o c a pa b i l i t i e s   a nd  t he   pe r f o r m a nc e   o f   t he   he a r t   d i s e a s e   pa t i e nt s '   c l a s s i f i c a t i o m o de l .   T he   i m p a c t   o f   t he   l e a r ni ng   r a t e   a nd  t h e   d e pt h   o f   ne ur a l   ne t w o r k s   o t he   pe r f o r m a nc e   w e r e   e xp l o r e d .   T he   hy pe r bo l i c   t a ng e nt ,   t he   r e c t i f i e r   l i ne a r   un i t ,   t he   M a xo ut ,   a nd  t he   e xpo ne n t i a l   r e c t i f i e r   l i ne a r   uni t   w e r e   us e a s   a c t i v a t i o f unc t i o ns   f o r   t he   h i dd e a n t h e   o ut pu t   l a y e r   ne ur o ns .   T o   a v o i ov e r - o pt i m i s t i c   r e s u l t s ,   t he   pe r f o r m a nc e   o f   t he   pr o p o s e m o de l   w a s   e v a l ua t e u s i ng   ba l a nc e a c c ur a c y   a nd  t he   o v e r a l l   pr e di c t i v e   v a l ue   i n   a ddi t i o t o   t he   a c c ur a c y ,   s e ns i t i v i t y ,   a nd  s pe c i f i c i t y .   T he   o bt a i ne r e s u l t s   a r e   pr o m i s i ng ,   a nd  t he   pr o po s e m o de l   c a be   a p pl i e t o   a   l a r g e r   d a t a s e t   a nd   us e d   by   phy s i c i a n s   t o   a c c ur a t e l y   c l a s s i f y   he a r t   d i s e a s e   pa t i e n t s .   Ke y w or d s :   A c t i v a t i o f un c t i o n   B i n a r y   c l a s s i f i c a t i o   D e e l e a rni n g   M a c hi n e   l e a rni n g   N e ur a l   n e t w o r k   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   S a n a a   E l y a s s a m i   D e pa rt m e n t   o f   In f o r m a t i o n   S e c u r i t y   a n d   E ngi n e e ri n g   T e c hn o l o g y   A b D h a b i   P o l y t e c h n i c   M o h a m m e B i Z a y e Ci t y ,   A b D ha b i ,   U n i t e A ra b   E m i r a t e s   E m a i l :   s a n a a . e l y a s s a m i @ a dpo l y . a c . a e       1.   I N TR O D U C TI O N   Ca r di o v a s c ul a r   d i s e a s e s   a r e   t h e   m o s t   c o m m o n   u n de r l y i n g   c a us e   of   de a t h   i n   t h e   w o r l d ,   a nd  t h e   m o r b i di t y   a n m o r t a l i t y   a r e   s t i l l   o n   t h e   ri s e   [ 1 ].   I t   h a s   b e e e s t i m a t e t ha t ,   by   2030,   m o r e   t ha n   40 o f   U S   a dul t s   o r   116  m i l l i o n   pe o pl e   w i l l   ha v e   o n e   o r   m o r e   f o r m s   o f   c a r d i o v a s c ul a r   di s e a s e s .   T h e   d i r e c t   m e di c a l   c o s t s   r e l a t e t o   t h e   c a r di o v a s c ul a r   di s e a s e s   a r e   e xpe c t e t o   t r i pl e ,   f r o m   $273  b i l l i o n   t o   $818  b i l l i o n ,   h o w e v e r ,   t h e   i n di r e c t   c o s t s   due   t o   l os t   pr o duc t i v i t y   a r e   e s t i m a t e t o   i n c re a s e   f r o m   $172  b i l l i o n   t o   $276  b i l l i o n   [ 2 ] .   It   i s   c r i t i c a l   t o   de ve l o pr e ve n t i v e   i nt e r v e n t i o n   s t r a t e gi e s   t o   l i m i t   t h e   pr o g r e s s i o n   o f   c a r di o v a s c ul a r   di s e a s e   a n t m i ni m i z e   t h e   a s s o c i a t e d i r e c t   a n d   i n d i r e c t   c o s t s .   M o de l i n s u r v i v a l   pa t i e n t s   w i t h   h e a rt   f a i l u r e   r e m a i n s   a   c o n s t a nt   p r o b l e m   n o w a da y s   i n   t e r m s   o i de nt i fy i n t h e   s i g ni f i c a nt   f a c t o r s   a l o n g   w i t a c h i e v i n hi g h   c l a s s i f i c a t i o n   a c c ura c y .   H ow e ve r ,   t h e   i n c r e a s i n g   a v a i l a b i l i t y   of   e l e c t r o n i c   da t a   p r e s e n t s   a   m a j o r   o ppo r t u n i t y   t o   i m pl e m e nt   r o b us t   m o de l s .   M a c h i n e   l e a rn i ng  pr o v i de s   c o m put a t i o na l   i nt e l l i ge n c e   t e c h ni que s   t o   t a c kl e   t he   i s s ue   of   a n a l y s i s   a n p r e di c t i o n   w i t hi n   l a r ge   c o m pl e da t a s e t s .   M a c hi n e   l e a rn i ng  i s   a t t ra c t i ng  b r o a i nt e r e s t   i n   h e a l t h c a r e   [3] .   W h e n   a pp l i e t o   m e di c a l   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8938     I n t   J   A rt i f   I nt e l l ,   V o l .   10 ,   N o .   1 M a r c h   20 2 1 :     10 1     109   102   r e c o r ds ,   c o m m o n   p r e di c t i v e   m o de l s ,   a l s o   kn ow n   a s   h e a l t h   f or e c a s t i ng,   c a n   b e   a n   e ff e c t i v e   t oo l   fo r   l e v e r a gi n g   da t a   t o   m a ke   p r e d i c t i o n s   a n hi g h l i g ht   pa t i e n t s   m o s t   a t   ri s k.   D e e l e a rn i ng  i s   o n e   o f   t h e   m o s t   us e m a c h i n e   l e a rn i ng  t e c hni que s   i t h e   m e di c a l   f i e l d .   I n   a   r e c e n t   s t udy ,   de e l e a rni n w a s   us e a l o n w i t h   n e w   f e a t ur e s   t h a t   w e r e   e xt r a c t e f r o m   t h e   x - ra y   i m a ge s   fo r   t ub e r c ul o s i s   de t e c t i o n .   T h e   r e s ul t s   s h o w   t h a t   t h e   p r o po s e d   m e t h o pr o duc e a n   a c c ura c y   of   89. 77%,   a   s e n s i t i v i t y   of  90. 91% ,   a n a   s pe c i f i c i t y   of   88. 64%  [ 4 ].   A n o t h e r   s t udy   di us e   a   de e l e a rni ng  m o de l   c a l l e A l e xN e t   b a s e on  9, 000  s i n gl e   r e d   b l oo c e l l   i m a ge s   t a ke n   f r o m   130  pa t i e nt s .   T h e   m o de l   w a s   us e fo r   c l a s s i fy i n t h e   a b n o r m a l i t i e s   pr e s e nt   i n   t h e   s i c kl e   c e l l   a n e m i a   di s e a s e   t gi v e   a   be t t e r   i n s i g ht   i nt o   m a na gi ng  t h e   c o n c e rn e pa t i e n t ' s   l i f e   a n i t   a c hi e v e a   h i g h   c l a s s i f i c a t i o n   p r e di c t i o a c c ur a c y   of   95. 92%  [ 5 ] .   N e ura l   n e t w o r ks   w e r e   a ppl i e t o   c a n c e r   di s e a s e   t o   c l a s s i fy   l y m ph ,   n e c a n h e a d ,   a n b r e a s t   c a n c e r   t ha t   m i g h t   h e l c l i n i c i a n s   a nd  o n c o l o gi s t s   i n   t h e   p r e di c t i o n   a n p r o g n o s i s   o f   c a n c e r   [ 6 ] .   F o h e a rt   di s e a s e ,   m a c h i n e   l e a rn i ng  t e c hni que s   c a n   b e   us e f ul   t o   pr e di c t   ri s a t   a n   e a rl y   s t a ge .   S o m e   o f   t h e   t e c hn i q ue s   us e fo r   s uc h   pr e di c t i o n   p r o b l e m s   w e r e   t h e   s uppo r t   v e c t o r   m a c h i n e s   ( SVM ) ,   n e u r a l   n e t w o r ks ,   de c i s i o n   t r e e s ,   r e gr e s s i o n ,   a n na ï v e   b a y e s   c l a s s i f i e r s .   S V M   w a s   i de n t i f i e a s   t h e   b e s t   pr e di c t o r   w i t h   92 . 1 a c c u r a c y ,   f o l l ow e by   n e ur a l   n e t w o r ks   w i t h   91%  a c c u r a c y ,   a n de c i s i o n   t r e e s   s h o w e a   l e s s e r   a c c ur a c y   of  89. 6%   [ 7 ].   O t h e r   s t udi e s   b a s e o n   n e u r a l   n e t w o r ks   a n o t h e m a c hi n e   l e a rn i ng  m e t h o ds   us e da t a   o c a r d i o v a s c ul a r   pa t i e n t s   c o l l e c t e f r o m   t h e   U CI  L a bo r a t o r y ,   a n a ppl y i n di s c o ve r y   pa t t e rn   a l go r i t hm s   i n c l udi ng  de c i s i o n   t r e e ,   n e u ra l   n e t w o r ks ,   r o ug h   s e t ,   S V M ,   n a i v e   b a y e s ,   a n c o m pa r e   t h e i r   a c c u r a c y   a n pr e di c t i o n,   a nd  a c h i e v i n a n   F - m e a s u r e   o f   86. 8%  [ 8 ].   A l t h o ug h ,   o t h e r   s t ud i e s   w e r e   pr e s e n t e i n   [ 9 - 10 t h a t   t r a i n e n e u ra l   n e t w o r k - b a s e m o de l   fo r   c l a s s i fy i n t h e   h e a rt   di s e a s e   a nd  t o   pr e di c t   a c c u r a t e l y   a b n o r m a l i t i e s   i n   t h e   h e a r t   o r   i t ' s   f un c t i o n i n g .   A n o t h e r   r e s e a r c h   i c a r d i o v a s c ul a r   d i s e a s e   pr e di c t i o us e s e ve n   c l a s s i f i c a t i o t e c hn i q ue s :   k - N N ,   de c i s i o n   t r e e ,   n a i v e   b a y e s ,   l o gi s t i c   r e g re s s i o n ,   s uppo rt   v e c t o r   m a c hi n e ,   n e u ra l   n e t w o r w i t h   v o t e .   T h e   r e s ul t s   s h o w e t h a t   t h e   h e a r t   di s e a s e   pr e di c t i o n   m o de l   us i n n e ura l   n e t w o r w i t h   v o t e   a c hi e v e t h e   b e s t   a c c ur a c y   o f   87. 4%  [ 11 ] .   T o   i m p r o v e   m o de l s ’  e ffe c t i ve n e s s ,   r e c e n t   p u b l i s h e s t ud i e s   us e d   h y b r i m o de l s .   I n   [ 12 ],   t h e   Cl e v e l a n d   d a t a b a s e   w a s   s e l e c t e d   a n d   a   h y b r i ra n do m   f o r e s t   w i t a   l i n e a r   m o de l   c a l l e H R F L M   w a s   us e t o   f i n s i g n i f i c a n t   f e a t u r e s   a n t o   i m p r o v e   t h e   p r e di c t i o n   o f   c a r di o v a s c ul a r   d i s e a s e   t h a t   p r o duc e a a c c u r a c y   of   88. 7%.   In   t h e   c urr e n t   s t udy ,   w e   de ve l o pe a n f i n e - t u n e   a   m a c h i n e   l e a rni n m o de l   us i n di f f e r e n t   t e c hn i q ue s .   F i r s t ,   w e   us e a   m u l t i l a y e r   f e e d fo r w a r a r t i f i c i a l   n e u ra l   n e t w o r t o   b ui l t h e   m o de l ,   t h e n   w e   e m pl oy e a   de e fe e d fo r w a r n e u ra l   n e t w o r t o   i m p r o v e   i t .   A f t e r   t ha t ,   w e   t r a i n e a nd  ut i l i z e m a c h i n e   l e a rn i ng  b i n a r y   c l a s s i f i e r s   t o   b ui l d i f fe r e nt   m o de l s   us i n s e v e r a l   a c t i v a t i o n   f u n c t i o n s .   H y pe r pa r a m e t e r s   t ha t   a f fe c t   bo t h   t h e   r e gul a r i z a t i o n   a n t h e   o pt i m i z a t i o n   du ri n g   t h e   t ra i ni n p ha s e   w e r e   c o n s i de r e d.   D i f f e r e n t   e v a l ua t i o n   m e t ri c s   b a s e o n   c o n f us i o n   m a t r i c e s   w e r e   a ppl i e t o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   t h e   m o de l s ,   a n d   a ddi t i o na l   m e t ri c s   w e r e   s ugge s t e t o   ge t   m o r e   a c c u r a t e   c l a s s i f i e r s   w h e de a l i n w i t a i m b a l a n c e d a t a s e t .   T o   i m p r o v e   c l a s s i f i c a t i o n   pe r f o r m a n c e ,   f e a t u r e s   s e l e c t i o n   w a s   a pp l i e by   us i n t h e   C h i - s qua r e t e s t   t o   s e l e c t   t h e   m o s t   pe r t i n e n t   f a c t o r s .   A n d   t o   a v o i ov e r f i t t i n g ,   t h e   d r o po ut   r e gu l a ri z a t i o n   t e c hni que   w a s   us e t o   i m p r o v e   t h e   m o de l   ge n e r a l i z a t i o n.       2.   R ES EA R C H   M ET H O D   2 . 1 .     D atas e t   d e s c r i p ti o n   T h e   c urr e nt   s t u dy   i s   b a s e o n   a   d a t a s e t   c o n t a i ni n t h e   m e di c a l   r e c o r ds   o f   299  h e a r t   f a i l u r e     pa t i e nt s   [1 3 ].   T h e   pa t i e n t s '   a ge   ra n ge b e t w e e n   40  a n 95  y e a r s   o l d,   a n t h e y   a l l   s uffe r e f r o m   a   l e f t   v e n t ri c ul a s y s t o l i c   d y s f un c t i o n   a n ha p r e v i o us   h e a r t   f a i l u re s   t h a t   c a t e go ri z e   t h e m   i n   c l a s s   III  o r   c l a s s   IV   of  t h e   N e w   Y o r H e a r t   A s s o c i a t i o c l a s s i f i c a t i o n   o f   h e a rt   f a i l u r e   s t a ge s .   T h e   r e c o r ds   w e r e   c o l l e c t e dur i n g   t h e   fo l l ow - up  a t   t h e   A l l i e H o s pi t a l   i n   F a i s a l a b a a n a t   t h e   F a i s a l a b a I n s t i t u t e   of   Ca r di o l o g y   i n   P a ki s t a n   i 2015  b a s e o n   b l oo d   r e po r t s ,   c a r d i a c   e c h o   r e po r t s ,   a n p h y s i c i a n ’s   n o t e s .   T h e   da t a s e t   c o n t a i n s   299  r e c o r ds ,   e a c h   r e c o r i s   c ha r a c t e r i z e by   13  c l i n i c a l   f e a t u r e s   a s   p r e s e n t e i T a b l e   1.   T h e   de a t e v e n t   f e a t u r e   i s   a   b i n a r y   a t t ri b ut e   a n d   i s   t h e   t a r ge t   i o ur   s t udy   w h i c h   i n di c a t e s   i f   t h e   p a t i e nt   d i e o r   s u r v i v e b e fo r e   t h e   e nd  o t h e   f o l l ow - up  pe r i o d.   T h e   f o l l ow - up  pe r i o w a s   b e t w e e n   a n 28 da y s   w i t h   a a v e ra ge   o f   130  da y s .   T h e   de a p a t i e nt s   r e p r e s e n t   32 . 11%   (96   p a t i e nt s a n d   t h e   s u r v i v e pa t i e n t   r e p r e s e n t s   67 . 89%   (203   p a t i e nt s ).   T h e   da t a s e t   i s   c o m po s e d   of   s i di c h o t o m o us   b i n a r y   v a r i a b l e s :   s m o ki n g ,   a n e m i a ,   s e x ,   h i g h   b l o o d   pr e s s u r e ,   di a b e t e s ,   a n t h e   de a e v e n t .   I t   a l s o   i n c l ude s   s e ve n   c o n t i n uo us   qua nt i t a t i v e   v a r i a b l e s :   c r e a t i n in ph o s p h o ki n a s e ,   a ge ,   s e r u m   s o di u m ,   e j e c t i o n   f r a c t i o n ,   s e r u m   c r e a t i n i n e ,   p l a t e l e t s a n t i m e .   T h e   c r e a t i n in ph o s p h o ki n a s e   s t a t e s   t h e   l e v e l   of   t h e   c r e a t i n i n e   p h o s ph o ki n a s e   e n z y m e   i n   t h e   b l o o d.   A   hi g h   l e v e l   of  c r e a t i n i n e   p h o s ph o ki na s e   i s   i n d i c a t i v e   of   s t r e s s   o r   i n j ur y   t o   t h e   h e a rt   o r   o t h e r   m us c l e s .   T h e   c r e a t i n i n e   ph o s p h o ki n a s e   n o rm a l   v a l ue s   a r e   10  t o   120  m i c r o gra m s   pe r   l i t e r   (m c g/ L )   [14] .   W h i l e   t h e   s e r u m   c r e a t i n i n e   m e a s u r e s   t h e   l e v e l   of   c r e a t i n i n e   i n   t h e   b l oo d   a n p r o v i de s   a n   e s t i m a t e   of   h ow   w e l l   t h e   ki d n e y s   f un c t i o n ,   a   hi g h   l e v e l   of   s e r um   c r e a t i ni n e   i s   i n d i c a t i v e   of   r e n a l   dy s f un c t i o n .   T h e   s e r u m   c r e a t i n i n e   n o rm a l   v a l ue s   a r e   0. Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A r t i f   I n t e l l   IS S N :   2252 - 8938       Im pl e m e nt a t i o o f   a i nc r e m e n t al   de e p   l e ar ni n m od e l   f or   s ur v i v al   pr e d i c t i on   o f   ( Sanaa   E l y as s am i )   103   t o   1. m i l l i g ra m s   pe r   de c i l i t e r   ( m g/ dL f o r   a dul t   m a l e s ,   a nd  0. t o   1. m g / dL   f o r   a dul t   f e m a l e s   [15] .   A n e m i a   i s   a   c o n di t i o n   i n   w h i c h   t h e   pa t i e n t   do e s   n o t   h a v e   e n o ugh   h e a l t h y   r e b l oo c e l l s   t o   c a rr y   a de qua t e   o x y ge n   t t h e   b o d y ' s   t i s s ue s .   T h e   h o s pi t a l   p h y s i c i a n   c o n s i de r e a   p a t i e nt   h a v i n a n e m i a   i f   t h e   h e m a t o c r i t   l e v e l   i s   l o w e r   t h a 36% .   P l a t e l e t s   a r e   b l o o c e l l s   t h a t   h e l p   t h e   b o d y   fo r m   c l o t s   t o   s t o b l e e di n g.   A   n o r m a l   pl a t e l e t   c o un t   ra n ge s   f r o m   1 50, 0 00  t o   450, 000  pl a t e l e t s   pe r   m i c r o l i t e o f   bl o o d   [16] .   E j e c t i o n   f r a c t i o n   i s   a   m e a s u r e m e n t   o t h e   pe r c e nt a ge   o f   b l oo l e a v i n t h e   h e a r t   e a c c o n t ra c t i o n .   A e j e c t i o n   f r a c t i o n   o f   55%  o r   hi g h e r   i s   c o n s i de r e n o rm a l   [1 7] .   T h e   s e rum   s o di u m   s t a t e s   i f   a   pa t i e n t   ha s   n o rm a l   l e v e l s   of   s o di um   i n   t h e   b l o o d.   A   l ow   s o di um   l e ve l   h a s   m a n y   c a us e s ,   i n c l udi n k i d n e y   f a i l u r e   a n h e a rt   f a i l u r e .   A   n o r m a l   s o di um   l e v e l   i s   b e t w e e n   135  a n d   145   m i l l i e qui v a l e n t s   pe r   l i t e ( m E q / L )   [18] .       T a b l e   1 .   H e a rt   f a i l u r e   p a t i e nt s ’  d a t a s e t   de s c ri pt i o n   Cl i n i c a l   F e a t u r e   D e s c ri p t i o n   U n i t   M i n   v a l u e   M a x   v a l u e   Cre a t i n i n e   p h o s p h o k i n a s e   L e v e l   o f   t h e   CP K   e n z y m e   i n   t h e   b l o o d   m c g / L   23   7861   S e ru m   c r e a t i n i n e   L e v e l   o f   s e ru m   c r e a t i n i n e   i n   t h e   b l o o d   m g / d L   0 . 5   9 . 4   S e ru m   s o d i u m   L e v e l   o f   s e ru m   s o d i u m   i n   t h e   b l o o d   m E q / L   113   148   E j e c t i o n   fra c t i o n   P e r c e n t a g e   o b l o o d   l e a v i n g   t h e   h e a rt   a t   e a c h   c o n t ra c t i o n   P e r c e n t a g e   14   80   P l a t e l e t s   P l a t e l e t s   i n   t h e   b l o o d   k i l o p l a t e l e t s / m L   2 5 . 1   850   A g e   P a t i e n t ’  a g e   Y e a r   40   95   T i m e   F o l l o w - u p   p e ri o d   D a y   4   285   D i a b e t e s   If  t h e   p a t i e n t   h a s   d i a b e t e s   Bo o l e a n   0   1   S e x   W o m a n   o m a n   Bo o l e a n   0   1   A n e m i a   D e c r e a s e   o re d   b l o o d   c e l l s   o h e m o g l o b i n   Bo o l e a n   0   1   H i g h   b l o o d   p r e s s u re   If  t h e   p a t i e n t   h a s   h y p e r t e n s i o n   Bo o l e a n   0   1   S m o k i n g   If  t h e   p a t i e n t   s m o k e s   o n o t   Bo o l e a n   0   1   [t a rg e t D e a t h   e v e n t   If  t h e   p a t i e n t   d e c e a s e d   d u ri n g   t h e   f o l l o w - u p   p e ri o d   Bo o l e a n   0   1       2 . 2   F e e d - fo r w a r d   n e u r al   n e tw o r k   m o d e l s   Cl a s s i f i c a t i o n   i s   a   t a s t ha t   r e qui r e s   t h e   us e   o f   m a c h i n e   l e a rni n a l go ri t hm s   t ha t   l e a rn   h o w   t o   a s s i gn  a   c l a s s   l a b e l   t o   e xa m p l e s   f r o m   t h e   p r o b l e m   do m a i n.   B i na r y   c l a s s i f i c a t i o n   p r e di c t i v e   m o de l i n i n v o l ve s   a s s i g n i ng  o n e   o f   t w o   c l a s s e s   t o   i n put   e xa m pl e s .   I n   t h e   c u rr e n t   s t udy ,   w e   e m pl oy e n e u r a l   n e t w o r k - b a s e d   m o de l s   fo r   b i n a r y   c l a s s i f i c a t i o n .   A   n e u r a l   n e t w o r i s   c o m pri s e of   a i nput   l a y e r ,   o n e   o m o r e   hi dde l a y e r s ,   a n a n   o ut put   l a y e r .   T h e   i n pu t   n o de s   c o r r e s po n t o   da t a   s o ur c e s ,   t h e   o ut pu t   n o de s   c o rr e s po n t o   t h e   de s i r e c l a s s e s ,   w h e r e a s   hi dde n   l a y e r s   a r e   r e qui r e f o r   c o m put a t i o na l   pu rpo s e s .   T h e   v a l ue s   a t   e a c h   n o de   a r e   e s t i m a t e t hr o ug h   t h e   s um m a t i o n   o f   t h e   m ul t i pl i c a t i o n s   b e t w e e n   p r e v i o us   n o de   v a l ue s   a n w e i ght s   o f   t h e   l i n ks   c o nn e c t e t o   t ha t   n o de .   T hi s   v a l u e   i s   r e f e rr e t o   a s   t he   s um m e a c t i v a t i o n   o f   t h e   n o de   w h i c h   i s   t h e n   t r a n s f o r m e v i a   a n   a c t i v a t i o n   f u n c t i o n   a n de f i n e s   t h e   o ut put   a s   h   ( x)= f (b + Σ  w x i w h e r e   h   (x)  i s   t h e   r e s ul t   o t h e   n e u r o n,   x   i s   t h e   i n pu t ,   w   i s   t h e   w e i ght ,   a nd  b   i s   t h e   b i a s .   T h e   a c t i v a t i o n   f un c t i o n   i s   a   c r uc i a l   c o m po n e nt   o f   l e a r ni n g   t ha t   de t e r m i n e s   t h e   a c c ur a c y   a n t h e   c o m put a t i o n a l   e f f i c i e n c y   of   t ra i ni n a   m o de l T h e   s i m pl e s t   a c t i v a t i o f un c t i o n   i s   t h e   l i n e a o n e ,   w h e r e   n o   t r a n s f o r m   i s   a ppl i e d.   A   n e t w o r c o m p r i s e o f   o n l y   l i n e a a c t i v a t i o f un c t i o n s   i s   v e r y   e a s y   t o   t ra i b ut   c a nn o t   l e a rn   c o m pl e m a p pi n g   f un c t i o n s .   I n   o u r   s t udy ,   di f fe r e n t   n e u ra l   n e t w o r k - b a s e m o de l s   ha v e   be e n   i m p l e m e nt e t o   pr e di c t   s ur v i v a l   pa t i e n t s .   T h e   h i dde n   l a y e r s   w e r e   t ra i n e us i n n o n - l i n e a r   a c t i v a t i o n   f un c t i o n s   t o   a l l o w   t h e   n o de s   t o   l e a rn  e ff i c i e n t l y   c o m pl e r e l a t i o n s h i ps   i n   t h e   da t a   a n p r o v i de   a c c ur a t e   p r e di c t i o n s .   T h e   fo ur   n o nl i n e a a c t i v a t i o n   f un c t i o n s :   h y pe r bo l i c   t a n ge n t   [ 19 ],   r e c t i f i e l i n e a r   u ni t   [ 20 ] ,   m a xo ut   [ 21 ] ,   a nd  e xpo n e n t i a l   r e c t i f i e l i n e a u ni t   [ 22 ]   h a v e   b e e n   us e t o   c o m put e   t h e   o ut pu t   o f   t h e   hi dde n   n o de s .   T h e   h y p e r b o l i c   t a n ge nt   ( t a n H i s   a   c o n t i nuo us   n o n l i n e a r   f u nc t i o n   t ha t   p r o duc e s   o ut put s   i n   t h e   s c a l e   of   [ - 1, + 1] ,   w h e r e   f   (x)= (e x e - x )/ (e x +e - x ).   T h e   r e c t i f i e l i n e a r   (R e L U i s   a   pi e c e w i s e   l i n e a r   f u n c t i o n.   I t   i s   a   l i n e a r   f un c t i o n   f o r   v a l ue s   gr e a t e r   t h a n   z e r o   a n n o nl i n e a r   f o r   n e ga t i v e   v a l ue s .   Re L U   r e t u rn s   t h e   i n put   pr o v i de i f   t h e   i n pu t   i s   po s i t i v e ,   o t h e r w i s e ,   i t   r e t u rns   z e r o   w h e r e   f   (x)= m a { 0,   x} .   W h e r e a s ,   t h e   e xpo n e n t i a l   l i n e a r   u n i t   ( E L U i s   s i m i l a t o   R e L U   e x c e pt   fo r   n e ga t i v e   v a l ue s .   E L U   a nd  R e L U   a r e   i i de n t i t y   f un c t i o n   f o r   po s i t i v e   i n put s   w h e r e   f (x)= x.   F o r   n e ga t i v e   v a l ue s ,   E L U   b e c om e s   s m o o t h   s l o w l y   un t i l   i t s   o ut put   e qu a l   t o   - α  a s   f (x)= α(e x 1).   T h e   m a xo ut   a c t i v a t i o n   t a ke s   t h e   m a x i m u m   v a l ue   ov e r   a   s e t   of  un i t s   of   t h e   pr e - a c t i v a t i o n s   a nd  s e n ds   i t   f o r w a rd  t o   t h e   o ut pu t   n o de .   In   t h i s   pa pe r ,   w e   de v e l o pe a   f e e d fo r w a r d   n e ura l   n e t w o r m o de l   (F F N N b a s e o n   a   m u l t i l a y e r   f e e d f o r w a r a rt i f i c i a l   n e u ra l   n e t w o r k.   F F N N   h a s   a i n p ut   l a y e r   o f   n e ur o n s ,   o n l y   o n e   h i dde l a y e r   t ha t   pr o c e s s e s   t h e   i n pu t s ,   a n d   a o ut pu t   l a y e r   t h a t   p r o v i de s   t h e   f i na l   o ut pu t   o f   t h e   m o de l .   E a c n o de   i n   o n e   l a y e r   i s   c o n n e c t e t o   e v e r y   n o de   o n   t h e   n e xt   l a y e r .   T h us ,   i n f o r m a t i o n   i s   c o n t i n uo us l y   f e fo r w a r f r o m   o n e   l a y e r   t t h e   n e xt   l a y e r ,   f r o m   t h e   i n pu t   n o de s ,   t hr o ug h   t h e   hi dde n   n o de s ,   a n t o   t h e   o ut pu t   n o de s .   T h e   pa i r s   o f   i n put   a n o ut put   v a l ue s   a r e   f e i n t o   t h e   n e t w o r fo r   m a n y   c y c l e s   s o   t h a t   t h e   n e t w o r l e a rn s   t h e   r e l a t i o n s h i p   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8938     I n t   J   A rt i f   I nt e l l ,   V o l .   10 ,   N o .   1 M a r c h   20 2 1 :     10 1     109   104   b e t w e e n   t h e   i n p ut   a n o ut pu t .   O u r   s e c o n m o de l   i s   a   de e f e e dfo r w a r n e u r a l   n e t w o r (D N N b a s e o n   a   m ul t i l a y e r   fe e d fo r w a r a rt i f i c i a l   n e u ra l   n e t w o r h a s   a n   i n put   l a y e r   of   n e ur o n s ,   t w h i dde n   l a y e r s   t ha t   p r o c e s s   t h e   i n pu t s ,   a n a n   o ut pu t   l a y e r   t ha t   p r o v i de s   t h e   f i na l   o ut p ut   o f   t h e   m o de l .   D N N   i s   t ra i n e w i t h   s t o c h a s t i c   gra di e nt   de s c e n t   us i n t h e   b a c kpr o pa g a t i o n   a l go r i t h m .   T h e   s t o c h a s t i c   g ra d i e nt   de s c e n t   i s   b a s e o n   a   ra n do m   pr o b a b i l i t y   a n us e t o   s pe e up  l e a rn i n by   r a n do m l y   pi c ki n o ut   o n e   s a m p l e   f r o m   t h e   da t a s e t   a t   e a c h   i t e ra t i o t o   r e duc e   t h e   c o m put a t i o n s .   s t o c h a s t i c   g r a di e n t   de s c e n t   i s   a n   o pt i m i z a t i o n   t e c hni que   t ha t   r e pl a c e s   t h e   a c t ua l   g ra di e n t   c o m put e f r o m   t h e   e nt i r e   d a t a s e t   by   a n   e s t i m a t e   t h e r e o f   c o m put e f r o m   a   ra n do m l y   s e l e c t e d   s ub s e t   of   t h e   d a t a s e t .   T h e   s t o c h a s t i c   g r a d i e n t   de s c e n t   r e c ur s i v e l y   c a l c ul a t e s   t h e   g r a d i e nt   o f   pa ra m e t e r s   s t a r t i n a t   t h e   n e t w o r o ut put   l a y e r   a n d   m o v i n g   b a c kw a r t o   o t h e r   l a y e r s .   T h e   p a r a m e t e r s   a r e   t h e upd a t e a n a dj us t e i n   o r de t o   r e duc e   t h e   l o s s   f un c t i o n.     2 . 3   H yp e r p a r am e te r s   s e l e c t i o n   We   t r a i n e a nd  e m pl o y e m a c hi n e   l e a rni n g   b i n a r y   c l a s s i f i e r s   t o   b ui l di f fe r e nt   m o de l s   us i n s e v e r a l   a c t i v a t i o n   f u n c t i o n s   t o   t h e   h e a r t   f a i l u r e   pa t i e n t s '   da t a .   T h e   d a t a s e t   c o n t a i n s   2 99  pa t i e n t s   w h o   s uf f e r e f r o m   a   l e f t   v e n t r i c ul a r   s y s t o l i c   d y s f un c t i o n,   o f   w h i c h   203  s u r v i v e a n 96  di e (32 . 11%  n e g a t i v e s   a n 67 . 89%   po s i t i v e s ).   T r a i n i ng  n e u ra l   n e t w o r ks   r e qui r e s   s e t t i n h y p e r p a r a m e t e r s   t ha t   a f f e c t   bo t h   t h e   r e gul a r i z a t i o n   a nd  t h e   o pt i m i z a t i o n   i n   t h e   t ra i ni n p ha s e .   T h e   h y pe r pa ra m e t e r s   a f fe c t i n o pt i m i z a t i o n   a r e   t h e   l e a rn i ng  ra t e   η  a nd  t h e   m o m e nt um   c o e f f i c i e n t   µ .   T h e   s t a n d a r v a l ue   of   µ   =   0. ha s   b e e n   f r e que n t l y   ob s e r ve t o   w o r w e l l   i n   pra c t i c e   [2 3 ]   a nd  w a s   t h us   ke pt   f i xe t hr o ug h o ut   a l l   e xpe ri m e n t s .   W h e r e a s ,   t h e   l e a rni n g   ra t e   v a l ue   w a s   e xpl o r e by   pe r fo r m i n g   a   g ri s e a r c h   i t h e   l o ga ri t hm i c   s c a l e   be t w e e n   η= 1. 0E - 3   a n d   η= 1 . 0 E - 7 .   I n   F i gu r e   1 a c c ur a c y   i s   pl o t t e a s   a   f un c t i o n   o f   t h e   l e a rn i ng  r a t e .   T h e s e   e xpe r i m e nt s   w e r e   c a rr i e o ut   us i n t a n H ,   R e L U ,   E L U ,   a n M a xo ut   a c t i v a t i o n   f un c t i o n s   t hr o ug h o ut   t h e   f e e d fo r w a r n e u r a l   n e t w o r k - b a s e m o de l .   F o r   v e r y   s m a l l   l e a rn i ng  ra t e s   < 1 . 0E 5) ,   t h e   a c c u r a c y   i s   m a x i m a l .   F o v a l ue s   b i gge t ha 1. 0E - 5 ,   t h e   a c c ur a c y   de c r e a s e s   s h a r pl y e s pe c i a l l y   w i t h   t a n H   a n E L U .   A   l e a rn i n r a t e   of   η= 1. 0E   - w a s   s e l e c t e a n ke pt   f i xe d   fo r   a l l   e xpe ri m e nt s .   T h e   o pt i m u m   s t r uc t u r e   f o r   a   n e ura l   n e t w o r s h o ul b e   l a rge   e n o ug h   t o   l e a rn   t h e   c h a ra c t e ri s t i c s   o f   t h e   t ra i ni n s e t   a n s m a l l   e n o ug h   t o   ge n e r a l i z e   fo r   t h e   v a l i da t i o n   s e t   [2 4 ] .   T o   p r e v e n t   ov e r f i t t i n g ,   r e gu l a ri z a t i o n   m e t h o ds   s h o ul d   b e   us e d   [24] .   I t h e   c u rr e n t   s t udy ,   t h e   e a rl y   s t o ppi n m e t h o h a s   b e e n   us e t o   s t o ps   m o de l   t ra i ni n g   w h e o v e r f i t t i n g   s t a r t s .             F i gu r e   1 .   O p t i m um   l e a rni ng  ra t e   η   b a s e o m o de l s ’  a c c ur a c y       2 . 4   Ev al u ati o n   m e tr i c s   T h e   c l a s s i f i c a t i o n   m o de l s   p r e di c t   t h e   c l a s s   o f   e a c h   i n s t a n c e   o f   t h e   da t a s e t   by   a s s i gn i ng  a   p r e di c t e l a b e l   t o   e a c h   s a m pl e .   I n   o u r   b i n a r y   c l a s s i f i c a t i o m o de l s   ( di e d,   s u r v i v e d),   e a c h   s a m pl e   f a l l   i n   o n e   o f   fo ur   po s s i b i l i t i e s .   T r ue - po s i t i v e   (T P w h e r e   t h e   m o de l   c o r r e c t l y   pr e di c t s   t h e   po s i t i v e   c l a s s   a n t hus ,   di e pe o pl e   c o r r e c t l y   i de n t i f i e a s   di e d.   T rue - n e g a t i v e   (T N w h e r e   t h e   m o de l   c o r r e c t l y   pr e di c t s   t h e   n e g a t i v e   c l a s s   a n t h us ,   s u r v i v e pe o pl e   c o r r e c t l y   i de n t i f i e a s   s u r v i v e d.   F a l s e - n e ga t i v e   (F N w h e r e   t h e   m o de l   i n c o rr e c t l y   pr e di c t s   t h e   po s i t i v e   c l a s s   a n t h us ,   di e pe o pl e   i n c o rr e c t l y   i de n t i f i e a s   s ur v i v e d.   F a l s e - pos i t i v e   (F P )   w h e r e   t h e   m o de l   i n c o rr e c t l y   pr e di c t s   t h e   n e ga t i v e   c l a s s   a n t h us ,   s ur v i v e pe o pl e   i n c o r r e c t l y   i de n t i f i e a s   de a d.   T o   e v a l ua t e   t h e   pe r f o r m a n c e   of  o ur   m o de l s ,   w e   e m pl oy e s e ve r a l   s t a t i s t i c a l   m e a s u r e s   b a s e d   o n   c o n f us i o n   m a t r i c e s .   W e   m e a s ur e t h e   p r e di c t i o n   r e s ul t s   us i n a c c ur a c y ,   c l a s s i f i c a t i o n   e rr o r,   p r e c i s i o n ,   s e n s i t i v i t y ,   a nd  s pe c i f i c i t y   [25] .   A c c ur a c y   (A cc i s   t h e   r a t i o   b e t w e e n   t h e   num b e r   o f   c o r r e c t l y   c l a s s i f i e s a m pl e s   a nd  t h e   o ve r a l l   n u m b e r   o f   s a m pl e s .   A cc   i s   c a l c ul a t e a s   A c = Σ T rue   po s i t i v e + Σ   T r ue   n e g a t i v e / Σ T o t a l   n um b e r   o f   s a m pl e s Cl a s s i f i c a t i o n   e rr o (C E i s   t h e   r a t i o   b e t w e e n   t h e   n u m b e o f   i n c o rr e c t l y   c l a s s i f i e s a m pl e   c a s e s   a n d   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A r t i f   I n t e l l   IS S N :   2252 - 8938       Im pl e m e nt a t i o o f   a i nc r e m e n t al   de e p   l e ar ni n m od e l   f or   s ur v i v al   pr e d i c t i on   o f   ( Sanaa   E l y as s am i )   105   ov e r a l l   n u m b e r   of   s a m pl e s .   CE   i s   c a l c ul a t e a s   CE = Σ F a l s e   p o s i t i v e + Σ   F a l s e   n e ga t i v e / Σ T o t a l   n u m b e r   of  s a m pl e s S e n s i t i v i t y   i s   c a l l e a l s o   t h e   t r ue   po s i t i v e   ra t e   ( T P R a n i t   m e a s u r e s   t h e   p r o po r t i o n   o f   a c t ua l   po s i t i v e s   t ha t   a r e   c o rr e c t l y   i de nt i f i e a s   po s i t i v e s .   T P R   i s   c a l c ul a t e a s   T P R = Σ T P / Σ T P + Σ F N   S pe c i f i c i t y   i s   c a l l e a l s o   t h e   t r ue   n e ga t i v e   r a t e   (T N R a nd  i t   m e a s u r e s   t h e   p r o po r t i o n   of   a c t ua l   n e ga t i v e s   t h a t   a r e   c o rr e c t l y   i de n t i f i e a s   n e g a t i v e s .   T N R   i s   c a l c ul a t e d   a s   T N R = Σ T N / Σ T N + Σ F P   T h e   po s i t i v e   pr e di c t i v e   v a l ue s   (P P V c a l l e a l s o   pr e c i s i o a n d   t h e   n e g a t i v e   p r e di c t i v e   v a l ue s   (N P V a r e   r e s pe c t i v e l y   t h e   pr o po r t i o n s   o f   p o s i t i v e   a n n e g a t i v e   r e s ul t s .   W h e r e   P P V   i s   c a l c ul a t e a s   P P V = Σ TP / Σ p r e di c t e c o n di t i o n   po s i t i v e .   A n t h e   p r e di c t e c o n di t i o n   po s i t i v e   r e p r e s e n t s   t h e   s um   o f   T P   a n F P .   W h e r e a s   N P V   i s   c a l c ul a t e a s   N P V = Σ TN / Σ   P r e di c t e c o n di t i o n e ga t i v e .   W h e r e   t h e   p r e di c t e c o n di t i o n e ga t i v e   i s   t h e   s u m m a t i o n   o f   T N   a n d   F N .   In   t h e   c urr e nt   s t udy ,   w e   us e a n   i m b a l a n c e da t a s e t   w h e r e   t h e   n u m b e r   of   s a m pl e s   i n   t h e   n e ga t i v e   c l a s s   i s   m uc h   l a r ge r   t ha n   t h e   n u m b e r   o s a m pl e s   i n   t h e   po s i t i v e   c l a s s ,   w i t h   67 . 89%  n e ga t i v e s   a n 3 2. 11 po s i t i v e s .   H ow e ve r ,   w h e n   t h e   da t a s e t   i s   i m b a l a n c e d,   s o m e   s t a t i s t i c a l   r a t e s   c a n   s h o w   ov e r o pt i m i s t i c   a n e xa gge ra t e r e s ul t s   o n   t h e   m a j o r i t y   c l a s s ,   e s pe c i a l l y   t h e   a c c ur a c y .   T h u s ,   t o   o ve r c o m e   t h e   c l a s s   i m b a l a n c e da t a s e t   i s s ue ,   w e   us e a ddi t i o n a l   m e t ri c s   t h a t   p r o duc e   a   hi gh   ra t e   o n l y   i f   t h e   m o de l   w a s   a b l e   t o   c o rr e c t l y   pr e di c t   b o t h,   po s i t i v e   s a m pl e s   a nd  n e g a t i v e   o n e s .   T h e   b a l a nc e a c c ur a c y   ( B A cc a n t h e   o ve r a l l   p r e di c t i v e   v a l ue   ( O P V p r o v i de   us e f ul   i n s i g ht s   i n t o   t h e   c l a s s i f i e r ’s   b e ha v i o r   w i t h o ut   b e i ng  a f f e c t e by   t h e   i m b a l a n c e da t a s e t   i s s ue   [26 - 27] .   B A CC  i s   c a l c ul a t e a s :   BA cc = (T P R + T N R ) / 2.   W h e r e a s   O P V   i s   c a l c ul a t e a s   O P V = (P P V + N P V )/ 2.   T h us ,   a   c l a s s i f i c a t i o n   m o de l   w i t h   t h e   h i g h e s t   b a l a n c e a c c ur a c y t h e   hi g h e s t   o ve r a l l   pr e di c t i v e   v a l ue ,   a nd  t h e   l o w e s t   c l a s s i f i c a t i o e rr o r   i s   c o n s i d e r e t o   b e   t h e   m o s t   a c c ura t e   c l a s s i f i e r.       3.   EX P ER I M EN D ES I G N   A N D   R ES U L TS   In  t h e   c u rr e nt   s t udy ,   w e   e m pl oy e t w o   n e t w o r a r c hi t e c t u r e s   t o   b ui l t h e   m o de l s .   T h e   f i r s t   m o de l   i s   b a s e o n   a   f e e dfo r w a r n e u r a l   n e t w o r (F F N N a n i n c l u de s   o n e   i n pu t   l a y e r ,   o n e   hi dde n   l a y e r ,   a n o n e   o ut put   l a y e r .   T h e   s e c o n m o de l   i s   a   de e f e e d fo r w a r n e u ra l   n e t w o r (D N N )   t ha t   i n c l ude s   o n e   i n pu t   l a y e r ,   t w o   h i dde n   l a y e r s ,   a n d   o n e   o ut put   l a y e r   a n w a s   t ra i n e w i t h   s t o c ha s t i c   g ra di e n t   de s c e n t   us i n g   b a c kpr o pa ga t i o n.   F o r   b o t h   m o de l s ,   w e   t r a i n e t h e   b i na r y   c l a s s i f i e r s   o n   a   t ra i ni n s e t   c o n t a i ni n 80 o ra n do m l y   s e l e c t e da t a   s a m p l e s   a n t e s t   t h e m   o n   t h e   t e s t i n g   s e t   c o n t a i ni n t h e   r e m a i ni n 20 da t a   s a m pl e s .   S i n c e   a c t i v a t i o n   f un c t i o n s   c a n   pe r f o r m   di f f e r e n t l y   o n   di f f e r e n t   da t a s e t s   t h e   c h o i c e   o f un c t i o n   t o   us e   fo r   t h e   hi dde n   n e u r o n s   b e c o m e s   c h a l l e n g i n g .   F o r   a l l   t h e   c l a s s i f i e r s ,   w e   r e pe a t e t h e   e xpe r i m e nt   e xe c ut i o us i n g   t h e   fo ur   n o nl i n e a r   a c t i v a t i o n   f u n c t i o n s   ( t a n H ,   R e L U ,   E L U ,   M a xo ut a n r e c o r de t h e   r e s ul t s   f o r   a c c ura c y ,   b a l a n c e a c c ura c y ,   c l a s s i f i c a t i o n   e rr o r ,   s e n s i t i v i t y ,   s pe c i f i c i t y ,   a n t h e   o ve r a l l   p r e d i c t i v e   v a l ue .   W e   t h e n   m a ke   t h e   c h o i c e   t o   r a n t h e   r e s ul t s   o b t a i n e o n   t h e   t e s t i ng   s e t s   b a s e o n   t h e   b a l a n c e a c c ura c y   f i r s t ,   t h e n   b a s e o n   t h e   ov e r a l l   p r e d i c t i v e   v a l ue .   T hi s   c h o i c e   w i l l   b e   di s c us s e i n   t h e   fo l l ow i n pa ra g ra p h.   T h e   o ve r a l l   a do pt e p r o c e s s   i t h e   c u rr e n t   s t udy   i s   de pi c t e i F i gu r e   2.           F i gu r e   2 .   A do pt e p r o c e s s         3. 1 .     R e s u l ts   o fe e d fo r w ar d   n e u r al   n e tw o r k   an d   d e e p   n e u r al   n e tw o r k   A f t e r   t r a i n i ng  t h e   f e e d fo r w a r n e u ra l   n e t w o r (F F N N )   m o de l   w i t h   di f f e r e n t   a c t i v a t i o n   f un c t i o n s ,   t h e   n e t w o r ks   w e r e   f i n a l l y   e v a l ua t e o n   t h e   t e s t i n g   da t a ,   o b t a i n i n t h e   c l a s s i f i c a t i o n   r e s ul t s   d i s pl a y e i T a b l e   2.   A s   m e n t i o n e e a r l i e r,   w e   pr e fe r   t o   foc us   o n   t h e   r e s ul t s   o b t a i n e by   t h e   b a l a n c e a c c ur a c y   a n by   t h e   ov e r a l l   pr e di c t i v e   v a l ue .   T h e s e   t w o   m e t ri c s   ge n e ra t e   hi g h   s c o r e s   o n l y   i f   t h e   c l a s s i f i e r   w a s   a b l e   t o   pr o pe rl y   pr e di c t   t h e   po s i t i v e   da t a   i n s t a n c e s   a s   w e l l   a s   t h e   n e ga t i v e   da t a   i n s t a n c e s .   T h e   t w o   ra n ki ngs   w e   e m pl oy e s h ow   i n t e r e s t i n a s pe c t s .   F i r s t ,   t h e   t o c l a s s i f i e r   c h a nge s   w h e n   w e   c o n s i de r   t h e   ra n k i n b a s e o n   b a l a n c e a c c ur a c y ,   o r   o v e r a l l   p r e di c t i v e   v a l ue .   I n   f a c t ,   t h e   t o p - pe r f o rm i n g   a c t i v a t i o n   f u n c t i o b a s e o n   t h e   b a l a n c e Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8938     I n t   J   A rt i f   I nt e l l ,   V o l .   10 ,   N o .   1 M a r c h   20 2 1 :     10 1     109   106   a c c ur a c y   i s   t a n H   ( 82. 62 %) ,   w h i l e   b a s e o n   t h e   o ve r a l l   p r e di c t i v e   v a l ue   ra n k i n t h e   b e s t   c l a s s i f i e r   r e s ul t e i n   b e i n g   M a xo ut   ( 83 . 34 %) .   R e L U   i s   r a n ke f o ur t h   i n   t h e   b a l a n c e a c c ur a c y   r a n ki ng  a n d   i n   t h e   o v e r a l l   pr e di c t i v e   v a l ue   r a n k i n g ,   w h e r e a s   E L U   i s   r a nke t hi r d .     T h e   c l a s s i f i c a t i o n   r e s ul t s   o f   t h e   d e e n e ur a l   n e t w o r (D N N m o de l   m e a s u r e i n   t e r m s   o f   a   s e t   of  e v a l ua t i o m e t r i c s   a r e   s h o w n   i T a b l e   3 .   T h e   n e t w o r k   us i n g   M a xo ut   a s   a c t i v a t i o f un c t i o n   d i q ui t e   w e l l   bo t h   o n   t h e   r e c a l l   ( T P   ra t e = 7 1. 43 %)  a n o n   t h e   s pe c i f i c i t y   (T N   ra t e = 86. 6 7%)  a n d   w a s   ra n ke f i r s t   i n   t e rm s   o b a l a n c e a c c ur a c y   (79. 05%).   I n   t e rm s   o f   o ve r a l l   p r e di c t i v e   v a l ue ,   t a n H   c l a s s i f i e r   i s   t o ra n ke (85 . 88 %).   E L U   i s   t h e   t o pe r f o r m i ng  i n   t h e   a c c u r a c y   r a n k i n w i t a e xc e l l e n t   s c o r e   f o r   s pe c i f i c i t y   (T N   r a t e = 93 . 33%)   b ut   o n l y   a   m o d e r a t e   s c o r e   o n   r e c a l l   (T P   ra t e = 64 . 29 %).   I t   i s   a l s o   n o t i c e t h a t   E L U   i s   pe r f o r m i n m uc h   b e t t e r   t h a R e L U   i n   t e rm s   o f   pr e di c t i o a n d   a c c u r a c y .   T h i s   c a b e   i n t e r p r e t e by   t h e   f a c t   t h a t   R e L U   fo r   a   s e t   o i n put s ,   t h e   n e t w o r c a nn o t   pe r f o r m   b a c kp r o pa ga t i o a nd  c a n n o t   l e a rn  a n y m o r e .       T a b l e   2 .   F F N N   m o de l   c l a s s i f i c a t i o n   r e s ul t s   o n   t h e   t e s t i ng   da t a   t r a i n e w i t di f f e r e n t   a c t i v a t i o f u n c t i o n s   A c t i v a t i o n   F u n c t i o n   A c c u ra c y   Cl a s s i fi c a t i o n   E rro r   N e g a t i v e   p r e d i c t i v e   v a l u e   P o s i t i v e   p r e d i c t i v e   v a l u e   O v e ra l l   p r e d i c t i v e   v a l u e   T N   ra t e   T P   ra t e   Ba l a n c e d   a c c u ra c y   t a n H   8 4 . 0 9 %   1 5 . 9 1 %   8 9 . 6 6 %   7 3 . 3 3 %   8 1 . 5 0 %   8 6 . 6 7 %   7 8 . 5 7 %   8 2 . 6 2 %   Re L U   7 7 . 2 7 %   2 2 . 7 3 %   7 9 . 4 1 %   7 0 . 0 0 %   7 4 . 7 1 %   9 0 . 0 0 %   5 0 . 0 0 %   7 0 . 0 0 %   M a x o u t   8 4 . 0 9 %   1 5 . 9 1 %   8 4 . 8 5 %   8 1 . 8 2 %   8 3 . 3 4 %   9 3 . 3 3 %   6 4 . 2 9 %   7 8 . 8 1 %   E L U   7 9 . 5 5 %   2 0 . 4 5 %   8 3 . 8 7 %   6 9 . 2 3 %   7 6 . 5 5 %   8 6 . 6 7 %   6 4 . 2 9 %   7 5 . 4 8 %       T h e   r e s ul t s   o b t a i n e f r o m   F F N N   a nd  D N N   m o de l s   s h o w ed   t h a t   D N N   o ut pe r f o r m e F F N N   f o r   t h e   c l a s s i f i c a t i o n   o f   pa t i e nt s   fo r   m o s t   of   t h e   a c t i v a t i o n   f un c t i o n s .   U s i n de e l e a rni n g ,   E L U - b a s e n e t w o r ov e r a l l   p r e d i c t i o n   a n t a n H - b a s e n e t w o r b a l a n c e o ve r a l l   pr e di c t i o n   ha v e   b e e n   i n c r e a s e r e s pe c t i v e l y   b 6. 79%   a nd  4 . 38% .   I t   c a b e   n o t i c e a l s o   t ha t   b e c a us e   of   t h e   c l a s s   i m b a l a n c e   o f   t h e   da t a s e t   ( 203  n e g a t i v e   s a m pl e s   a n 96  po s i t i v e   s a m pl e s ),   p r e di c t i o n   s c o r e s   o n   t h e   t r ue   n e ga t i v e   r a t e   a r e   m uc h   b e t t e r   t h a n   t h e   t r ue   po s i t i v e   r a t e .   T h e s e   r e s ul t s   ha ppe n   b e c a us e   t h e   n e ura l   ne t w o r ks   w e r e   w e l l   t r a i n e w i t h   l a r ge   n e ga t i v e   s a m pl e s ,   a nd  c o n s e que n t l y ,   t h e y   c a n   e f f i c i e n t l y   r e c o gn i z e   t h e m .       T a b l e   3 D N N   m o de l   c l a s s i f i c a t i o r e s ul t s   o n   t h e   t e s t i n g   da t a   t ra i n e d   w i t d i f fe r e nt   a c t i v a t i o f un c t i o n s   A c t i v a t i o n   F u n c t i o n   A c c u ra c y   Cl a s s i fi c a t i o n   E rro r   N e g a t i v e   p r e d i c t i v e   v a l u e   P o s i t i v e   p r e d i c t i v e   v a l u e   O v e ra l l   p r e d i c t i v e   v a l u e   T N   ra t e     T P   ra t e   Ba l a n c e d   a c c u ra c y   t a n H   8 4 . 0 9 %   1 5 . 9 1 %   8 2 . 8 6 %   8 8 . 8 9 %   8 5 . 8 8 %   9 6 . 6 7 %   5 7 . 1 4 %   7 6 . 9 1 %   Re L U   7 7 . 2 7 %   2 2 . 7 3 %   8 8 . 4 6 %   6 1 . 1 1 %   7 4 . 7 9 %   7 6 . 6 7 %   7 8 . 5 7 %   7 7 . 6 2 %   M a x o u t   8 1 . 8 2 %   1 8 . 1 8 %   8 6 . 6 7 %   7 1 . 4 3 %   7 9 . 0 5 %   8 6 . 6 7 %   7 1 . 4 3 %   7 9 . 0 5 %   E L U   8 4 . 0 9 %   1 5 . 9 1 %   8 4 . 8 5 %   8 1 . 8 2 %   8 3 . 3 4 %   9 3 . 3 3 %   6 4 . 2 9 %   7 8 . 8 1 %       3. 2 .     D e e p   n e u r al   n e tw o r k   m o d e l   e n h an c e m e n t   u s i n fe at u r e   s e l e c t i o n     T h e   m o t i v a t i o n   for   a ppl y i n f e a t ur e   s e l e c t i o n   i s   n o t   o n l y   t r e duc e   t h e   di m e n s i o n   of   t h e   i n pu t   l a y e r   b ut   a l s o   t o   e l i m i n a t e   t h e   l e a s t   e f fe c t i ve   a n d   c o r r e l a t e f e a t u r e s ,   a nd   t o   r e m o v e   s o m e   i nt e r c o nn e c t i o n s   o e l i m i na t e   s o m e   hi dde n   l a y e r   n e u r o n s   t o   i m p r o v e   g e n e ra l i z a t i o n   c a p a b i l i t i e s ,   a nd  t h us   a c hi e v e   an   i m p r o v e d   pe r f o r m a n c e .   F e a t u r e   s e l e c t i o n   i s   t h e   pr o c e s s   of  i de n t i fy i n a n e xt r a c t i n t h e   m o s t   r e l e v a nt   a t t r i b ut e s   pri o t o   a ppl y i n g   a n y   m a c h i n e   l e a rni n t e c hni que s   o da t a s e t   s a m pl e s .   A pp l y i n m a c h i n e   l e a rni n a l go r i t h m s   o a   l a r ge   n u m b e r   o f   i rr e l e v a nt   a t t ri b ut e s   i n c r e a s e s   e xpo n e nt i a l l y   t h e   t r a i n i ng  t i m e   a nd  t h e   ri s o f   ove r f i t t i ng.   T h e   f e a t ur e   s e l e c t i o n   r e duc e s   t h e   t r a i n i ng  t i m e ,   s o   t h e   m o de l s   t r a i n   f a s t e r,   a nd  w i t h   l e s s   r e du n da nt   da t a   t h a t   gi v e   a   bo os t   t o   t h e   m o de l   pe r f o r m a n c e .   I n   o ur   s t udy ,   t h e   C h i - s qua re t e s t   [ 28 - 29 ha s   b e e n   us e t o   s e l e c t   t h e   m o s t   pe r t i n e n t   a t t ri b ut e s .   T h i s   m e t r i c   de t e rm i n e s   i f   a   di s t r i b ut i o n   o f   ob s e r ve f r e que n c i e s   di ff e r s   f r o m   t h e   t h e o r e t i c a l   e xpe c t e f r e que n c i e s .   T h e   c h i - s qua r e   s c o r e   s t a t i s t i c   i s   c a l c ul a t e a s   X 2 = Σ [ ( O F - E F ) 2 / E F ]   w h e r e   X 2   i s   t h e   c h i - s qu a r e   s t a t i s t i c ,   OF   i s   t h e   o b s e r v e f r e que n c y   a n d   EF   i s   t h e   e xpe c t e f r e que n c y .   T hi s   m e t r i c   m e a s u r e s   t h e   w e i ght s   of   t h e   da t a s e t   a t t ri b ut e s   w i t h   re s pe c t   t o   t h e   t a r ge t   a t t ri b ut e .   W e   c a l c ul a t e Chi - s qua r e   b e t w e e n   e a c h   f e a t ur e   a nd  t h e   t a r ge t   di e e v e n t ,   a nd  w e   s e l e c t e fo ur   a t t r i b ut e s   w i t h   t h e   b e s t   Ch i - s qua r e   s c o r e s   a s   s h ow n   i n   F i gu r e   3 .   T h e   a t t r i b ut e s   w i t h   hi g he r   w e i gh t   a r e   c o n s i de r e m o r e   r e l e v a nt   t o   pr e di c t   s ur v i v a l   pa t i e n t s .   T h us ,   e j e c t i o n   f r a c t i o n,   s e r um   c r e a t i ni n e ,   a ge ,   a nd  s e r um   s o di um   a r e   t h e   s e l e c t e a t t ri b ut e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A r t i f   I n t e l l   IS S N :   2252 - 8938       Im pl e m e nt a t i o o f   a i nc r e m e n t al   de e p   l e ar ni n m od e l   f or   s ur v i v al   pr e d i c t i on   o f   ( Sanaa   E l y as s am i )   107       F i gu r e   3 .   N o rm a l i z e a t t ri b ut e   w e i gh t s   us i ng  C hi - s qu a r e t e s t   w i t r e s pe c t   t o   t h e   t a r ge t   f e a t u r e       In c o r po r a t i n g   t h e   f e a t u r e   s e l e c t i o n   p r o c e s s   i n   o u r   de e n e u r a l   n e t w o r m o de l   (F S _D N N ),   a l l o w e us   t o   i m p r o v e   t h e   p r e di c t i o n   o f   s ur v i v a l   a n d   ge t   b e t t e r   c l a s s i f i c a t i o pe r f o r m a n c e   a s   s h o w n   i T a b l e   4.       T a b l e   4 .   F S _ D N N   C l a s s i f i c a t i o r e s ul t s   o n   t h e   t e s t i n g   da t a   t ra i n e w i t di f f e r e n t   a c t i v a t i o n   f u n c t i o n s   A c t i v a t i o n   F u n c t i o n   A c c u ra c y   Cl a s s i fi c a t i o n   E rro r   N e g a t i v e   p r e d i c t i v e   v a l u e   P o s i t i v e   p r e d i c t i v e   v a l u e   O v e ra l l   p r e d i c t i v e   v a l u e   T N   ra t e     T P   ra t e   Ba l a n c e d   a c c u ra c y   t a n H   8 6 . 3 6 %   1 3 . 6 4 %   9 2 . 8 6 %   7 5 . 0 0 %   8 3 . 9 3 %   8 6 . 6 7 %   8 5 . 7 1 %   8 6 . 1 9 %   Re L U   8 8 . 6 4 %   1 1 . 3 6 %   9 0 . 3 2 %   8 4 . 6 2 %   8 7 . 4 7 %   9 3 . 3 3 %   7 8 . 5 7 %   8 5 . 9 5 %   M a x o u t   8 6 . 3 6 %   1 3 . 6 4 %   8 7 . 5 %   8 3 . 3 3 %   8 5 . 4 2 %   9 3 . 3 3 %   7 1 . 4 3 %   8 2 . 3 8 %   E L U   9 3 . 1 8 %   6 . 8 2 %   9 3 . 5 5 %   9 2 . 3 1 %   9 2 . 9 3 %   9 6 . 6 7 %   8 5 . 7 1 %   9 1 . 1 9 %       It   h a s   b e e n   s h o w n   t ha t   t h e   e xpo n e n t i a l   l i n e a u n i t   ( E L U out pe r f o r m e d   o t h e r   a c t i v a t i o n   f u n c t i o n s .   T h us ,   t h e   o ve r a l l   p r e di c t i o n   v a l ue   ha s   r e a c h e a   hi g h   s c o r e   of   92. 93%  w i t h   a   pe r f o r m a n c e   i n c r e a s e   o f   7%   c o m pa r e t o   t h e   D N N   m o de l .   A n d   b a s e o n   t h e   b a l a n c e a c c ur a c y ,   F S _D N N   s c o r e 91. 1 9%  w i t h   a   pe r f o r m a n c e   i n c r e a s e   o f   12%.       3. 3 .     D e e p   n e u r al   n e tw o r k   m o d e l   e n h an c e m e n t   u s i n d r o p ou r e gu l ar i z ati o n   D e e a r c h i t e c t u r e   n e t w o r ks   a r e   m o r e   s e v e r e l y   a ff e c t e by   ov e r f i t t i n a n b e n e f i t s   m o r e   f r o m   r e gul a r i z a t i o n .   T h e   d r o po ut   r e gul a r i z a t i o n   t e c hni que   w a s   a p pl i e t o   t h e   p r o po s e m o de l   a n i t   w a s   a c hi e v e d   by   f r i z z i n e a c h   u n i t   i n   t h e   hi dde n   l a y e r   of   t h e   n e t w o r a t   e a c h   t ra i ni n i t e ra t i o n   w h i c h   e xpa n ds   t h e   t r a i n i ng  pr o c e s s   t i m e ,   a s   a   l a r ge   n um b e r   o f   t h e   pa ra m e t e r s   a r e   di s a c t i v a t e a t   e a c h   i t e ra t i o n.   D r o po ut   pr o b a b i l i t y   w a s   s e t   t o   t h e   r e c o m m e n de v a l ue   o f   0. [ 30 - 31 ] .   W i t h   d r o po u t   t e c hni que ,   t h e   n e t w o r ks   l e a rn e d   m o r e   s l o w l y ,   s i n c e   p a r a m e t e r s   a r e   u pda t e l e s s   f r e que n t l y ,   a nd  p a r a m e t e r s   r e c e i ve   s m a l l e g r a di e n t s .   A s   s h o w n   i T a b l e   5,   t h e   dr o po ut   t e c h ni que   di e nha n c e   t h e   b a l a n c e a c c ur a c y   s c o r e s   fo r   t h e   t hr e e   n e t w o r ks   t ha t   us e t a n H   (e nh a n c e b y   5. 24%),   R e L U   (e n ha n c e by   3. 82%),   a nd  M a xo ut   (e nh a n c e by   2. 14%) ,   a n d   a c h i e v e t h e   hi g h e s t   s c o r e   of   91. 43%  c o m pa r e t o   a l l   p r e v i o us l y   t ra i ne m o de l s .   H ow e ve r ,   t h e   E L U - b a s e n e t w o r b a l a n c e a c c ur a c y   de c r e a s e by   5%  w h e n   us i ng  d r o po ut   r e gul a r i z a t i o n .   R e ga r di ng  t h e   o v e r a l l   p r e di c t i v e   v a l ue ,   t h e   d r o po ut   t e c hn i que   d i i m p r o v e   s l i gh t l y   t h e   t a n H - b a s e n e t w o r a n t h e   E L U - b a s e n e t w o r w i t t h e   h i g h e s t   s c o r e   o f   94. 12% .     T h e   r e s ul t s   o b t a i n e f r o m   o ur   m o de l s   a r e   m o r e   a c c ur a t e   a n e f f i c i e n t   t ha n   [32] .   F r o m   t h e   r e s ul t s   pub l i s h e i [32] ,   t h e   t o a c c ur a c y   w a s   a c hi e v e by   R a n do m   F o r e s t s   ( 74%) ,   f o l l ow e by   G r a d i e nt   B o os t i ng  (73. 8 %),   f o l l ow e by   D e c i s i o n   T r e e s   (73. 7 %),   f o l l ow e by   N e ur a l   n e t w o r ks   ( 68%).   T h e   c l a s s i f i c a t i o n   r e s ul t s   s h o w e t h a t   o u r   m o de l   o ut pe r f o r m e a l l   t h e   o t h e r   e xi s t i n g   m e t h o ds   a n d   a c hi e v e   a n   o v e r a l l   p r e di c t i v e   v a l ue   of  94. 12 %.         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8938     I n t   J   A rt i f   I nt e l l ,   V o l .   10 ,   N o .   1 M a r c h   20 2 1 :     10 1     109   108   T a b l e   5 .   C l a s s i f i c a t i o r e s ul t s   o n   t h e   t e s t i n g   da t a   f o r   t h e   F S _ D N N   m o de l   us i ng  d r o po ut   r e gul a ri z a t i o n     A c t i v a t i o n   F u n c t i o n   A c c u ra c y   Cl a s s i fi c a t i o n   E rro r   N e g a t i v e   p r e d i c t i v e   v a l u e   P o s i t i v e   p r e d i c t i v e   v a l u e   O v e ra l l   p r e d i c t i v e   v a l u e   T N   ra t e     T P   ra t e   Ba l a n c e d   a c c u ra c y   t a n H   9 0 . 9 1 %   9 . 0 9 %   9 6 . 4 3 %   8 1 . 2 5 %   8 8 . 8 4 %   9 0 . 0 0 %   9 2 . 8 6 %   9 1 . 4 3 %   Re L U   8 8 . 6 4 %   1 1 . 3 6 %   9 6 . 3 0 %   7 6 . 4 7 %   8 6 . 3 9 %   8 6 . 6 7 %   9 2 . 8 6 %   8 9 . 7 7 %   M a x o u t   8 4 . 0 9 %   1 5 . 9 1 %   9 2 . 5 9 %   7 0 . 5 9 %   8 1 . 5 9 %   8 3 . 3 3 %   8 5 . 7 1 %   8 4 . 5 2 %   E L U   9 0 . 9 1 %   9 . 0 9 %   8 8 . 2 4 %   100%   9 4 . 1 2 %   100%   7 1 . 4 3 %   8 5 . 7 2 %       4.   C O N C LU S I O N   T h e   c urr e n t   r e s e a r c h   s t udy   i n v e s t i ga t e s   t h e   pe r f o r m a n c e   of   t h e   c l a s s i f i c a t i o n   o f   h e a r t   d i s e a s e   pa t i e nt s .   T h e   i m pa c t   o f   t h e   l e a rn i ng  r a t e   o n   t h e   a c c ura c y   of   s h a l l o w   n e ura l   n e t w o r ks   w a s   e xpl o r e d,   a n di f fe r e nt   a c t i v a t i o n   f u n c t i o n s   w e r e   i n v e s t i ga t e f o r   t h e   f i r s t   t i m e   f o r   h e a r t   d i s e a s e   c l a s s i f i c a t i o n   p r o b l e m s .   T h e s e   f un c t i o n s   a r e   t h e   h y pe r bo l i c   t a nge nt ,   t h e   r e c t i f i e r   l i n e a r   u n i t ,   t h e   m a xo ut ,   a n t h e   e xpo n e nt i a l   r e c t i f i e r   l i n e a r   u ni t .   T h e   i m pa c t   o f   t h e   de pt h   o f   n e ura l   n e t w o r ks   o n   t h e   a c c ura c y   w a s   i n v e s t i ga t e d.   A   c o m pa ri s o n   b e t w e e n   a   f e e d - fo r w a r n e t w o r c l a s s i f i e r   a c c ur a c y   a n a   de e fe e d - fo r w a r n e t w o r c l a s s i f i e r   a c c ura c y   w a s   c a rri e o ut .   A n   i nt e l l i ge nt   de e l e a rni n m o de l   w a s   de v e l ope a n t ra i n e w i t h   s t o c h a s t i c   gra di e nt   de s c e n t   us i n t h e   b a c kpr o pa g a t i o n   a l g o ri t hm .   T h e   d r o po ut   r e gul a r i z a t i o n   a n t h e   c h i - s q ua r e   t e s t   h a v e   be e n   i n c o r po r a t e i n t o   t h e   m o de l   t o   i m p r o ve   t h e   c l a s s i f i c a t i o n   a c c ura c y   o h e a r t   d i s e a s e   pa t i e n t s .   T h e   pe r f o r m a n c e   of   t h e   p r o po s e de e n e ura l   n e t w o r m o de l   w a s   e v a l ua t e us i n t h e   b a l a n c e a c c ur a c y   a n d   t h e   o v e r a l l   pr e di c t i v e   v a l ue   m e t ri c s   t h a t   p r o v i de   us e f ul   i n s i g h t s   i n t o   t he   c l a s s i f i e r ’s   b e h a v i o r   w i t h o ut   b e i n g   a f f e c t e b y   t h e   i m b a l a n c e da t a s e t .   W e   s ugge s t   a l l   t h e   r e s e a r c h e r s   de a l i n w i t h   i m b a l a n c e da t a s e t s   t o   e v a l ua t e   t h e i r   b i n a r y   c l a s s i f i c a t i o n   p r e di c t i o n s   t hr o ug h   b a l a n c e a c c ura c y   a n t h e   o ve r a l l   p r e di c t i o n   v a l ue   i n   a dd i t i o n   t o   t h e   a c c ur a c y ,   s e n s i t i v i t y ,   a n d   s pe c i f i c i t y .   In c o r po r a t i n t h e   f e a t u r e   s e l e c t i o n   p r o c e s s ,   a l l o w e t h e   pr o po s e m o de l   t o   e l i m i n a t e   t h e   l e a s t   e ffe c t i ve   a n t h e   m o s t   c o r r e l a t e da t a   a nd  i m p r o v e t h e   m o de l   ge n e r a l i z a t i o n   c a pa b i l i t i e s .   T h e   ov e r a l l   pr e di c t i o n   v a l ue   w a s   e nh a n c e by   7% a n t h e   b a l a n c e a c c ur a c y   w a s   e nh a n c e by   12%   c o m pa r e t o   t h e   de e n e ura l   n e t w o r m o de l .   T h e   pe r f o r m a n c e   w a s   f ur t h e s l i g h t l y   e n ha n c e a f t e r   i nt e gra t i n t h e   d r o po ut   r e gul a r i z a t i o n   t e c hn i q ue   t ha t   w a s   us e t o   p r e v e n t   t h e   m o de l   f r o m   o ve r f i t t i ng  a n t h us   i m p r o v e   t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e   e s pe c i a l l y   fo r   n e t w o r ks   t ra i n e us i n t a n H ,   R e L U ,   a n M a xo ut   a c t i v a t i o n   f un c t i o n s .   T h e   p r o po s e m o de l   a c h i e v e s   a   b a l a n c e a c c ur a c y   of   91. 43%  a n a   h i g h   o v e r a l l   p r e di c t i v e   v a l ue   of   94. 12%.   T h e r e f o r e ,   t h e   p r o po s e m o de l   h a s   t h e   po t e nt i a l   t o   ge n e ra t e   a   k n o w l e dge - r i c h   e n v i r o nm e n t   t ha t   c a n   s i g n i f i c a nt l y   h e l t o   e nha n c e   t h e   qu a l i t y   o f   c l i ni c a l   de c i s i o n s   by   a c c ur a t e l y   pr e di c t   t h e   s u r v i v a l   o c a r d i o v a s c ul a r   pa t i e n t s .   T h e   ob t a i n e r e s ul t s   a r e   p r o m i s i ng,   a n t h e   p r o po s e m o de l   c a n   b e   a ppl i e t o   a   l a r ge r   d a t a s e t   a n us e by   ph y s i c i a n s   t o   a c c ura t e l y   c l a s s i fy   h e a r t   d i s e a s e   pa t i e nt s .   O b v i o us l y ,   us i n de e f e e d f o r w a r n e u r a l   n e t w o r ks   fo r   h e a r t   d i s e a s e   pa t i e nt ’s   c l a s s i f i c a t i o n   i s   j us t   o n e   e xa m pl e   o f   t h e   s uc c e s s f ul   a ppl i c a t i o n s   o f   de e l e a rn i ng - b a s e m o de l s   t o   a   r e a l - w o r l p rob l e m         R EF ER EN C ES   [ 1]   W o r l H e a l t O r g a n i z a t i o n,   T he   t o 10   c a us e s   o f   de a t h   f a c t   s h e e t   N   310 ,   G e ne v a ,   S w i t z e r l a nd:   W o r l H e a l t h   O r g a ni z a t i o n ,   201 3 .   [ 2]   H e i de nr e i c h,   P a ul   A . ,   e t   a l ,   F o r e c a s t i ng   t he   f u t ur e   o f   c a r di o v a s c ul a r   d i s e a s e   i t h e   U n i t e S t a t e s :   a   po l i c y   s t a t e m e nt   f r o m   t he   A m e r i c a H e a r t   A s s o c i a t i o n,   C i r c ul a t i o n ,   v o l . 123 ,   no .   8,   pp .   93 3 - 944 ,   2011 ,   do i :   10. 1 161 / C I R . 0b013e 3182 0a 5 5f 5 .   [ 3]   W i e ns ,   J .   a nd   S h e noy ,   E . S . ,   M a c hi ne   l e a r n i ng   f o r   he a l t hc a r e :   o t he   v e r g e   o f   a   m a j o r   s h i f t   i he a l t hc a r e   e pi d e m i o l o gy ,   C l i ni c a l   I n f e c t i ous   D i s e as e s ,   v o l .   66,   no .   1 ,   pp. 149 - 153,   2 018 ,   ht t ps : / / do i . o r g / 10 . 109 3/ c i d / c i x7 31 .   [ 4]   H i j a z i ,   M .   H.   A . ,   H w a ,   S .   K.   T . ,   a nd  J e f f r e e ,   M .   S . ,   E ns e m b l e   de e l e a r ni ng   f o r   t ube r c ul o s i s   d e t e c t i o u s i ng   c he s t   X - R a y   a nd  c a nny   e dg e   de t e c t e i m a g e s ,   I A E S   I n t e r na t i ona l   J ou r nal   o f   A r t i f i c i a l   I n t e l l i ge nc e ,   v o l .   8 ,   no .   4 ,   p p 429 - 435 ,   2019 ,   do i: 10. 1159 1/ i j a i . v 8. i 4 . pp4 29 - 435 .   [ 5]   A l i y u,   H .   A . ,   R a z a k,   M .   A.   A . ,   S u di r m a n ,   R . ,   a nd  R a m l i ,   N . ,   A   d e e l e a r n i ng   A l e xN e t   m o de l   f o r   c l a s s i f i c a t i o o f   r e b l o o c e l l s   i s i c kl e   c e l l   a n e m i a ,   I n t   J   A r t i f   I n t e l l ,   v o l .   9 ,   no .   2 ,   pp .   2 21 - 228 ,   20 20,   do i : 10. 11591 / i j a i . v 9 . i 2 . pp 221 - 22 8.   [ 6]   M a hm o o d,   M . ,   A l - K ha t e e b ,   B . ,   a nd  A l w a s h ,   W .   M . ,   A   r e v i e w   o ne ur a l   ne t w o r ks   a p pr o a c o c l a s s i f y i ng  c a nc e r s ,   I A E I n t e r na t i ona l   J ou r na l   of   A r t i f i c i al   I n t e l l i ge nc e ,   v o l .   9,   no .   2,   p p .   317 - 32 6,   20 20,   do i : 10. 11591 / i j a i . v 9 . i 2 . p p 317 - 32 6.   [ 7]   X i ng ,   Y . ,   W a ng ,   J .   a nd  Z ha o ,   Z . ,   C o m bi na t i o da t a   m i n i ng   m e t ho ds   w i t ne w   m e di c a l   d a t a   t o   pr e di c t i ng   o ut c o m e   o f   c o r o na r y   he a r t   d i s e a s e ,   I 2007  I n t e r na t i o nal   C onf e r e nc e   on   C onv e r ge nc e   I nf or m a t i on  T e c hno l og y   ( I C C I T   2007) ,   I E E E ,   pp .   868 - 87 2 ,   20 07 ,   do i :   10 . 110 9/ I C C I T . 2007 . 204 .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A r t i f   I n t e l l   IS S N :   2252 - 8938       Im pl e m e nt a t i o o f   a i nc r e m e n t al   de e p   l e ar ni n m od e l   f or   s ur v i v al   pr e d i c t i on   o f   ( Sanaa   E l y as s am i )   109   [ 8]   H .   A .   E s f a ha ni   a n M .   G h a z a nf a r i ,   C a r d i o v a s c ul a r   d i s e a s e   d e t e c t i o us i ng   a   ne w   e ns e m b l e   c l a s s i f i e r ,   201 I E E E   4t I n t e r nat i o nal   C on f e r e nc e   on  K now l e dge - B as e E ng i ne e r i ng   an I nn ov a t i on  ( K B E I ) ,   D e c .   20 17 ,   pp .   10 11 - 101 4,   do i :   10. 1109 / K B E I . 2017 . 83 2494 6 .   [ 9]   D .   K .   R a v i s h ,   K .   J .   S ha n t h i ,   N .   R .   S he noy   a nd  S .   N i s a r g h,   H e a r t   f unc t i o m o ni t o r i ng   pr e di c t i o a nd  pr e v e nt i o of   he a r t   a t t a c ks :   U s i ng   a r t i f i c i a l   ne ur a l   n e t w o r k s ,   20 14  I nt e r n at i on a l   C on f e r e nc e   on  C on t e m por a r y   C om pu t i n an I nf o r m a t i c s   ( I C 3 I ) ,   pp.   1 - 6 ,   N o v .   2 014 ,   do i :   10. 110 9/ I C 3I . 2014. 70 1 9580 .   [ 10]   W .   Z ha ng   a n J .   H a n ,   T o w a r ds   he a r t   s o und  c l a s s i f i c a t i o w i t ho ut   s e g m e n t a t i o us i ng   c o nvo l ut i o na l   ne u r a l   ne t w o r k ,   P r oc .   Com p ut .   C ar di o l .   ( Ci nC) ,   v o l .   44 ,   pp.   1 - 4 ,   S e p .   2017 ,   do i :   10. 224 89 / C i nC . 20 17 . 254 - 16 4.   [ 11]   L a t ha ,   C . B . C .   a n J e e v a ,   S . C . ,   I m pr o v i ng   t he   a c c ur a c y   o f   pr e di c t i o o f   he a r t   d i s e a s e   r i s b a s e o e n s e m b l e   c l a s s i f i c a t i o t e c hni que s ,   I n f or m a t i c s   i M e di c i ne   U nl oc k e d ,   v o l .   16,   201 9.   ht t ps : / / do i . o r g / 10. 1016 / j . i m u. 2019 . 1 0020 3 .   [ 12]   M o ha n,   S . ,   T hi r um a l a i ,   C .   a nd   S r i v a s t a v a ,   G . ,   E f f e c t i v e   h e a r t   d i s e a s e   p r e di c t i o us i ng   hy br i m a c hi n e   l e a r n i ng   t e c hni que s ,   I E E E   A c c e s s v o l .   7,   pp .   815 42 - 8155 4 20 19 ,   do i :   10 . 1 109/ A C C E S S . 2019 . 29 2370 7.   [ 13]   A hm a T . ,   M un i r   A . ,   B ha t t i   S . H . ,   A f t a M . ,   R a z a   M A .,  S u r v i v a l   a na l y s i s   o f   he a r t   f a i l ur e   pa t i e nt s :   a   c a s e   s t udy ,   P L oS  O N E ,   v o l .   12 ,   no .   7,   2 017 do i :   10. 137 1/ j o ur n a l . po ne . 0181 00 1.   [ 14]   A uj l a ,   R a v i nde r   S . ,   a n R o s ha P a t e l .   C r e a t i n e   P ho s pho ki n a s e .   T r e a s ur e   I s l a nd  ( F L ) :   S t a t P e a r l s   P ub l i s hi ng ;   2020  J a n .   P M I D :   315362 31 .   ht t ps : / / w w w . nc bi . nl m . n i h . g ov / bo o ks / N B K 54662 4/ # a r t i c l e - 20105 . s 7   [ 15]   B r i t o ,   C . ,   E s t e v e s ,   M . ,   a n P e i xo t o ,   H . ,   e t   al .,   A   da t a   m i n i ng   a ppr o a c t o   c l a s s i f y   s e r um   c r e a t i n i ne   v a l ue s   i n   pa t i e n t s   und e r g o i ng   c o nt i nuo us   a m bu l a t o r y   pe r i t o ne a l   di a l y s i s ,   W i r e l e s s   N e t w or k s ,   p p.   1 - 9,   2019 .   ht t ps : / / do i . o r g / 10. 1007 / s 1127 6 - 018 - 0190 5 - 4 .   [ 16]   C he n,   J .   a nd  Z e ng ,   R . ,   A ne m i a ,”   I H and book   o f   C l i n i c a l   D i a gnos t i c ,   S p r i ng e r ,   S i ng a po r e ,   pp .   19 - 21 ,   2020 ,   do i : 10. 1007/ 978 - 981 - 13 - 76 77 - 1_6 .   [ 17]   B ut l e r   J ,   A nke r   S D ,   P a c ke r   M . ,   R e de f i n i ng   H e a r t   F a i l u r e   w i t a   R e duc e E j e c t i o F r a c t i o n,   J A M A ,   v o l .   322 ,   no .   18,   pp .   176 1 17 62,   2 019 ,   do i : 10. 1001 / j a m a . 2019 . 1 5600 .   [ 18]   V a ne s s a   A .   R a v e l ,   e t   al .,   S e r um   s o di um   a nd  m o r t a l i t y   i a   na t i o na l   pe r i t o ne a l   d i a l y s i s   c o ho r t ,   N e phr o l ogy   D i al y s i s   T r ans p l a nt a t i on ,   v o l .   32 ,   no .   7 ,   pp   12 24 1 233 ,   J u l y   2017 ,   do i : 10. 1093/ ndt / g f w 254 .   [ 19]   O s bo r n,   G . ,   M ne m o ni c   f o r   hy pe r bo l i c   f o r m ul a e ,   T he   M a t he m at i c al   G az e t t e ,   v o l .   2,   no .   3 4,   p p .   189 ,   J ul y   1902 do i : 10. 2307/ 3602 492 .   [ 20]   N a i r ,   V i no d ,   H i nt o n ,   G e o f f r e y   E . ,   R e c t i f i e L i ne a r   U ni t s   I m pr o v e   R e s t r i c t e B o l t z m a nn  M a c hi n e s ,   27 t h   I nt e r n at i on al   C on f e r e nc e   on  I nt e r na t i ona l   C onf e r e nc e   on  M a c hi n e   L e ar ni ng ,   I C M L ' 10,   U S A :   O m ni pr e s s ,   20 10 ,   pp.   80 7 81 4.   [ 21]   G oo df e l l o w ,   I .   J ,   W .   F a r l e y ,   D .   M i r z a ,   e t   al .,   M a xo u t   N e t w o r ks ,   J M L R   W or k s hop   an C o nf e r e nc e   P r oc e e di ngs v o l .   28,   no .   3 ,   pp.   1 319 1327 ,   201 3 .   [ 22]   C l e v e r t ,   D . A . ,   U nt e r t h i ne r ,   T .   a nd  H o c hr e i t e r ,   S . ,   F a s t   a n a c c ur a t e   de e ne t w o r k   l e a r ni ng   by   e xpo ne nt i a l   l i ne a r   uni t s   ( e l u s ) ,   a r X i v   pr e pr i nt   a r X i v : 1511. 07 289 ,   2015 .   [ 23]   M o r a d i ,   R . ,   B e r a ng i ,   R .   a nd   M i na e i ,   B . ,   A   s u r v e y   o f   r e g ul a r i z a t i o s t r a t e g i e s   f o r   de e p   m o de l s , ”  A r t i f   I n t e l l   R e v v o l .   53,   p p.   39 47 3 986 .   2020 .   ht t p s : / / do i . o r g / 10 . 10 07 / s 10 462 - 019 - 0 9784 - 7 .   [ 24]   F a r i s ,   H . ,   M i r j a l i l i ,   S .   a n A l j a r a h ,   I . ,   A ut o m a t i c   s e l e c t i o o f   hi dde ne u r o ns   a n w e i g ht s   i ne u r a l   ne t w o r ks   us i ng   g r e y   w o l f   o pt i m i z e r   ba s e o a   hy br i d   e nc o di ng   s c he m e ,   I n t .   J .   M ac h.   L e ar n .   &   C y be r ,   v o l .   10,   no .   10 ,   pp .   290 1 2920 ,   2019 ,   ht t p s : / / do i . o r g / 10 . 10 07/ s 13 042 - 018 - 00 913 - 2 .   [ 25]   L e v e r ,   J . ,   K r z y w i ns ki ,   M .   a nd   A l t m a n ,   N . ,   C l a s s i f i c a t i o e v a l ua t i o n,   N a t   M e t ho ds ,   v o l .   1 3,   pp .   6 03 6 04 ,   20 16 ht t ps : / / do i . o r g / 10. 1038 / nm e t h . 39 45 .   [ 26]   K .   H .   B r o de r s e n,   C .   S .   O ng ,   K .   E .   S t e ph a a nd   J .   M .   B uhm a n n,   T he   B a l a nc e d   A c c ur a c y   a nd  I t s   P o s t e r i o r   D i s t r i bu t i o n,   20 10  2 0t h   I n t e r na t i ona l   C on f e r e nc e   on  P at t e r n   R e c ogn i t i on ,   I s t a n bul ,   p p.   3121 - 31 24 ,   20 10 do i :   10. 1 109 / I C P R . 2010 . 764 .   [ 27]   E i c kho l t ,   J . ,   C h e ng ,   J . ,   D N di s o r de r :   pr e di c t i ng   pr o t e i n   d i s o r d e r   u s i ng   bo o s t i ng   a nd   de e ne t w o r ks ,   B M C   B i o i nf or m a t i c s ,   v o l .   14 ,   no .   8 8,   20 13 ,   ht t ps : / / do i . o r g / 10 . 118 6/ 1 471 - 2105 - 14 - 88 .   [ 28]   M a hm o o d.   M . ,   A l - K ha t e e b .   B   a n A l w a s h .   M . ,   A   r e v i e w   o ne ur a l   ne t w o r ks   a ppr o a c o c l a s s i f y i ng   c a nc e r s ,   I nt e r n at i on al   J o ur n al   o f   A r t i f i c i a l   I n t e l l i ge nc e ,   v o l .   9 ,   pp .   317 - 326 ,   2020 ,   do i : 10. 11591 / i j a i . v 9. i 2. p p31 7 - 326.   [ 29]   J i n ,   X . ,   X u,   A . ,   B i e ,   R .   a n G uo ,   P . ,   A pr i l .   M a c hi ne   l e a r ni ng   t e c hn i que s   a nd  c hi - s qu a r e   f e a t u r e   s e l e c t i o f o r   c a nc e r   c l a s s i f i c a t i o us i ng   S A G E   g e ne   e x pr e s s i o p r o f i l e s ,   In   I nt e r n at i onal   W or k s ho o D a t M i n i ng   f o r   B i om e di c al   A ppl i c a t i ons ,   S p r i ng e r ,   B e r l i n ,   H e i d e l be r g p p.   10 6 - 115 2 006 ,   ht t p s : / / do i . o r g / 10. 1 007 / 11 6917 30_1 1 .   [ 30]   I .   G oo df e l l o w ,   Y .   B e ng i o ,   a nd   A .   C o ur v i l l e ,   D e e l e a r n i ng ,   B o o i n   pr e pa r a t i o f o r   M I T   P r e s s ,   20 16,   [ O nl i ne ] .   A v a i l a b l e :   ht t p: / / w w w . de e pl e a r ni ng bo o k. o r g .   [ 31]   L e i   J i m m y   B a ,   B r e nda n   F r e y . ,   A da pt i v e   dr o po ut   f o r   t r a i ni ng   de e ne u r a l   n e t w o r ks ,   I P r oc e e di ngs   of   t he   26 t h   I nt e r n at i on al   C onf e r e nc e   on   N e ur al   I n f o r m at i o P r oc e s s i ng  Sy s t e m s - V o l um e   ( N I P S' 13 ) .   C ur r a A s s o c i a t e s   I nc . ,   R e H o o k,   N Y ,   U S A ,   pp .   3084 309 2 20 13 .   [ 32]   C hi c c o ,   D . ,   J ur m a n ,   G . ,   M a c h i ne   l e a r n i ng   c a pr e di c t   s u r v i v a l   o f   pa t i e n t s   w i t he a r t   f a i l ur e   f r o m   s e r um   c r e a t i ni n e   a nd  e j e c t i o f r a c t i o a l o ne ,   B M C   m e d i c a l   i n f or m at i c s   a nd   de c i s i o n   m ak i ng ,   v o l .   20 ,   no . 1 ,   p p.   1 6,   20 20 .   Evaluation Warning : The document was created with Spire.PDF for Python.