I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   4 ,  A u g u st   201 7 ,   p p .   2 1 8 3 ~ 2 1 9 1   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v7 i 4 . p p 2 1 8 3 - 2191          2183       J o ur na l ho m ep a g e :  h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   The Ana ly sis  of P erfor m a ce Mo del  Tiered A rtif i cia l  Neura l  Netw o rk  f o r Asse ss m en t  o f  Co ro na ry  H ea rt  Disea se       Wiha rt o   Wiha rt o 1 ,   H er ia nto   H er ia nto 2 ,   H a ri  K us na nto 3   1 De p a rtme n t  o f   In f o rm a ti c s ,  S e b e las   M a re t  Un iv e rsit y ,  In d o n e sia   2 De p a rtme n t  o f   M e c h a n ica l  a n d   I n d u str ial  En g i n e e rin g ,   G a d jah   M a d a   Un iv e rsity ,   In d o n e sia   3 De p a rtme n t  o f   M e d icin e ,  G a d jah   M a d a   Un iv e rsity ,   In d o n e sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   9 ,   2 0 1 6   R ev i s ed   Ma y   1 0 ,   2 0 1 7   A cc ep ted   Ma y   2 4 ,   2 0 1 7       T h e   a ss e s s m e n t  m o d e l  o f   c o ro n a r y   h e a rt  d ise a se   is  so   m u c h   d e v e lo p e d   i n   li n e   w it h   th e   d e v e lo p m e n t  o f   in f o rm a ti o n   tec h n o l o g y ,   p a rti c u larly   th e   f ield   o f  a rti f icia l  in telli g e n c e .   Un f o rtu n a tel y ,   th e   a ss e ss m e n t  m o d e ls  d e v e lo p e d   m o stl y   d o   n o t  u se   su c h   a n   a p p ro a c h   m a d e   b y   th e   c li n icia n ,   th a t  is   th e   ti e re d   a p p ro a c h .   T h is  m a k e s  th e   a ss e s s m e n t  p ro c e ss   sh o u ld   c o n d u c t  a   th o r o u g h   e x a m in a ti o n .   T h is  stu d y   a i m s  to   a n a ly z e   th e   p e rf o rm a n c e   o f   a   ti e re d   m o d e l  a ss e ss m e n t.   T h e   a ss e ss m e n t  s y ste m   is  d iv id e d   in to   se v e ra l   le v e ls,   w it h   re fe re n c e   to   th e   sta g e s   o f   th e   in sp e c ti o n   p ro c e d u re . T h e   m e th o d   u se d   f o r  e a c h   lev e l  is,   p re p ro c e ss in g ,   b u i ld i n g   a rc h it e c tu re   a rti f icia l  n e u ra l  n e tw o rk   ( A NN ),   c o n d u c t  train in g   u sin g   th e   L e v e n b e rg - M a rq u a rd t  a lg o rit h m   a n d   o n e   ste p   se c a n t,   a s  w e ll   a s  tes ti n g   th e   sy ste m .     T h e   tes t  re su lt s  sh o w e d   th e   in f lu e n c e   o f  e a c h   lev e l,   b o th   w h e n   th e   o u tp u t   lev e l  o f   th e   p re v io u s   p o siti v e   o r   n e g a ti v e ,   w e r e   tes ted   b a c k   a t  th e   n e x t  lev e l.   T h e   e ff e c t  in d ica tes   th a t  th e   le v e l   a b o v e   g iv e s  p e r f o rm a n c e   i m p ro v e m e n t  a n d   o r   stre n g th e n s  th e   p e rf o rm a n c e   a t  th e   p re v io u s lev e l.     K ey w o r d :   A r ti f icial  i n tel lig e n ce   A r ti f icial  n e u r al  n et w o r k   Ass es s m en t   C o r o n ar y   h ea r t d is ea s e   T ier e d   m o d el   Co p y rig h t  ©   2 0 1 7   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   W ih ar to   W ih ar to ,    Dep ar t m en t o f   I n f o r m atic s ,   Seb elas M ar et  Un i v er s it y ,   J l.  I r .   Su ta m i,  No .   3 6 A ,   Ken ti n g a n ,   S u r ak ar ta,   I n d o n e s ia .   E m ail:  w i h ar to @ s ta f f . u n s . ac . i d       1.   I NT RO D UCT I O N   T h e  d ev elo p m en t  o f   tech n o lo g y ,   m a k in g   a  lo t  o f   ch an g es,  es p ec iall y   a  p er s o n 's  lif e s t y le.   I n f o r m atio n   tech n o lo g y   b r in g s   p eo p le  in to   ac tiv itie s   m o r e  ea s i l y ,   w h ic h   i s   a  lo t o f   ac tiv i ties   t h at  ca n   b e  d o n e  b y   j u s t  s itti n g   b eh in d   a  d e s k .   T h e  a m o u n t  o f   ch a n g e   u n h ea lt h y   li f est y le  w i ll  h a v e  a n   i m p ac t  o n   o n e 's  h e alth   [ 1 ] .   Un h ea lt h y   lif es t y le  i s   o n e  o f   t h e  r is k   f ac to r s   f o r   co r o n ar y   h ea r t  d is ea s e.   A   g o o d   an ticip ato r y   ac tio n   is   tr y i n g   to   m a k e  a   h ea lt h y   li f e s t y le  a n d   d ilig e n t   to   co n d u ct  a  th o r o u g h   m ed ical  ex a m in at io n   to   d eter m in e  th e  p r esen ce   o r   ab s en ce   o f   b lo ck a g e  i n   ar ter y   co r o n ar y   b lo o d   v ess el s .   Un f o r tu n atel y ,   s u ch   c h ec k s   ar e  ex p en s iv e,   a n d   n o t   ev er y   le v el  o f   h ea lt h   s er v ices  p r o v id ed .   R elate d   to   co s t,  a  n u m b er   o f   co u n tr ie s   ap p l y i n g   t h e  co n ce p t  o f   h ea lt h   in s u r an ce ,   s u c h   a s   i n   I n d o n e s i a  w ith   a  n a tio n al  h ea lt h   i n s u r a n ce   p r o g r a m   ( J KN) .   T h e  co n c ep t  o f   ap p l y i n g   th e   co n ce p t o f   t ier ed   J KN  s er v ice s ,   w h ich   ar e  s er v ices o f   p r i m a r y ,   s ec o n d ar y   an d   ter tiar y   [ 2 ] .   R ef er r i n g   m a k i n g   it   th e  m ed ical  e x a m i n atio n   s h o u l d   b e  co n d u cted   in   p h ases .   T h e  d ev elo p m e n t  o f   i n f o r m at io n   tech n o lo g y ,   esp ec iall y   i n   th e  f ield   o f   ar tific ial  i n telli g en ce ,   to o k   ef f ec t  i n   m o d els  o f   cli n ical  d ec is io n   s u p p o r t  s y s te m s   f o r   th e  d iag n o s i s   o f   co r o n ar y   h ea r t  d is e ase.   Nu m er o u s   s tu d ie s   h a v e  b ee n   d ev elo p ed   u s in g   ar ti f icial  i n telli g e n c e  alg o r ith m s ,   s u c h   as  C 4 . 5   [ 3 ] ,  [ 4 ] ,   w eig h ted   ass o ciatio n   clas s if ier   [ 5 ] ,   k NN  [ 6 ] ,   ar tif icial  n e u r al  n e t w o r k   [ 7 ] ,   [ 8 ] ,    th e  f u zz y   s y s te m   [ 9 ]   an d   t h e   co m b i n atio n   o f   clas s i f icatio n   an d   clu s ter i n g   [ 1 0 ] .   T h e  d ev elo p m e n t  o f   r esear c h   o n   t h e  s y s te m   o f   d ia g n o s i s   o f   co r o n ar y   h ea r t d is ea s e  ca n   b e  g r o u p ed   in to   f o u r .   T h e  f ir s t a   d iag n o s t ic  s y s te m   w it h o u t r ed u cin g   t h e  n u m b er   o f   attr ib u tes.  T h e  s ec o n d   th e  s y s te m   o f   d ia g n o s is   b y   r ed u cin g   t h e  attr ib u te   d i m e n s io n s   [ 1 1 ] ,   [ 1 2 ] .   T h e  th ir d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 ,  A u g u s t  2 0 1 7   :    2 1 8 3   –   2 1 9 1   2184   d iag n o s t ic  s y s te m s   ar e  b y   th e  r ed u ctio n   o f   t h e  attr ib u te  d i m en s io n s   t h at  c o n s id er   th e  co s t s   [ 1 3 ] ,   [ 1 4 ] ,   an d   th e   f o u r t h   d iag n o s tic  s y s te m s   ar e  b y   a  tier ed   ap p r o ac h   [ 1 5 ] ,   [ 1 6 ] .     T h e  w id el y   d e v elo p ed   ap p r o ac h   to   h ea r t  d is ea s e  d iag n o s i s   is   f o cu s ed   o n   d im e n s io n al   r ed u ctio n   co m b i n atio n s   w it h   ar ti f icial   i n telli g e n ce   al g o r ith m s .  T h e  r esear ch   w i th   t h e  t h e m e   o f   d im en s io n   r ed u ctio n   co m b i n atio n   w it h   co n s id er ati o n   o f   co s t  an d   tier ed   ap p r o a ch   i s   s t ill  r elati v el y   s m al l.  S ev er al  s t u d ies   h a v e   p r o p o s ed   s u c h   a   co m b i n atio n   m o d el,   s u c h   a s   r esear c h   c o n d u cted   b y   A r j en a k i  e t.a l   [ 1 3 ] .   T h e  s t u d y   u s ed   a   g en et ic  al g o r ith m   w it h   a n   ele m en t  o f   t h e  f it n es s   f u n ctio n   a ttrib u te  i n s p ec tio n   co s t  co n s id er atio n s .   A r ti f ici al   in telli g e n ce   alg o r it h m s   u s ed   to   class if y   is   n ai v e  B ay e s ia n .   A   s i m i l ar   s tu d y   co n d u cted   b y   Fes h k i  &   Sh ij an i     [ 1 4 ] .   On l y   i n   t h e  s t u d y   u s i n g   t h e  p ar ticle  s w ar m   o p ti m izat io n   f o r   d i m e n s io n   r ed u ctio n   b y   th e  f it n es s   f u n ctio n   co n s id er in g   th e  c o s t  o f   in s p ec tio n   attr ib u tes.  C lass if ica tio n   is   d o n e  b y   u s i n g   a  f ee d   f o r war d   n eu r al  n et w o r k   alg o r ith m .   T h e  s t u d y   also   s u g g est s   g r o u p i n g   attr ib u te s   in v e s tig a tio n   b ased   o n   t h e  co s ts .   T h e  m et h o d   u s ed   in   b o th   s tu d ie s ,   ca p ab le  o f   r ed u cin g   co s t l y   attr ib u tes i n   t h e  d iag n o s is   s y s te m   o f   co r o n ar y   h ea r t   d is ea s e.   T h e  d ev elo p m e n t  o f   a  f u r th er   d iag n o s t ic  m o d el  is   to   u s e  a  ti er ed   ap p r o ac h .   T h e  m o d el  h a s   n o t  b ee n   w id el y   d ev elo p ed .   T h e  co n ce p t  o f   th i s   ap p r o ac h   is   a  co m m o n   p r o ce d u r e  u s ed   i n   t h e   d iag n o s i s   p r o ce s s   co n d u cted   cl i n icia n .   T h is   co n ce p t  ca n   b e  u s ed   f o r   d i m e n s io n   r ed u ctio n   p r o ce s s ,   s u ch   as  i n   s tu d ie s   co n d u cted   W ih ar to   et. al  [ 1 6 ] .   T h e  g r o u p in g   attr ib u te  r esear c h   in   ac co r d an ce   w it h   th e  p r o ce d u r e  clin icia n ,   f o r   later   an al y s is   u s i n g   a  h ier ar ch ical  o f   lo g is tic  r e g r ess io n   alg o r it h m s .   A ttrib u te  d i m e n s io n   r ed u ctio n   r esu lt s ,   f u r th er   class i f ied   b y   u s i n g   ar ti f icial  n eu r al   n et w o r k   al g o r ith m .   R ef er r in g   to   t h e  g r o u p i n g   p er f o r m ed   i n   r e s ea r ch   Fes h k i  &   Sh ij an i  [ 1 4 ] ,   th ese   s tu d ies  also   ab le  to   r ed u ce   co s tl y   attr ib u te,   w it h   th e  s y s t e m   s till   p r o v id es  a  r elativ el y   g o o d   p er f o r m an ce .   L o g i s tic   r eg r es s io n   alg o r it h m   is   al s o   u s ed   i n   r esear c h   A b d a r   et. al  [ 1 2 ] ,   b u t  t h e  r esu lt s   g e n er ated   d i m e n s io n   r e d u ctio n   t h er e  ar e  t w o   attr ib u te s   co s tl y ,   e v en   if   u s i n g   th e  C 5 . 0   alg o r ith m   is   ab le   to   p r o v id e  b etter   p er f o r m a n ce .   T ier e d   ap p r o ac h es  ca n   b e  u s e d   to   th e  m o d el  o f   d iag n o s i s   s y s te m s   an d   d i m e n s io n al  r ed u cti o n ,   as  in   a   s tu d y   co n d u cted   b y   W ih ar t o   et. al  [ 1 5 ] .   T h e  r esear ch   u s e s   f u zz y   i n f er en ce   s y s te m   alg o r ith m ,   f o r   its   class i f icatio n .   T h e  d iag n o s tic   s y s te m   i n   t h e  r esear c h   i s   p r ec ed ed   b y   th e   r u le   ex tr ac tio n   p r o ce s s   u s i n g   a  C 4 . 5   alg o r ith m .   Un f o r tu n atel y   in   t h e  s t u d y   h a s   n o t  co n d u cted   a  p er f o r m a n ce   an al y s i s   th at  ex p lain s   h o w   m u c h   i m p r o v e m en t  a n d   lo s s   o f   s y s te m   p er f o r m a n ce ,   f o r   ea ch   ad d it io n   o f   ex a m i n atio n   lev el.   I n   a d d itio n ,   at  th e  lev e l  o f   r is k   f ac to r   e x a m in atio n ,   t h e  s t u d y   u s ed   f r a m i n g h a m   r i s k   s co r e  m o d elin g   to   m o d el  f u zz y   r u le - b ased .   I f   r ef er r ed   to   in   Ki m   et. al ' s   s tu d y   [ 1 7 ] ,   u n d er   th e  u s e  o f   f r a m in g h a m   r is k   s co r e  i s   s o m e ti m es  u n s u itab le  f o r   a  p ar ticu lar   co u n tr y ,   th i s   is   d u e  t o   th e  d ev elo p m en t o f   t h e  m o d el  r ef er s   to   a  p o p u latio n   in   a  p ar ticu lar   co u n tr y .   R ef er r i n g   to   a  n u m b er   o f   s t u d i es  th at   h a v e  b ee n   d o n e,   s o   in   t h is   s t u d y   co n d u ct  p er f o r m a n c e  an al y s i s   o f   ea ch   le v el,   t h e  m o d el  as s es s m e n t  o f   co r o n ar y   h ea r t   d is ea s e  w it h   a   tier ed   ap p r o ac h .   T ier ed   ap p r o ac h   r ef e r s   to   a  co m m o n l y   u s ed   p r o ce d u r e  o f   clin ician s   i n   t h e  d iag n o s is   an d   th e  co n ce p t  o f   a  tier ed   s y s te m   J KN  s er v ice s .   A r ti f icial  in te lli g en ce   al g o r ith m s   t h at  ar e  u s ed   f o r   ea ch   h i er ar ch icall y   u s in g   ar ti f icial  n eu r al  n et w o r k .   T h e  s y s te m   i s   d i v id ed   in to   th r ee   l ev els   A NN   s y s te m .   A t  th e   f i r s t  an d   th e   t h ir d   le v el  ar c h ite ctu r e  A N N  tr ai n ed   u s i n g   th e  L e v en b er g - Ma r q u ar d t  alg o r ith m ,   w h i le  th e  s ec o n d   lev el  u s in g   t h e  o n e  s tep   s e ca n t.  P er f o r m an ce   p ar am eter s   an al y ze d   w er e  s e n s it iv i t y ,   s p ec i f icit y ,   p o s itiv e   p r ed ictio n   v alu e,   n eg at iv e  p r ed ictio n   v alu e,   t h e  ar ea   u n d er   th e  cu r v e  an d   ac c u r ac y   at  ev er y   lev el.       2.   RE S E ARCH   M E T H O D   2 . 1 .   Da t a   T h is   s tu d y   u s ed   t h e  co r o n ar y   h ea r t  d is ea s e  d ata s et  o f   t h e  UC I   r ep o s ito r y ,   w h ic h   ca n   b e  ac ce s s ed   o n lin e  [ 1 8 ] .   Data s et  co n s i s ts   o f   1 3   ex a m in at io n   attr ib u tes  an d   1   attr ib u te  co n c lu s io n   e x a m i n atio n ,   w i th   th e   a m o u n t  o f   d ata  as  m u ch   a s   3 0 3 .   Data s et  ca n   b e  g r o u p ed   b ased   o n   i n s p ec tio n   p r o ce d u r es   co n s is tin g   o f   t h r ee   g r o u p s .   T h e  f ir s t  g r o u p   is   r is k   f ac to r s ,   b o th   m o d if ied   an d   ca n   n o t b e  m o d i f ied ,   as s h o w n   i n   T ab le   1 .       T ab el  1 .   R is k   f ac to r   P a r a me t e r s   C a t e g o r y   N o .   ( %)   M e a n ± S D   A g e       5 4 , 4 3 9 ± 9 , 0   G e n d e r   1   :   M e n   2 0 6   ( 6 7 , 9 9 )     0   :   W o me n   9 7   ( 3 2 , 0 1 )     D i a st o l i c   b l o o d   p r e ssu r e     ( mm H g )       1 3 1 , 6 9 ± 1 7 , 6   C h o l e st e r o l   i n   mg / d l       2 4 6 , 6 9 ± 5 1 , 7 8   F a st i n g   b l o o d   su g e r   1 :   >   1 2 0   mg / d l   4 5   ( 1 4 , 8 5 )     0   :   ≤   1 2 0   mg / d l   2 5 8 ( 8 5 , 1 5 )         Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       Th e  A n a lysi s   o f P erfo r ma ce   Mo d el  Tier ed   A r tifi cia l Neu r a l  N etw o r k  fo r   A s s e s s men t o f … .   ( W ih a r to   W ih a r to )   2185   T h e  s ec o n d   g r o u p   is   c h e s t  p a in   t y p e  a n d   E C G,   w h ich   is   th e  ex a m i n atio n   to   d eter m i n e  t h e  t y p e  o f   ch est   p ain   an d   ca r d iac  elec tr ic al  ac tiv it y ,   b o th   d u r in g   r es t  a n d   ex er cise,  a s   w el l  as   m ax i m u m   h ea r t  r ate  d u r in g   ex er cise.  A   n u m b er   o f   at tr ib u t es a n d   ca teg o r ies o f   i n s p ec tio n   r esu lts   a s   s h o w n   i n   T ab le  2 .       T ab el  2 .   C h est p ain   t y p e  a n d   elec tr o ca r d io g r ap h y   ( E C G)   P a r a me t e r s   C a t e g o r y   N o .   ( %)   M e a n ± S D   C h e st   p a i n   t y p e   1   :   T y p i c a l   A n g i n a   2 3   ( 7 , 5 9 )     2   :   a t y p i c a l   a n g i n a   5 0   ( 1 6 , 5 )     3   :   n o n - a n g i n a l   p a i n ,   8 6   ( 2 8 , 3 8 )     4   :   a sy mt o mat i c   1 4 4   ( 4 7 , 5 2 )     R e st i n g   EC G   0 :   N o r mal   1 5 1 ( 4 9 , 8 3 )     1   :   S T - T   w a v e   a b n o r mal   4 ( 1 , 3 2 )     2   :   V e n t r i c u l a r   h y p e r t r o p h y     1 4 8 ( 4 8 , 8 4 )     M a x i m u m   h e a r t   r a t e   a c h i e v e d       1 4 9 , 6 1 ± 2 2 , 8 8   Ex e r c i se   i n d u c e d   a n g i n a   1   :   Y e s   9 9 ( 3 2 , 6 7 )     0   :   N o   2 0 4 ( 6 7 , 3 3 )     S T   d e p r e ssi o n   i n d u c e d   b y   e x e r c i se   r e l a t i v e   t o   r e st         1 , 0 4 ± 1 , 1 6   T h e   sl o p e   o f   t h e   S T   se g m e n t   f o r   p e a k   e x e r c i se   1   :   u p sl o p i n g   1 4 2 ( 4 6 , 8 6 )     2 :   f l a t   1 4 0 ( 4 6 , 2 0 )     3   :   d o w n sl o p i n g   2 1 ( 6 , 9 3 )         T h e  th ir d   g r o u p   is   f l u o r o s c o p y   a n d   s ci n ti g r ap h y .   T h is   g r o u p   co n s is t s   o f   t w o   t y p es  n a m el y   f l u o r o s co p y   e x a m in a tio n   to   d eter m i n e  th e  n u m b er   o f   b lo o d   v es s els  co n s tr ict,   a n d   s cin tig r ap h y   to   d eter m i n e   th e  t y p e  o f   d ef ec t t h at  o cc u r s .   A ttrib u te  a n d   ca teg o r y   e x a m in atio n   r es u lts   ar e  s h o w n   in   T ab le  3 .   I n   ad d itio n ,   in   T ab le  3   also   co n tain ed   th e  o u t p u t a ttrib u te  tes ts   r es u lts   s h o wed   n o r m a l o r   co r o n ar y   ar te r y   a b n o r m alitie s .       T ab el  3 .   Flu o r o s co p y   an d   Sci n tig r ap h y   P a r a me t e r s   C a t e g o r y   N o .   ( %)   M e a n ± S D   N u mb e r   o f   ma j o r   v e sse l s  c o l o r e d   b y   f l u o r o sco p y   ( 0 - 3)   0   :   N o r mal   1   :   S i n g l e   V e ssel   2 :   D o u b l e   V e sse l   3 :   T r i p p l e   V e sse l       D e f e c t   t y p e     ( S c i n t i g r a p h y )   3   :   N o r mal   1 6 6 ( 5 4 , 7 9 )     6   :   f i x e d   d e f e c t   1 8 ( 5 , 9 4 )     7   :   r e v e r si b l e   d e f e c t   1 1 7 ( 3 8 , 6 )     L e v e l   H e a r t   d i se a se   ( 0 / 1 )   0   :   N o r mal   1 6 4   ( 5 4 , 1 2 )     1   :   A b n o r mal   1 3 9 ( 4 5 , 8 8 )         2 . 3 .   Art if icia l N eura l N et w o rk   T h is   s t u d y   u s e s   a  m u lti - la y e r   A N N  ar ch i tectu r e,   u s in g   t w o   t y p es  o f   tr ai n i n g   alg o r it h m   w h ic h   L e v en b er g - Ma r q u ar d t  ( L M)   a n d   o n e  s tep   s ec an t  ( OS S).   On e  s tep   s ec an t  alg o r it h m   is   a  b r id g e  b et w ee n   q u as i - n e w to n   al g o r ith m   w it h   t h e  co n j u g ate  g r ad ien t.  T h is   alg o r it h m   d o es  n o t  s to r e  th e  co m p lete   h ess ia n   m atr ix .   I n   th e  alg o r it h m   a s s u m es  t h at  t h e  p r ev io u s   H es s ian   m atr i x   is   th e  id en ti t y   m atr i x   s o   th at  t h e  m o d el  ch an g e  in   w ei g h t th a t o cc u r s   i n   ea ch   i ter atio n   ca n   b e  s h o w n   i n   E q u atio n   ( 1 ) .                                                  ( 1 )     w h er e  W k   i s   t h e  w e ig h t  v al u es   to   k ,   H k   i s   t h e  h es s ia n   m atr i x   o f   t h e  p er f o r m a n ce   in d e x   w ei g h t s   t h e  v al u e  o f   al l   k  [ 1 9 ] .    A r ti f icial  n e u r al  n et w o r k   w i t h   L e v e n b er g - Ma r q u ar d t  tr ain i n g   al g o r ith m   d esi g n ed   u s i n g   th e  s ec o n d   d er iv ativ e  ap p r o ac h   w it h o u t   h av in g   to   ca lc u late  t h e  h e s s ia n   m atr ix [ 2 0 ] .   T h e  Hess i an   m atr ix   ca n   b e   ap p r o x im a ted   u s i n g   E q u atio n   ( 2 ) .                                    ( 2 )     W h er e  J   is   th e  J ac o b ian   m a tr ix ,   w h ich   co n tai n s   t h e  f ir s t   d er iv ativ e  o f   a  n et w o r k   er r o r   to   th e  w e ig h t s ,   s y m b o lized ,   e,   w h ile  th e  s lo p e  ca n   b e  ca lcu lated   u s in g   E q u at io n   ( 3 )                                    (3 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 ,  A u g u s t  2 0 1 7   :    2 1 8 3   –   2 1 9 1   2186   W eig h t i m p r o v e m en t in   L M  al g o r ith m   ca n   b e  ex p r es s ed   in   a n   E q u atio n   ( 4 )   [ 2 1 ] .                     [                 ]                           ( 4 )     I f   th e  v al u e  o f   μ   =  0 ,   t h en   th i s   m et h o d   is   t h e  s a m e  a s   t h e  m et h o d   o f   Ne w to n ,   a n d   i f   to o   lar g e  w o u ld   b e  t h e   s a m e  as t h e  g r ad ien t d esce n t  w it h   a  v er y   s m all  lear n i n g   r ate .     2 . 4 .   T iere d  M o del o f   A ss ess m ent   C o ro na ry   H ea r t   D is ea s e   Mo d el  ass ess m e n t  s y s te m   o f   c o r o n ar y   h ea r t  d is ea s e  is   d i v id e d   in to   th r ee   le v el s .   T h e  f ir s t  le v el  is   th e   ass es s m en t  o f   th e  r i s k   f ac to r s ,   w h ic h   co n s i s t  o f   f i v e  attr ib u t es.  T h e  s ec o n d   lev el,   an   as s es s m e n t  o f   c h est  p ai n   t y p e   an d   i n s p ec tio n   e lectr o ca r d io g r ap h y   ( E C G) ,   eit h er   at  r e s t  o r   ex er cise.  F u r th er m o r e,   th e  th ir d   lev el  i s   an   ass es s m en t b y   s ci n ti g r ap h y   e x a m i n atio n   a n d   f lu o r o s co p y .   M o d el  ass ess m e n t s y s te m   o f   co r o n ar y   h ea r t d i s ea s e   b y   u s i n g   t h e  ar tif icia l  n e u r al  n et w o r k   i s   s h o w n   i n   Fi g u r e  1 .   T h e  tier ed   m o d el  ad o p ts   th e  p r o ce d u r es  u s ed   b y   clin icia n s ,   a n d   also   t h e  co n c ep t  o f   tier ed   in   J KN  s er v ice   s y s te m .   W h e n   r ef er r i n g   to   t h e  J KN  s y s te m ,   i n   m ak in g   a  d iag n o s is   o f   co r o n ar y   h ea r t  d is ea s e,   ca n   n o t  b e  s er v ed   d ir ec tl y   in   t h e  p ath   o f   s er v ice  J KN.   T h e  lev el  o f   s er v ice   th a t  m u s t  b e  p ass e d   f ir s t  i s   t h e  p r i m ar y   s er v ice,   th e  s er v ice  ca n   co n d u c t  an   i n itial  s cr ee n i n g   o f   co r o n ar y   h ea r t  d is ea s e.   I f   t h e  p o s itiv e  s cr ee n i n g   r esu lt s ,   th e n   co n ti n u e  o n   th e  le v el  o f   s ec o n d ar y   s er v ices  f o r   f u r t h er   d iag n o s i s   f o r   E C G  e x a m in at io n ,   eit h er   at  r est  o r   ex er cise.  I f   n ec e s s ar y ,   it  ca n   b e  ex a m i n ed   a s   f l u o r o s co p y   a n d   s cin tig r ap h y .   T h e  s ec o n d   t y p e  o f   ex a m i n at io n   t h e  p atie n t  m a y   o n l y   b e  s er v ed   at  t h e  ter tiar y   ca r e  lev el .   T h e  tier ed   m o d el   o f   ANN   s h o w n   i n   Fi g u r e  1 ,   is   d i v id ed   i n to   t h r ee   lev e ls ,   t h e  f ir s t   le v e l  o f   a  r i s k   f ac to r ,   th e  s ec o n d   le v el  o f   c h e s t p ain   &   E C G,   a n d   th e  t h ir d   l ev el  o f   s ci n ti g r ap h y   &   f l u o r o s co p y .   I n   ad d itio n   to   th e  s y s te m   i s   d iv id ed   in to   t h r ee   lev els,  t h e  s y s te m   is   al s o   d iv id ed   in to   t w o   s ta g es  o f   t h e  p r o ce s s ,   n a m el y   t h e   p r o ce s s   o f   tr ain i n g   a n d   test in g .   T h e  tr ai n i n g   p r o ce s s   i s   d o n e  at  ea ch   lev e l  to   g et  o p ti m al   ar ch itectu r e  o f   th e   ar tif icial  n e u r al  n et w o r k .   T r ai n in g   f o r   th e  f ir s t  an d   th ir d   lev els  u s i n g   a  L ev e n b er g - Ma r q u a r d t   alg o r ith m ,   w h ile   at  th e  s ec o n d   le v el  u s in g   o n e   s tep   s ec a n t  al g o r ith m .   T h e  r es u lti n g   ar ch ite c tu r e  i n   t h e  tr ai n in g   p r o ce s s   is   t h en   u s ed   as   a  s y s te m   m o d el  f o r   as s ess m e n t  o f   co r o n ar y   h ea r t  d i s ea s e.   A r ti f icial   n e u r al  n et w o r k   ar ch i tectu r e  u s e s   t w o   h id d en   la y er s ,   w it h   t h e  o p ti m al  ar ch itec tu r e  o n   t h e  f ir s t   lev el  is   5 - 20 - 15 - 1 .   T h e  ar ch it ec tu r e  co n s i s ts   o f   5   n eu r o n s   in   th e   i n p u t   la y er ,   2 0   n e u r o n s   i n   t h e  f ir s t  la y er   h id d en ,   1 5   n e u r o n s   i n   t h e  s ec o n d   h id d en   la y er   a n d   1   n eu r o n   i n   t h e   o u tp u t  la y er .   I n   th e   s ec o n d   le v el,   t h e  ar c h ite ctu r e  u s ed   i s   6 - 30 - 25 - 1 ,   w h il e  o n   t h e   th ir d   lev e l     2 - 20 - 15 - 1.     T h e  p r o p o s ed   n eu r al   n et w o r k   ar ch itec tu r e  m o d el  u s es  a   n u m b er   o f   ac ti v atio n   f u n cti o n s ,   f ir s tl y   s ig m o id   b ip o lar   ( tan s ig )   f o r   t h e  f ir s t   h id d en   la y er .   T h e  s e co n d   is   b in ar y   s i g m o id   ( lo g s i g )   f o r   t h e  s ec o n d   h id d en   la y er .   T h e   th ir d   is   a  lin ea r   f u n c tio n   ( p u r elin )   f o r   th e  o u tp u t  la y er .   T h e  ac tiv atio n   f u n ctio n   is   t h e  s a m e,   b o th   f o r   tr ain i n g   u s i n g   a  L e v e n b er g - Ma r q u ar d t a lg o r ith m   a n d   o n e  s tep   s ec an   alg o r it h m .       D a t a   E x p e r i m e n t G r o u p i n g T r a i n i n g A N N   w i t h   L e v e n b e r g - M a r q u a r d t P r e p r o c e s s i n g R e m o v e   M i s s i n g   V a l u e D a t a   T r a i n i n g R i s k   F a c t o r D a t a   T r a i n i n g C h e s t   p a i n   &   E C G D a t a   T r a i n i n g   S c i n i t g r a p h y   &   F l o u r o s c o p y T r a i n i n g A N N   w i t h   O n e   S t e p   S e c a n t T r a i n i n g A N N   w i t h   L e v e n b e r g - M a r q u a r d t A r c h i t e c t u r e   A N N [ 5 - 2 0 - 1 5 - 1 ] A r c h i t e c t u r e   A N N [ 6 - 3 0 - 2 5 - 1 ] A r c h i t e c t u r e   A N N [ 2 - 2 0 - 1 5 - 1 ] D a t a   T e s t i n g T h e   f i r s t   t i e r A r c i t e c t u r e   A N N [ 5 - 2 0 - 1 5 - 1 ] T h e   s e c o n d   t i e r A r c i t e c t u r e   A N N [ 6 - 3 0 - 2 5 - 1 ] T h e   t h i r d   t i e r A r c i t e c t u r e   A N N [ 2 - 2 0 - 1 5 - 1 ] S p l i t   D a t a D a t a   T r a i n i n g P o s i t i v e   ? Y e s P o s i t i v e   ? Y e s c o n c l u s i o n c o n c l u s i o n c o n c l u s i o n N o N o   Fig u r e  1 .   T h e  p r o p o s ed   s y s te m   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       Th e  A n a lysi s   o f P erfo r ma ce   Mo d el  Tier ed   A r tifi cia l Neu r a l  N etw o r k  fo r   A s s e s s men t o f … .   ( W ih a r to   W ih a r to )   2187   2. 5.   P er f o r m a nce  Ana ly s i s   P er f o r m a n ce   an al y s is   o f   tier e d   ass ess m e n t  s y s te m   m o d el  u s in g   ar tific ial  n e u r al  n et w o r k   co n s is ts   o f   s ev er al  p er f o r m an ce   p ar a m et er s ,   n a m el y   s e n s iti v it y ,   s p ec i f icit y ,   ac c u r ac y ,   p o s itiv e   p r ed ictio n   v alu e   ( P P V) ,   n eg at iv e   p r ed ictio n   v alu e   ( NP V) ,   an d   u n d er   t h e  c u r v e   ( AUC )   ar ea .   T h ese  p ar a m eter s   ca n   b e  d er iv ed   f r o m   t h e   m atr i x   co n f u s io n   tab le  s h o wn   in   T ab le  4 .   T h e  ca lcu latio n   E q u atio n s   f o r   ea ch   p er f o r m an ce   p ar a m eter   as   s h o w n   in   ( 5 - 1 1 ) .       T ab le  4 .   C o n f u s io n   Ma tr ic s   A c t u a l   C l a ss   P r e d i c t i o n   C l a ss   P o si t i v e   N e g a t i v e   P o si t i v e   T P   ( Tr u e   P o si t i f )   F N   ( F a l s e   N e g a t i v e )   N e g a t i v e   F P   ( F a l s e   P o si t i f )   T N   ( Tr u e   N e g a t i v e )                                                                ( 5 )                                                     ( 6 )                                          ( 7 )                                           ( 8 )                                                               ( 9 )                                                  ( 1 0 )                                         [ 2 2 ]               ( 1 1 )   ]     3.   RE SU L T S  A ND  AN AL Y SI S   T ier e d   ass ess m en t  s y s te m   m o d el  test in g   ca r r ied   o u t  b y   u s i n g   d atasets   f r o m   t h e  U n i v er s i t y   C alif o r n i a   I r v in e  ( UC I )   r ep o s ito r y   [ 1 8 ] .  T h e  d ataset  is   d ataset  C lev ela n d 's,  w ith   a  d is tr ib u tio n   o f   d ata  1 7 8     f o r   tr ain in g   an d   1 0 0     f o r   test in g .   T h e  test   r esu lt s   ass e s s m e n t  s y s te m   w it h   tier ed   ap p r o ac h   ca n   b e  g r o u p ed   in to   t w o   p ar ts .   T h e  f ir s t   is   a  p er f o r m a n ce   o n   ea ch   le v el,   b o th   th e   p er f o r m a n ce   w h e n   t h e  o u tp u t a t p r ev io u s   lev el s   te s ted   ag ai n   at  th e  n ex t  le v el,   w h et h er   p o s itiv e  o r   n eg ati v e  o u tp u t.  T h e  test   r esu l ts   a s s e s s m e n t  s y s te m   w it h   a  tier ed   ap p r o ac h   ca n   b e  s h o w n   i n   T ab le  5 .   P er f o r m a n ce   test   r e s u l ts   f o r   p o s itiv e  a n d   n e g ati v e  o u tp u t  o n   th e  f ir s t  tier ,   w h ich   w as  te s te d   ag ain   o n   th e  s ec o n d   ti er   i s   s h o w n   i n   T ab le  6 .   T h e  s ec o n d   is   p er f o r m an ce ,   t h e  test   r es u lt s   w h en   th e  o u tp u t,  eith er   p o s itiv e  o r   n eg a tiv e   o n   th e   s e co n d   tier ,   test ed   a g ai n   o n   t h e  th ir d   tier   ar e  s h o w n   in   T ab le  7 .   T h e  p er f o r m a n ce   o n   th e  te s t  p r ess i n g   o n   p ar a m eter   p er f o r m a n ce   o f   s e n s iti v it y ,   s p ec i f icit y ,   a n d   ac cu r ac y ,   d eter m i n es  t h e  le v e l   o f   r ep air s   an d   lo s s   o f   t h e  s ec o n d   an d   th ir d   tier .       T ab le  5 .   T h e  p er f o r m an ce   o f   ti er ed   ar tif icial  n e u r al  n et w o r k     se n si t i v i t y   sp e c i f i c i t y   PPV   N P V   A U C   A c c u r a c y   T h e   f i r st   t i e r   0 , 7 8 7 2   0 , 4 5 2 8   0 , 5 6 0 6   0 , 7 0 5 9   0 , 6 2 0 0   0 , 6 1 0 0   T h e   s e c o n d   t i e r   0 , 6 5 9 6   0 , 9 4 3 4   0 , 9 1 1 8   0 , 7 5 7 6   0 , 8 0 1 5   0 , 8 1 0 0   T h e   t h i r d   t i e r   0 , 6 5 9 6   0 , 9 4 3 4   0 , 9 1 1 8   0 , 7 5 7 6   0 , 8 0 1 5   0 , 8 1 0 0       T ab le  6 .   T h e  p er f o r m an ce   o f   t h e  s ec o n d   tier     S e n si t i v i t y   S p e c i f i c i t y   a c c u r a c y   P o si t i v e   0 , 8 3 7 8   0 , 8 9 6 6   0 , 8 6 3 6   N e g a t i v e   0 , 9 0 0 0   0 , 8 7 5 0   0 , 8 8 2 4     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 ,  A u g u s t  2 0 1 7   :    2 1 8 3   –   2 1 9 1   2188   T ab le  7 .   T h e  p er f o r m an ce   o f   t h e  th ir d   tier     S e n si t i v i t y   S p e c i f i c i t y   a c c u r a c y   P o si t i v e   0 , 8 0 6 5   0 , 6 6 6 7   0 , 7 9 4 1   N e g a t i v e   0 , 6 8 7 5   0 , 8 6 0 0   0 , 8 1 8 2       3 . 1 .   T he  O utput   A na ly s is   o f   t he  F irst  T ier  t hen  E x a m i ned a t   t he  S ec o nd   T ier   T h e  p er f o r m an ce   o f   tier ed   d iag n o s tic  s y s te m ,   ca n   b e  an al y z ed   its   p er f o r m a n ce   f o r   ea ch   lev el,   s o   it   ca n   k n o w   t h e  i n f lu e n ce   o f   ea c h   lev el.   T h e  p er f o r m an ce   a n al y s i s   is   d iv id ed   in to   t w o   b ased   o n   th e  test   m o d el.   T h e  f ir s t,  w h e n   t h e  f ir s t - le v el  d iag n o s t ic  s y s te m   g iv e s   n eg at i v e  o u tp u t,  it  is   c h ec k ed   ag ai n   at  th e  s ec o n d   lev el.   T h e  s ec o n d ,   w h e n   t h e  d iag n o s tic  s y s te m   g iv e s   a  p o s itiv e  r esu lt  at  t h e  f ir s t  le v el,   it  is   r et ested   at  th e  s ec o n d   lev el.   T h e  p er f o r m an ce   o f   th e  d iag n o s t ic  s y s te m   g en er ate d   b ased   o n   th e  t w o   test   m o d els  ca n   b e  s h o w n   i n   T ab le  6 .       T ab le  8 .   T h e  co n f u s io n   m atr ix   o f   o u tp u t  n eg at iv e  o f   t h e  f ir s t   tier   w as te s ted   o n   t h e  s ec o n d   ti er   A c t u a l   C l a ss   P r e d i c t i o n   C l a ss   P o si t i v e   N a g a t i v e   P o si t i v e   37   10   N e g a t i v e   29   24     ( a)   A c t u a l   C l a ss   P r e d i c t i o n   C l a ss   P o si t i v e   N e g a t i v e   P o si t i v e   9   1   N e g a t i v e   3   21     ( b )       T o   ex p lain   th e  p er f o r m an ce   b et w ee n   t h e  f ir s t  a n d   s ec o n d   tier   ca n   b e  e x p lai n ed   w it h   r ef er en ce   to   T ab le  8 .   T ab le  8 ( a )   s h o w s   th e   co n f u s io n   m atr i x   o u tp u t   o n   t h e  f ir s t   tier .   A t   t h e  tier   o f   t h e   f ir s t   n e g ati v e  o u tp u t   n u m b er   o f   3 4   p atien t s ,   w it h   d etails o f   1 0   p atien ts   w h o   s h o u l d   h av e   b ee n   p o s itiv e,   b u t   d iag n o s ed   n eg ati v e,   a n d   2 4   p atien ts   n e g ati v e  d ia g n o s e d   n eg a tiv e.   T ests   co m e  b ac k   o n   t h e  s ec o n d   tier   g e n er ate  c o n f u s io n   m atr i x   a s   s h o w n   i n   T ab le  8 ( b ) .   R ef e r r i n g   to   t h e  tab le  ca n   b e  a   ca lc u lated   i m p r o v e m en t   o f   t h e  s y s te m ,   w h ic h   is   1 0   p atien t  t h at  s h o u ld   b e  p o s itiv e,   ab le  to   b e  d iag n o s ed   p o s iti v e  n u m b er   9 ,   s o   th at  t h e  s e n s itiv it y   o f   9 0 . 0 0 %  as  s h o w n   i n   T ab le  6 .   T h e  s en s it i v it y   v alu e   also   s h o w ed   a  p er f o r m a n ce   i m p r o v e m en t  o f   9 0 %  o n   t h e  s ec o n d   tier ,   As  f o r   th e  n e g ati v e  p atien t s ,   t h e  s ec o n d   tier   d iag n o s ed   n e g a tiv e  r etu r n   o f   8 7 . 5 %  o r   a  lo s s   o f   ab o u t  2 . 5 %  at  th e   s ec o n d   tier .       T ab le  9 .   T h e  co n f u s io n   m atr ix   o f   o u tp u t p o s iti v e  o f   t h e  f ir s t t ier     w as te s ted   at  th e  s ec o n d   tier   A c t u a l   C l a ss   P r e d i c t i o n   C l a ss   P o si t i v e   N a g a t i v e   P o si t i v e   37   10   N e g a t i v e   29   24     ( a)   A c t u a l   C l a ss   P r e d i c t i o n   C l a ss   P o si t i v e   N e g a t i v e   P o si t i v e   31   6   N e g a t i v e   3   26     ( b )       Fu r t h er   an al y s is   to   th e  o u tp u t   o f   th e  f ir s t  tier   p o s itiv e,   w er e  r etested   o n   th e  s ec o n d   tier .   T o   an al y ze   th e  p er f o r m a n ce   o n   th e s e  te s t s ,   ca r r ied   o u t  b y   u s i n g   th e   tab le  j u s t  as  th e  co n f u s io n   m atr i x   s h o w n   in   T ab le  9 .   Ou tp u t  p o s itiv e  o n   th e  f ir s t  tie r   am o u n ted   to   6 6   p atien ts ,   co n s i s ti n g   o f   3 7   p atien ts   d ia g n o s ed   p o s itiv e  a n d   2 9   n eg a t iv e  p atie n ts   d iag n o s ed   p o s itiv e,   j u s t  as  s h o w n   i n   T ab l e  9 ( a) .   T h e  test   r esu lts   b ac k   o n   th e  s ec o n d   tier ,   as   s h o w n   in   T ab le  9 ( b ) .   T h ese  r e s u lt s   s h o w ed   an   i m p r o v ed   p er f o r m a n ce ,   ie  p atien t s   b y   t h e  f i r s t  tier   s h o u ld   h a v e   b ee n   a  n eg ati v e  b u t  p o s iti v e  d iag n o s is ,   th e  2 9   p atien ts ,   t h e  s ec o n d   tier   is   ab le  to   b e  d iag n o s ed   to   b e  n eg ativ e  as  m an y   a s   2 6   p atie n ts .   T h e  i m p r o v e m e n t   in   t h e  a m o u n t   o f   s p ec if icit y   as  s h o w n   in   T ab le  6 ,   w h ic h   i s   8 9 . 6 6 %.  I n   th i s   test   also   t h er e  is   a  lo s s ,   ie  3 7   p o s itiv e  p atien ts   wh o   w er e  d iag n o s e d   p o s itiv e  b y   t h e  f ir s t  tier ,   r e - d iag n o s ed   p o s it iv e   b y   t h e  s ec o n d   tier   o f   3 1   p atien t s .   I t  s h o w s   t h e  o cc u r r e n ce   o f   a  lo s s   o f   1 - s e n s i tiv it y ,   o r   b y   1 6 . 2 2 %.  T h e  lo s s   v alu e  is   g r ea ter   th an   t h e  lo s s   t h at  o cc u r s   wh en   te s ti n g   n e g ati v e  ( h ea lt h y ) .       3 . 2 .   T he  O utput   A na ly s is   o f   t he  S ec o nd   T ier  t he n  E x a m ine d a t   t he  T hird  T ier   T h e  test   r es u lt  w h e n   t h e  o u t p u t  at  t h e  s ec o n d   tier ,   te s ted   ag ai n   o n   t h e  t h ir d   tier ,   t h e   r esu lt in g   p er f o r m a n ce   p ar a m eter   v al u es ,   n a m el y   s e n s it iv it y ,   s p ec i f icit y ,   an d   ac cu r ac y ,   ca n   b e  s h o w n   in   T ab le  7 .   T est   o n   th e   th ir d   tier ,   p er f o r m ed   well  w h e n   t h e  o u tp u t  t h e  s ec o n d   tier   n eg a tiv e   an d   p o s iti v e.   T o   b e  ab le  to   an al y ze   in   m o r e  d etail,   w e  ca n   s ee   th e   p er f o r m a n ce   f o r   ea ch   o u tp u t.  First  f o r   o u tp u t  t h e  s ec o n d   ti er   n eg ati v e,   w h ic h   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       Th e  A n a lysi s   o f P erfo r ma ce   Mo d el  Tier ed   A r tifi cia l Neu r a l  N etw o r k  fo r   A s s e s s men t o f … .   ( W ih a r to   W ih a r to )   2189   w il l  b e  te s ted   a g ain   o n   th e   t h i r d   tier ,   th e  r e s u l tin g   co n f u s io n   m atr i x   a s   s h o w n   i n   T ab l e  1 0 .   T ab le  1 0 ( a )   s h o w s   th at  t h e  o u tp u t   at  le v el  2 ,   co m p r is in g   1 6   p atien t s   p o s iti v e  b u t  n e g ati v e  d etec ted   a n d   5 0   p atien ts   w it h   n e g ativ e   an d   n e g ati v e  d etec ted .   T h e  test   r es u lts   co m e  b ac k   n e g ati v e   o u tp u t  at  lev el   2 ,   w er e  te s te d   b ac k   o n   t h e  th ir d   tier ,   ar e  s h o w n   in   T ab le  1 0 ( b ) .   Ou tp u t  a t  th e   th ir d   tier   in d i ca tes  a  p er f o r m a n ce   i m p r o v e m en t  o f   s en s iti v it y   v alu e,   ie  6 8 . 7 5 % .   T h e  r esu lti n g   i m p r o v e m e n t  is   lo w er   t h a n   w h e n   t h e  o u tp u t  tes ted   n e g ativ e  o n   t h e  s ec o n d   tier .   B esid es  an   i m p r o v e m e n t,  o n   th e  t h ir d   tier   also   o cc u r   r elativ el y   lar g e  lo s s ,   w h i ch   a m o u n ted   to   1 - s p ec if icit y ,   ie  1 4 . 0 0 %.       T ab le  1 0 .   T h e  co n f u s io n   m atr i x   o f   o u tp u t n e g ati v e  o f   t h e  s ec o n d   tier   w as te s ted   at  th e  t h ir d   tier .   A c t u a l   C l a ss   P r e d i c t i o n   C l a ss   P o si t i v e   N a g a t i v e   P o si t i v e   31   16   N e g a t i v e   3   50     ( a)   A c t u a l   C l a ss   P r e d i c t i o n   C l a ss   P o si t i v e   N e g a t i v e   P o si t i v e   11   5   N e g a t i v e   7   43     ( b )       T h e  s ec o n d   test   is   w h en   t h e  o u tp u t  o f   th e  s ec o n d   tier   is   p o s itiv e  a n d   w a s   f u r t h er   test ed   at   th e  th ir d   tier .   T o   ex p lain   th e  p er f o r m a n ce   o f   th e  s y s te m   ca n   b e  d o n e  b y   u s i n g   T ab le  1 1 .   T h e  o u tp u t  o f   th e  s ec o n d   tier   co n s is ted   o f   3 1   p atie n ts   p o s iti v e  u n d ia g n o s ed   p o s iti v e  an d   3   p atie n ts   n e g ati v e  u n d iag n o s ed   p o s iti v e.   I m p r o v e m e n t o f   s y s te m   p er f o r m an ce   a t th e  th ir d   tier   i n d icate d   b y   it s   s p ec i f icit y ,   ie  6 6 . 6 7 %,  an d   th er e  is   a  lo s s   o f   1 - s en s iti v it y ,   ie   1 9 . 5 3 %.  At  th e   t h ir d   tier ,   b o th   f o r   p o s it iv e  a n d   n eg at iv e   o u tp u t  s u f f e r ed   o n l y   r elat iv el y   litt le  i m p r o v e m e n t,  b u t t h er e  i s   a  lo s s   o f   r elati v el y   lar g e,   co m p ar ed   to   th e  p er f o r m a n ce   at  th e  s ec o n d   tier .         T ab le  1 1 .   T h e  co n f u s io n   m atr i x   o f   o u tp u t p o s itiv e  o f   th e  s ec o n d   tier     w as te s ted   at  th e  t h ir d   tier   A c t u a l   C l a ss   P r e d i c t i o n   C l a ss   P o si t i v e   N a g a t i v e   P o si t i v e   31   16   N e g a t i v e   3   50     ( a)   A c t u a l   C l a ss   P r e d i c t i o n   C l a ss   P o si t i v e   N e g a t i v e   P o si t i v e   25   6   N e g a t i v e   1   2     ( b )       T h e  test   r esu lts   at  th e  th ir d   ti er ,   s h o w s   a  r elativ e l y   lar g e  lo s s   o cc u r s ,   b u t  b alan ce d   w it h   a  r elativ el y   h ig h   i m p r o v e m e n t.  T h ese  co n d itio n s   m a k e  t h e  p er f o r m an ce   at  th e  th ir d   tier   n o t  r elativ e  g i v e  i m p r o v e m e n t  o f   o u tp u t  a t  t h e  s ec o n d   tier .   T h i s   ca n   b e  s h o w n   i n   T ab le  5 ,   w h er e  th e  v al u e  o f   p er f o r m an ce   p ar am eter s   d o es  n o t  ch an g e.   B y   v al u e,   it r ei n f o r ce s   th e  te s t a t t h e  s ec o n d   tier ,   b u t  n o t so   w h en   a n al y ze d   f o r   ea c h   d ata,   as d escr ib ed   in   th e  a n al y s i s   in   T ab le  1 0 - 1 1 ,   it  m ea n s   t h at  th er e  ar e  s o m e  i m p r o v e m e n t a n d   s o m e  lo s s .     3. 3 .   Ana ly s is   t iere d  m o de l per f o rm a nce  A NN   P er f o r m a n ce   ass e s s m e n t  tier e d   s y s te m   w it h   A NN,   t h e  f ir s t  t ier   is   ab le  to   p r o v id e  s en s it iv i t y   v al u e  o f   7 8 . 7 2 %,   as  s h o w n   i n   T ab le  5 .   T h is   v alu e  i n d icate s   t h at  w h e n   p atien ts   d ec lar ed   p o s itiv e,   th e  s y s te m   i s   ex p r ess ed   s tr o n g l y   p o s iti v e  w i th   a  p er ce n tag e  o f   7 8 . 7 2   %,  w h er ea s   w h e n   th e  p atie n t  is   d ec lar ed   n eg ativ e,   t h e   s y s t e m   ac tu al l y   d ec lar ed   n e g ativ e  b y   t h e  p er ce n ta g e  o f   t h e  v alu e  o f   s p ec i f icit y ,   ie  4 5 . 2 8 %.  P er f o r m an ce   d iag n o s i s   s y s te m   o n   t h e  f ir s t   tier   is   a  p r ed ictio n   b ased   o n   r is k   f ac to r s .   T h is   i s   co m p a r ed   to   t h e  r esear ch   co n d u cted   b y   Ki m   et. al  [ 1 7 ] ,   th e  p r o p o s ed   s y s te m   h a s   b etter   p er f o r m an ce .   T h e  p er f o r m an ce   in   r e s ea r ch   K i m   et. al  [ 1 7 ] ,   w h e n   u s in g   al g o r ith m s   A NN,   p ar a m eter   s e n s itiv it y   p er f o r m a n ce   o f   7 3 . 1 0 %,  w h ile  4 3 . 5 9 %  s p ec if icit y .   Sti ll,  in   t h e  s a m e  s tu d y ,   t h e  p r o p o s ed   s y s te m   is   b etter   co m p ar ed   u s i n g   lo g is tic  r eg r e s s io n   alg o r ith m   an d   C 5 . 0 .   I t  is   d if f er en t  w h e n   co m p ar ed   to   th e  u s e  o f   A NN  i n   r esear ch   Ya n g .   et. al  [ 2 3 ] ,   th e   p er f o r m a n ce   o n   th e   f ir s t  tier   is   r el ati v el y   lo w er .   I n   r esea r ch   Yan g   et. al  [ 2 3 ] ,   th e  r es u lti n g   p er f o r m a n ce   p ar am eter s   s en s iti v it y   o f   8 5 . 7 %.  T h e  h ig h   s e n s it iv i t y   an d   s p ec if icit y   p er f o r m a n ce   in   r esea r ch   Yan g   et. al  [ 2 3 ] ,  o n e  o f   t h e  f ac to r s   d u e  to   th e  n u m b er   o f   attr ib u te s   t h at  ar e  u s ed   in   t h e  d iag n o s i s   m o r e,   co m p ar ed   to   th e  s y s te m   p r o p o s ed .   Ass es s m en t  s y s te m   at  t h e  s ec o n d   an d   th e  th ir d   tier   h av e  a  s i m ilar   p er f o r m a n ce ,   w h ich   m ea n s   th at   ch ec k s   o n   t h e  th ir d   tier   r ein f o r ce   ch ec k s   o n   th e  s ec o n d   tier ,   th at  i f   o n l y   li m ited   atte n tio n   to   th e  p er f o r m a n ce   p ar am eter   v al u e.   T h e  m o v e m en t  o f   t h e  p atien t  ch a n g e s   w h en   test ed   at  t h e  s ec o n d   tier   a n d   test ed   at  th e  th ir d   tier ,   f o r   th e  o u tp u t  p o s itiv e  o f   th e  p r ev io u s   tier   ca n   b e  v ie w e d   in   d etail  in   T ab le   1 0 - 11.   A c cu r ac y   p er f o r m a n ce   p ar am eter s   f o r   t h e  s ec o n d   tier   r ea ch ed   a  v al u e  o f   8 1 . 0 0 %,   t h e  p er f o r m an ce   is   b etter   t h an   a  tier ed   ap p r o ac h   in   r esear ch   W i h ar to   et. al  [ 1 5 ] ,   w h ich   o n l y   r ea c h ed   7 5 . 4 2 %.  R esear ch   W i h ar to   et. al  [ 1 5 ]   u s i n g   a  t ier ed   co n ce p t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E     Vo l.  7 ,   No .   4 ,  A u g u s t  2 0 1 7   :    2 1 8 3   –   2 1 9 1   2190   th at  is   i m p le m e n ted   w i th   f u z z y   i n f er en ce   s y s te m   ( FIS) ,   wh ich   p r ec ed ed   h is   r u le - m a k i n g   al g o r ith m   C 4 . 5 .   W h en   co m p ar ed   to   o th er   s tu d ies,  w h ic h   b o th   u s e  A NN,   s u ch   a s   in   r esear c h   W ih ar to   e t.a l  [ 1 6 ] ,   p ar am eter   ac cu r ac y   p er f o r m a n ce   o f   th e  p r o p o s ed   s y s te m   is   r elati v el y   lo w er .   I t' s   j u s t  t h at  t h er e  ar e  d if f er en ce s   in   t h e   ap p licatio n   o f   its   ti er ed   co n ce p t,  th e  p r o p o s ed   s y s te m   is   u s ed   in   m ak in g   th e  d ia g n o s is ,   w h er ea s   i n   th e  s t u d y   W ih ar to   et. al  [ 1 6 ]   u s in g   a  tier e d   co n ce p t to   p er f o r m   r ed u ctio n   o f   attr ib u te s   d i m e n s io n s .       4.   CO NCLU SI O N   An   as s es s m e n t  s y s te m   m o d el  w it h   a  t ier ed   ap p r o ac h   u s in g   A N N,   ab le  to   p r o v id e  i m p r o v e m en t  an d   s tr en g t h e n i n g   p er f o r m a n ce   f o r   ea ch   i n cr ea s i n g   o f   le v el.   T h e  r esu lti n g   p er f o r m a n ce   at  t h e  s ec o n d   tier   w ith   th e   attr ib u te  co n s is ti n g   o f   t h e  r is k   f ac to r ,   ch est  p ain   t y p e  a n d   E C G  ab le  to   g i v e  8 1 . 0 0 %  ac cu r ac y   p er f o r m a n ce .   T h e  p er f o r m a n ce   i s   b etter   t h a n   a  n u m b er   o f   p r ev io u s   s t u d ie s .   E s p ec iall y   at  t h e  t h ir d   le v el   s h o w s   t h e  b alan ce   o f   r ep air s   an d   lo s s ,   s o   t h e  p er f o r m an ce   at  t h e  t h ir d   tier   is   r elativ el y   t h e  s a m e  w i th   th e  p er f o r m a n ce   at  th e   s ec o n d   tier ,   o r   ca n   b e  s ee n   b y   th e  v alu e   o f   p er f o r m an ce   p ar a m eter s   o cc u r r ed   th e  s tr en g th e n in g   o f   t h e  p r ev io u s   lad d er .       ACK NO WL E D G E M E NT S   W e  w o u ld   li k e  to   th an k   t h e  Se b elas  Ma r et  Un iv er s it y   I n d o n e s ia,   w h ic h   h a s   p r o v id ed   r esear ch   g r a n ts   w it h   f u n d in g   P NB P   UNS,   b y   co n tr ac t  n u m b er :  6 3 2 /UN2 7 . 2 1 /L T /2 0 1 6 .   T h e  au th o r s   th a n k   t h e  an o n y m o u s   r ef er ee s   f o r   th e ir   co n s tr u cti v e   s u g g esti o n s   a n d   co m m e n ts   w h ich   h e lp ed   in   th e   i m p r o v e m e n t   o f   th e   p r esen tatio n   o f   th e  m a n u s cr ip t .        RE F E R E NC E S   [1 ]   H.  K.  L e e ,   H.  K.  Ki m ,   “ L i f e st y l e   a n d   He a lt h - Re late d   Qu a li ty   o f   L i f e   b y   Ty p e - D  P e rso n a li ty   in   th e   P a ti e n ts  w it h   Isc h e m ic He a rt  Dise a se , ”   In d ia n   J .   S c i.   T e c h n o l .   2 0 1 6 ;   9 ( 13 ):  1 – 1 0 .   [2 ]   F .   Id ris,   “ Op ti m a li sa si  sist e m   p e la y a n a n   k e se h a tan   b e rjen jan g   p a d a   p ro g ra m   Ka rtu   Ja k a rta  S e h a t, ”   Ke sm a s  Na tl .   Pu b li c   He a lt h   J .   2 0 1 4 ;   9 ( 1 ):   94 – 1 0 0 .   [3 ]   W .   W ih a rto ,   H.  Ku sn a n t o ,   a n d   H.  He rian to ,   “ In ter p re tatio n   o f   Cli n ica l  Da ta  Ba se d   o n   C4 . 5   A lg o rit h m   f o r  th e   Dia g n o sis o f   Co ro n a ry   He a rt  Dis e a se , ”   He a lt h c .   In fo rm .   Res .   2 0 1 6 ;  22 ( 3 ):  1 8 6 ,   2 0 1 6 .   [4 ]   X .   L iu   e t  a l. ,   “ A   H y b rid   Clas si f ic a ti o n   S y ste m   f o r  H e a rt  Dise a se   D iag n o sis  Ba se d   o n   th e   RF RS   M e t h o d , ”   Co mp u t.   M a th .   M e th o d s M e d .   2 0 1 7 ;   2 0 1 7 ( 2 0 1 7 ):  1 – 1 1 .   [5 ]   K.  Ra jala k sh m i  a n d   K.  Nirm a l a ,   “ He a rt  Dise a se   P re d ictio n   w it h   M a p Re d u c e   b y   u sin g   W e i g h ted   A s so c iatio n   Clas sif ier  a n d   K - M e a n s,”  In d i a n   J .   S c i.   T e c h n o l . 2 0 1 6 ;  9 ( 19 ):  1 - 7 .   [6 ]   M .   A .   jab b a r,   B.   L .   De e k sh a tu lu ,   a n d   P .   Ch a n d ra ,   “ Clas si f ica ti o n   o f   He a rt  Dise a s e   Us in g   K -   N e a re st   Ne ig h b o r  a n d   G e n e ti c   A lg o rit h m , ”   in   Pro c e d i a   T e c h n o l o g y .  2 0 1 3 ;   10 :  85 – 9 4 .   [7 ]   K.  S rin iv a s,  B.   R.   Re d d y ,   B.   K.  Ra n i,   a n d   R.   M o g il i,   “ Hy b rid   A p p ro a c h   f o r  P re d icti o n   o f   Ca rd io v a sc u lar  Dise a s e   Us in g   Clas s As so c iatio n   Ru les   a n d   M L P , ”   In t .   J .   El e c tr.   C o mp u t.   E n g .   IJ ECE .   2 0 1 6 ;  6 ( 4 ) :  1 8 0 0 – 1 8 1 0 .   [8 ]   R.   Ra u t  a n d   S .   V .   D u d u l,   “ In tell i g e n t  d iag n o si s  o f   h e a rt  d ise a se s  u sin g   n e u ra l  n e tw o rk   a p p ro a c h , ”   In t.   J .   Co mp u t.   Ap p l .   2 0 1 0 ;  1 ( 2 ):   97 – 1 0 2 .   [9 ]   N.  A .   S e ti a w a n ,   “ F u z z y   De c isio n   S u p p o rt  S y ste m   f o r  Co ro n a ry   A rter y   Dise a se   Dia g n o sis  Ba se d   o n   R o u g h   S e t   T h e o r y , ”  In t.   J .   R o u g h   S e ts  Da t a   An a l .   2 0 1 4 ;  1 (1 ):   65 – 80.   [1 0 ]   L .   V e r m a ,   S .   S riv a sta v a ,   a n d   P .   C.   Ne g i,   “ A   H y b rid   D a ta  M in in g   M o d e l  to   P re d ict  Co ro n a ry   Arte r y   Dise a se   Ca s e s  Us in g   No n - In v a siv e   Cli n ica l  Da ta,”  J .   M e d .   S y st.   2 0 1 6 ;   40 (7 ):   1 – 7.   [1 1 ]   J.  Na h a r,   T .   Im a m ,   K.  S .   T ick le ,   a n d   Y. - P .   P .   Ch e n ,   “ Co m p u tati o n a l  i n telli g e n c e   f o r  h e a rt  d ise a se   d iag n o sis:  A   m e d ica l  k n o w led g e   d riv e n   a p p ro a c h , ”   Exp e rt S y st.  Ap p l.   2 0 1 3 ;   40 ( 1 ):  96 – 1 0 4 .   [1 2 ]   M .   A b d a r,   S .   R.   N.  Ka lh o ri,   T .   S u ti k n o ,   I.   M .   I.   S u b ro t o ,   a n d   G .   A rji ,   “ Co m p a rin g   P e rf o r m a n c e   o f   Da ta  M in in g   A l g o rit h m s in   P re d icti o n   He a rt  D ise a se s , ”   In t.   J .   El e c tr.   Co mp u t.   E n g .   IJ ECE .   2 0 1 5 ;   5 (6 ) :  1 5 6 9 – 1 5 7 6 .   [1 3 ]   H.  G .   A rjen a k i,   M .   H.  N.  S h a h ra k i,   a n d   N.   No u ra f z a ,   “ A   L o w   Co st  M o d e l  f o r  Dia g n o si n g   Co ro n a ry   A rter y   Dise a se   Ba se d   On   Ef fe c ti v e   F e a tu re s,”  In t.   J .   El e c tro n .   Co mm u n .   Co mp u t.   En g .   2 0 1 5 ;  6 (1 ):   93 – 97.   [1 4 ]   M .   G .   F e sh k i  a n d   O.  S .   S h ij a n i,   “ I m p ro v in g   th e   He a rt  Dise a se   Di a g n o sis  b y   Ev o lu ti o n a ry   A lg o rit h m   o f   P S O  a n d   F e e d   F o rw a rd   Ne u ra l  Ne tw o rk , ”   p re se n ted   a t  t h e   A rti f icia l  In telli g e n c e   a n d   Ro b o ti c s  (IR A NO P EN),   2 0 1 6 ;  p p .   48 – 53.   [1 5 ]   W .   W ih a rto ,   H.  Ku sn a n to ,   a n d   H .   He rian to ,   “ T iere d   M o d e l  Ba se d   On   F u z z y   In f e re n c e   S y ste m   F o r  T h e   Dia g n o sis  o f   Co ro n a ry   He a rt  Dise a se , ”   Fa r E a st J.  El e c tro n .   C o mm u n .   2 0 1 6 ;  16 ( 4 ):  9 8 5 – 1 0 0 0 .   [1 6 ]   W .   W ih a rto ,   H.  Ku sn a n to ,   a n d   H .   He rian to ,   “ Hy b rid   S y ste m   o f   T iere d   M u lt iv a riate   A n a l y sis  a n d   Ne u r a l  Ne tw o rk   f o r  Co ro n a ry   He a rt  Dise a se   Dia g n o sis,”   I n t.   J .   El e c tr.   Co mp u t.   En g .   2 0 1 7 ;  7 (2 ) :  1 0 2 3 - 1 0 3 1 .   [1 7 ]   J.  Kim ,   J.  Lee ,   a n d   Y.  L e e ,   “ Da ta - M in i n g - Ba se d   Co ro n a ry   He a rt  Di se a se   Ris k   P re d icti o n   M o d e l  Us in g   F u z z y   L o g ic   a n d   De c isio n   T re e , ”   He a lt h c .   In f o rm .   Res .   20 1 5 ;   21 (3 ):   1 6 7 – 1 7 4 .   [1 8 ]   R.   De tran o ,   A .   Jo n a si,  W .   S tei n b ru n n ,   a n d   M .   P f istere r,   He a rt  Di se a se   Da ta se t .   Ca li f o rn ia:  Un iv e rsity   C a li f o rn ia  Irv in e ,   1 9 8 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       Th e  A n a lysi s   o f P erfo r ma ce   Mo d el  Tier ed   A r tifi cia l Neu r a l  N etw o r k  fo r   A s s e s s men t o f … .   ( W ih a r to   W ih a r to )   2191   [1 9 ]   R.   Co n sta n ti n e sc u ,   V .   L a z a re sc u ,   a n d   R.   T a h b o u b ,   “ G e o m e tri c a l  F o rm   Re c o g n it io n   Us i n g   „On e - S tep se c a n t‟   A l g o rit h m   In   Ca se   Of   Ne u ra l  Ne t w o rk , ”   UPB  S c i  Bu ll   S e r.  C .   2 0 0 8 ;  70 ( 2 ):  1 5 - 28 .   [2 0 ]   L .   W a n g ,   Y.  L iu ,   Y.  L iu ,   W .   Wan g ,   Y.  Zh a o ,   a n d   Z.   Ya n g ,   “ O p ti m iza ti o n   o f   Hy d ro g e n - f u e led   En g in e   Ig n it i o n   T i m in g   Ba se d   o n   L - M   Ne u ra l  Ne tw o rk   A l g o rit h m , ”   T EL KOM NIKA  T e lec o mm u n .   Co mp u t.   E l e c tro n .   Co n tro l .  2 0 1 6 ;  14 ( 3 ):    9 2 3 – 9 3 2 .   [2 1 ]   S .   M .   A .   Bu rn e y ,   T .   A .   Jilan i,   a n d   C .   A rd il ,   “ A   Co m p a riso n   o f   F irst  a n d   S e c o n d   Or d e r  T ra in in g   A lg o rit h m s   f o r  A rti f icia l  Ne u ra l  Ne t w o rk s , ”   in   In ter n a ti o n a l  Co n fer e n c e   o n   Co mp u ta ti o n a l  I n telli g e n c e .   2 0 0 4 ;  p p .   1 2 – 1 8 .   [2 2 ]   E .   Ra m e n to l,   Y.  Ca b ll e r o ,   R.   B e ll o ,   a n d   F .   He rre ra ,   “ S M OT E - RS B:  a   h y b rid   p re p ro c e ss in g   a p p ro a c h   b a se d   o n   o v e rsa m p li n g   a n d   u n d e rsa m p li n g   f o r  h ig h   i m b a lan c e d   d a ta - se ts   u sin g   S M OT E  a n d   ro u g h   se ts  th e o ry , ”   Kn o wl.   In fro ma t io n   S y st.   2 0 1 2 ;  33 (2 ) :  245 – 2 6 5 .   [2 3 ]   J.  Ya n g ,   Y.  L e e ,   a n d   U. - G .   K a n g ,   “ Co m p a riso n   o f   P re d icti o n   M o d e ls  f o r  Co ro n a ry   He a rt  Dise a s e s  in   De p re ss io n   P a ti e n ts, ”   In t .   J .   M u lt ime d .   Ub iq u it o u s  En g .   2 0 1 5 ;  10 ( 3 ):  2 5 7 – 2 6 8 .         Evaluation Warning : The document was created with Spire.PDF for Python.