I n t ern a t i o n a l  J o u rn a l  o f  E l ect ri ca l  a n d  C o m p u t er E n g i n eeri n g  ( I J E C E )   V o l.   8 ,  No .   5 O c t obe r   20 1 8 , p p .   32 32~ 3 237   I S S N :  2088 - 8708 D O I :  10. 11 591/ i j ece . v8 i 5 . pp 323 2 - 3237          3232       Jou r n al  h om e p age h ttp : //ia e s c o r e . c o m/ j our nal s / i nde x . php/ I J E C E   O pt i m i z a t io n o f  B a ck pro pa g a t io n f o r E a rly  Det ec t io n o f   Dia bet es  M elli t us       R os i t a S of i a n a 1 ,  Sut i kno 2   1 D ep ar t m en t  o f   C o m p u t er  S ci en ce / I n f o r m at i cs ,  F acu l t y  o f  S ci en ce an d  M at h em at i cs ,   D i pone g or o U n i v e r s i t y I ndo ne s i a   2 C o m p u t er  S ci en ce f r o m  t h e G ad j ah  M ad a U n i v er s i t y ,   I ndo ne s i a       A rt i cl e I n f o     AB S T RAC   A r tic le  h is to r y :   R ecei v ed   J a n 4 ,  201 7   Re v i se d   J a n 9 ,  201 8   A ccep t ed   S e p 21 ,  2 01 8       D ia b e te s   m e llitu s  is  o n e  o f  th e  u r g e n t h e a lth  p r o b le m s   in  th e   w o r ld .  D ia b e te s   is  a  c o n d iti o n  p r im a r ily  d e f in e d   b y  th e  le v e l o f  h y p e r g l y c e m i a  g i v in g  r is e  to   r i s k  o f   m i cr o  v as cu l ar  d a m ag e.   T h o s e w h o  s u f f er   f r o m  t h i s  d i s eas e  g en er al l y   do n ot  r e a l i z e  a nd t e nd t o ov e r l o ok  t he  e a r l y  s y m pt o m s .   L a t e  r e c og ni t i o n of   th e s e ear l y  s y m p t o m s   m a y  d r i v t h e d i s eas e t o  a m o r e co n cer n i n g   l ev el .  O n s ol ut i on t o s ol v e  t hi s  pr obl e m  i s  t o c r e a t e   a n a ppl i c a t i on t ha t  m a y  pe r f or m   e a r l y  d e te c tio n   o f  d ia b e te s  m e llitu s  s o  th a t  it  d o e s   n o t  g r o w  la r g e r .  I n   th is   ar t i cl e,  a n e w   m et h o d  i n  p er f o r m in g   e a r l y  d e te c tio n  o f  d ia b e te s   m e llitu s  is   s ug g e s t e d.   T hi s   m e t hod i s  ba c k pr opa g a t i on w i t h t hr e e  opt i m i z a t i on na m e l y   e a r l y  in itia liz a tio n  w ith  N g u y e n - W id r o w  a lg o r ith m ,  le a r n in g  r a te  a d a p tiv e   de t e r m i na t i on,  a n de t e r m i na t i on of  w e i g ht  c ha ng e  by  a ppl y i ng   m o me n t u c oe f f i c i e nt .  T he  obs e r v a t i on i s  c onduc t e d by  c ol l e c t i ng  150 da t a  c ons i s t i ng  of   79  di a be t e s  m e l l i t us  pa t i e nt  a n 71  no n di a be t e s  m e l l i t us  pa t i e nt   da t a .  T he   r e s ul t  of  t hi s  s t udy  i s  t he  s ugg e s t e d a l g or i t hm  s uc c e e ds  i n de t e c t i ng  di a be t e s   m e llitu s  w ith   accu r ac y  r at e o f  9 9 . 3 3 % .  O p t i m i zed  b ack p r o p ag at i o n  al g o r i t h m   m a y  al l o w  t h e t r ai n i n g   p r o ces s  g o es  1 2 . 4  t i m es  f as t er  t h an  s t an d ar d   ba c k pr opa g a t i on.   Ke y wo rd s :   A d ap t i v e l ear n i n g  r at e   B ack p r o p ag at i o n   M o m en t u m  co ef f i ci e n t   N guy e n  W i dr o w   O p ti m iz a tio n   C opy r i g ht   ©  201 8   I ns t i t ut e  o f  A d v anc e d E ngi ne e r i ng  an Sc i e nc e   A l l  ri g h t s re se rv e d .   Co rre sp o n d i n g  Au t h o r :   S ut i k no ,     D ep ar t me n t  o f   C o m p u t er  S ci e n ce/ I n f o r m at i cs ,   D i p o ne go r o  U ni ve r s i t y,   P r o f .  S o ed ar t o  S t r eet ,   T em b al an g ,  S e m ar a n g ,  I n d o n e s i a.   E m a il:  t i k@ un di p. a c . i d       1.   I NT RO D UCT I O N   D i a be t e s   m e l l i t u s  i s  o n e  of  t he   w or l d ' s   u r g e n t  h e a l t h  pr obl e m s  [ 1] .  A c c or di ng  t o t h e  da t a  obt a i n e f r o m  W or d H e a l t h  O r g a n i z a t i on  ( W H O ) ,  t h e r e   w e r e  1. m i l l i on  pe opl e  di e d f r om  di a be t e s   m e l l i t us  i n  2012   [ 1 ] .   I t is  p r e d ic te d   t h a t  t h e  n um be r  of  pe opl e  s u f f e r i n g   f r om  di a be t e s   m e l l i t us   w i l l  r e a c h 366  m i l l i on  i n  2030  [ 2 ] .  D i a b e t e s  i s  a  c o nd i t i o p r i m a r i l y d e f i ne d  b y t he  l e ve l  o f  h yp e r gl yc e m i a   gi vi ng  r i s e  t o  r i s k o f   m i c r o   v as c u l ar   d a m ag e   [ 2 ] .   T h ear l y   s y m p t o m s   o f   t h i s   d i s ea s i n cl u de   pol y di ps i a   ( e x c e s s i v e   t h i r s t ) ,   pol y p h a gi a   ( ex ces s i v e h u n g er )  an d  p o l y u r i a ( ex ce s s i v e u r i n at i o n   v o l u m e) .  D i ab et es   m el l i t u s  m a y  cau s e o r g an   d ys f u nc t i o n a nd  f a i l ur e  [ 3 ] .   T h p at i en t s   h ar d l y   r eco g n i ze   an d   t e n d   t o   o v er l o o k   t h es e ar l y   s y m p t o m s   i n d i cat i n g   t h e   r i sk s   t h e   d i s eas e b r i n g s .  M ed i cal  a n d  l ab o r at o r y  ex a m i n at i o n  ar e o n l y  en f o r ced   w h e n  t h e p at i en t s  s u f f er  f r o m   s ev er e   p ai n .   L at e r eco g n i t i o n  o f  t h ear l y  s y m p t o m s  r es u l t s  i n  t h i n cr eas e o f  t h n u m b er  o f  d i a b et es   m e l l i t u s  cas e.   A n o t h er  a f t er ef f ect  o f  l a t ex a m i n at i o n  an d  t r eat m en t  i s   t h at  t h e y   m a y  d e v el o p  t h e d i s eas e t o  b m o r e   d an g er o u s .  O n e s o l u t i o n  t o  s o l v e t h i s  p r o b l e m  i s  t o  cr eat e an  ap p l i cat i o n  t h at   m a y  p er f o r m  ear l y  d et ect i o n  o f   d ia b e te s   m e llit u s   s o  th a t it d o e s  n o t g r o w  la r g e r .   S tu d ie s  c o n c e r n in g  th i s   m at t er  h a v e b een  car r i ed  o u t   i n  s e v er al   m et h o d s ,  s u ch  as  c o m b i n i n g   R eg r es s i o n  T r ee an d  R an d o m  F o r es t  ( R F )  [ 4 ] ,  F u zz y  H i er ar ch i cal  M o d el  [ 5 ] ,  G en et i c P r o g r am m i n g  [ 6 ] ,   S u p p o r t  V ect o r  Mach i n e s  ( S V M ) ,  N v e B a y es  [ 7 ]  an d  ar t i f i ci a l  n e u r al  n et w o r k  [ 8 ] , [ 9 ] .  I n p u t d a ta  to  b e  in   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       O pt i m i z at i on of  B ac k pr o p agat i on f or   E a r ly  D e te c tio n  o f. . .   ( R os i t a Sof i ana )   3233   t h o u g h  o n  t h e s m et h o d s  ca n   b e a d i g i t al  i m a g e,  v o i ce,  el ec t r o car d i o g r am  ( E C G )  s i g n al  a n d  n u m er i c.  I m ag e   da t a  i n pu t  i n c l u de s  hum a n  body  pa r t s .   S o m e  e x a m pl e s  a r e  i r i s  i m a g e  [ 10] ,   [ 11] ,  f a c e  a r e a  [ 12] ,   [ 13]  a n m ag n et i c  r es o n a n ce  i m ag i n g   o f   t h e  br a i n   [ 14] .   V oi c e  da t a   m a y   a l s be  i n c l u de a s  a  d a t a  i n put  ba s e on  s e v e r a l p a r a m e te r s  t h a t c o n s is t o f  a b s o l u te  j itte r ,  s h i m m e r ,  a m p lit u d e  p e r tu r b a tio n  q u o tie n t,  n o is e - to - h a r m o n ic  r a tio ,  s m o o th e d  a m p litu d e  p e r tu r b a tio n  q u o tie n t a n d  r e la tiv e  a v e r a g e   pe r t u r ba t i on [ 15] .   A r t i f i ci al   n eu r al   n et w o r k  i s  a n   ex cel l e n t   m et h o d   t o   d i ag n o s d i s eas [ 8 ] ,   [ 9 ] ,   [ 1 6 - 20] .   J a y a l a ks m i   a n d S a n s t h a kum a r a n poi n t  out  t h a t  a r t i f i c i a l   n e u r a l   n e t w or m a y  be  i m pl a n t e d i n  di a g n os i n g di a be t e s   m e l l i t u s   an d  cl as s i f y i n g  t h e ear l y  d et e ct i o n  o f  g es t at i o n al  d i ab et es   m el l i t u s  [ 8 ] .   T h e act i v e p ar a m et er s  i n v o l v e t h e   n um be r  of  pr e gn a nt  t i m e s ,  pl a s m a   g l u c os e  c on c e n t r a t i on ,  bl ood p r e s s u r e ,  t r i c e ps  s k i n  f ol d  t h i c k n e s s ,  i n s u l i s er u m ,  b o d y   m a s s  i n d ex ,  d i ab et i c p ed i g r ee f u n ct i o n  an d  ag e.  I n  an o t h er  s t u d y ,  b ack p r o p ag at i o n   w a s   e m p l o y ed  t o  cl as s i f y  t h e ear l y   d et ect i o n  o f   g es t at i o n al  d i ab et es   m el l i t u s  [ 9 ] .  T h i s  s t u d y  o b s er v ed  1 1 0  d at a an d   pr om ot e d 10 pa r a m e t e r  i n put s :   f a m i l y   h i s t or y  o f  di a be t e s ,  pr e - p r e g na nc y b o d m a s s  i nd e x,   hi s t o r y o f   g e s ta t io n a l d i ab et es ,  d el i v er y   o f  a l ar g e  i n f a n t ,   h i s t o r y  o f   m i s car r i ag e,  ab n o r m al  b ab y  i n  p r ev i o u s  p r eg n a n c y ,   h is to r y  o f  s til lb ir th ,  in f e c tio n s ,  a n d   h is to r y  o f  p o ly c y s ti c  o v a r y  s y n d r o m e .  T h e   w e a k n e s s  o f  a p p l y i n g   b a c kp r o p a ga t i o n ne ur a l  ne t w o r k i s  i t  ha s  s l o w e r  c o n ve r ge n c e  a n d  l o n g e r t ra i n i n g  t i m e s  [2 1 ],  [2 2 ].     T h er e ar e  s ev er al  act i o n s  t a k en  t o  r eco n d i t i o n  t h i s   w ea k n es s ,  s u c h  as  s el ec t i n g  o r  ad j u s t i n g  t h a c t i va t i o n f unc t i o us e d  [ 2 2 ] ,  [ 2 3 ] ,  p r e p a r i ng t he  d a t a  b e f o r e  t he  t r a i ni n g s t a r t s  [ 2 4 ] ,  r e f i ni n g t he   w e i g ht   ch an g e o f  t he  ne t w o r w i t h   m o m e nt u m   c o e f f i c i e nt  [ 2 1 ] ,  [ 2 5 ] ,  m e nd i n g t he   i ni t i a l i z a t i o n o f  e a r l w e i ght s   [ 2 6 ] ,  r ect i f y i n g  t h e l ear n i n g  r at e [ 2 1 ] ,  [ 2 7 ] ,  an d  r ev i v i n g  t h i n i t i al i zat i o n  o f  t h e n et w o r k ' s  ear l y   w ei g h t s  [ 2 8 ] .   I n t hi s  a r t i c l e ,  a  ne w   m e t ho d   i n p e r f o r m i n e a r l y  de t e c t i o n   of  di a be t e s   m e l l i t u s  i s  pr opos e d.   T h i s   m e t h od i s   b a c k p r o p a g a tio n   w it h  t h r e e  o p tim iz a tio n   n a m e l y  i n itia liz a tio n  o f  e a r l y   w e ig h t s   w ith  N g u y e n - W i d r o al g o r i t h m ,   l ear n i n g   r at ad ap t i v e,   an d   d et er m i n at i o n   o f   w e i g h t   c h a n g b y   ap p l y i n g   m o m en t u m   co e f f ic ie n t.   T he  r e s ul t  o f  t hi s  s t ud y   m a y   gi ve  c o nt r i b ut i o ns  i n t he  ne w  a l go r i t h m ,  t he  o p t i m i z e d  b a c kp r op a ga t i o a l g or i t hm .  I n  a ddi t i on ,  t h e  pr opos e d a l g or i t hm  c a n be  us e f or  e a r l y  de t e c t i on of  di a be t e s   m e l l i t us  di s e a s e ,  s o   t h e  num be r  of  de a t h s  c a u s e d by  t h i s  d i s eas e ca n  b e r ed u ced .       2.   R ES EA R C H  M ETH O D   2. 1.   B ac k p r op agat i on  O p t i m i z at i on   M e th o d   i m p le m e n te d   i n   th i s   s tu d y   o f   e a r l y   d e te c tio n   o f   d ia b e te s   m e llit u s   i s   th e   o p tim iz e d   b ack p r o p ag at i o n  al g o r i t h m .   O p t i m i zat i o n  i s  p er f o r m ed   i n  t h r ee ap p r o ach es   n a m el y   i n itia liz a tio n  o f  e a r l y   w e i g ht s   w i t h N g u ye n - W i d r o w  al g o r i t h m ,  l ear n i n g  r at e a d ap t i v e,  an d  d et er m i n at i o n  o f   w ei g h t  ch a n g e b y   a ppl y i ng   m o m e n t um  c oe f f i c i e n t .   T h e co m p l et s u g g es t ed  al g o r i t h m   i s  d ep i ct ed  i n  F i g u r e   1 .  T h e ex p l an at i o n s   f o r  each  p r o ces s  ar e as  f o llo w :   a.   T r a i ni ng  D a ta   T h e d at w h i ch   u s ed  i n  t h i s  r es ear ch  o r i g i n at ed   f r o m  t h m e d i cal  r eco r d s  o f  D r .  H .  S u w o n d o   K en d al   H os pi t a l ' s  pa t i e n t s  i n  2016.  T h e r e  a r e  150 da t a   w hi c h  c ov e r s  79 da t a  of   m e l l i t u s  di a be t e s   pa t i e n t s  a n d  71 da t a   o f n o n - m e l lit u s  d ia b e te s  p a tie n ts .  T h e   s e le c tio n   m e th o d   f o r   th e  tr a i n i n g  a n d   te s ti n g  is  h o l d - ou t  m e t h od w hi c d i vi d e s  t he  d a t a  r a nd o m l y i n t o  t w o   s e ts  th a t a r e  tr a i n in g  d a t a  a n d  te s tin g  d a ta .  T h e  d a ta  c o m p o s i tio n   is  2 /3  o f   t r a i n i n g  da t a  a n d 1/ 3 of  t e s t i ng da t a .   b.   I n itia liz a tio n   o f  n e t w o r k  w e i g h t   O n  t h e  s t a n da r d ba c k pr opa g a t i on  a l g or i t hm  i n i t i a l i z a t i o n  of  n e t w or k   w e i gh t  i s  don e  b y   g e n e r a t i ng  ra n d o m  s m a ll n u m b e r ,   m e a n w h ile  i n  th i s  a r tic le ,  N g u y e n - W id r o w  te c h n iq u e   w ill b e  u s e d .   T h is  te c h n iq u e  is   i n t r odu c e d b y  N guy e n  a n d W i dr ow  on  t w o l a y e r s   n e u t r a l   n e t w or k  [ 28] .   c.   S to p p in g  c o n d itio n   T h e  pr oc e s s  of   n e t w or k t r a i n i n w i l l  be  s t oppe d i f  t h e  c on di t i on   h a d  al r ead y  b ee n   f u l f i l l ed .  T h er e ar e   t w o r e qui r e m e n t s  of   s t oppi n g c on di t i on  t h a t  a r e :  i f  t h e   v a l u e  of  M e a n S qu a r e d E r r or  ( M S E )  r e s u l t e d b y  t h e   n et w o r k  i s  s m al l er  t h an  t h e s p eci f i ed  er r o r  v al u e o r  t h e ep o ch  o f  t r ai n i n g  p r o ces s  i s  eq u al  t o  t h e ep o ch  t h at   ha s   b een  s p eci f i e d.   d.   F eed  f o r w ar d   F e e d f or w a r d pr oc e s s  i s  us e d t o c ou n t  a l l  t h e  o u t pu t   v a l u e  on h i dde n  l a y e r  a n d ou t pu t  l a y e r .   e.   B ack p r o p ag at i o n   B ack p r o p ag at i o n  p r o ces s  i s   u s ed  t o  cal cu l a t e t h e r at e o f   w ei g h t  ch a n g es  o n  a l l  n e t w o r k s .  T h i s   cal cu l at i o n  i n cl u d es  t h e   va l ue  o f  l e a r ni ng r a t e  a nd  va l ue  o f  ne t w o r k i np ut  a nd  a l s o  o ut p ut  o n e ve r y   hi d d e n   l a ye r .   f.   N e t w o r w e i g ht  c ha n ge s   T he   ne t w o r w e i ght   c ha nge s   o s t a nd a r d   b a c kp r o p a ga t i o a l go r i t h m   a r e   c a l c ul a t e d   b y   a d d i ng  t he   p r e vi o us   ne t w o r w e i g ht  a nd  w e i g ht  c ha n ge s  r a t e .   I n   t h i s  pr opos e d a l g or i t hm  i n  a ddi t i on  t o a ddi n g  t h e   w e i ght   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   323 2   -   3237   3234   ch an g e r at e al s o  ad d s  t h m o m en t u m  co e f f i c i en t .  T h i s  t ec h n i q u h ad  b een  ap p l i ed  b y  Y u  an d  L i  t o  o p t i m i ze   ba c k pr opa g a t i on  a l g or i t hm  [ 2 1] .   g.   C al cu l at i n g  t h e M ean   S q u ar ed  E r r o r   ( M S E )   M S E  cal cu l at i o n  p r o ces s  i s  p r act i ced  t o  co u n t  t h e av er a g e v al u e i n  ev er y  ep o ch  o n  t h e t r ai n i n g   p r o ces s .  O n  t h n ex t   s t ep ,  MS E  i s  co m p ar ed  t o  t h e s p eci f i ed  er r o r  v al u e t o  en d  t h e t r ai n i n g  p r o ces s .   h.   C a lc u la t i ng t he  l e a r ni n g r a t e  v a l ue   I n s t a n da r d ba c k pr opa g a t i on   a l g or i t hm ,  le a r ni n g r a t e  i s   n o t  c ha n ge d  i n i t s  e ve r y e p o c h.  O n t h i s   a l go r i t h m ,  l e a r ni n g r a t e  va l ue   i s  c ha nge d  d ur i n g t he  t r a i ni ng  p r o c e s s  t o  m a i nt a i n t he  s t a b i l i t y o f  t he  a l go r i t h m .   T h i s  t e c h ni qu e  i s   s ugg e s t e d b y  Y u  a n L i  [ 21] .   i.   S a vi n t he  ne t w o r k w e i g ht   T h e  la s t s te p  o f  t he  ne t w o r k t r a i ni n g p r o c e s s  i s  p r o d uc i ng  t he  ne t w o r w e i gh t .  T he   w e i g ht  i s   s a ve d   an d  u s ed  o n  t h e t es t i n g  p r o ces s .           F i gu r e  1.  T h e  pr opos e d m e t h o d i n  t h i s   r es ear ch       2. 2.   A rt i f i ci a l  N eu t ra l  N et w o rk   A rch i t ect u re   A r t i f i ci al   n eu r al   n et w o r k  ar ch i t ect u r e u s ed   i t hi s   r e s e a r c c o ns i s t s   o f  1 2  i np ut  u ni t   b a s e d   o n t he   a m oun t  o f  i n di c a t or  v a r i a bl e   of  di a be t e s   m e l l i t us ,  on e  hi dde n  l a y e r ,  a n d on e  o u t pu t  un i t   s h o w n i n   F i gu r e  2.   T h e i n p u t  u s ed  i n  t h i s  ar c h i t e ct u r e ar e 1 2   p ar am et er s :  a g e ( x 1 ) ,  h er ed i t y  ( x 2 ) ,  P o l y u r i a ( x 3 ) ,  P ol y di ps i a   ( x 4) ,   P ol y ph a g i a  ( x 5) ,  bl ood s u g a r  ( x 6) ,  I n f e c t i on  ( x 7) ,   w e i gh t   l os s  ( x 8) ,  t i ng l i ng  ( x 9) ,  f a t i gu e  a n d dr o w s i n e s s   ( x1 0 ) ,  ne a r s i g ht e d ne s s   ( x1 1 ) ,  a nd   w o und  ( x1 2 ) .  T he   u n it o f   o u tp u t is  t h e  s ta tu s  o f  d ia b e te s   m illit u s  ( y ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       O pt i m i z at i on of  B ac k pr o p agat i on f or   E a r ly  D e te c tio n  o f. . .   ( R os i t a Sof i ana )   3235       F ig u r e  2 .  A r ti f ic ia l   n eu t r al  n et w o r k  ar c h i t ect u r e u s ed  i n  t h e r es ear ch       3.   R ES U LT S   A ND AN AL Y S I S   T he  e xp e r i m e nt  o n t hi s   r es ear ch   is  c la s s i f ie d  in to  t w o  e x p e r i m e n ts  b e lo w :     3. 1.   E x pe r i m e nt   1   T h e p u r p o s e o f  t h i s  ex p er i m e n t  i s  t o  d et er m i n e t h e ef f ect  o f   m o m e n t u m   v al u es  o n  t h e ac cu r ac y   o th e  o p ti m iz e d  b a c k p r o p a g a tio n  a l g o r ith m  to  id e n ti f y  d ia b e t e s   m e llit u s .  T h e   g iv e n   m o m e n tu m  v a lu e   v a r ia tio n   s t ar t s   f r o m   t h r an g o f   0 . 1   u p   t o   0 . 9 .   Mean w h i l e,   o t h er   v ar i ab l es   ar l ear n i n g   r at ( α )   o f   0 . 6 ,   m o m en t u m   pa r a m e t e r  ( µ )  of  0. 9,  m a x i m u m  e poc h  of  10 0 0 ,  t ar g et  er r o r   o f  0 . 0 0 0 1 ,  r at i o   o f  l ear n i n g  r a t e i n cr eas e ( l r _ i n c)   o f  1 . 0 5 ,  r at i o  o f  l ear n i n g  r at e  d ecr eas e ( l r _ d ec )  o f  0 . 6   an d  m ax i m a l  i n cr eas e o f  p er f o r m an ce ( m a x _ p er f )  o f   0 . 6 .  R e s u lt o f  t h is  te s t is  i n  T a b le  1 .   F r o m  t ab l e 1 ,  i t  ca n  b e s ee n  t h at  t h h i gh e s t  e poc h num be r  i s  64  w h e n  t h e   m o m e n t um  i s  0. 1 a n d t he   l o w es t  ep o ch  n u m b er  i s  3 0   w h en  t h m o m e n t u m  v al u e 0 . 9  i s  g i v e n .  B as ed  o n  t h e s e r es u l t s  can  b e co n cl u d ed   t h at  t h e p r o v i s i o n  o f   m o m e n t u m  can  accel er at e t h e l ear n i n g   p r o ces s .  T h e cau s e i s  t h e ad d i t i o n   o f  m o me n t u v al u w i l l  r ed u ce t h e er r o r  s o  t h at  t h e l ear n i n g  p r o ces s  t i m e i s  s m al l er .   F r o m  t ab l e 1 ,  i t  ca n  al s o  b e s e en  t h at  i f  t h m o m en t u m   v al u e i s  r ai s ed ,  t h e n  t h e acc u r ac y  l ev el  t e n d s   t o i n c r e a s e .  T h i s  i s  pr ov e n   w h e n  gi v i ng  t h e   m o m e n t um   v a l ue  0. 1 t o 0. 6  y i el d s  t h e s a m e l e v el  o f  acc u r ac y  an d   t h m o m en t u m  v a l u e 0 . 7  t o  0 . 9  i n cr eas es  f r o m  t h e p r ev i o u s  v al u e.  T h e g r eat es t  accu r acy  i s  9 9 . 3 3 %  o n  t h m o m e n t um   c oe f f i c i e n t   of   0. 9.   T h i s   r e s u l t   i s   be t t e r   t h a n   t h e   s t a n da r ba c k pr opa g a t i on   m e t h od  pr op os e by   D u r ai r aj   an d  K al ai s el v i   w i t h  an  accu r ac y  o f  9 1 %  [ 1 6 ] .       T ab le  1 .   M o m en t u m  V al u e E f f ect  t o w ar d s  R es u l t ed   A cc u r acy  L e v el   M o m e n t u m   E p o ch   A ccu r acy  ( % )   M SE   0 .1   6 4   9 7 . 33   0 . 0 00 0 9 98 08   0 .2   6 2   9 7 . 33   0 . 0 00 0 9 76 47   0 .3   5 9   9 7 . 33   0 . 0 00 0 9 97 04   0 .4   5 7   9 7 . 33   0 . 0 00 0 9 94 56   0 .5   6 3   9 7 . 33   0 . 0 00 0 9 92 24   0 .6   5 4   9 7 . 33   0 . 0 00 0 9 82 52   0 .7   5 3   9 8 . 67   0 . 0 00 0 9 75 97   0 .8   5 8   9 8 . 67   0 . 0 00 0 9 71 22   0 .9   3 0   9 9 . 33   0 . 0 00 0 9 49 20       3. 2.   E x pe r i m e nt   2   T h e p u r p o s e o f  t h i s  s eco n d  ex p er i m en t  i s  t o  co m p ar e t h e p er f o r m a n ce b et w ee n  s t an d ar d   ba c k pr opa g a t i on  a l g or i t hm  a nd opt i m i z e d ba c k pr opa g a t i on  a l g or i t hm   f or  e a r l y  de t e c t i o n   of  di a be t e s   m e l l i t u s   d i s eas e.   T es t s   u s ed   s e v er al   v a r i at i o n s   o f   α   v al u o f   0 . 1   t o   0 . 9 ,   m a x i m um   e poc h  of  1000 a n d e r r or  t a r g e t  of   0. 000 1.   T h e  pa r a m e t e r s   v a l u e   of  opt i m i z e d ba c k r opa g a t i on  a r e  m o m e n t um  c oe f f i c i e n t  o f  0. 9,  r a t i o of  l e a r n i ng  r at e i n cr eas e  ( l r _ i n c)  o f  1 . 0 5 ,  r at i o  o f  l ear n i n g  r at e d ec r eas e ( l r _ d ec)  o f  0 . 6  an d   m ax i m al  i n cr eas e  o f   p er f o r m a n ce ( m a x _ p er f )  o f  1 . 0 6 .   T h e r es u l t s  o f  t h i s  ex p er i m en t  ar e s h o w n  i n   T ab l 2.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   323 2   -   3237   3236   B as ed  o n  t ab l e 2 ,  i t  ca n  b e s e en  t h at  t h e i n cr eas e o f  l ear n i n g  r at v al u e  i n  b ack p r o p ag at i o n  s t a n d ar d   g i v e s  de c r e a s e  of  e poc h   n um be r  i n  r a n g e  354 u p t o 1000.  T h e  de c r e a s e  o f  e poc h num b e r  a l s h a ppe n e d a t   opt i m i z e d ba c k pr opa g a t i on .  I f  t h e   v a l u e  of  l e a r n i ng  r a t e  i s   0. 1 t o 0. 7 i n  opt i m i z e d ba c k pr opa g a t i on  t h e n  t he   e p o c h nu m b e r   w i l l  t e nd  t o  f a l l  i n t he  r a n ge  3 8  t o 6 2 a nd  i f  t h e  va l ue  o f  l e a r ni n g r a t e  i s  gi ve n 0 . 8  a nd  0. 9  t he th e ep o ch  n u m b er  i n cr eas ed  t o  4 9 .  T h e cau s e i s   t h e  v al u e   o f  l ear n i n g  r at e  i s  t o o  s m al l  r es u l t ed  t h e  l ear n i n g   p r o ces s  t ak es  a l o n g  t i m e t o  r each  co n v er g e n t ,  b u t  i f  t h e v a l u e o f  l ear n i n g  r at e i s  t o o  l ar g e p r o ces s ,  t h en  t h e   l ear n i n g   w i l l  b eco m e u n s t ab l e.   F r o m t h e t e s t  r es u l t s  i n  T ab l e 2 ,  i t  i s  s een  t h at  o p t i m i zed  b ack p r o p ag at i o n  can  d ecr eas t h e ep o ch   n um be r  s i gn i f i c a n t l y  b y  12. 4 t i m e s  c o m pa r e d t s t a n da r d ba c k pr opa g a t i on .  I t  c a be  c on c l u de d t h a t   o p t i m i zed  b ack p r o p ag at i o n  r eq u i r es  a  m u ch   f as t er  l ear n i n g  p r o ces s   t ha n t he  s t a nd a r d  b a c kp r op a ga t i o n   pr op os e d by  [ 16]  a n d [ 17 ]  i n  t h e  s a m e  c a s e .  T h e  v a l u e  of  l e a r n i ng  r a t e  0. 7 r e s u l t e d i n  t he  n um be r  of  e poc 471 on  t h e  ba c k pr opa g a t i on  s t a n da r d a n d t h e  e poc h  num be r   of  38 i n  t h e  opt i m i z e d ba c k pr opa g a t i i on .       T ab l e 2 .  P er f o r m a n ce  Co m p a r i so n  b e t we en   S t an d ar d  B ack p r o p ag at i o n  a n d O pt i m i z e d B a c k pr opa g a t i on   L e ar n i n g  R at e  ( α )   S t a n da r d  B a c kp r o pa ga t i o n   O p t i m i zed  B a ck p r o p a g at i o n   E p o ch   M SE   E p o ch   M SE   0 .1   1 0 0 0   0 . 0 00 5 0 42 65   6 2   0 . 0 00 0 9 92 77 4   0 .2   1 0 0 0   0 . 0 00 1 9 72 36   6 1   0 . 0 00 0 9 71 70 0   0 .3   1 0 0 0   0 . 0 00 1 1 80 91   5 1   0 . 0 00 0 9 81 28 9   0 .4   8 5 8   0 . 0 00 0 9 99 02   4 5   0 . 0 00 0 9 75 99 3   0 .5   6 8 1   0 . 0 00 0 9 98 90   4 4   0 . 0 00 0 9 74 00 9   0 .6   5 7 9   0 . 0 00 0 9 98 59   3 8   0 . 0 00 0 9 67 79 1   0 .7   4 7 1   0 . 0 00 0 9 98 68   3 8   0 . 0 00 0 9 77 89 6   0 .8   4 1 2   0 . 0 00 0 9 98 34   4 9   0 . 0 00 0 9 84 44 5   0 .9   3 5 4   0 . 0 00 0 9 98 29   4 9   0 . 0 00 0 9 90 08 0       4.   CO NCL U S I O N   O p ti m iz e d  b a c k p r o p a g a tio n  a lg o r ith m   w i th  i n itia liz a t io n  o f  e a r l y   w e i g h ts   w i th  N g u y e n - W i d r o al g o r i t h m ,  l ear n i n g  r at e ad ap t i v e,  an d  d et er m i n at i o n  o f   w ei g h t  ch a n g e b y  ap p l y i n g   m o m e n t u m  co e f f i c i en t   f o r   ear l y  d et ect i o n  o f  d i ab et es   m el l i t u s  t h at  p r o d u ced  t h e b es t  accu r ac y  l ev e l  o f  9 9 . 3 3 % .  O p t i m i zed   b ack p r o p ag at i o n  i s  ab l e t o  accel er at e t h e t r ai n i n g  p r o ces s  b y  1 2 . 4  t i m es  co m p ar t o  s t a n d ar d   ba c k pr opa g a t i on .       R EF ER EN C ES   [ 1]   W o r ld  H e a lth  O r g a n iz a tio n ,  “G l o b al  R ep o r t  o n  D i ab et es , ”  W or l d H e al t h O r g an i z at i on   ( W HO) ,   20 16.   [ 2]   W o r ld  H e a lth  O r g a n iz a tio n ,  “D e f i n i t i o n  an d  D i ag n o s i s  o f  D i ab et es  M el l i t u s  an d  I n t er m ed i at H y p er g l y ce m i a,   W or l d H e al t h O r ga ni z a t i o n ( W H O ) ,   2 00 6.   [ 3]   V .  J a k h m o la  a n d   P .  T a n g r i,  “ D ia b e te s  M e llitu s  a  S i le n t K ille r : R o le  o f  D P P 4  I n h ib i to r s  i n  T r e a t m e n t,   J our nal  of   P h a r m a ceu t i ca l   S ci en ce A n d  B i o s ci en t i f i c R es ea r ch  ( JP S B R ) v o l . 2 p p . 4 9 53 ,  2 01 2.   [ 4]   M . T . M . K . S a b a r i a h e t a l. ,  “E ar l y  D et ect i o n  o f   T y p e  I I  D ia b e te s  M e llitu s  w ith  R a n d o m  F o r e s t a n d  C la s s if ic a tio n   an d  R eg r es s i o n  T r ee ( C A R T ) , ”  A dv anc e d  I nf or m at i c s :  C onc e pt ,  T he or y   an A p pl i c at i on  ( I C A I C T A ) I E E E , p p 238 - 2 42,   2 01 4.   [ 5]   R .  B .  L u m an t o  an d  E .  I r w an s y a h ,  “T h e E ar l y  D et ect i o n  o f  D i ab et es  M el l i t u s  ( D M )  U s i n g  F u z z y   H i er ar ch i ca l   M o d el , ”  P r oc e di a  C om p ut e r  Sc i e nc e ,   v ol .  59,   p p.  31 2 31 9,  20 15.   [ 6]   M . A . P r a d h a n ,   e t a l. ,  “ D e s ig n  o f  C la s s i f ie r   f o r  D e te c tio n  o f  D ia b e te s  M e llitu s  U s in g   G e n e tic  P r o g r a m m in g ,   I nt e r nat i o nal  C o nf e r e nc e  on C o m put e r  Sc i e nc e  and I nf or m a t i o T e c hnol ogy  ( I C C SI T 2 01 1) ,  I E E E ,   pp.  12 5 13 0,   201 1.   [ 7]   B .  A .  T a m a an d  F .  S .  R o d i y at u l ,  “A n  E ar l y  D et ect i o n  M et h o d  o f  T y p e - 2  D ia b e te s  M e llitu s  in   P u b lic  H o s p ita l,   T el ko m n i ka ,   v ol .  9,    pp .   2 87 2 94 ,  20 11.   [ 8]   T .  J a y al a k s h m i  an d  A .  S an t h ak u m ar an ,  “ A  N o v el  C l as s i f i cat io n  M e th o d  f o r  D ia g n o s is  o f  D ia b e te s  M e llitu s  U s in g   A r t i f i ci al  N eu r al  N et w o r k s , ”  2010 I nt e r n at i o na l  C o nf e r e nc e  o D at St or age   an d D at a  E n gi ne e r i ng , I E E E , p p 159 - 1 53,  20 10 .   [ 9]   P .  S .  M u lle r ,   e t a l. ,    “ A ppl i c a t i on  of  C om put a t i o na l  T e c hni q ue  i n D e s i g of  C l a s s i f i er   f o r  E ar l y  D et ect i o n  o f   G e s ta tio n a l D ia b e te s  M e llit u s ,   A ppl i e M at he m a t i c al  Sc i e nc e s ,  vol .  9 ,  pp .   3 32 7 3 33 6,  20 15.   [ 1 0]   I P . D . L e s m a n a e t a l. ,  “A b n o r m al  C o n d i t i o n  D et ect i o n   o f  P an cr eat i c B et a - C el l s   as   T h e C a u s e o f  D i ab et es   M el l i t u s  b as ed  o n  I r i s  I m ag e,   I ns t r um e nt at i on ,  C om m u ni c at i ons ,  I nf or m at i on T e c h nol ogy ,  a nd B i om e di c a l   E ngi ne e r i ng ( I C I C I - B M E ) ,  2 01 2nd  I nt e r n at i on al  C onf e r e nc e , I E E E ,   2 0 1 1 .   [ 1 1]   A .  D .   W i ba w a   a nd M .  H .   P ur no m o,  “ E a r l y  de t e c t i on on t he  c on di t i o n of  P a nc r e a s  or g a n a s  t he   c a us e  of  di a be t e s   m e llitu s  b y  r e a l ti m e  ir is  i m a g e  p r o c e s s in g ,   C i r c ui t s  a nd  Sy s t e m s ,  200 6.  A P C C A S 2 00 6.  I E E E  A s i a P ac i f i c   C o n f er en ce o n , I E E E p p .  1 0 0 8 - 10 1 0,  20 06 .   [ 1 2]   B .  Z h an g ,  et  al . ,  “N o n i n v as i v d i ab et es   m el l i t u s  d et ect i o n  u s i n g  f aci al  b l o ck   co l o r  w i t h  a  s p ar s e r ep r es en t at i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       O pt i m i z at i on of  B ac k pr o p agat i on f or   E a r ly  D e te c tio n  o f. . .   ( R os i t a Sof i ana )   3237   cl as s i f i er , ”  I E E E  T r ans ac t i o ns  o n  B i om e di c a l  E ngi ne e r i ng   ,  vo l .  61,   p p.  10 27 1 03 3,  20 14 .   [ 1 3]   S .  T i n g  an d  B .  Z h an g ,  “D i ab et es  M el l i t u s  D et ect i o n  B as ed  o n   F aci al  B l o ck  T ex t u r e F eat u r es   U s i n g  t h e G ab o r   F ilte r ,   C om p ut at i o nal   Sc i e nc e  and E ngi ne e r i ng ( C SE ) ,  2 01 4 I E E E  17t h I nt e r n at i on al  C on f e r e nc e  on ,  I E E E , p p . 1 - 6,  2 01 4.   [ 1 4]   G . K h a n et  al . ,  “D et ect i o n   o f  C er eb r al  A t r o p h y  i n  T y p e - I I  D i ab et es  M el l i t u s   b y  M ag n et i c R es o n an ce I m a g i n g  o f   B r ai n , ”    J o ur nal  of  A y u b M e di c al   C ol l e ge  A bb ot t a ba d ,   v o l .  22,   p p.  67 7 0,  20 10 .   [ 1 5]   D .  C h i t k ar a an d  R .  K .  S h ar m a,   “V o i ce B as ed  D et ect i o n  o f  T y p e 2  D i ab et es  M el l it u s ,   A d va n ces  i n  E l ect r i ca l ,   E l e c t r oni c s ,  I nf or m a t i o n,  C om m u ni c at i on  a nd  B i o - I nf or m at i c s  ( A E E I C B ) ,   20 16  2 nd  I nt e r n at i on al   C onf e r e nc e  o n I E E E , 2 0 1 6 .   [ 1 6]   M .  D u r ai r aj  a n d  G ,  K al ai s ev i ,  “ P r e d ic tio n  O f  D ia b e te s  U s in g  B a c k  P r o p a g a tio n  A lg o r ith m , ”  I nt e r nat i o nal  J o ur na l   of  E m e r gi ng  T e c hn ol o gy  a nd I nn ov at i v e  E n gi ne e r i ng ,   vol .  1 ,  p p .   21 - 2 5,  20 15.   [ 1 7]   S .  J os hi  a nd M .  B or s e ,  “ D et ect i o n  an d   P r ed i ct i o n  o f  D i ab et es  M el l i t u s  U s i n g  B ack  P r o p ag at i o n  N eu r al  N et w o r k ,   Mi c r o - E l e c t r oni c s  and T e l e c om m uni c at i o n E ng i ne e r i ng ( I C M E T E ) ,  20 16 I nt e r nat i o nal  C o nf e r e nc e  on , I E E E pp. 11 0 - 1 13,  2 01 6.   [ 1 8]   W ih a r to ,  et  al . ,  “H y b r i d  S y s t e m   o f  T i er ed  M u l t i v ar i at e A n al y s i s   a n d  A r t i f i ci al  N eu r al  N et w o r k   f o r   C o r o n ar y  H ear t   Di se a se  Di a g n o si s,   I nt e r nat i o na l  J our nal   of  E l e c t r i c al  an d C om p ut e r  E ngi ne e r i ng ( I J E C E ) ,  v ol . 7,   pp.  1 02 3 - 10 31 ,   201 7.   [ 1 9]   B .  S ab i r ,  et  al . ,  “I m p r o v ed  A l g o r ith m  f o r  P a th o lo g ic a l a n d  N o r m a l V o ic e s  I d e n tif ic a tio n ,   I nt e r n at i ona l  J o ur na l  o f   E l e c t r i c al  a nd C om p ut e r  E n gi ne e r i ng ( I J E C E ) v o l . 7 , p p 2 3 8 - 24 3,  20 17.   [ 2 0]     M .  A b d ar ,  et  al . ,  “C o m p ar i n g   P er f o r m an ce o f  D at a M i n i n g  A l g o r i t h m s  i n  P r ed i ct i o n  H ear t  D i s eas es , ”  In t e r nat i on al   J our n al  o f  E l e c t r i c al   an d C om pu t e r  E ngi ne e r i ng ( I J E C E ) ,   vo l .  5 ,  pp .   15 69 - 157 6,  20 15 .   [ 2 1]   C. - C .  Y u a n d B . - D .  L i u,  “ A  ba c k pr opa g a t i on  a l g or i t hm  w i t h a da pt i v e  l e a r ni ng  r a t e  a n d m om e nt um  c oe f f i c i e nt ,   N e ur al  N e t w or k s ,  20 02.  I J C N N .    P r oc e e di ngs  o f  t he  2 00 2 I nt e r n at i ona l  J oi n t  C on f e r e nc e  on I E E E , p p . 1 2 1 8 12 23 ,   200 2.   [ 2 2]   K .  E om ,  e t  a l . ,  “ P e r f or m a nc e  i m pr ov e m e nt  of  ba c k pr opa g a t i on  a l g or i t hm  b y  a ut om a t i c   a c t i v a t i on f unc t i on g a i t uni ng  us i ng  f uz z y  l og i c ,   N e ur oc om put i n g ,  vo l .  50 ,   p p.  43 9 46 0,  20 0 3.   [ 2 3]   K.  V.  N.  B a b u  a n d  D .  R .  E d la ,  “ N e w   A lg e b r a ic  A c tiv a tio n  F u n c tio n  f o r  M u lti -   L a y er ed  F eed  F o r w ar d  N eu r al   N et w o r k s , ”  I E T E  J our nal   of  R e s e ar c h ,  v ol .  2 06 3,   pp.  7 1 79,  2 01 6.   [ 2 4]   R .  A s ad i ,  et  al . ,  “N e w  S u p er v i s ed  M u l t i  L a y er  F eed  F o r w ar d  N e u r al  N et w o r k  M o d el  t o  A ccel er at e C l as s i f i cat i o n   w i t h  H i g h  A c cu r ac y , ”  E ur ope an  J our n al  o f  Sc i e n t i f i c  R e s e ar c h ,  vol .  33 ,   p p .  16 3 1 78,  2 00 9.   [ 2 5]   G .  P .  D r a g o,  M .   M or a n do ,  a n d S .  R i de l l a ,  “ A n A da pt i v e  M om en t u m  B ack  P r o p ag at i o n  ( A M B P ) , ”  N e ur al   C om put i n g &  A ppl i c at i o n ,  v ol .  3 ,  pp.  2 13 2 21,  1 99 5.   [ 2 6]   R .  A s ad i  an d  S .  A b d u l ,  “R ev i ew  o f  F eed  F o r w ar d  N eu r al  N et w o r k  cl as s i f i cat i o n  p r e p r o ces s i n g  t ech n i q u es ,   P r oc e e di ngs   of  t he  3r d I n t e r nat i o nal  C on f e r e nc e  on M at he m at i c a l  S ci en ces AI P ,     pp.  5 67 5 73,  2 01 4.   [ 2 7]   S .  I r an m an es h ,  “A  D i f f er en t i al  A d ap t i v e L ear n i n g  R at e M et h o d  f o r  B ack - P r o p ag at i o n  N eu r al  N et w o r k s , ”  P r oc e e di ngs   of  t he  1 0t h W SE A S I nt e r nat i on al  C on f e r e nc e  on N e ur al  N e t w or k s , A C M ,  p p 3 0 34 ,  20 1 0.   [ 2 8]   D .  N g u y e n a nd B .   W i dr ow ,  “ I m pr ov i ng  t he   L e a r ni ng  S pe e d of  2 - L a y e r  N e ur a l   N e t w or k s  b y   C hoos i ng  I ni t i a l   V al u es  o f  t h e A d ap t i v e W ei g h t s , ”  N eu r a l  N et w o r ks ,   1 99 0 I J C N N  I nt e r nat i o nal   Jo i n t  C o n f er en ce o n , I E E E , p p .I I I - 21 - III - 26,  1 99 0.   Evaluation Warning : The document was created with Spire.PDF for Python.