I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   21 ,   No .   1 J an u ar y   2 0 2 1 ,   p p .   5 5 8   ~5 6 5   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 2 1 .i 1 .   pp   5 5 8   - 565       558       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Liv e t o   lea rn:  l ea rning  rules - ba sed a rtif icia neura netw o rk       Aseel  Sh a k ir  I .   H ila iw a h 1 ,   H a na n Abed  Alw a lly   Abed A ll a h 2 ,   B a s i m   A kh ud ir  Abba s 3 ,   T o le  Su t i kn o 4   1 Im a m   A ' a d h u m   Un iv e rsit y   Co ll e g e ,   De p a rt m e n o f   F u n d a m e n tals o f   Re leg io n s F o G irl s,  Ba g h d a d ,   Ira q   2, 3 M u sta n sir iy a   Un iv e rsit y ,   Co ll e g e   o f   S c ien c e ,   De p a rt m e n o f   Co m p u ter S c ien c e ,   Ba g h d a d ,   Ira q   4 De p a rtme n o f   El e c tri c a En g in e e rin g ,   Un iv e rsitas   A h m a d   Da h lan ,   Yo g y a k a rta,   In d o n e sia   4 Em b e d d e d   S y ste m   a n d   P o w e El e c tro n ics   Re se a rc h   G ro u p   (ES P E RG ),   Yo g y a k a rt a ,   In d o n e sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   5 ,   2 0 20   R ev i s ed   A u g   9 ,   2 0 20   A cc ep ted   A u g   3 0 ,   2 0 2 0       A n   e x ten siv e   re v ie w   o f   th e   a rti f i c ial  n e u ra n e tw o rk   (A N N)  is  p r e se n ted   in   th is  p a p e r.   P re v io u stu d ies   re v ie w   th e   a rti f icia n e u ra n e tw o rk   ( AN N)  b a se d   o n   th e   a p p r o a c h e (a lg o rit h m s)   u se d   o b a se d   o n   th e   ty p e o f   th e   a rti f icia n e u ra n e tw o rk   (A NN ).   T h e   p re s e n ted   p a p e re v ie w th e   A NN   b a se d   o n   th e   g o a o f   th e   A NN   ( m e th o d s,  a n d   l a y e rs),  w h ich   b e c o m e   th e   m a in   o b jec ti v e   o f   th is  p a p e r.   A a   f a m o u a rti f icia l   in telli g e n m o d e l,   A NN   m i m ics   th e   h u m a n   n e rv o u sy ste m   in   h a n d li n g   th e   in f o rm a ti o n   tran sm it e d   b y   d iffer e n n o d e s   (a lso   k n o w n   a n e u r o n s)   in   th is  m o d e l.   T h e se   n o d e a re   sta c k e d   in   lay e rs  a n d   w o rk   c o ll e c ti v e l y   to   b rin g   a b o u t   so lu t io n   t o   c o m p lex   p ro b lem s.  Nu m e ro u s   stru c tu re e x ist  f o A N a n d   e a c h   o f   th e se   stru c tu re is  d e sig n e d   t o   a d d re ss a   a   sp e c i f ic  tas k .   Ba sic a ll y ,   th e   AN a rc h it e c tu re   is  c o m p rise d   o f   3   d if f e r e n la y e rs  w h e re in   th e   f irst  la y e rp re se n ts  th e   in p u t   lay e th a c o n sist  o f   se v e ra l   in p u n o d e s th a re p re se n th e   in p u p a ra m e t e r f o th e   m o d e l.   T h e   h i d d e n   lay e r   is  te  s e c o n d   la y e a n d   c o n sists   o a   h i d d e n   la y e o f   n e u ro n s.  T h e   n e u ro n in   th is  lay e a re   d irec tl y   c o n n e c ted   t o   t h e   n e u ro n in   t h e   o u tp u t   lay e r.   T h e   th ir d   la y e is  th e   o u t p u lay e w h ich   is  th e   m o d e ls’  re sp o n se   lay e r.   T h e   o u tp u t   la y e n e u ro n h a v e   th e   a c ti v a ti o n   f u n c ti o n f o th e   c a lcu latio n   o f   th e   AN N   f in a o u tp u t.   T h e   c o n n e c ti o n   b e twe e n   th e   n o d e in   t h e   A NN   m o d e is  m e d iate d   b y   s y n a p ti c   w e ig h ts.   Th is  p a p e is  a   c o m p re h e n siv e   stu d y   o f   A NN   m o d e ls  a n d   th e ir  lay e rs.   K ey w o r d s :   A r ti f icial  n e u r al  n et w o r k s   Dee p   lear n in g   L i f elo n g   lear n in g   Neu r al  n et w o r k   T r ain in g   T h is  is  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Aseel  S h ak ir   I .   Hilai w a h   Dep ar t m en t o f   Fu n d a m en ta ls   o f   R ele g io n s   Fo r   Gir ls   I m a m   A' ad h u m   U n i v er s it y   C o lleg e B ag h d ad ,   I r aq   E m ail:  as s h ak ir 1 9 8 3 @ g m ail. c o m       1.   I NT RO D UCT I O N   T h cu r r en tl y   ex is ti n g   A NN   m o d el s   allo w s   f o r   ad j u t m en t   o f   th e   n et w o r k   b eh a v io r   b y   a lter in g   t h w ei g h ts   th a co n n ec ts   t h n e u r o n s   to   ea ch   o th er h o w e v er ,   th n et w o r k   d esi g n er   i s   e x p ec ted   to   s et  u p   t h n u m b er   o f   n e u r o n s ,   as  w ell  as  th s tr u c tu r al  i n ter - n e u r o n   r elatio n s h ip   w h ich   o n ce   d es ig n ed ,   i s   s u s ta in ed   th r o u g h o u th li f eti m o f   t h e   n et w o r k   [ 1 2 ] .   T h is   i s   o n o f   t h co n s tr ai n ts   o n   th e   ap p licab ilit y   o f   A NN s .   T h ab ilit y   to   in ter p r et  an d   m an ip u late  i n ter n al  w o r k i n g s   o f   n e u r al  n et w o r k   is   m aj o r   b r ea k th r o u g h   i n   t h e   A N t h eo r etica r esear ch   [ 3 - 6 ] .   T h au t h o r   p r o v es  t h at  m o s o f   t h f ee d   f o r w ar d   n eu r al  n et w o r k s   ar f u n ctio n s t h u s ,   m a n y   p r o p er ties   o f   f u n cti o n s   ca n   b ap p lied   to   an aly ze   n eu r al  n et w o r k   b eh av io r s .   B ased   o n   th is   p r o o f ,   g r ap h ical   m ap p i n g   tec h n iq u w a s   p r o p o s ed   to   in ter p r et  t h in ter n al  ac tiv i tie s   o f   A NN   m o d els.   W ith   t h is   tech n iq u e,   it  i s   p o s s ib le  to   s t u d y   th e   i m p ac t   o f   n o is y   d ata  o n   ANN  m o d elin g ,   an d   s ev er al  k e y   f ea t u r es  o f   ANN  m o d els  s u ch   as  m e m o r izatio n ,   r o b u s t n ess ,   an d   s en s iti v it y   f r o m   t h p er s p ec tiv o f   ar ti f icia l   n eu r o n s   an d   t h eir   co n n ec tio n   w ei g h ts   [ 7 - 10 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Live  to   lea r n :   Lea r n in g   r u les - b a s ed   a r tifi cia l n eu r a l n etw o r ( A s ee l S h a kir I .   Hila iw a h )   559   T h d ec is io n - m a k i n g   ca p ab ilit y   o f   ANNs   is   r elia n t o n   s et  o f   w ei g h ts   a s   t h w ei g h ts   s er v as a   s to r e   f o r   i m p o r tan n et w o r k   i n f o r m atio n .   T h u s ,   it  i s   i m p o r tan t   to   en s u r ca r e f u l   s elec tio n   o f   t h n et w o r k   w eig h t s   b ec au s th ac cu r ac y   o f   th m o d el  d ec is io n   is   d ep en d en o n   th d etec tio n   o f   th o p ti m a w eig h [ 11 - 20 ] .   T h e   ai m   o f   t h tr ai n i n g   p h ase  i s   to   d eter m in t h o p ti m a w ei g h f o r   th w h o le  n et w o r k   an d   t h e   tr ain i n g   p r o ce s s   i s   r elian o n   s e o f   r u les.  Se v e r al  alg o r ith m s   h a v b ee n   b u il f o r   ANN  w ei g h ts   ad j u s t m e n b ased   o n   s p ec if ic   m ea s u r es  [ 21 22 ] .   Du r in g   th tr ain i n g   p h a s e,   th w eig h t s   ar f ir s ass i g n ed   r an d o m l y   b ef o r th esti m atio n   o f   ea ch   n e u r o n s   o u tp u b ased   o n   s p ec if ied   r u les.  T h en ,   th w ei g h t s   ar ad j u s ted   b y   r ep etitiv e l y   m atc in g   w it h   th e   ex p ec ted   o u tp u u n til  th o p ti m al  w ei g h t s   ar r ea ch ed .   T h lear n in g   f r a m e w o r k s   ca n   eith er   b e   u n s u p er v i s ed ,   s u p er v i s ed ,   o r   r ein f o r ce m e n t a lg o r ith m   [ 23 - 25 ] .   I n   t h is   s t u d y ,   o n e   o f   t h k e y   c o m p o n en t s   i s   t h s e n s iti v it y   a n al y s i s   t h at  w il b co n d u c ted   u s in g   t h e   A N m o d els.  T h ai m   o f   t h e   s en s i tiv it y   a n al y s i s   is   to   ex a m i n th co n s is ten c y   o f   t h m o d el s   p er f o r m an ce   w it h   k n o w n   o il sa n d s   e x tr ac ti o n   b e h a v io r ; it  b asical l y   p o r tr a y s   t h lev el   o f   tr u s t   in   t h ANN  m o d el.   T h A NN   m o d el s   h a v b ee n   p r o v en   s u c ce s s f u i n   ar ea s   w h er s ta n d ar d   s tatis tical  li n ea r   r eg r es s io n   m o d el s   h a v f ailed   to   id en tify   t h ex i s ten ce   o f   a n y   f o r m   o f   r elat io n s h ip   b et wee n   th k e y   in p u p ar a m eter s   f r o m   t h ex tr ac tio n   d atab ase  [ 26 - 28 ] .   T h is   p ap er   co n tr ib u tes th f o ll o w i n g :   a)   R ev ie w   o f   p r ev io u s   s t u d ies o n   A NN s .   b)   R ev ie w   o f   A NN s   b ased   o n   th e   g o al  an d   m et h o d s   o f   t h A NN   m eth o d s .     c)   B en ch m ar k ı n g   o f   d ı m e n s ıo n alıt y   r ed u c tıo n   m et h o d s   f o r   m al w ar cla s s ı f ıcat ıo n   b ase d   o n   n et w o r k   b eh av io u r .     1)   Su p er v i s ed   m et h o d     T h n eu r al  n et w o r k   s y s te m   i n   s u p er v i s ed   m et h o d   r eq u ir es  an   ex ter n al  tr ai n in g   p h a s e;  t h n et w o r k   is   p r esen ted   w it h   t h e x p ec ted   o u tp u t   f o r   ea c h   i n p u a n d   t h n et w o r k   w ei g h ts   ar e   ad j u s ted   b y   co m p ar i n g   t h e   ac tu al  o u tp u w it h   t h ex p e cted   o u tp u f o r   ea ch   n o d [ 29 - 31 ] .   T h o u tp u er r o r   r at is   p r o g r ess i v el y   d ec r ea s ed ; th is   p r o ce s s   i s   r ep ea ted   u n til t h ANN  o u tp u t   is   c lo s to   t h ex p ec ted   o u tp u t.  B ac k p r o p ag atio n   a n d   Delta  r u le  ar th m o s tl y   u s ed   tr ain i n g   i n s ta n ce s   f o r   s u p er v is ed   lear n in g   m et h o d   [ 32 ]     2)   Un s u p er v i s ed   m et h o d   Fo r   th is   n et w o r k ,   th lear n i n g   p h aseis   n o r elia n o n   an y   e x t er n al  tr ain in g   p h a s i n   t h is   m e th o d .   T h A N m o d el   lead s   t h lear n i n g   p r o ce s s   f o r   t h w h o le  m o d el  b ased   o n   s p ec if ic   cr iter ia  a n d   s u ch   cr iter ia  i s   f o r m ed   w i t h in   t h n eu r al  n et wo r k   w it h o u t a n y   ex ter n al  as s is t an ce   [ 32 ] .     3)   R ein f o r ce m e n t le ar n in g   m et h o d   Her e,   th NN  ca n   lear n   i ts   b e h av io u r s   f r o m   t h e x ter n al  wo r ld .   I r esem b les  t h s u p er v is ed   m eth o d   o f   lear n i n g   j u s th at  t h r ein f o r ce m e n lear n in g   m eth o d   is   d ep en d en o n   less   p r e - in f o r m atio n   an d   d o es  r eies   less   o n   e x ac tn e s s   o f   th o u tp u t .   Ho w ev er ,   t h m o d els   o u tp u t   is   co n s id er ed   as tr u o r   f alse  [ 33 ] .     4)   A r ti f icial  Ne u r al  Net w o r k   Mo d els   T h A NN  m o d els  co n s i s o f   t w o   m o d el s   t h at  f o r m   t h m ai n   i n f r a s tr u ct u r e   o f   ANN.   Fi g u r 1   s h o w s   th A NN  m o d els.           Fig u r 1 .   T h A NN  m o d els   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 475 2   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   1 J an u ar y   2 0 2 1   :   558   -   565   560   1 . 1 .     Sin g le  la y er   perc ept ro n ( SL P )   T h b asic  A NN   m o d el  is   r ep r esen ted   a s   a   f ee d   f o r w ar d   m o d el.   Sin g le   la y er   p er ce p tr o n   m o d el s   ar e   co m p r is ed   o f   o n l y   t h in p u &   o u tp u la y er s   as  t h e y   lack   th f ee d b ac k   p r o ce s s .   A d d iti o n all y ,   t h e y   lack   a   h id d en   la y er   in   t h eir   s tr u ct u r b u r elies  o n   s u p er v is ed   lear n in g   to   d eter m in t h n et w o r k   o u tp u t.  T h e y   ar e   t y p icall y   u s ed   i n   s o l v i n g   s i m p le  p r o b lem s   th at   in v o l v s i m p le  co m p u tatio n s .   T h S L P   m o d el   s tr u ct u r i s   d ep icted   in   Fig u r 2   [ 34 - 37 ] .           Fig u r 2 .   T h s tr u ctu r o f   S L P   m o d el       1 . 2 .     M ultila y er   p er ce pt ro n ( M L P )   T h d if f er en ce   b et w ee n   M L P   an d   SL P   is   th p r esen ce   o f   h id d en   la y er   in   ML P h e n ce ,   th ML P   h as t h r ee   b asic la y er s   w h ic h   ar th i n p u t,  h id d en ,   a n d   o u tp u t   la y er s .   T h n u m b er   o f   h id d en   la y er s   i n   th M L P   v ar ies .   Fi g u r 3   d ep icts   th ML P   s tr u ct u r [ 34 ] .           Fig u r 3 .   T h s tr u ctu r o f   m u l tila y er   p er ce p tr o n   ( ML P )       As  f ee d   f o r w ar d   n eu r al  n e t w o r k ,   t h ML P   is   co m m o n l y   u s ed   to   s o lv n o n l in ea r   p r o b lem s .   I allo w s   o n e - w a y   in f o r m a tio n   f lo w   t h r o u g h   th n et w o r k   w it h o u f ee d b ac k ,   m ea n i n g   t h at  th er is   n o   lo o p   o r   c y cle.   A   t y p ic a FF NN  is   m a d u p   o f   3   la y er s   a n d   ea ch   o f   t h ese  la y er s   co n ta in s   s o m n o d es  b ased   o n   th e   co n s id er ed   p r o b lem   t y p e.   T h in p u d ata  i s   f ed   in to   t h m o d el  v ia  t h i n p u la y er   a n d   f o r w a r d ed   to   th h id d en   la y er   f o r   o n w ar d   p r o ce s s i n g .   Af ter   p r o ce s s i n g   t h d ata   b y   th h id d en   la y er ,   th e   o u tp u u s   f o r w ar d ed   to   t h o u tp u la y er   to   d eter m i n th f i n al  m o d el  r esu lt.  T h ML P   m o d el  is   n o r m all y   tr ain ed   u s i n g   th e   b ac k p r o p ag atio n   alg o r ith m   [ 38 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Live  to   lea r n :   Lea r n in g   r u les - b a s ed   a r tifi cia l n eu r a l n etw o r ( A s ee l S h a kir I .   Hila iw a h )   561   2.   T RAI NIN G   P RO C E SS   T h f o llo w i n g   p r o ce s s es  ar in v o l v ed   in   th o v er all  tr ai n in g   o f   th A NN  m o d el;  t h in p u d ata  ar w ei g h ed   an d   f ed   in to   th e   m o d el  v ia  th in p u la y er t h d ata   is   f o r w ar d ed   to   th e   h id d en   la y er   f o r   t h h id d en   la y er   n e u r o n s   to   p r o d u ce   th o u tp u ts   b y   ap p l y i n g   a n   ac tiv atio n   f u n ct io n   to   th s u m   o f   th w eig h ted   in p u t   v alu e s .   T h en ,   co n s id er in g   th h id d en   la y er - o u tp u la y er   co n n ec tio n s ,   th r esu lti n g   o u tp u ts   ar w ei g h ted   [ 39 ] T h o u tp u la y er   g e n er ates  t h e   ex p ec ted   m o d el  r es u lts   [ 40 ] .   T h ex p ec ted   lear n in g   i s   ac h ie v ed   b y   co n t in o u s l y   ad j u s tin g   th i n ter co n n ec tio n   w ei g h ts   o f   th n et w o r k   u n til  th r ea l   n e u r o n   o u tp u m atc h es  clo s el y   w it h   th e   tar g et  o u tp u n e u r o n   b ased   o n   th tr ain i n g   d ata.   T h v ar iato n   b ew ee n   th   ac t u al  an d   p r ed icted   o u tp u ts   is   ca lled   th er r o r   v alu e.   I is   d if f icu l task   to   d eter m i n w h et h er   n et w o r k   h as  b ee n   s u f f icien t l y   tr ain ed   in   o r d er   to   ter m i n ate  t h tr ain i n g   p r o ce s s ;   th i s   p r o b le m   ca n   b ad d r ess e d   n et w o r k   ca lib r atio n   a n d   t h is   ca n   b d o n e   i n   2   w a y s :   ( i)   C h ec k in g   th e   n u m b e r   o f   ev e n t s   t h at  h as   o cc u r r ed   s in ce   t h o cc u r r en ce   o f   t h m i n i m u m   er r o r   f ac to r   ( u s u all y   b et w ee n   2 0 , 0 0 0     4 0 , 0 0 0   f o r   B P N) ( ii)  b y   ca lc u la tin g   t h ca lib r atio n   te s i n ter v al  ( it  r eg u lates  t h e   co n v er g e n ce   r ate  o f   t h iter at io n   p r o ce s s es).   T h test   s et  is   in d ir ec tl y   i n v o lv ed   in   t h d e ter m i n atio n   o f   th e   ap p r o p r iate  tim to   ter m in a te  n et w o r k   tr ai n in g   [ 41 42 ] .     2 . 1 .     K o ho nen neura l net w o r k   T h is   n et w o r k   i s   s el f - o r g an iz in g   m ap   n e t w o r k   t h at  ca n   lear n   w it h o u t h n ee d   f o r   an   o u tp u d ata.   I ex p lo its   t h e   clu s ter i n g   p r in cip le  to   s ep ar ate  d ata  in to   id en ti ca ca teg o r ies.   I co n s is t s   o f   o n l y   an   in p u la y er   an d   an   o u tp u t la y er   [ 43 ] .     2 . 2 .     P r o ba bil is t ic  neura l net w o rk   T h is   n et w o r k   ca n   tr ain   o n   f e d ata  s ets;   its   tr ain in g   p h ase  i s   s o   f a s t h at  it  ca n   b s u f f icien tl y   tr ai n ed   in   j u s o n p ar o f   th tr ain i n g   s et.   T h P NN  also   clu s ter s   d ata  in to   s p ec if ic  n u m b er   o f   o u tp u ca teg o r ies   a s   s h o w n   in   F ig u r 4 .           Fig u r e   4 .   Stru ct u r o f   b ac k   p r o p ag atio n   n et w o r k   ( B P N)   w it h   3   h id d en   la y er s       2 . 3 .     L ea rning   rules     Var io u s   r u les  ar av ailab le  f o r   lear n in g   ANN   m o d els;   t h e   ai m   o f   u s i n g   t h ese   r u le s   i s   t o   d etec a   g iv e n   s et  o f   n et w o r k   w ei g h t s .   So m r esear c h er s   r el y   o n   s e v er al  lear n i n g   r u le s   ( s u c h   as  b io lo g ical  lear n in g )   w h ile  o th er s   f o cu s   o n   t h ev alu atio n   o f   th eir   p er ce p tio n   o f   tr ain i n g .   I is   s till   m o r ted io u s   lear n i n g   A NN   co m p ar ed   to   th f ac ilit atio n   p r o v id ed   b y   th lear n i n g   r u les.   Am o n g   t h av ailab le  co m m o n   lear n i n g   r u les  ar e   T h Delta  R u le,   Heb b   r u le,   H o p f ield   r u le,   &   Ko h o n en 's lear n in g   r u le  [ 43 ] .   a)   Heb b s   R u le:  T h is   i s   p o p u l ar   lear n in g   r u le  p r o p o s ed   b y   Heb b   in   1 9 4 9 .   T h Heb b   r u le  p r o v id es  th at  w h e n   n o d is   f ed   b y   a n y   o th er   n o d w i th i n   a   n e t w o r k ,   a n d   all  th e   o th er   n o d es  ar ac t iv e,   th ese   o th er   n o d es a r ar co n s id er ed   to   h av r ein f o r ce d   w ei g h ts   [ 44 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 475 2   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   1 J an u ar y   2 0 2 1   :   558   -   565   562   b)   Ho p f ield   R u le:   T h is   r u le  d eter m i n es  th e   lev e o f   s tr e n g th s   a n d   w ea k n e s s es.   T h is   r u le  p r o v id es  th a i f   t h in p u t   &   o u tp u f o r   n o d es  i n ter lin k ed   to   co m m o n   w ei g h h av s i m ilar   s i g n   ( ac ti v e/p ass iv e) ,   th e n ,   t h e   w ei g h t s h o u ld   b in cr ea s ed /d e cr ea s ed   b y   u s i n g   t h lear n in g   r ate  [ 44 ]   c)   Delta  L a w Als o   a m o n g   t h c o m m o n est   r u le s   u s ed   i n   lear n in g   p r o ce s s es;   it  i s   al s o   r ef er r ed   to   as  leas t   m ea n   s q u ar ( L MS)   lear n i n g   r u le.   T h ai m   o f   t h i s   la w   is   to   r ed u ce   th r ate  o f   er r o r   ( d elta)   b et w ee n   t h ex p ec ted   an d   ac tu al  o u tp u ts   f o r   ea ch   o f   th n et w o r k s   o u tp u la y er   n e u r o n s   [ 44 45 ]   d)   Gr ad ien Descen L a w T h is   i s   th co m m o n e s r u le  u s ed   f o r   A NN  lear n i n g it  is   s i m ilar   to   th d elta  la w   b u in   th i s   r u le,   th s et  o f   s y n a p tic  w ei g h t s   is   u p d ated   b y   tr a n s f er r in g   th er r o r   r ate  th r o u g h   th n et w o r k .   T h is   r u le  u s e s   p r o p o r tio n al  co n s ta n i n   co n s id er atio n   o f   t h lear n in g   r ate  th at  i s   ef f ec ti v o n   th s et  o f   w ei g h ts   [ 44 ] .   So m eti m es,  tr ain i n g   p er f o r m an ce   is   i m p r o v ed   b y   u s i n g   d i f f er en lear n in g   r ates  f o r   d if f er e n n et w o r k   la y er s .   T h s p ec if ied   lear n i n g   r ate  f o r   la y er s   n ea r   th o u tp u la y er   is   n o r m all y   s m a ller   in   s o m n e u r al  n et w o r k   m o d el s   co m p ar ed   to   th s p ec if ied   le ar n in g   r ate  f o r   la y er   n ea r   th i n p u [ 44 ]   e)   Ko h o n e n   L ea r n in g   R u le:  T h is   r u le  w as  ad o p ted   b y   T eu v o   Ko h o n en   as  b io lo g ical  in s p ir ed   ap p r o ac h .   I t   is   also   ca lled   s el f - o r g a n izi n g   to p o lo g y it s   co n ce p is   b as ed   o n   th f ac t h at  t h p r o ce s s in g   ele m en ts   co m p ete   to   i m p r o v t h eir   w e i g h t s ,   w i th   t h b est   p er f o r m i n g   ele m e n i n   ter m s   o f   t h b es o u tp u v alu e   b ein g   co n s id er ed   th lear n er   th at  th e   clo s ele m e n t s   w il l ea r n   f r o m .   Ho w e v er ,   t h is   lea r n er   s tr i v es   to   k ee p   th e   co m p etito r s   f r o m   i m p r o v in g   th eir   o w n   w e ig h t s .   T h n u m b er   o f   p r o ce s s in g   ele m e n ts   w it h in   t h n eig h b o u r h o o d   is   v ar ied   d u r in g   th lear n i n g   p h a s an d   is   u s u all y   k ep t lo w   [ 44 ] .       3.   NNIDS - N E URA L   N E T WO RK   B ASE I N T RUS I O D E T E C T I O SY ST E M   I n   th is   w o r k ,   s y s te m   t h at  d e p en d s   o n   n o v el  ap p r o ac h   f o r   r ea l - ti m tr af f ic  a n al y s is   w a s   ev elo p ed   f o r   th d etec tio n   a n d   class i f ic atio n   o f   m al w ar e.   T h s y s te m   w as  n o   d ev elo p ed   to   an al y ze   th tr af f ic  it s el f   b u t   to   ex tr ac t h s ec o n d ar y   d ata  f ea t u r es  t h at  c o n ta in s   m u c h   i n f o r m atio n   ab o u t h g en er al  s t ate  o f   t h n e t w o r k   [ 46 ] .   T h cu r r en t   s y s te m   w as   b u ilt  o n   d ata   s et   t h at  h as   9 0   d i m en s io n s   w h ic h   i s   m o r t h a n   t h n u m b er   u s ed   f o r   DNN  class i f ier s h e n ce ,   th ac cu r a c y   o f   th an al y s i s   is   en s u r ed .   T h u s o f   th i s   lar g m al w ar d ataset  to   tr ain   t h D NN  m a k es  p o s ib le  to   d etec m al w ar i n   th e   d ataset  a n d   m al w ar t h at  e x h i b it  s i m ilar   n et w o r k   b eh av io r .   T h is   ap p r o ac h   u s ed   t w o   s m aller   d i m en s io n a D NN  s y s te m s   to   d etec m al w a r e;  th is   r ed u ce d   t h co m p u tatio n al  p o w er   w h e n   c o m p ar ed   to   o n lar g er   d i m en s io n al   DNN.   T h er e f o r e,   s y s te m   f o r   r ea l - ti m e   m al w ar m o n ito r in g   ca n   b d ev elo p ed .   T h ac u r ac y   a n d   p er f o r m an ce   o f   f o u r   m ac h i n l ea r n in g   cla s s i f ier s   w er also   an a l y ze d   an d   d eter m i n e d ; a d d itio n all y ,   h eu r i s ti p r ed ictio n   ev alu atio n   w as p e r f o r m ed   [ 47 ] .     3 . 1 .     Arc hıte ct ure   Fig u r 5   s h o w s   t h o v er all  s tr u ctu r o f   t h p r o p o s ed   s y s te m .   T h d ata  p ac k ets  ar ca p tu r ed   b y   d ata   p ac k et  s n i f f ier   an d   tr an s f er r ed   in   th p r o tecte d   n et w o r k s .   T h o b tain ed   d ata  f r o m   t h s n if f ier   is   f ir s t   p r ep r o ce s s ed   w it h   t h an al y z er   to   ex tr ac ts   th i m p o r tan d ata  f ea t u r es.  T h DNN  class i f ier   is   t h en   u s ed   to   an al y ze   t h s et   o f   s a v ed   f ea t u r es;  t h c h a n ce s   o f   t h m ali cio u s n ess   o f   th e   d ata  s tr ea m   in   th e   n et w o r k   i s   co n s id er ed   th o u tp u t o f   th s y s te m .           Fig u r 5 .   S y s te m   o v er v ie w     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Live  to   lea r n :   Lea r n in g   r u les - b a s ed   a r tifi cia l n eu r a l n etw o r ( A s ee l S h a kir I .   Hila iw a h )   563   3 . 2 .     Dua l dnn   m a lw a re   det ec t ıo n a nd   cla s s ıf ıca t ıo n   Af ter   e x tr ac t n g   th e   9 0   d ata  f ea tu r es  f r o m   th e   P C A P   f i le,   h e y   w er f ed   i n to   t h DN clas s i f ier   w h ic h   w a s   b u ilt  u s i n g   th Ker as  f r am e w o r k   [ 4 8 ] .   T h is   w o r k   p r o p o s ed   th u s o f   t w o   DNN  cla s s if ier s th f ir s D NN   class i f ier   o n l y   d eter m i n e s   t h e   s tat u s   o f   th e   tr a f ic  ( n o r m al  o r   s u s p icio u s )   a n d   w h a   s u s p icio u s   ac ti v it y   i s   d etec ted ,   th s ec o n d   DN cl ass i f ier   w ill  b r eq u ir ed   to   f u r th er   cla s s i f y   t h tr af ic   b as ed   o n   th m al w ar d ataset.   As  m u lticlas s   clas s if ier ,   th s ec o n d   DNN  class i f ier   s tr iv es  to   ass i g n   th n a m e   o f   alr ea d y   k n o w n   m al w ar to   t h i n p u d ata  b ased   o n   t h d ataset   it  h as   b ee n   tr ai n ed   o n .   T h ch a n ce s   o f   m al w ar tr a f f ic  b elo n g i n g   to   an y   o f   t h k n o w n   m al w ar ar g en er ated   an d   t h e y   ar h elp f u f o r   h eu r i s tic  d et ec tio n   [ 48 49 ] .     3 . 3 .     B ench m a r kın g   m e ns ıo na lıty   re du ct ıo m et ho ds   f o m a lw a re   cla s s ıf ıca t ıo ba s ed  o n   net w o rk  beha v ıo r   M a lw a r e   c l a s s i f i c a t i o n   b a s e d   o n   n e t w o r k   b e h a v i o r   i s   a n   i m p o r t a n t   s t e p   i n   t h e   a n a l y s i s   f o r   m a l w a r e   d e t e c t i o n .   T h e   e f f i c i e n c y   o f   t h i s   s t e p   i s   c r u c i a l   f o r   b e t t e r   p e r f o r m a n c e   o f   t h e   I D S .   t h e   d e e p   n e u r a l   n e t w o r k   ( D N N )   w a s   t h e   b e s t   o p t i o n   i n   t e r m s   o f   a c c u r a c y ,   b u t   n o t   i n   t e r m s   o f   p e r f o r m a n c e .   W e   p r o p o s e   tw o   w a y s   o f   i n c r e a s i n g   p e r f o r m a n c e   b y   r e d u c i n g   t h e   d i m e n s i o n a l i t y   o f   t h e   d a t a s e t s   a n d   s e l e c t i n g   t h e   o p t i m a l   f e a t u r e s   [ 50 51 ] .       4.   ADVA N T A G E S O F   ANN   T h r o b u s tn e s s   o f   th A N p r ed ictio n   to o l is attr ib u ted   to   its   f o llo w in g   ca p ab ilit ie s   a)   A N m a k es a   r ep id   an d   co n f i d en t p r ed ictio n   o n ce   n e w   d at aset is p r esen ted   to   th co n s tr u cted   m o d el.   b)   As d ata - d r i v e n   m o d els,  ANNs d o   n o t n ee d   p r e - k n o w led g o f   th d ata  th a t th e y   w ill b ap p lied .   c)   A N lear n s   t h d ata  b eh a v i o r   b y   s el f - t u n i n g   its   p ar a m et er s   in   a   m an n er   t h at  t h tr ai n ed   A NN  w ill   ac cu r atel y   m atc h   th e m p lo y e d   d ata.     d)   A N ca n   estab li s h   th e   h id d en   n o n lin ea r   i n p u t - o u tp u t   d ata  r elatio n s h ip   a n d   th is   is   s u itab le  f o r   h eter o g e n eo u s   s ce n ar io s   as c o m m o n l y   ex p er ie n ce d   in   o il &   g as r eser v o ir s .   e)   A N ca n   ac c u r atel y   g en er aliz o v er   r an g o f   i n p u t d ata  o w i n g   to   its   s el f - ad ap tab ilit y .   f)   A N Ns  ca n   r aid l y   p r o ce s s   d ata   an d   s er v a s   a n   ea s y   w a y   o f   ap p ly i n g   a n   alr ea d y   ex i s ti n g   m o d el   to   n e s y s te m .       5.   CO NCLU SI O N   A N h a s   v ar io u s   s tr u ct u r es  a n d   ea ch   o f   t h e s s tr u c tu r es  is   d esig n ed   to   ad d r ess   s p ec if ic  task .   T h er ar th r ee   la y er s   in   t h b asic  ar ch itect u r o f   A NN  ( in p u la y e r ,   h id d en   la y er ,   an d   o u tp u la y er )   an d   ea ch   la y er   h as  d f f er e n f u n ct io n   i n   t h n et w o r k   s y s t e m .   T h f n al  o u tp u o f   th e   A NN  i s   ca lc u l ated   b y   th n e u r o n s   co n tain ed   i n   th o u tp u la y er   as  th e y   h a v th ac ti v atio n   f u n ctio n s   r eq u ir ed   f o r   th i s   r o le.   T h co n n ec tio n   b et w ee n   th n o d es  in   a n   A N m o d el  is   m ed iated   b y   th s y n ap tic  w e ig h ts   w h ic h   ar r an d o m l y   as s i g n ed   an d   u p d ated   d u r in g   t h e   lear n i n g   p er io d   u s i n g   an y   o f   th e   ex i s ti n g   tr ain i n g   al g o r ith m s .   T h is   s t u d y   p r i m ar il y   ai m s   to   p er f o r m   s en s iti v it y   an al y s is   u s in g   t h ANN  m o d els  f o r   th s ak o f   e x a m in i n g   th co n s is t en c y   o f   t h m o d el s   p er f o r m a n ce   w i th   k n o w n   o i l   s an d s   e x tr ac tio n   b e h av io r .   I also   p r o v id es  lev el  o f   co n f id e n ce   in   t h e   p er f o r m a n ce   o f   th A NN  ap p r o ac h .   Mo r e o v er ,   A NN  m o d els  h av b ee n   p r o v en   s u cc e s s f u i n   ap p licatio n s   w er t h s ta n d ar d   s tatis tical  l in ea r   r eg r ess io n   m e th o d s   h ad   n o b ee n   ab le  to   id en ti f y   t h ex is te n ce   o f   t h e   ex p ec ted   r elatio n s h ip   b et w ee n   th m aj o r   in p u t p ar a m eter s   f r o m   t h e x tr ac tio n   d atab ase.       RE F E R E NC E S   [1 ]   D.  J.  Am it   a n d   D.  J.  Am it ,   M o d e li n g   b ra i n   fu n c ti o n T h e   wo rl d   o f   a tt ra c to n e u ra n e tw o rk s ,   Ca m b r id g e   u n iv e rsity   p re ss ,   1 9 9 2 .   [2 ]   H.  M .   T .   A l - Hilf i,   M .   T .   M .   A Ha sh im i,   a n d   I.   M a rg h e sc u ,   " W iM A X   a n d   W iF n e tw o rk   in teg ra ti o n   a b a c k h a u o n   e m e rg e n c y   c o m m u n ica ti o n s,"   in   2 0 1 8   1 4 th   I n ter n a t io n a Co n fer e n c e   o n   Ad v a n c e d   T re n d in   R a d io e lec rtro n ics ,   T e lec o mm u n ica ti o n a n d   C o mp u t e r E n g i n e e rin g   ( T C S ET ) ,   p p .   1 0 6 3 - 1 0 6 8 ,   2 0 1 8 .   [3 ]   K.  Ba y o u d h ,   " F ro m   M a c h in e   L e a rn in g   T o   De e p   L e a rn in g , "   e d Eb o o k ,   2 0 1 7 .   [4 ]   R.   A .   Ha s a n ,   M .   A .   M o h a m m e d ,   Z.   H.  S a li h ,   M .   A .   B.   Am e e d e e n ,   N.  Ţ ă p u ş,  a n d   M .   N.  M o h a m m e d ,   " HSO:  A   H y b rid   S w a r m   Op ti m iza ti o n   A l g o rit h m   f o R e d u c in g   En e rg y   Co n su m p ti o n   in   th e   Clo u d lets,"   T e lko mn ika ,   v o l.   1 6 ,   p p .   2 1 4 4 - 2 1 5 4 ,   2 0 1 8 .   [5 ]   R.   A .   H a sa n ,   M .   A .   M o h a m m e d ,   N.  Ţ ă p u ş,  a n d   O.  A .   Ha m m o o d ,   " A   c o m p re h e n siv e   stu d y A n Co lo n y   Op ti m iza ti o n   (A C O)  f o f a c il it y   la y o u p ro b lem , "   in   2 0 1 7   1 6 t h   R o Ed u Ne Co n fer e n c e Ne two rk in g   in   Ed u c a ti o n   a n d   Res e a rc h   ( Ro Ed u Ne t) ,   2 0 1 7 ,   p p .   1 - 8.   [6 ]   R.   A .   Ha sa n   a n d   M .   N.  M o h a m m e d ,   " A   k ril h e rd   b e h a v io u i n sp ir e d   lo a d   b a lan c in g   o f   tas k in   c lo u d   c o m p u ti n g , "   S tu d ies   in   In f o rm a ti c s a n d   Co n tro l,   v o l.   2 6 ,   p p .   4 1 3 - 4 2 4 ,   2 0 1 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2502 - 475 2   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   1 J an u ar y   2 0 2 1   :   558   -   565   564   [7 ]   M .   A .   M o h a m m e d   a n d   R.   A .   Ha s a n ,   " P a rti c le  sw a r m   o p ti m iz a ti o n   f o f a c il it y   la y o u p r o b lem F L P - c o m p re h e n siv e   stu d y , "   in   2 0 1 7   1 3 th   I EE I n ter n a t io n a C o n fer e n c e   o n   In tell ig e n Co mp u ter   Co m mu n ica t io n   a n d   Pro c e ss in g   ( ICCP) ,   2 0 1 7 ,   p p .   9 3 - 99.   [8 ]   M .   A .   M o h a m m e d ,   R.   A .   Ha s a n ,   M .   A .   A h m e d ,   N.  T a p u s,  M .   A .   S h a n a n ,   M .   K .   Kh a lee l ,   e a l . ,   " A   F o c a lo a d   b a lan c e b a se d   a lg o rit h m   f o tas k   a ss i g n m e n in   c lo u d   e n v iro n m e n t, "   in   2 0 1 8   1 0 th   I n ter n a t io n a l   Co n fer e n c e   o n   El e c tro n ics ,   Co m p u ter s a n d   Arti fi c ia In tell ig e n c e   ( ECA I) ,   2 0 1 8 ,   p p .   1 - 4.   [9 ]   M .   A .   M o h a m m e d ,   A .   A .   Ka m il ,   R.   A .   Ha sa n ,   a n d   N.  T a p u s,  " A n   Ef fe c ti v e   Co n tex S e n siti v e   Off l o a d in g   S y ste m   f o M o b il e   Clo u d   En v iro n m e n ts  u sin g   S u p p o rt  V a lu e - b a se d   Clas sif ic a ti o n , "   S c a la b le  Co mp u ti n g Pra c ti c e   a n d   Exp e rie n c e ,   v o l.   2 0 ,   p p .   6 8 7 - 6 9 8 ,   2 0 1 9 .   [1 0 ]   M .   A .   M o h a m m e d ,   I.   A .   M o h a m m e d ,   R.   A .   Ha sa n ,   N.  Ţ ă p u ş,  A .   H.  A li ,   a n d   O.  A .   Ha m m o o d ,   " G r e e n   En e rg y   S o u rc e s:  Iss u e a n d   C h a ll e n g e s,"   in   2 0 1 9   1 8 th   Ro E d u Ne t   Co n fe re n c e Ne two rk in g   in   Ed u c a ti o n   a n d   Res e a rc h   ( Ro Ed u Ne t) ,   2 0 1 9 ,   p p .   1 - 8.   [1 1 ]   M .   A .   A h m e d ,   R.   A .   Ha sa n ,   A .   H.  A li ,   a n d   M .   A .   M o h a m m e d ,   " T h e   c l a ss i f ica ti o n   o f   th e   m o d e rn   a ra b ic  p o e try   u sin g   m a c h in e   lea rn in g , "   T e lko mn ika ,   v o l.   1 7 ,   p p .   2 6 6 7 - 2 6 7 4 ,   2 0 1 9 .   [1 2 ]   A .   H.  A li ,   " A   S u rv e y   o n   V e rti c a a n d   Ho rizo n tal  S c a li n g   P latf o rm f o Big   Da ta  A n a l y ti c s, "   In ter n a ti o n a l   J o u rn a l   o In teg ra ted   En g i n e e rin g ,   v o l.   1 1 ,   p p .   1 3 8 - 1 5 0 ,   2 0 1 9 .   [1 3 ]   O.  A .   Ha m m o o d ,   M .   N.  M .   Ka h a r,   W .   A .   Ha m m o o d ,   R.   A .   Ha s a n ,   M .   A .   M o h a m m e d ,   A .   A .   Y o o b ,   e a l. ,   " A n   e ffe c ti v e   tran s m it   p a c k e c o d in g   w it h   tru st - b a se d   re la y   n o d e in   VA NE T s, "   Bu ll e ti n   o El e c trica E n g i n e e rin g   a n d   In fo rm a t ics ,   v o l.   9 ,   p p .   6 8 5 - 6 9 7 ,   2 0 2 0 .   [1 4 ]   O.  A .   Ha m m o o d ,   N.  Niz a m ,   M .   Na fa a ,   a n d   W .   A .   Ha m m o o d ,   " R ES P Re lay   S u it a b il it y - b a se d   Ro u ti n g   P r o to c o f o V id e o   S trea m in g   in   V e h icu lar  A d   Ho c   Ne t w o rk s,"   In ter n a ti o n a J o u r n a o C o mp u ter s,  Co m mu n ica t io n &   Co n tro l,   v o l.   1 4 ,   2 0 1 9 .   [1 5 ]   M .   A .   M o h a m m e d ,   Z.   H.  S a li h ,   N.  Ţ ă p u ş,  a n d   R.   A .   K.  Ha sa n ,   " S e c u rit y   a n d   a c c o u n tab il i ty   f o sh a rin g   th e   d a ta   sto re d   i n   t h e   c lo u d , "   in   2 0 1 6   1 5 t h   Ro Ed u Ne Co n fer e n c e Ne two rk in g   i n   E d u c a ti o n   a n d   Res e a rc h ,   2 0 1 6 ,   p p .   1 - 5.   [1 6 ]   M .   A .   M o h a m m e d   a n d   N.  ŢĂ P UŞ,   " A   No v e A p p ro a c h   o f   Re d u c i n g   En e rg y   Co n su m p ti o n   b y   Util iz in g   En th a l p y   in   M o b i le Cl o u d   C o m p u ti n g , "   S t u d i e s in   In f o rm a ti c a n d   Co n tro l ,   v o l .   2 6 ,   p p .   4 2 5 - 4 3 4 ,   2 0 1 7 .   [1 7 ]   N.  Q.  M o h a m m e d ,   M .   S .   A h m e d ,   M .   A .   M o h a m m e d ,   O.  A .   H a m m o o d ,   H.   A .   N.  A lsh a ra ,   a n d   A .   A .   Ka m il ,   " Co m p a r a ti v e   A n a l y sis  b e t w e e n   S o lar  a n d   W in d   T u rb in e   En e r g y   S o u rc e in   Io Ba s e d   o n   Eco n o m ica a n d   Eff icie n c y   Co n sid e ra ti o n s,"   in   2 0 1 9   2 2 n d   I n ter n a ti o n a C o n fer e n c e   o n   Co n tro S y ste ms   a n d   Co mp u ter   S c ien c e   ( CS CS ) ,   2 0 1 9 ,   p p .   4 4 8 - 4 5 2 .   [1 8 ]   M.  A .   A .   Ro y id a   A .   Ib ra h e m   A l h a y a li ,   Ya s m in   M a k k M o h iald e n ,   A h m e d   H.  A li ,   " E ff icie n m e t h o d   f o b re a st  c a n c e c las sif i c a ti o n   b a se d   o n   e n se m b le  h o f fe d in g   tree   a n d   n a ïv e   Ba y e s, "   In d o n e sia n   J o u rn a o El e c trica l   En g i n e e rin g   a n d   C o mp u ter   S c ien c e ,   v o l.   1 8 ,   p p .   1 0 74 - 1 0 8 0 ,   2 0 2 0 .   [1 9 ]   Z.   H.  S a li h ,   G .   T .   H a sa n ,   a n d   M .   A .   M o h a m m e d ,   " In v e stig a te   a n d   a n a l y z e   th e   le v e ls  o f   e lec tro m a g n e ti c   ra d iatio n s   e m it ted   f ro m   u n d e rg ro u n d   p o w e c a b les   e x ten d e d   in   m o d e rn   c it ies , "   in   2 0 1 7   9 t h   In ter n a t io n a Co n fer e n c e   o n   El e c tro n ics ,   Co m p u ter a n d   Arti fi c ia In tell ig e n c e   ( ECA I) ,   2 0 1 7 .   [2 0 ]   Z.   H.  S a li h ,   G .   T .   Ha sa n ,   M .   A .   M o h a m m e d ,   M .   A .   S .   Kli b ,   A .   H.  A li ,   a n d   R.   A .   Ib ra h im ,   " S tu d y   th e   Eff e c o f   In teg ra ti n g   th e   S o lar  E n e rg y   S o u rc e   o n   S tab il it y   o f   El e c tri c a Distrib u t io n   S y ste m , "   in   2 0 1 9   2 2 n d   In ter n a t i o n a l   Co n fer e n c e   o n   Co n tro l   S y ste ms   a n d   C o mp u ter   S c ien c e   ( CS CS ) ,   2 0 1 9 ,   p p .   4 4 3 - 4 4 7 .   [2 1 ]   Y.  Bo d y a n sk i y ,   A .   Do lo to v ,   I.   P l iss,  a n d   M .   M a ly a r,   " A   fa st  le a rn in g   a lg o rit h m   o f   se l f - lea rn in g   sp ik in g   n e u ra n e tw o rk , "   in   2 0 1 6   IEE E   Fi rs I n t e rn a ti o n a l   Co n fer e n c e   o n   Da t a   S tre a M in in g   &   Pro c e ss in g   ( DS M P) ,   2 0 1 6 ,   p p .   104 - 1 0 7 .   [2 2 ]   D.  T .   Bu i,   P .   T sa n g a ra to s,  V . - T .   Ng u y e n ,   N.  V .   L iem ,   a n d   P .   T .   T rin h ,   " Co m p a rin g   th e   p re d ictio n   p e rf o r m a n c e   o f   a   De e p   Lea rn in g   Ne u ra Ne t w o rk   m o d e w it h   c o n v e n ti o n a m a c h in e   lea rn in g   m o d e ls  in   lan d slid e   su sc e p ti b il it y   a ss e ss m e n t, "   CAT ENA ,   v o l.   1 8 8 ,   p p .   1 0 4 4 2 6 ,   2 0 2 0 .   [2 3 ]   C.   Bish o p ,   " Ne u ra n e tw o rk s f o p a tt e rn   re c o g n it i o n   Ox f o rd   Un iv e rsity   P re ss   Ox f o rd   G o o g le S c h o la r, "   1 9 9 5 .   [2 4 ]   S .   v a n   Cra n e n b u rg h   a n d   A .   A l w o sh e e l,   " A n   a rti f icia n e u ra n e tw o rk   b a se d   a p p ro a c h   to   i n v e stig a te  trav e ll e rs’   d e c isio n   r u les , "   T ra n s p o rt a ti o n   R e se a rc h   Pa rt C:  Eme rg i n g   T e c h n o lo g ies ,   v o l.   9 8 ,   p p .   1 5 2 - 1 6 6 ,   2 0 1 9 .   [2 5 ]   D.  V e n k a tes a n ,   K.  Ka n n a n ,   a n d   R.   S a ra v a n a n ,   " g e n e ti c   a l g o rit h m - b a se d   a rti f icia l   n e u ra n e tw o r k   m o d e f o th e   o p ti m iza ti o n   o f   m a c h in in g   p r o c e ss e s,"   Ne u ra Co mp u ti n g   a n d   Ap p l ica ti o n s,  v o l.   1 8 ,   p p .   1 3 5 - 1 4 0 ,   2 0 0 9 .   [2 6 ]   X .   W a n g ,   X .   L in ,   a n d   X .   Da n g ,   " S u p e rv ise d   lea rn in g   in   sp ik in g   n e u ra n e tw o rk s:  re v ie w   o f   a lg o rit h m a n d   e v a lu a ti o n s,"   Ne u ra Ne two rk s,  v o l.   1 2 5 ,   p p .   2 5 8 - 2 8 0 ,   2 0 2 0 .   [2 7 ]   Y.  W a n g ,   " A   M a c h in e - L e a rn in g   M o d e Us in g   A rti f icia Ne u ra Ne tw o rk   to   F a c il it a te  L iv e S BRT   P re sc rip ti o n   S e lec ti o n   By   P re d ictin g   N o rm a l   L iv e G e u d   Ba se d   o n   G e o m e tr ic  P ro p e rti e o f   L iv e a n d   P T V , "   In ter n a ti o n a l   J o u rn a o R a d i a ti o n   O n c o lo g y * B io lo g y * P h y sic s,  v o l.   1 0 5 ,   p p .   E1 3 9 ,   2 0 1 9 .   [2 8 ]   X .   Ya o ,   " A   re v ie w   o f   e v o lu ti o n a ry   a rti f ici a n e u ra n e tw o rk s,"   In ter n a ti o n a l   jo u rn a o f   in tell ig e n sy ste ms ,   v o l.   8 ,   p p .   5 3 9 - 5 6 7 ,   1 9 9 3 .   [2 9 ]   J.  R.   Bu se m e y e r,   E.   By u n ,   E.   L .   De lo sh ,   a n d   M .   A .   M c Da n iel,   " L e a rn in g   f u n c ti o n a l   re latio n b a se d   o n   e x p e rien c e   w it h   in p u t - o u tp u p a irs  b y   h u m a n s an d   a rti f icia n e u ra n e tw o rk s,"   1 9 9 7 .   [3 0 ]   A .   Ya stre b o v ,   S .   G a d ,   G .   S lo n ,   A .   Ku lak o w sk i,   a n d   E.   V in o g ra d o v a ,   " A rti f ici a Ne u ra Ne tw o rk s   in   R u le - b a se d   De c isio n   S y ste m s, "   in   EUROCO 2 0 0 7   -   T h e   In ter n a ti o n a C o n f e re n c e   o n   " C o mp u ter   a a   T o o l" ,   2 0 0 7 ,   p p .   6 8 6 - 6 9 1 .   [3 1 ]   A .   Zh a n g ,   H.  Zh o u ,   X.  L i,   a n d   W .   Zh u ,   " F a st  a n d   ro b u st  lea rn in g   i n   S p ik in g   F e e d - f o rw a rd   Ne u ra Ne tw o rk b a se d   o n   I n tri n sic   P las ti c it y   m e c h a n is m , "   Ne u ro c o mp u ti n g ,   v o l.   3 6 5 ,   p p .   1 0 2 - 1 1 2 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Live  to   lea r n :   Lea r n in g   r u les - b a s ed   a r tifi cia l n eu r a l n etw o r ( A s ee l S h a kir I .   Hila iw a h )   565   [3 2 ]   T .   Ej im a ,   Y.  Ka to ,   Y.  T a n ,   a n d   K .   Ish ig a k i,   " Ch a ra c ter  Re c o g n it io n   By   A   Ne u ra Ne t w o rk   W it h   F u z z y   P a rti ti o n i n g   Un it s , "   in   Arti fi c ia Ne u ra Ne tw o rk s ,   T .   Ko h o n e n ,   K.  M Ä Kisa ra ,   O.  S im u la,  a n d   J.  Ka n g a s,  Ed s.,   e d   Am ste rd a m :   No rth - Ho ll a n d ,   1 9 9 1 ,   p p .   1 7 7 7 - 1 7 8 0 .   [3 3 ]   R.   N.  Na g u ib   a n d   G .   V .   S h e rb e t,   Arti fi c ia n e u ra n e two rk s   in   c a n c e d ia g n o sis,  p ro g n o si s,  a n d   p a ti e n ma n a g e me n t CRC  p re ss ,   2 0 0 1 .   [3 4 ]   G .   Ba k ırl ı,   " A n   in c re m e n tal  g e n e ti c   a lg o rit h m   a n d   n e u ra n e tw o rk   fo c las sif ic a ti o n   a n d   se n siti v it y   a n a ly sis  o f   th e ir  p a ra m e ters , "   2 0 0 9 .   [3 5 ]   A .   H.   A li   a n d   M .   Z .   A b d u l lah ,   " Re c e n tren d in   d istr ib u ted   o n li n e   stre a m   p ro c e ss in g   p latf o rm   f o b ig   d a ta:   S u rv e y , "   in   2 0 1 8   1 st A n n u a In ter n a ti o n a C o n fer e n c e   o n   In fo rm a t i o n   a n d   S c ie n c e s ( Ai CIS ) ,   2 0 1 8 ,   p p .   1 4 0 - 1 4 5 .   [3 6 ]   A .   H.  A li   a n d   M .   Z.   A b d u ll a h ,   " A   n o v e a p p ro a c h   f o b ig   d a ta cla ss if ica ti o n   b a se d   o n   h y b rid   p a ra ll e d im e n sio n a li ty   re d u c ti o n   u si n g   sp a rk   c lu ste r, "   Co mp u ter   S c ien c e ,   v o l .   2 0 ,   2 0 1 9 .   [3 7 ]   M .   A .   H.  A li ,   " A n   Eff ici e n M o d e f o D a ta  Clas sif ic a ti o n   Ba se d   o n   S V M   G rid   P a ra m e ter  Op ti m iz a ti o n   a n d   P S O   F e a tu re   W e ig h S e lec ti o n , "   In ter n a ti o n a l   J o u r n a l   o f   In teg r a ted   En g in e e rin g ,   2 0 1 8 .   [3 8 ]   A .   Esp o sito ,   S .   Ra m p o n e ,   a n d   R.   T a g li a fe rri,   " A d d it io n   a n d   su b trac t io n   i n   n e u ra n e ts  a re su lt o f   a   le a rn in g   p ro c e ss   T h is  w o rk   wa su p p o rted   in   p a rt  b y   CNR,  P ro g e tt o   F i n a li z z a to   S istem In f o r m a ti c e   Ca lc o lo   P a ra ll e lo ,   b y   M P 4 0 %   a n d   b y   II A S S , "   in   Arti fi c ia Ne u ra Ne tw o rk s ,   T .   Ko h o n e n ,   K.  M Ä Kisa ra ,   O.  S im u la,  a n d   J.   Ka n g a s,   Ed s.,   e d   Am ste rd a m No rth - Ho ll a n d ,   1 9 9 1 ,   p p .   1 7 8 9 - 1 7 9 2 .   [3 9 ]   C.   He ,   M .   M a ,   a n d   P .   W a n g ,   " Ex trac in terp re tab il it y - a c c u ra c y   b a lan c e d   ru les   f ro m   a rti f icia n e u ra n e tw o rk s:  re v ie w , "   N e u ro c o mp u t in g ,   v o l .   3 8 7 ,   p p .   3 4 6 - 3 5 8 ,   2 0 2 0 .   [4 0 ]   S .   Ha n ,   H.  M a o ,   a n d   W .   J.  Da ll y ,   " D e e p   c o m p re ss io n Co m p re s sin g   d e e p   n e u ra n e tw o rk w it h   p ru n in g ,   train e d   q u a n t iza ti o n   a n d   h u f fm a n   c o d in g , "   a rXiv p re p rin t   a rXiv: 1 5 1 0 . 0 0 1 4 9 ,   2 0 1 5 .   [4 1 ]   M .   Ish ik a w a ,   " N e u ra n e tw o rk a p p ro a c h   t o   r u le  e x trac ti o n , "   in   Pr o c e e d in g 1 9 9 5   S e c o n d   Ne Z e a la n d   In t e rn a t io n a T wo - S tre a m Co n fer e n c e   o n   Arti fi c ia l   Ne u ra Ne tw o rk s a n d   Exp e rt  S y ste ms ,   1 9 9 5 ,   p p .   6 - 9.   [4 2 ]   S .   H.  Kim ,   S .   G .   S h in ,   S .   Ha n ,   M .   H.  Ki m ,   a n d   C.   H.  P y e o n ,   " F e a s ib il it y   stu d y   o n   a p p li c a ti o n   o f   a n   a rti f icia n e u ra n e tw o rk   f o a u to m a ti c   d e sig n   o f   a   re a c to r   c o re   a th e   K y o to   Un iv e rsit y   Crit ica A ss e m b l y , "   Pro g re ss   in   Nu c lea r   En e rg y ,   v o l.   1 1 9 ,   p p .   1 0 3 1 8 3 ,   2 0 2 0 .   [4 3 ]   M .   Nic k e l,   K.  M u rp h y ,   V .   T re s p ,   a n d   E.   G a b ril o v ich ,   " A   re v ie w   o f   re l a ti o n a m a c h in e   lea rn in g   f o k n o w led g e   g ra p h s,"   Pro c e e d in g o t h e   IEE E ,   v o l.   1 0 4 ,   p p .   1 1 - 3 3 ,   2 0 1 5 .   [4 4 ]   M .   BİL G İ L İ,   " P re d ictio n o f   Wi n d   S p e e d   a n d   W in d   P o w e P o ten ti a Us in g   A rti f icia Ne u ra Ne tw o rk s,"   e d Do k to ra   T e z i,   Çu k u ro v a   Ün iv e rsites i,   F e n   Bil im leri  En stit ü ,   2 0 0 7 .   [4 5 ]   H.  Og i,   H.  T a n a k a ,   Y.  A k i m o to ,   a n d   Y.  Iz u i,   " A P P RO X IM A T IO CA P A BI L I T IES   OF  NEURA L   NETW ORK S   USING   S A M P L IN G   F UN CT IO NS, "   in   Arti fi c i a Ne u ra l   Ne two r k s ,   T .   Ko h o n e n ,   K.  M Ä Kisa ra ,   O .   S im u la,  a n d   J.   Ka n g a s,  Ed s.,   e d   A m st e rd a m No rth - Ho ll a n d ,   1 9 9 1 ,   p p .   1 7 8 5 - 1 7 8 8 .   [4 6 ]   K.  P a tan   a n d   M .   P a tan ,   " Ne u ra l - n e tw o rk - b a se d   it e ra ti v e   lea rn in g   c o n tro o f   n o n li n e a sy st e m s,"   IS T ra n s a c ti o n s,   v o l.   9 8 ,   p p .   4 4 5 - 4 5 3 ,   2 0 2 0 .   [4 7 ]   J.  S c h m id h u b e r,   " De e p   lea rn in g   i n   n e u ra l   n e tw o rk s: A n   o v e rv ie w , "   Ne u ra n e two rk s,  v o l.   6 1 ,   p p .   8 5 - 1 1 7 ,   2 0 1 5 .   [4 8 ]   H.  R.   I b ra h e e m ,   Z.   F .   H u ss a in ,   S .   M .   A li ,   M .   A lj a n a b i,   M .   A .   M o h a m m e d ,   a n d   T .   S u ti k n o ,   " A   n e w   m o d e f o larg e   d a tas e d im e n sio n a li ty   re d u c ti o n   b a se d   o n   tea c h in g   lea rn in g - b a se d   o p t im iza ti o n   a n d   l o g isti c   re g re s sio n , "   T e lko mn ika ,   v o l.   1 8 ,   2 0 2 0 .   [4 9 ]   N.  D.  Zak i,   N.  Y.  Ha sh im ,   Y.  M .   M o h iald e n ,   M .   A .   M o h a m m e d ,   T .   S u ti k n o ,   a n d   A .   H.  A li ,   " A   re a l - ti m e   b ig   d a ta  se n ti m e n a n a l y sis  f o iraq tw e e ts  u sin g   sp a rk   stre a m in g , "   Bu ll e ti n   o f   El e c trica En g in e e rin g   a n d   I n fo rm a ti c s,     v o l.   9 ,   p p .   1 4 1 1 - 1 4 1 9 ,   2 0 2 0 .   [5 0 ]   M .   S h a rif z a d e h ,   A .   S ik in io ti - L o c k ,   a n d   N.  S h a h ,   " M a c h in e - lea r n in g   m e th o d f o in teg ra ted   re n e wa b le  p o w e g e n e ra ti o n A   c o m p a ra ti v e   stu d y   o f   a rti f icia n e u ra n e tw o rk s,  su p p o rt  v e c to re g re ss io n ,   a n d   G a u ss ian   P r o c e ss   Re g re ss io n , "   Ren e wa b le a n d   S u st a in a b le E n e rg y   Rev iews ,   v o l.   1 0 8 ,   p p .   5 1 3 - 5 3 8 ,   2 0 1 9 .   [5 1 ]   M .   S h a rm a   a n d   R.   G a r g ,   " A n   a rti f icia n e u ra n e tw o rk   b a s e d   a p p ro a c h   f o e n e rg y   e ff icie n tas k   s c h e d u li n g   in   c l o u d   d a ta ce n ters , "   S u sta i n a b le C o mp u ti n g :   In f o rm a ti c s a n d   S y ste ms ,   v o l.   2 6 ,   p .   1 0 0 3 7 3 ,   2 0 2 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.