IAES  I nt er nat iona l  Journ al  of  Ar tifici al I nt el li gence   (I J - AI )   Vo l.   8 , No .   2 ,  J un e   201 9 , pp.  1 44 ~ 1 55   IS S N:  22 52 - 8938 ,   DOI: 10 .11 591/ijai. v 8 .i 2 .pp 1 44 - 1 55           144       Journ al h om e page :  http: // ia es core .c om/o nline/i nd ex .ph p /I J A I   Hybrid  imp er iali stic c om petitive  algorith m in corp orated  with  hopfield  neural n etwork f or robus t 3 satisfi ability l ogic  program min g       Vign es hwe r K at hir vel 1 ,  Mohd .   As yraf  M an s or 2 ,  M oh d   Sha re duwa n  Mohd  Kasi hm uddin 3 ,   Sa r at h a Sa tha siva m 4   1, 3, 4 School   of  Ma the m at i ca l   Sci en ce s,  Univ ersiti  S ai ns Mal a y s ia,  1 1800  US M,  Pula u  Pinang ,   Mal a ysia   2 School  of  Dist a nce   Educat ion ,   Univer siti   Sains  Malay s ia ,   11800   US M,  Pulau  Pin ang,   Ma lay si a       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved  J a n   3 0 , 2 01 9   Re vised A p r   2 8 , 2 019   Accepte d  M ay   1 7 , 201 9       Im per ia li st  Co m pet it ive   al gori thm  (ICA)  is   a  robust  tra ini n g  al gorit hm   inspire d  b y   the   socio - poli t ically  m oti vat ed  strateg y .   Thi s  pap er   foc uses  on  uti lizing  a  h y b ridi z ed  ICA  w it h  Hopfiel d  Neura l  Networ k  on  a  3 - Sati sfiability   (3 - SA T)  logi c  prog ramm ing.   Eve nt ual l y   th e  per for m anc e  of  th e  proposed  al gori t hm   will   be  com par ed  to   othe r   2  al gorit hm s,  whi c h  are   HN N - 3SA TE S (E S) a nd  HN N - 3 SA TGA (GA).  The   per form anc e  shal l   be  eva lu at ed  with  the   Root  Mea n  Square   E rror  (RMS E),   Mea n  Abs olut e  Err or  (MA E),  Sum   of  Square s   Err or  (SS E),   Schwarz   Ba y es ian  Crit eri on  (SBC ),   Globa l   Minim a  Rat io  a nd  Com puta ti on   Ti m e  (CPU   ti m e).   The   exp ec t ed  outc om e   will   portray   th at   the   IC  al gorit hm   will   outpe rform   the   othe r  two  algorithms   in  doing  3 - SA T  log ic   progr amm ing.   Ke yw or d s :   3  Sati sfia bili ty   Ex hau sti ve  sea rch   Hopf ie l d neura l netw ork   Im per ia li sti c c om petit ive  al gorithm   Lo gic prog ram m ing     Copyright   ©   201 9   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Vignes hw e r K at hirv el ,   School  of Mat hem atical  Sciences ,   Un i ver sit i Sai ns M al ay sia ,   11800 U SM, P enang,  Mal ay sia .   Em a il :  vig nes hk@ us m .stud e nt . m y       1.   INTROD U CTION   Our  bio l og ic al   ne ur al   net work’s  st ru ct ur e   hav e   ins pire d  new  m od el s  of  c om pu ti ng  to  perform   patte rn   recog niti on   ta sk s .   H oweve r,   th e  ope rati on s  of   t he  bio lo gical   ne uron   a nd  the  ne ural   interco nnec ti on s   are  no t  fu ll y  unde rstoo d  ti ll   this  ve ry  day  [ 1].  It  a uto m at i cal ly   adap ts  to   a  ne w  e nvir onm ent  without  bei ng   reprog ram m ed,   and   it   is  abl e  to  deal  with  fu z zy ,  pro ba bili sti c,  no isy   and   inc on sist ent  inf or m at io n   [2 ] .   Ar ti fici al   intel l igence  at tract e d  a  pro fu se  num ber   of   r ese arch   in  c om bin at ori al   op ti m i zat ion   pro ble m s   [3 ] .   Ar ti fici al   intel li gen ce  becam e  popu la r  am ong  resea rc he s  du e  to  it s  capab il it y  to  so lve  c om pu ta ti on al ,   cl assifi cat ion   a nd   patte rn   rec ogniti on  pr oble m s   us ing   le ar ni ng   based   al gorithm .   Its  arch it ect ur e  co ns ist s  of   a  two - dim ensional   connecte r   ne ur al   netw ork  i n  wh ic h  li nkin g  the   stre ng t hs  betwee n  ne uron s   are   deci de d  base d  on the c onstrai nts a nd so l utio n basis  of the  optim iz at ion  p r oble m  to  be  s olve d [ 4].   On e  of   the  m os t  com m e m or at ed  top ic s  is  th e  sat isfia bili ty  pro blem   (S AT ).   The  S AT  prob le m   can  be  disti nguish e d  as  the  process   of  obta inin g  an  ideal   as sig nm ent  us in g  Boo le a n  value s  to  c orrob or a te   that     the  f or m ula  is  sat isfie d  [ 5].   I n  this  pa per,  w e  sh al l  stress   on  3 - Sati sfia bili ty ,  or   c omm on ly   known  as   3 - SA T .   3 - S AT   ca n  be   de fine d  as   a  form ula  in  co njuncti ve  nor m al   fo rm   (CN F)   w her e by  ea ch  of  the   num ber  of   neur on s  are  li m it ed  to  3  literal s  or   ne urons.   Exh a us ti ve  se arch ,  or   c ommon ly   know n  as  br ute - f or ce  se a rch,  is   a  ver y  c onve nt ion al   pro blem - so lvi ng   m et hod  a nd  al gorith m ic   par adi gm   that  is  com pr is ed  of   syst e m atical ly  identify in g  al l   possible   can di dates  f or  the   so luti on  a nd  t o  cl ari fy  w het her  or  not  the   can did at es   sa ti sfies     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N:  22 52 - 8938       Hyb ri d  i mp eri alist ic  co m petit iv e a lg or it hm i n co rpor ated  wi th ho pfiel d   neural… ( Vign e shw er Kathirvel )   145   the  pro blem   s ta tem ent  resp e ct ively   [6 ] .  H NN - 3SA TES  is  a  popula r  al gorithm - design   as  it   is  w idely   app li cable   an d  giv e n  c orrect  ge ner at io n  a nd c heck i ng.    In   Ri dd le ’s  a nd  Se gal’s   pa pe r,   t hey  ha ve  a pp li ed   in du ct i ve   cat egorizat io n  m et ho ds  in  a   set   of  data  colle ct ion   i n  a  Boein g  plant  with  the   ob j ect ive  of  unveili ng  the   possi ble  flaws  or  set ba c k  in   a  m anu fac turing   process .   Tw o  exp e rim ents  wer e  ca rr ie d  ou t  [7 ]   w hi ch  w ould  te s t  the  pr e dicti on s  extracte d  fro m     the  ass um ption s  that  le xical   acce ss  incl udes  a  searc h  process  a re  re po rted.   It  is  al s o  s how n  that  wh e n    the  ta r get  of  the  sea rc h  is  a   no n - e xistent  entry,  it   i nvol ves  a n  H NN - 3SATE S,  al though   the  te st  it e m s   are   words.  From   t he  res ults   of   t he  e xperim ent,  it   was   de duc ed  t hat  the   se arch  m od el   ex plains  t he  pro cedure   adequate ly ,  w her e  the  m os t  known  m e anin g  of  a  ho m ogr aph   is  acce sse d   [ 8] .  The  Im per ia li st  com petit iv e   al gorithm   (I CA)   is  ins pire d  by  the  hum an  so ci o - poli ti cal   evo l ution  proc ess.  In  Luca s’   and  Na siri’s  pa per,  a   novel opti m iz a ti on  alg or it hm   base d  on HNN - 3SAT ICA  al gorithm  is u sed  for  the d esi gn   of  a lo w  sp ee d si ng l e   sided  li nea r  in du ct io n  m oto r  (LI M )   [ 9] .   Ha ving  hi gh   e ff ic ie ncy  with  hi gh  po wer   factor  is  ver y  vital   in  these   app li cat io ns .  T he  res ults  sh ows  that  ICA  is  m or e  su cces sfu l  f or   the  de sign   of  LIMs  com par ed  to  ge netic   al gorithm   ( GA )   an d  c o nve ntion al   desig n  [ 10] .  This  m et a - heurist ic   so luti on   a ppr oac h  is  al so   us e d  to  optim iz e   pro du ct   m ix - outso ur ci ng  f or   m anu fact ur i ng  enter pr ise s .  I n  Mi ll er’ s  pa per,  they   ha ve  c om bin ed  two  ad aptiv e   proces ses ,  the   ge netic   searc h  th r ough   the   netw ork   arc hi te ct ur e  s pace,   an d  bac kpropag at io n  le arni ng  i n  ind ivi du al   net works.  Cy cl es  of   le a rn i ng   i n  ind ivi du al s  a re   nested  within   cy cl es  of   e vo l ution   i n  popula ti on s,  and  each  of  the  le ar ning  cy cl e  pr ese nts  a n  in div i du al   ne ur al   netw ork,  with  the   set   of   i nput - outp ut   pairs  def i ning  the  ta sk   [ 11 ] .  Lam ’s  pap e r  on  the  ot her   ha nd  pres ents  the  tu ning   of   the  str uctu r e  and   par am et e rs  of  a   neural  netw or k  us i ng   a n  im pro ved   GA .   T he  str uctur e  a nd   par am et ers  of   the  neural  netw ork  can  be   tun e d  us in g  t he  im pr ov e d  G A   [12] .   I n  this  pa per,  we  w il l  de velo p  hybri d  m od e l  of  IC A  with  Hopf ie l d  in   3 - SA T   (HNN - 3SATI CA).   The   co m par ison   will   be  betwee n  t he  hybr i d   e xhaustive  sea rch   (HN N - 3SAT ES)  a nd   hybri d   ge netic  algorit hm (H N N - 3SAT GA).       2.   RESEA R CH MET HO DS   2 . 1.     3 - S at is fia bil ity   The  3 - S AT  pa rad i gm   a ll ow s  bin ary  val ue s  of   each  vari able,  wh ic h  co ns ist   of  ei the r  1  or  - 1.   The  3 - S AT  pro blem   can  be   seal ed   as  a  non - determ i nisti c  pr oble m   [1 3].  The   3 - S AT  pro bl e m   in    the con j unct ive  nor m al  f or m  ( CNF) com pr is es of  four ra dic al  f eat ures:   1.   The  SAT  form ula  has  an  ar ra y  of   n  var ia ble s,  12 , , . . . . , n z z z   inside  of   ea ch  num ber   of   ne uro ns .  I n  this  case,  we  s hall l i m it  i t t o  at  m os t 3 ( 3 n ).   2.   A  set   of m  n um ber  o f ne uro ns  i n  a B oo le a n form ula,  12 : . . . . m m F c c c .   3.   We  co ns i der e d  3  li te rals  in  e ach  num ber   of   neur on s  i n  3 - SA T.   Each   nu m ber   of   neurons,   k c will   be   com bin ed by t he  lo gic  op e rat or O R.   4.   The  li te rals ca n be the  v a riab le s o r  the  ne gat ion   of the  v a ria bles it sel f.     The 3 - SAT f or m ula can  be  il lustrate d as  per  the foll owin g:     P A B C D E F G H I   (1)     The  form ula  can  gen e rall y  be   create d  in  m ulti ple  com bina ti on s  as   the  num ber   of  at om s  m ay   var y.   Re la ti vely ,  the  pro bab il it ie s  of  a  nu m ber   of   neur on s   to  be  sat isfie d  will   be   m axi m iz ed  by   the  great er  num ber   of li te rals p e r n um ber  of  neur on s  [1 4].     2 . 2.     H opfie ld  neural  netw or k   Re current  ne ural   netw orks  a r e  pr im aril y  dynam ic al   sys tem s  that  feedb ack  si gn al s  t o  them sel ves.   Popu la rized  by  John   H opfiel d,  these  m od el s  hav e  a   rich  cl a ss  of  dy nam ic s   char act e rized  by  the  e xistenc e  of   a   few   sta ble  sta te s,  ha ving  t heir  res pecti ve  ba sin  of  at tract io n  [ 15] .   S how  i n  Fi gure  1  Hop fiel d  Ne ural   N et wor k.   These  inte rconn ect e d  unit s  are  al so   know n  as  the  bipo la r  thres hold  un it .  Her e ,  th e  bin a ry  valu es  are   consi d ere d  to  be  1  or   - 1   [ 16] .  He nce,  Ni   will   be  the  it h  act ivati on   of   a  ne uro n,   hav i ng   t he  f ollow in g    thres ho l d funct ion :     1, 1, ij j i i if w S N O th e r w is e   (2)     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2252 - 8938   IJ - AI   V ol.  8 ,  No.  2 ,  June   20 1 9 :   1 4 4   –   1 55   1 46   w he re   ij w   is  the  connecti on  stre ng t h  f ro m   un it   j   to  i .   j S represent s  the  unit   of   j   a nd i   represe nts  the  thre shold   of   un it   i .  The r e  are  no   c onne ct ion s  withi n  the  connecti on  in  the  H opfi el d  net  usual ly ,  hence  0 ij w .  This   sh ows  that  th e  connecti ons   are  bid irect io nal  or   sym m e tric   i j j i ww   [1 7].  Ne uro n  is  in  ge ner al   bi po la r,   { 1 , 1 } i S    wh ic h  fu lfil s  the  dynam ic s   s g n ( ) ii Sh ,  w her e   the  local   fiel d  is  re presen te d  by  i h .    The  c om pu ta ti on al   m od el   will   directl y  appr ox im at e  to  a  hi gh e r  order  co nn ect io n.  T herefo re,  t he  lo ca l  fiel d  m od ifie s to  the  foll ow i ng :     ( 3 ) ( 2 ) ( 1 ) i j k ij j i ijk jj h w S S w S w    (3)     The  e ne rg y  f unct ion  by  Pin ka s   ( 1991)   f or  t he  discrete  H opfiel d  Ne ural   Netw ork  f or  3 - Sati sfiabili t y  nu m ber   of n e uro ns  ca n be  w ritt en  as foll ows:     ( 3 ) ( 2 ) ( 1 ) 11 32 i j k ij i j i j ijk i j k i j i E w S S S w S S w S   (4)     Hopf ie l d’ s   ene rg y  functi on  is   pa rtic ularly   vi ta l  as  it   will   de te rm ine  the  de gr ee   of  c onve r gen ce   of  th e   netw ork [ 18] .  The  e nergy  va lue  at ta ined  from   the  equ at i on  will   be   che cked  an d  deter m ined  w hethe r   it   is  a  global o r  a  loc al   m ini m a.            Figure  1. H opf ie ld  ne ur al   net work [ 7]       2 . 3.     Ex ha u sti ve  se arch  a l gori th m   The  pur pose  f or   ch oosin g  th is  ty pical  al go rithm   is  to  dis cov e r  the  eff e ct iveness  de gr ee  of   H NN   –   3SATES .  A pa r t  fr om   that,  the re  are  th eo reti cal ly   sat isfyi ng   assignm ents  gi ven   f or   a ny  3 - SA T  pro blem   [ 19 ] .   The  sat is fied  assignm ent  f or  the   ES   al go rithm   is  ob ta ined   afte r  c ondu ct in g  a  brutal   “t rial   an d  error”   proce dure.  T he   per f orm ance  of   ES  has  a lready  bee n  r econn oitred  in   the  wo r k  of   Nievergelt   (2 00 0).    The o bj ect ive  fun ct io n  is  d em on st rated a s th e f ollow i ng :     m a x { } ES f   (5)     Her e with a re t he  ste ps   of im p lem enting  ES:     Stage  1: Init ia li zat ion   The  ca ndidate   bit stri ng is i niti at ed  an d ge nerat ed.     Stage  2: Fitnes s Ev al uatio n   The  ca ndidate   bit stri ng is test ed  a nd h e nce,  t he fit ness wil l be c om pu te d b y uti li zi ng  the  foll ow i ng :     1 2 3 ( ) ( ) ( ) . . . ( ) E S t o t a l N C f c x c x c x c x   (6)       Stage  3:  Ev al ua ti on   As  an  ou tc ome ,  return  the  a ssign m ent  with  the  m axi m u m   fitness.  Else   oth er wise,  identify   a  ne w   cand i date  bit stri ng.   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N:  22 52 - 8938       Hyb ri d  i mp eri alist ic  co m petit iv e a lg or it hm i n co rpor ated  wi th ho pfiel d   neural… ( Vign e shw er Kathirvel )   147   2 . 4.     Imperi alist  c omp e titive  a lg orit hm   HNN - 3SAT IC A  al gorithm   is  a  new  m et a - heu risti c  op ti m iz ation   de velo pe d  base d  on  a   so ci o poli ti cal l y  m otivate d  str at egy an d  c on t ai ns  tw o  m ai n  ste ps   [20]:     The  m ov em ent of the  co l on ie s     The  im per ia li st ic  co m petit ion   It  is  a  br and   ne w  ev olu ti onary   te chn iq ue  gal van iz e d  by  the   i m per ia li st ic   c om petit ion   a m ong  natio ns .   The  i niti al  p op ulati on   of s olu t ion  is  r e pr ese nt ed  as  cou ntry.    Her e   are t he 6  m ai n  sta ges of  ICA:     Stage  1: Init ia li zat ion   The  par am et e rs  are   dete rm ined  a nd  the   co un try ’s  popula ti on  are   ini ti al iz ed.   Fo r   insta nce ,   Country =  100.     1 2 3 ( , , , . . . . ) n c o u n t r y x x x x   (7)       Stage  2: Fitnes s of the  Co untr ie s   The fit ness o f  t he  c ountries  a r e cal culat ed.     1 2 3 ( ) ( ) ( ) . . . ( ) c o u n t r y t o t a l N C f c x c x c x c x   (8)       Stage  3: I m peri al ist  Select ion   Gen e rate  the  e m pire.   The  im per ia li st  will   be   sel ect ed  fro m   the  country  with  the  highe st  fitness  an d  the o t her s  r em ai n  as c olonies.     Stage  4: Assi m il at ion   Sele ct   N=5   fro m   the  m os t  powerfu l  c ount ries  to  form   e m pires.  T he  rem ai nin g  co untrie s  or  c olonies  sh al l be  d esi gnat ed  to t hese e m pires  resp ect i vely .      Stage  5: Rev ol ution   This  is  wh ere  t her e  will   be  an   exch a ng e  in  posit ion   bet wee n  a  colon y  an d  the  I m per ia li st.  A  colon y   that  posses s  a  bette r  posit ion   will   hav e  the  l ikeli hood   t o  ta ke  cha r ge  of  the  em pire  by  r eplaci ng   t he  e xisti ng   Im per ia li st.     Stage  6: I m peri al ist ic  Co m pet it ion   This  would  be  the  cr ucial   sta ge ,  w her e by  al l  i m per ia li st  will  com pete  to  ta ke  c on tr ol  of   e ach  oth e r’s   colo nies. T he  total  pow e r of t he  em pire  will   be  c om pu te d  a s foll ow s:     {} n i m p e r i a l i s t c o l o n i e s o f e m p i r e p o w e r f m e a n f    (9)     wh e re  f im perialist   ind ic at es  the  f it ness  of   eac h  i m per ia li st,  f colo nies  of   em pire  rep re sents  the  fitnes s  of   the  c oloni es  of  the  em pire  a nd   ε   =  0.05   ref e rs  to  a  I C  fr ee  pa ram et er.  Em pires  wh ic h  a re  powe rless  will   fall   in    the  i m per ia li st ic   com petition   and   the  im per ia li st  with  the  hig he st  pow er  will   be  ch ose n  as  the  sur viv in g  i m per ia li st.  Rep eat   ste p  5  if  the  highest  po wer   c on sist s  of   {} i m p e r i a l i s t c o l o n i e s o f e m p i r e f m e a n f   .  The  so l ution   will   be  the n st or e d  i n HNN.     2 . 5.   Gene tic  a l go ri th m   The  H N N - 3SATG A  ( G A)   are  al gorithm s  for  optim iz at i on   a nd  le arn i ng  base d  e ntirel y  on   a  few  bio lo gical  e vo l ution feat ur es  [21 ] .  Th is  alg ori th m  r eq uires m ai nly 5  com po ne nts:     A  m et ho d o f  e ncodin g sol ution s  to  the  pro bl e m  o n  c hrom os om es     An ev al uatio n functi on that  re tur ns  a  rati ng for ea ch  chrom os om e g ive n  t o i t     A way  of  de velop i ng the  popu la ti on  of c hro m os o m es     Op e rato rs  t hat  m ay  b e ap plied  to pare nts  wh e n  they   re produ ce to m od ify   th ei r  ge netic  com po sit ion .     Param et er s et tin gs f or the  alg or it hm , oper at or s  and  oth e rs.     Ther e  are  princ ipall y 5 s ta ge s  in the p ro ces s  of GA:     Stage  1: Init ia li zat ion   100  popula ti ons  of  c hrom os om es  rando m iz ed  as   the  i nterpr et at ion s  ( bit  str ing s ).  H e nce,  t he   pro bab le   interp retat ion o f  E HNN - 3SAT  w il l be  de picte d by the c hrom os om es.     Stage  2: Fitnes s Ev al uatio n   The  fitness  of   the  chrom os om es  are  co m pu te d  bas ed  on  the  nu m ber   of  sat isfie d  num ber   of   neurons  in each  of t he  e xpos it io n.  T he t rainin g proces s’  e ff ect ive nes s w il l be  d et e r m ined  by t he m axi m u m  f it ness.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2252 - 8938   IJ - AI   V ol.  8 ,  No.  2 ,  June   20 1 9 :   1 4 4   –   1 55   148     Stage  3: Select ion   Stage   10   pros pect  ch ro m os om es  out  of   the  10 0  th at   are  no te d  to   hav e  m axi m um  fitness  will   adv a nce  to     the  f ollow i ng   gen e rati on  an d  sta ge  of  G A.   Lat er  on,  th ese   chosen  c hrom os om es  will   carry  out  the  c rosso ve r   proce dure to a m pl ify  the f it ne ss and  va riabi li ty .     Stage  4: Cr os s ov e r   The  c ro ss over  op e rato r  incl udes  the  m ai n  trans f or m at ion   ste ps   in  t he  H NN - 3SA TG A.  Inform at ion  exch a nge  will   occu r  durin g  this  ph ase  be tween  tw o  su b - str uctu re  of  the  chrom os om es  (b it   str ing s ) .   The  c rosso ve r   point  c hrom os om es  is  de f ined  m utably  to  s us ta in  t he   ch ro m os ome s  ge netic   di ver sit y.   Cros s over  nor m al l y i ncr ease s the  num ber  of sati sfied  num ber o f neu r on s   of the  ne w  c hrom os om e p ai rs.       Stage  5: Mutat ion   The  no n - im pro vi ng   i nter pr et at ion s  that  sti ll   exists  will   be   enh a nce d  by  m uta ti on .  T he  m uta ti on   in   GA   e ntail s  the   flipp i ng   of   t he   sta te   of   the  bit  string,  ei th er  f ro m   1  to  - 1  or  vice  vers a.   This  will   resu lt   in  a  bette r  ch r om os om e  being   generate d  a fter  m utati on .   Since  th e  m utati on   ha s  occ urred,  th e  fitness  value   will   hav e   to  be  re - eval uated  for   the  new ly   f orm ed  chrom os om es.  The  sta ges  s hall  re pe at   from   sta ge  1  if    the m axi m u m  f it ness  val ue  is  no t at ta ine d.       3.   PERFO R MANC E E V ALU ATIO N MAT RI X   In   this  pa per ,  we  sh al l  util iz e  C+ +  to  run  th e  3 - S AT  pro ble m   us ing   the  a bove  m entione d  al gorithm s.   In   orde r  to   ve rify  w hich   al gorithm   sh al l  ou t perform   the  rest,  a   serie s  of  perform a nce  e valuati on   sh al l   determ ine w hi ch would  b e  th e b et te r  al gorithm  to  be use d.       3 . 1.     R oot  mea n sq u are  erro r   Roo t  Me an  S quare  E rror,  or   com m on ly   kn own  as  RM SE,  is  widely   us ed  to  m easur e  the   diff e ren ces   betwee n  pr e di ct ed  values   of  a  m od el   an d  t he  act ual  val ue s.   T hey  s ugge ste d  that   RM SE  is  m or e  s ui ta ble  to   represe nt  m od el   per f orm ance  wh e n  the  di stribu ti on  of  the  e rro r  is  a ntici pated  to  be  Ga us sia n.   RM SE   is def i ned [ 22]  as foll ows:     2 m a x 1 1 () n i i R M S E f f n    (10)     3 . 2.     Me an  abs olut e  error   The  m easur e  of  dif fer e nces  be tween  tw o  co ntinuo us   va ria ble  is  known  a s  the  Me an  A bsolute  Er r or  (MAE ).   Un li ke   RM SE,  the  cal culat ion   of   MAE  is  relat ively   si m ple,  w her e by  the  m agn it udes  a re  s umm ed   (ab s olu te   val ue s)  of   the  er r ors  to  at ta in  the  cum ulativ e  error   [ 23] .   Th e  MAE  fo rm ula  is  descr ibed   as  the   fo ll owin g:     m a x 1 1 n i i M A E f f n    (11)   Si m il arly ,  the i f   represe nts  the  fitnes s  va lue  obser ve d,  wh e reas  the   m a x f   will   be  t he   m axi m u m  f it ness.     3 . 3.     Sum  of  s qua res  err or   This  e rror  is  to  m easur e  how  f ar  t he  data   are  from   the  assum ed  value s  of  the   m od el .  A  su m   of   sq ua res  ( SSE )  m ini m u m   can  f re qu e ntly   be  searche d  ve ry  eff ic ie ntly   via  app li cat io n  of   a  gen e rali zat ion   of   the   le ast  sq ua re m et hod [24].   T he   ge ner at e d  the  for m ula o f  SSE as  belo w:     2 m a x 1 () n i i S S E f f    (12)     The  i f   re pr ese nts  the  fitness  val ue obse r ved,  w her eas  the  m a x f will   be  the  m axi m um  f it ness     3 . 4.     Schw arx  bayesia n crite ri on   Schwarz   Ba ye sia n  Crit eri on  (S BC ) ,  or  al so   cal le d  Ba ye sia n  I nfo rm ation   C rite rio n  (BIC) ,  is  a   crit erion   for  se le ct ing   m od el s   fr om   a  finite   s et   of   m od el s  [25].  Wh en  m odel s  are  fitt ed,   it  is  l ikely   to  increase   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N:  22 52 - 8938       Hyb ri d  i mp eri alist ic  co m petit iv e a lg or it hm i n co rpor ated  wi th ho pfiel d   neural… ( Vign e shw er Kathirvel )   149   wh e n  the  pa ra m et ers  are  added.   T hey  hav e   ta ken   the  m od el   com par iso n  ap proac h  to  analy sing   sta ti sti cal ly   [26] . Ass um in g  that t he dist urba nces  or m od el  er rors  a re i nd e p e nd e nt a nd  distrib uted  e qu al ly  in  acc or dan ce  to  a  norm al   distri bu ti on  a nd  that   the  co ndit ion   of   t he  bo unda r y  that  the  log’s   der i vative  wit h  res pect  to  t he   true  var ia nce is ze r o,  t he fo rm ula g ene rated  w il l  be:     . l n ( ) . l n ( ) S B C n M S E p a n    (13)     The   n   represe nts  the  num ber   of   s olu ti ons ,   pa   w ould  be  the  nu m ber   of   par am et ers  and   M SE   is  the   m ean   sq ua re e rro r.     3 . 5.   C omp u t ati on   t im e   Com pu ta ti on   ti m e  or   widely   known  as  CP U   tim e  (also  cal l ed  run ning  tim e)  is  the  m eas ur e  of  tim e   require d  to  pe r form   a  co m pu ta ti on al   pr ocess   [27] .  It  is  pro portio nal  to  th e  nu m ber   of  r ule  ap plica ti ons  and     the co m pu ta ti on ti m e is  m eas ur e d usin g sec onds .  Com pu ta ti on  ti m e is defi ned   by the  foll ow i ng equati on.     _ ( ) _ ( ) _ ( ) C P U T i m e s T r a i n i n g T i m e s R e t r i e v a l T i m e s    (14)     3 . 6.   Glob al  mi nima r at i o   The  gl ob al   m i nim a  rat io  is  def ine d  by  the  rati o  of  the  cu m ula ti ve  glo ba l  m ini m u m   ener gy  to  the   nu m ber   of  tria ls  or   nu m ber   of   neur on s  [ 28] .  It  will   be  fe asi ble  to  in dicat e  the  si m ulatio n  by  chec kin g  t he   global  m ini ma  rati o  si nce   the  pr ogra m   is  seekin g  f or  e ve ry   ne uron’s  st at e  global  m ini m u m     energy i n  3 - S A T [29] .   T he  e qu at ion   of g l ob al   m ini m a rati o  is give n by the  foll ow i ng.     m in 1 1 ( ) ( ) n E i G lo b a l M in im a R a tio N N Tr C O M B M A X   (15)     NTr   ind ic at es  the  nu m ber   of   tria ls, m i n E N is  the  glo bal  m ini m u m   so luti ons  an d  COMBMAX   is   the  neuron’s  m axi m u m  co m bin at io n.         4.   METHO DOL OGY /I MPLE MENT ATIO N   HNN  –   3SAT ES,  H N N  –   3SAT GA   a nd  HNN  –   3SAT IC A   will   be  pro po se d  to  e valuate  t he   perform ance. The im ple m ent at ion   of these   m od el s to  the  3 - SAT  prob le m  w il l be acc ordi ng to  t he  flo w char t :             5.   RESU LT S   A ND AN ALYSIS   The  sim ulati on s  of  the  3 - S AT  pr ob le m   us ing   var i ous  al gorithm s  was  cond ucted  with  an  I ntel®   Core ™  i5 - 72 00U @ 2.50GH z ,   4.0 0G B  R AM   ASUS  A 556U  Se ries,  via  DEV  C+ +.  F r om   the  trai ning  ph ase   il lustrate d  in  Figure  2 ,  ob se rv e d  that  after   12   num ber   of  neur on s ,  the   HN N - 3SATE S  al go rithm   pr od uce    the  hi ghest   num ber   of  er rors.  It  s howe d  a   cl os e  pro portio na te   relat ion s hi p  betwee n  t he  nu m ber   of  num ber   of  neur on s  a nd  er rors  obta ine d.   This  sim i la r  pa tt ern   was  al s o  portrayed  at   t he   te sti ng   phase   for  ES   i n  Fig ur e  3 ,  Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2252 - 8938   IJ - AI   V ol.  8 ,  No.  2 ,  June   20 1 9 :   1 4 4   –   1 55   150   bu t  t her e   we re   so m e  m il d  fluctuati ons  i n  t he  e rror  rea dings.  H NN - 3SA TGA,  on  the  ot her   ha nd,  s howed  a  m or e con sist e nt  incr ease  as th e num ber  of  num ber  o f ne uro ns   go t  h i gh e r.     Howe ver,  this  patte rn   is   not  the  sam e  in  th e   te sti ng   ph as e.   As  obser ve d,   there  is  qu it e  a   sign i ficant   var ia ti on  of   t he   errors  f or  the   first  5  to   6  nu m ber   of   ne uro ns ,  a nd  e ven t ua ll y  beco m es  con sist e nt  an d  c losin g  to  the  perf orm ance  of   the   ES  al go rit hm .   HN N - 3SA TICA   al gorit hm   see m ed  a  li ttle  m or e  com p elling   com par ed  t o  t he  oth e r  2  al gorithm s.  In  the  trai ning  phase,  it   s howe d  a n  a bsolute   0  er ror  th r ough ou t     the  nu m ber   of  neur on s ,  an d  a   ver y  m ini m al   error   tre nd  on  the  te sti ng   pha se  in  com par ison   with  ES  a nd  G A.   On   t he  trai ning  phase ,  it   is  ob s er ved  that  HNN - 3SATE S   al gorithm   had   a  huge  valu e  unti l  the  val ue  of  NN = 108.  The   po ssi bili ty   of   ob ta inin g  the   cor rect  inter pret at ion s  will   reduce  drast ic al ly   wh en  ther e  is  an  increase  in  the   nu m ber   of   ne uro ns .  This  is  du e  to  it s  natu re  that  kicks  off  the  “ge ne rate  and   te st”   and   “t rial   and er ror” tec hniq ue  in  or der  t o  at ta in t he  c orrect sol utio ns  i n  a  sp eci fic  sea rch sp ace .           Figure  2 .  RM S E ev al uation o f  HNN - 3SA TE S, HNN - 3SAT GA &  H NN - 3SAT ICA  t raini ng phase           Figure  3 .  RM S E ev al uation o f  HNN - 3SA TE S, HNN - 3SAT GA &  H NN - 3SAT ICA - te sti ng  ph a se       S how n  in  Fig ure  4 ,  t he  E S  al gorithm   again  portrayed   the  highest  num ber   of  er r or s ,  f ollow e d  by  the   GA   al go rithm .  The  IC  al gorit hm   disp la ye d  abso l utely   no   er rors  thr ou ghou t  the  run.   H ow ever,  this  is  dif fer e nt  in  the  te sti ng   phase   as  s how n  in  Fig ur e  5 ,  w her e by  al l  3  al gorithm s  exh ib it   a  ver y  si m il a r  tren d  am on gst   each  oth e r.   IC  al go rithm   sh ow s  a   dr ast ic   undul at ion   on  an  i ncr easi ng   m ann er  th r oughou t  the  12   num ber   of  neur on s ,  but  m os tl y  hav i ng   a n  er ror  lo wer  to  that  of   GA   a n d  ES,  w her e  t his  2  s how s  a  m or e   ste ady  increase .   As  plo tt ed ,  the   ES  again  sho ws  the  highest   nu m ber   of   er r or s  produce d,   reachi ng   sli ghtl y  m or e  than  12 00  in   the trainin g phase  and abo ut 3 60 0000 in  the  test ing  phase , a s por tray e d  in  Figure  6   a nd F igure  7 . r es pect iv el y .  GA   is  sig nifica ntly   lower  in  t he  trai ni ng  pha se,  al m os t  3  ti m es  lower   t ha n  ES ,  bu t  s ho ws  a  ver y  hom og e nous   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N:  22 52 - 8938       Hyb ri d  i mp eri alist ic  co m petit iv e a lg or it hm i n co rpor ated  wi th ho pfiel d   neural… ( Vign e shw er Kathirvel )   151   resu lt   to  ES.   IC,  oth e rw is e,  pro ves  to  be  a  m or e  st able  run  w he n  it   pr od uces   0  error s  a ga in  in     the  trai ni ng   ph ase,  an d  al m os t  100  ti m es  le s ser  c om par ed  t o  ES   an d  GA  in  the   te sti ng   phase.  From   this,  it   can   be  de duced  t ha t  the  error s  a ccum ulate d  wh en  t he  3 - S A T  was  trai ne d  and   te ste d  wit h  G A  an d  E S.   This  is  diff e re nt  f or   I C  wh e re  it   wa s   su sta ini ng  a  ve ry  low  val ue  of   e rro rs.   In  ot her   w ords,  the  com p il at ion   of  errors   was  le sse r  with  the   inc rease  of  N N.  Com par ed   to  ES  a nd  GA,  the   IC   al gorithm   entai le d  le sse r  it erati on s   t o  com pu te   the  desire d  so l ution s .  ES  in  t hi s  case  need e d  m or e  it eratio ns   t o  at ta in  a  global  so lut ion ,  a s     the  inter pr et at ion  will   disin te gr at e  if  it   do e s   not  su ccee d  t o  achieve   the  m axim u m   fitness.  T his  will   the n  le ad   to the h un ti ng  of n e w  i nterpre ta ti on  w it h a  ne w fit ness valu e.           Figure  4 .  MAE  ev al uati on of  HNN - 3S ATE S , HN N - 3SAT G A  &  HN N - 3SATIC A - t rainin g ph a se           Figure  5 .  MAE  ev al ua ti on of  HNN - 3S ATE S , HN N - 3SAT G A  &  HN N - 3SATIC A - te sti ng  phase   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2252 - 8938   IJ - AI   V ol.  8 ,  No.  2 ,  June   20 1 9 :   1 4 4   –   1 55   152       Figure  6 .  SS E   evaluati on  of  HNN - 3S ATE S , HN N - 3SAT G A  &  HN N - 3SATIC A  -   trai nin g p hase           Figure  7 .  SS E   evaluati on  of  HNN - 3SATE S , HN N - 3SAT G A  &  HN N - 3SATIC A  -   te sti ng  ph a se       Fr om   Fig ur e   8 ,  w he n  t he  num ber   of  ne uro ns   is  1,  ES   a nd  IC  wer e  abl e  to  at ta in  a  glo bal  m ini m a  rati o  of  1,  e xce pt  f or  GA.  As  the  nu m ber   of  nu m ber   of  neurons  i ncr ea ses  ti ll   12 ,  it   ca n  be   seen   that  t he  rati o  gr a dual ly   decre ases  f or   E S  a nd   G A.   On  th e  con t rar y,  e ve n  with   a  re duc ing   ra ti o,   th e  I C  al go rit hm   ten ds  to  m ake  an  at te m pt  to  at ta in  a  r at io  of  1,  or  at   le ast   cl os e  to  it .  This  ca n  be  s een  al on g  the  r un  that  the  rea dings   are  act ually   var yi ng.  At  the  12th  num ber   of  n eu r on s ,  ES,  G A  an d  IC  are  appr ox im at ely  a t  the  sa m e   value,   bu t   IC  ha ving  a   sli gh tl y  hi gh e r  ra ti o  in  c om par ison  with   the  ot her  2  al gorith m s.  In   IC  al gorithm ,  it   has  a  highe r   eff ic ie ncy  to  neur o - sea rch i ng  m e tho d  generate d  in  com par is on   with  ES  and   GA.  The  net work   becam e  sign ific a ntly   beca m e  m or e  c om plica te d  as  the  nu m ber   o f   neu r ons  incre ased,  as  the  siz e  of   the  restri ct ions   becam e  la rg er in de finite ly .  The  syst e m   was  al so   able  to  cat egorize  feasibl e  so luti ons  co nst ru ct ively   and  adap t  with m or e c onstrai nts.   From  t he gra ph  disp la ye d   in  Fig ur e  9 , th e  ES al gorithm  sh ows the  low e st  SBC v al ue  a t   the  1s t  num ber   of  ne uro n,  w hi ch  is  at   the  ne gative  value,  w her eas   IC  is  sli gh tl y  bel ow  0,  wh il e  GA  is  al ready   at   20000.  T he  HNN - 3SAT IC A  is  m or e  ef fe ct ive  in  see king  f or  the  c orre ct   interp retat io n  with out  the  us e  of  m or e  it erati on s.   HNN - 3SAT E S  on   the o the r  hand  pe naliz ed   the  SBC   values  du e  to  the  c ollec ti on   of   MSE   a nd   retrieval  pha se.  T his  ex plains  t he  higher   val ues   o f   SBC   i n  HNN - 3SA TES  c om par ed  to   the o t her tw o  a lgorit hm s.   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N:  22 52 - 8938       Hyb ri d  i mp eri alist ic  co m petit iv e a lg or it hm i n co rpor ated  wi th ho pfiel d   neural… ( Vign e shw er Kathirvel )   153       Figure  8. Gl obal  Mi ni m a Rat i o of H NN - 3SA TES, H NN - 3S ATGA  &  HNN - 3SA TIC A           Figure  9. SBC   of HNN - 3SAT ES, HN N - 3SA TGA &  HNN - 3SATIC A       The  sp ee d  of  t he  E S  a nd  GA  al gorithm   are  nota bly  sim ilar  in   the   12   di ff e ren t  num ber   of  neur ons   sh ow n  in  Fi gure  10 .  It  show s   that  wh e n  the se  al gorithm s  are  util iz ed  f or  m or e  num ber   of   neur on s ,  the   tim e  ta ken   will   gra du al ly   inc reas e  as  w hat  is  sh ow n  in   the   gr a ph.  T he  ti m e  ta ken   for  the  IC  al gorithm   is   i m pr essivel y  low,  eve n  at   the  12 th  nu m ber  of   ne uro ns ,  m ark in g  at   alm os t   on ly   24   seco nd s .  The  powe r  of     the  al gorithm   i s  basical ly   dem on strat ed  by  the  eff ect ive ne ss  of   the  com pu ta ti on   pr ocess   in  whole.  The refor e ,   par ti cula r  acce le rati ng   syst e m   is  req uire d  for  the  trai ning  proc ess.  T he   tim e  of   com pu ta ti on   was  hi gh e r  f or   HNN - 3SAT IC A  du e   to  t he  e f fecti ven es s  of   t he  im per ia li st  t o  im pr ove  to w ard s   the  prefe r red  so l utions.  GA  is  com par at ively   si m i la r,   ye t  i n  real  is  sti ll   lowe r  than  E S ,  as  the  cr os s ov e r  an d  m utati on   proce sse s  hav e    the  abili ty   to  i m pr ove  the   inter pr et at io ns .   The   ES  brut e  f or ce  nee de d  m uch   m or e   com p utati on  tim e  as     the “g e ne rate a nd test ” syst em  r e qu ire d  m or e  tim e to att ai n  the c orrect i nter pr et at io ns .       Evaluation Warning : The document was created with Spire.PDF for Python.