Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   10 ,  No.   4 ,  A ugus t   2020 ,   pp. 352 8~35 36   IS S N: 20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v10 i 4 . pp3528 - 35 36          3528       Journ al h om e page :  http: // ij ece.i aesc or e.c om/i nd ex .ph p/IJ ECE   ELM  and K - nn  m ac hin e le ar nin g in  classi fication    of  B reat h sound s s ign als        Z .  Neil i ,   M.   F ez ari , A . Red j at i   Depa rtment  o f  E le c troni c ,   LAS A L abor at or y ,   B ad ji   Mokht ar  Univ ers ity   Annab a, Alge ri a        Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   A pr   7 , 2 019   Re vised Jan  6 ,   2020   Accepte d  Ja n   29 , 2 020     The   ac qu isit ion   of  Brea th  sounds   (BS)   signal s  from   a  hu m an   respir at o r y   s y stem  with  a n  el e ct roni c  st et hoscope ,   pro vide   and  of fer   prom ine nt   informati on  which  hel ps  the   doct ors  to  dia g nosis  and  cl assificat ion  of   pulmonar y   d ise ase s.  Unfortuna t ely ,   thi s  BS   si gnal s  with  o ther  biol ogi ca l   signal s  hav e  a   n on - stat ion ar y   na ture   ac cor d ing  t o  the   v ariati on   of  the   lung   volume,   and  this   nat ure   m ake s  it   diff ic ul t  to  an aly z e  and  class if y   b et we en   seve ral   d isea ses.   In  thi s  stud y ,   we  were   foc use d  on  compari ng   the   ab ili t y     of  the   ext reme  le arn ing  m ac hin e  (EL M)  and  k - nea rest   nei ghb our  (K - nn)   m ac hine   l ea rn in g  al gori thms   in  the   class ifi c at ion   of  adve nt it i ous  and  norm al  bre at h  sounds .   T o  do  so,  the   empirical   m ode  de co m positi on  (EMD)  was  used   in  thi s  work  to  ana l y z e  BS ,   th is  m et hod  is  rar ely   used  in  th e  br ea th  sounds   ana l y sis.  Af te r  t he  EMD  dec om positi on  of  th e  signal s  int o  In tr insic   Mode   Functi ons  (IMF s ),   t he  Hjor th  des cri ptors  (Act ivi t y )  and  Perm uta tion  Ent r o p y   (PE)  feature s  we re  ex tra c te d   fro m   ea ch  IMF s  an d  combined  for   cl assifi ca t ion  stage .   The   stud y  has  found  tha t  t he  combinati on   of  fea tur es  (acti vity   and  PE )  y i el d ed  an  accu racy   of  90. 71% ,   95%  using  EL M  and  K - nn  res pec t ive l y   i n   bina r y   class ifi cation  (norm al   and  abnor m al   bre at h  sounds ),   and  83. 57% ,   86. 42%  in   m ult i cl ass classificat i on  (five classes).   Ke yw or d s :   Em pirical   m od e d ec om po sit ion   Extrem e lea rn ing m achine   Hjort h desc ript or s   K - near e st nei ghbo ur    Per m utati on  ent ropy   Copyright   ©   202 0   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   N.   Zaka ria ,    Dep a rtm ent o f E le ct ro nic ,   Faculty  of S ci e nces,   Lab or at oi re  d’Au t om atiqu e e t Sign a ux  de A nn a ba  (L ASA) ,   Ba dj i M okh ta r   Un i ver sit y A nnaba ,   P.O. Bo x 1 2,   2300 0 Anna ba,   Alge ria .   Em a il :  z aki.n el i@y ahoo.fr       1.   INTROD U CTION     R ecentl y  m an y  research e s  in  the  Breat h  Sounds  (B S)   areas  is  cond ucted  by  app l yi ng   m any  te chn iq ues  f or  analy zi ng   a nd  cl assify   a  re sp irat ory   sig na l  in  orde r   to  di agnosis  the  pulm on ary  path ology ,     su c h  as  (A st hm a,  COPD,  P ne um on ia …).  H ow e ve r,   the   ac qu isi ti on  of  l ung  sou nds  play s  an  im po rta nt  ro le   to   detect   an d  i de ntific at ion   of   pulm on ary  di seases.  T he  do ct or s   li ste nin g  to  t he  lu ng  sou nds  th rou gh   the  ste th os co pe   placed   on  t he   chest  or   poste rior  to  t he  patie nt   w hich   is  s uffer i ng   from   a  ty pe  of  lu ng  disease,  bu t t he  pro ble m  is  so m et i m e s the d eci sion   of  the docto rs  con ce r ning ty pes  of  p at holo gy  is n ot  accurate , th is i s  du e  to  m any   reasons  s uch   a s  a  few   ex peri ences  c oncer ni ng   au sculta ti on  an d  diag nos is.  To  ad dr es s   this   pro blem   a  research   st ud y   ha s  been   wide ly   con duct ed  in  this  area  f ocus   on  th ree   pr inci pal  do m ai ns     (ti m e d om ai n,  f re qu e ncy  do m ai n  an d  ti m e - frequ e ncy  do m ai n).   Breat h  s ound   is  a  com plex  sig nal  [1 ]   su c h  ot h er   bi o lo gi cal   sig na ls,  ha ve  a  no n - li nea r  a nd    non - sta ti on a ry  natu re ,   t hese  pro per ti es  of  t he  sig nal  le ad   it   to  assesse d  by  di ff e ren t  t echn i qu e s  in  s ign al   processi ng  ha ve  the   sam e  pro per ty   of  t he  br eat h  si gnal s.  H ow e ver,  these   te ch niq ue s  us ed   f or  thre e   tran s form ation  do m ai ns   wh ic h  are  m entione d  previ ously .  I n  [ 2]  Islam ,  A  et   al   the  arti fici al   neu ral   network  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &   C om p  En g     IS S N: 20 88 - 8708       ELM  and  K - nn  mach i ne  le arn ing  i n  cl assi fi cation of  Breat h so unds si gnals   ( Z.  Ne il i )   3529   (ANN)  an d  suppo rt  v ect or   m achine  ( SV M )  cl assifi ers   ha ve   been   use d  f or  cl assify ing   norm al   and   ast hm at ic  su bject s  with ,   sp ect ral  s ubba nd   was   e xtract ed  f r om   the  lun g  sou nd   cy cl e ,   w it h  a   m axi m u m   cl assifi c at ion  accuracy  of  89. 2%  a nd  93. 3%   by  th e  A N N  a nd  S VM  c la ssifie rs,   res pe ct ively ,  Mondal ,  A  [ 3]  et   a l  app ly     the  em pirical   m od e  deco m po sit ion   t o  lu ng   sounds  fo c us e d  on  patte r n  re cogniti on  al go rithm s  fo r  cl as sify ing  into  pulm on ary  d ysf un ct i on  with  a n  acc ura cy   of  94. 16  % ,   in  [4 ]   A.  Ri zal   et   al   cl assify   the  lu ng  s ound s  us i ng  Tsal li s  Entr opy  and  us in g  M LP  cl assifi er   w it h  an   accu rac y   95 . 35%,  Pa nc al di,  F   et   al   [ 5]  dia gnos is  t he   lu ng  diseases  (inter sti ti al   lun g  diseases )  by  us in g  em pirical   obser vatio n  as   pro po se d  s ol ution   with  a n  overall   accuracy  of  90. 0%,   A .Chee m a,  M.Sing h  [6 ]   us e  an  E MD  m et ho d  f or   detect   Psyc ho l og ic al   stres s  fr om   phonoca r diogr aph y   sig nal  the  ave rag e  a ccur acy   of  93. 14%  to  cl assify ing   stre ss ed  an d  no n - st resse d,     in  [7 ]   R.  Pala ni app a n  cl assify   a  pu lm on ary  s ign al   us i ng   A ut or e gr essi ve  Coef fici ents  an d  k - Near est   Neighb or  as  a  cl assifi er  with  an  accu ra cy   of   95.18% .   In   this  w ork  w e  analy zed  a  breat h  so un ds   sign al s  usi ng  em pirical   m od e  deco m po sit ion  with   H j ort h  desc ript ors  ( Acti vity )  a nd  Perm utati on   e ntropy  as   fe at ur es,   we re  e xtracte d  from   each  IMFs  pro duce d  by   EMD,  fi nally ,a  com par at iv e  stud y  has  be en  asses sed  betwee n  a n  ex trem e  le arn in g  m achine   (ELM )  and  K - near est   nei ghbor   ( K - N N)  f or  disti nguish i ng  be tween   no rm al,   a nd   adv e ntit iou s   re sp irat ory  s ounds .       2.   RESEA R CH MET HO D     Our  wor k  was   div i ded  into   two  pri ncipal  sta ges   nam el y  (Multi cl ass  cl assifi cat ion   sta ge,   Bi nar y  cl assifi cat ion   sta ge) .  T he  fou r   ste ps   propose d  for  both  sta ge   stud y  nam ely  (d at abase,  pre - proce ssin g,   f eat ur e   extracti on  a nd  cl assifi cat ion )   are  pr ese nted   in  Fi gure  1 ( a )   f or  m ulti c la ss  cl assifi cat ion ,   an d  the   sec ond  sta ge  is   represe nted  i n  Figure  1 (b )  f or  b ina ry cla ssifi cat ion .         (a)       (b)     Figure  1 .  Tw o pr i ncipal sta ge of  the  br eat h  s ounds si gn al  cl assifi cat ion     (a)   m ulti cl ass cla ssific at ion   (b) binary   cl assi f ic at ion       2.1.  D atabase   In   this  pap e r  t he  data base  of   br eat h  s ounds   sign al s  use d  f or   a naly sis  are   the  R.A. L .E  ( Re sp irat io n  Acousti c  Lab or at or y  En vir on m ent)  Lu ng   So un ds ,  is  the  only   com m ercial ly   avail able  database ,   is  an  edu cat io nal  program   to  hel p  do ct or s   a nd  res earche rs  i n  res pirato ry  sig nal s  proce ssin g  a r ea  offe r  m or e  t han  50   br eat h  s ounds   we re  recorde d  us in g  a   co ntact   acce le r om et er  (S ie m e ns - EMT 25C)   cov e rin g  nor m al   and  abno rm al   respi rator y  sou nd s   [ 8 ]   a re  sam pled  at   10, 240Hz.   As   this  da ta base  (R. A.L.E)   has  a   fe w  data,   therefo re  to   e ns ure  t he  c re di bili ty   of   this   com par at ive  st ud y  we   us e d  ano t her  data   wer e   colle ct ed   fro m     the inter net:   -   The A us culta ti on A s sist ant,  2015  [ 9,   10 ]   -   Arnall , 201 5  [ 11 ]   -   The   C D of t he boo k [ 12 ]    In   al l  a  75  brea th  sounds  div i ded   i nto   fi ve  cl asses  (No rm al   bro nch ia l,  Wheez e,  Crackle,  Pleural  r ub,   Strid or)  wer e  us e d  in  our  stud y,  eac h  sou nd   is  an  eff ect   of   par ti cula r  disease  su c h  as  Wh eeze   in dicat e  that    the  patie nt  suf fer in g  f r om   as thm a  and   COPD   (C hro nic  Ob st ru ct ive  Pulm on ary  disea ses),   c rack le   i nd ic at e   pn e um on ia  or l ung  ca nce r.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  4 ,  A ugus t  2020  :    3528   -   3536   3530   2.2.   Br ea th   sounds  p re - proc essing   Breat h  sou nds  sign al s  are  sub j ect   to  seve ral  artefact s  su c h  as  hear t  s ound s  and   noise   w hi ch  si m ulate   real - li fe  co nd i t ion s.  T he  bre at h  so un ds   sign al s  (R. A.L. E)  that  hav e  been   filt ered   by  a  hig h - pa s s  filt er    with  7.5  Hz  by   1s t  order   B utterw or t h  to  r e m ov e  DC  off set ,  and   a  lo w - pass  filt er  at   2.5  Hz  by  8 th   order  Butt erwor t h   [ 13,   14 ]   ,  an d  c oncer ning  the  da ta   wer e  colle c te d  we   ap ply  a  m ean  and   am plit ud e  norm alizat ion   to  re du ce   the  e ff ect   of   hea rt  s ounds.  Finall y,  al l  sa m ples  ar e  dow ns am pled  to  8000  Hz  sam pling   fr e qu ency  accor ding  to  C ORSA   (co m pute rized  res pirat or y  sou nd   a naly sis)  [1 5 ] ,  in  this  stud y,  the  16 - bit  reso luti on   a nd  o ne  r es pirat or y  cyc le  are use d.     2.3.  Empi ri ca l mode  dec om po siti on   The  Em pirical   Mo de  Decom po sit ion   (E MD)  m et ho d  is  a  ne w  a da ptive  si gn al   ti m e - fr e qu e ncy   processi ng   m eth od  pr opos e d  by  NE  H ua ng   in  1998  by  N ASA  an d  ot he rs  [ 16 ] .  It  is  e sp eci al ly   su it able  for  n onli nea rity ,  analy sis  an d  pr ocessin g  of  no n - sta ti onary  si gn al s .  T he  Hil ber t  tra nsfo rm   trans form s  the  well - known  H il be rt - Hu a ng T ransf orm  ( HH T ).   EMD  is  act ually   a  m et ho d  of  de com po sin g  sig nals.  It  is  con sist ent  wit h  the   co re  i de a  of  F ourier   trans form   and  wa velet   tran sform .  Ever y one  wan ts  t o  deco m po se   th e  sig nal  into   a  supe rpositi on  of   ind e pende nt  c om po nen ts,   onl y  the  F ourier   trans f or m   and  the  wavel et   tra ns f or m   it   is  re qu i red  to  ha ve  a  basic   functi on,  but  EMD  c om pletely   abandons  the  co ns trai nt  of   t he  basis  f u nctio n,  an d  only   perf or m s  sign al   deco m po sit io n  based   on  the  tim e  scal e   featur e  of   the  data  it sel f,   and   has  a dap ta bili ty .  Since  no   basis  f un ct ion   is  require d,  E MD  ca n  be  use d  for  al m os t  any  ty pe  of  sig na l  deco m po sit ion,  es pecial ly   for  the   dec om po sit ion  of   n onli nea r,   non - sta ti on a ry  sign al s  [ 17,   18 ] .  T he  pu rpose  of  EMD  is  to  deco m po se  the  sig nal   into     a  super posit ion  of   m ulti ple  intrinsic   m od e  f unct ions  ( IMFs).  I n  ad diti on,  t he   IMF  m us t  s at isfy  the  fo ll owin g  two  c onditi ons (  t he   f unct ion  m us t  hav e  the   sam e  nu m b er  of  local   e xtre m e  po ints   an d  zero  cr os sin gs  within   the  entire   ti m e  range ,  a nd   a t  any  point  in  tim e,  the  env el op e  of  th e  local   m axi m u m   the  envel op e  of     the (u pp e r  e nvel op e )  a nd the  local  m ini m u m   (lo wer en velo pe) m us t be zero  on av e ra ge.     The  EM D  m eth od is   base d o n  the:      The  si gn al   has   at  least  two  e xt rem e p oin ts,  one m axi m u m  an d o ne  m ini m um .     The  c har a ct eris ti c tim e scal e i s d e fine d by th e tim e b et ween t he  tw o  e xtre m e p oin ts .     If   the  data  la cks  ext rem e  po ints  but  has  defor m at ion   po i nt s,  the  extr em e  po i nts  ca n  be  ob ta ine d  by  da ta  diff e re ntiat ion   on ce  or se ve ral tim es, an d t he n  the  d ec om posit ion  r e su lt s a r e obtai ned b y  integ rati on.    The  al gorithm  f lo w  is as  foll ows:   -   I de ntify al l ext rem a o f  x(t )   -   I nter pola te  b et ween m ini m a ( resp. m axi m a),  en ding  up w it h  s om e env e lo pe  em in(t)  ( res p.  em ax( t) )      -   Com pu te  the  m ean m (t)  = (e m in(t)+em ax( t))/2   -   Extract t he deta il  d (t)  =  x(t)  −  m (t)   -   Iterate  on t he r esi du al  m (t)     2.4.   Fe at ure s  e xt r act i on   A  hel pful  featu re  f or   e xpress  a  bio m edical   si gn al   nam ely  Hj ort h  descr i ptors  ( HD)  di vid e d  into  th ree   m ai n  par am et e rs  as  f ollows:   -   Act iv it y :   is  the  m os t  us efu l  pa ram et ers  in  bi ologica l  sign al s,  si m ply  i ts  var ia nce  of  the  sign al   re pr ese nt s  the en e r gy:      =   0 2   (1)     -   Mo bili ty : M ob il it y i s g iven by :      =   1 2 /   0 2   (2)     -   C omplexi ty :   giv es a  co m pu ta ti on al   value  for  the s hap e  of th e sig nal:      = √ ( (   + 1 ) 2 (   ) 2 −   ( ) 2   ( − 1 ) 2 ) 2   (3)     -   Perm uta ti on  E ntropy :  Ba ndt  and   Po m pe  are  in vestigat e d  the  ( PE)  Pe rm utati on   entr op y  to  m easu re    t he  com plexity   of  the  non - li near it y  an d  non - sta ti onary  na ture  in   tim e  series  sig nals  [ 1 9 ] .  t he  S ha nnon   entr op y i s calc ulate d  in  PE  fo r  the  d if fer e nt s ym bo l i n  th e si gn al  a nd ca n b e cal culat ed  as   fo ll ows:      = ∑ = 1 ∗  ( ) /  ( )   (4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &   C om p  En g     IS S N: 20 88 - 8708       ELM  and  K - nn  mach i ne  le arn ing  i n  cl assi fi cation of  Breat h so unds si gnals   ( Z.  Ne il i )   3531   2.4.1.  Statis tical   anal ys is   In  this  st ud y,   a   sta ti sti cal   analy sis  of  m ean  and  sta nda rd  de viati on  was   use d  t o  te st  the   s ign ific a nce   of the acti vity   and PE  f eat ure s.  S D  a nd Mea n  a re e xpresse d resp ect ively   as foll ows:     = √ 1 ∑ ( − ) 2 = 1   (5)     ̅ = ( ∑ ) /   (6)     w he re:     each  valu e  of  t he data set .   M   the total   num ber  o f data   points.     2.5.   Cl as sific ati on   In   this  stu dy,  two  cl assifi er s  wer e  us ed  for  two  cl assifi cat ion   ty pes  (m ulti cl ass  cl assifi c at ion ,  bi nary   cl assifi cat ion ),   o ne   is  the  e xtrem e  le arn ing   m achine  (EL M)  an d   the  ot her   is   a  k - nea r est   neig hbour  (K - N N).   detai le d of  t hes e cla ssifie rs  a r e presente d  in  t his secti on:     2. 5.1.  E xt re m e learnin g  m ac hine   Hu a ng  et   al .  [ 20 ]   propose  a n  al gorithm   fo r  so lvin g  a  sin gle  hid de n  la ye r  n eur al   net wor k  wh ic h  is  a n  extrem e  le arn ing  m achine  (E LM).  T he  bigg est   featu re  of   ELM   is  that  tr aditi on al   neura l  netw orks,  esp eci al ly   con ce r ning  a  s ing le   hidden  l ay er  fee dforwa rd   ne ur al   netw orks  (S LF Ns ),  are  faste r  tha n  tra diti on al   le arn i ng  al gorithm s w hile   gu a ra nteei ng learni ng accu r acy  [ 21 ].   Fo r   a  si ng le   hi dd e n  la ye r  ne ur al   netw ork  s how n  in   Fig ur e  2,  ass um e  that  there  is     an  arb it ra ry   sam ple  ( , )   of  wh i ch [ 22 ]:     = [ , , …   ,  ]   ϵ     ,  = [ , , …   ,  ]   ϵ     (7)     Fo r  a    sing le   hi dd e n  la ye r  n e ural  n et work wit h  a  hidde n  la ye r node,  it  can b e ex pr es sed  as :     ∑ ( = 1 . + ) = , = 1 , … ,   (8)     Am on g  t hem   ( ) , t he  act ivati on fun ct io n, w hich :     = [ , 1 , , 2 , …   , , ]   is  the   in put  w ei gh t   an d    the  ou t pu t   w ei ght,     is  the   offset   of  the   first  hidden   la ye r  unit .    .   Re pr ese ntati on    an d    inn e r pro du c t. .   The  goal   of  a  sing le   hi dden  la y er  neural  ne twork  le ar ning  is  to  m ini m i ze  the  error   of   the  outp ut,   wh ic h  ca n be e xpresse d  as :     ∑ ‖ − ‖ = 0 = 1   (9)     That e xists    ,   and    so t hat      ∑ ( = 1 . + ) = , = 1 , … ,   (10)     Ca n be   e xpress ed  as  a m at rix      =   (11)     Am on g  them   it     is  t he  outp ut  of  the   hidden   la ye r   node,   w hich     is   the   ou t pu t   weig ht  a nd    is     the expect e d o utput.     = ( 1 , … , , 1 , … , , 1 , … , )   (12)     = [ ( 1 . 1 + 1 ) … (   . 1 + ) ⋮ … ⋮ ( 1 . + 1 ) … (   . + ) ] ×   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  4 ,  A ugus t  2020  :    3528   -   3536   3532   = [ 1 ⋮ ] × , = [ 1 ⋮ ] × ,   (13)     In ord e r  t o be a ble to t rain  a  si ng le   hidde n  la ye r  ne ur al   net work,  we h op e  to  get  1 ,    an d    to  m ake :     ‖   ( ̂ , ̂ ) ̂ − ‖ = min , , ‖   ( , ) − ‖   ( 14)     w he re  = , … ,     this is e qu i valent t o  m i nim iz ing  the  lo ss fun ct i on     = ∑ ( ∑ ( = 1 . + ) − ) = 1 2   (15)     So m e  tradit io nal  al gorit hm s   base d  on  t he   gradie nt  desc ent  m et ho d  c a n  be  us e d  t o  so lve   s uch   pro blem s,  bu t  the  ba sic   gradi ent - based  le ar ning  al go rithm   nee ds   t o  a dju s t  al l  par am et ers  duri ng  the  it erati ve  process .  In  the   ELM   al gori th m ,  on ce  th e  in pu t   wei gh t    an d  the  bias  of  th e  hi dd e n  la ye r     are  ra ndom ly   determ ined,   t he   outp ut  m at rix  of  the   hidden   la ye r    is  un i quel y  determ ined.   T he  t rainin g  sing le   hi dd e n  l ay er  neural  netw ork  can be t ran s f orm ed  into a lin ear syst em   =   an d t he ou t pu t  wei gh t    can  be dete rm ined     ̂ =   ϯ   ( 16)     Am on g  them   ϯ is    the   Mo ore - Penrose   ge neral iz ed  in ve rse  of  the   m at rix.   A nd   it   ca n  be   prov e d  that   ̂     the no rm  o f  the  so l ution o btained  is m ini m a l  and  un i qu e  [ 22 ].           Figure  2 .  SLF N: add it ive  hidden  no des       2.5.2.  K - neare st  nei gh b ou r   The  K - Near est   Neig hbors  ( K - N N)   al gorith m   is  a  cl assificati on   al gorith m   and   one  of  the  easi est   to  unde rstan d  m a chine  le a rn i ng   al gorithm s.  In   1968,  it   wa s  pr opos e d  by  Co ve r  an d  Har t  [ 23 ] .  T he  sim ple st   an d  m un dan e   cl ass ifie r  m ay   be  th e  ki nd  of  m e m or a ble  cl assifi e r,   rem e m ber   al l  the  trai ning  da ta ,  f or  the   ne w  data,   it   m a tc hes  the  trai ning  data  di rectl y,  if  there  is  trai nin g  dat a  of   the  sam e  at tribu te ,  use   it   directl y ,  com e   as   a  cl assifi cat ion  of   new   dat a.T he  k - N N  al gori thm   find s  the  k  records   cl os es t  to  the  new   da ta   fr om   the  trai ning  set  and the n de te rm ines the ca te gory of the  new  data b a sed   on their   pri m ar y cl assifi cat ion.   The  al gorithm  involves  thr e e  m ai n  facto rs :   -   The  trai ning se t   -   The dist ance  or sim i la r  m eas ur e . In  t his stu dy a E uclidia n  distance  has be en use d:     ( , ) = ∑ √ 2 − 2 = 1   (17)     -   The  siz e  of  k   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &   C om p  En g     IS S N: 20 88 - 8708       ELM  and  K - nn  mach i ne  le arn ing  i n  cl assi fi cation of  Breat h so unds si gnals   ( Z.  Ne il i )   3533   In   the  vali dation  sta ge ,  the  da ta set   X  is  div ided  into  a  trai ning  set   Y  (tra ining   set )  a nd   a  te st  set  Z   (test   set ),   for  the  case  that  the  sa m ple  siz e  i s  insu f fici ent  s uch   as   in  ou r  stud y,  an d  i n  or der   to  f ull  us e  of   al l   data  set   to   te st  the  al gorithm s  eff ect ,   data bas e  X  is   ra ndom l y  div id ed   into   k  packet s,  on e   of  w hich   is  use d  as     a  te st  set   each  tim e,  and   the  rem a ining   k - 1  pac kets  are  trai ned   as  a  tr ai nin g  set ,  by   us in g  k - f old   cro ss - validat io n  m eth od  [ 2 4 ].       3.   RESU LT S   A ND  DI SCUS S ION   In   t his  w ork  t he  al l  ex per im ents  we re  perf or m ed  by  usi ng  MAT LAB  R201 3b   a nd  on  a   pc   with     a  co nfi gu rati on  of  I ntel  CP U  Co re  i5 ,  4   GB  RAM,  a nd   W in dows  10  op e rati ng  syst em .  In   [2 5 ]   the  auth or s  app ly   Hjor t h  descr i ptors   as  featur e s  a nd   fi nd  that  the   ac ti vity   featur e  i s  the  best  feat ur e  c om par ed   with  m ob il i ty   and   com plexity   as   sh ow n  in  ( 1) ,(2)   a nd   (3) .  Ther e f or e,  i n  our  w ork ,  the   act ivit y  featur e  was   exp l oited  f or  enh a nce d  this   stud y  with  c om bin ed  it   wi th  the  per m utati on   e ntropy  featur e   sho wn  in  ( 4 ),   and  f or m ed  a  featu res  vector s   to  fed   i nt o  tw o  m achin e  le arn i ng   al gorithm s  nam ely  ELM   an d  K - NN ,   to  c om par e   the m   in  the  cl assif ic at ion   of  breat h  s ounds   sig na ls.  T he  EM D  de com po ses  BS   sign al s   into   a  s et   of  IMFs,   Fig ur e   3  s hows   s om e   IMFs   of  t he  norm al   su bject .  T he  featu res  (A ct ivit y  an d  Perm utati on   E ntr op y )   wer e  e xtracte d  from   each  IMF   an d  te ste d  us in g  a   sta ti s ti cal   m easur e  of  ( m ean  an d  st and a r d  de viati on  S D   descr i bed   in  ( 1) a nd (2) )   as   ta bu la te d   in   Tabl e 1 .             (a)       IMF1     ⋮         IMF10     (b)     Figure  3 .   (a )   N or m al  b reath  s ounds  a nd  (b)   t heir   IMF  (1 - 10)     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  4 ,  A ugus t  2020  :    3528   -   3536   3534   Table  1  Stat ist ic al  an al ysi s of  featur e s e xtract ed fr om  b reath  so un ds   Breath  so u n d s   Activ ity   Mean ±  st an d ard d ev iatio n   Per m u tatio n  entro p y   Me an  ±  stan d ar d  dev iatio n   No r m al  bro n ch ial   0 .00 1 3 8 7  ±  0 .00 4 3 8 7   0 .56 4 9 7  ±  0 .20 2 8 1 9   W h eeze   Crackl e   0 .00 5 8 2 9  ±   0 .0 0 0 4 6 8   0 .00 0 6 4 5  ±  0 .00 0 7 6 5   0 .56 7 9 2  ±  0 .20 9 8 8 8   0 .58 6 6 7 9  ±  0 .21 6 7 1 4   Pleu ral  rub   0 .00 2 6 0 8  ±  0 .00 0 5 1 3   0 .56 6 7 5  ±  0 .22 3 9 2 3   Strido r   0 .00 1 5 9 4  ±  0 .00 1 4 7 2   0 .56 3 3 5 2 ±0 .2 1 5 6 4 1       Fr om   T able  1  we  infe rr e d  t hat  there  is  si gn i ficant  disc r i m inati on   in  the  act ivit y  and   PE  f eat ur e s    of   di ff e ren t  cl a sses.  Ca n  be  obser ve d  a  m ea n  an d  SD   are  di ff ere nt  from   e ach  cl ass  in  act ivit y  featur es,  bu t  in   PE  featu res  a   li ttle  diff ere nt   between   cl a sses.  From   thi s,  we  ca n  co m bin e  the m e  to  te st  and   c om par e     the cla ssific at ion acc uracy   of   bo t h K - nn   a nd  ELM  classi fier s.  T hese  featu r es h a ve bee n  f or m ed  as  fo ll ows:     Feat ur es  =  [A c ti vity , P E] .     In   or der   to  ve r ify   the  reli ability   of   the  ou tc om e  of   the  cl a ssifie rs,   the   k - fo l d  cro s s - validat ion   was   us e d.   Fig ur e  4  sh ows  how  the   te n - f old   w ork s.  Af te r  se ve ra l  te sts  to  choos e  the  k  value,   we  fou nd  that  k=10     is prom ise d  val ue,   t her e fore   it   has bee n used i n  this  stu dy.           Figure  4 .   K - f ol d  c ro ss - validat ion m et ho ds       In   the  li te rat ur e  rev ie w  m any  researc he rs  base d  on   act ivit y  or   en tro py  featur e s   extracti on,  nev e rtheless ,  this  stud y  has  c om bin ed  both  act ivit ie s  and   PE  featur e s  for  obser ved   the   abili ty  of   bo t h  ELM   and   K - nn   to  cl assify   diff e r ent   BS  sig nals.   I n  Table  2  the  cl assifi cat ion   sta ge  is  descr i bed,  an d  giv e     the  cl assifi cat ion  pe rfo rm ance  of  feat ur es   ( Acti vity ,  PE)  e xtracted   f ro m   I MFs  us i ng  EL M  with  RB F   Kernel ,   Po ly nom ial  Ker nel  a nd   K - nn   with   d ist a nce  e uclidia n  wh ic h  is   desc r ibed   in   e qu at i on   ( 17 ) ,  a nd   1  to  10  nu m ber   of n ei g hbours .        Table  2 .   Cl assi ficat ion   pe rform ance of (Acti vity , P E)  fro m  I MFs  of BS si gnal s    i n  m ulti cl ass cl assifi cat ion  sta ge   Clas sif ier   K - Fo ld   K neig h b o u rs   Kernel   Av erage accur acy ( %)   EL M  ( A ctiv ity ,  PE )   EL M  ( A ctiv ity ,  PE )   10   10   /   /   RBF   Po ly n o m ial   8 3 .57   7 7 .86   K - n n  ( Activ it y ,  PE )   10   1   /   8 6 .42   K - n n  ( Activ it y ,  PE )   10   2   /   8 0 .71   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   10   10   10   10   10   10   10   10   3   4   5   6   7   8   9   10   /   /   /   /   /   /   /   /   8 2 .14   8 0 .00   8 2 .14   8 0 .00   8 1 .42   8 2 .14   8 1 .00   7 7 .14       As  sho wn   in  Tables  2,   T he   ELM   with  RB F  Kernel  an d  K - nn   with  1  neighb our   ga ve  the  highe r  cl assifi cat ion   a ccur acy   of   83. 57%  an d  86.42%  re sp ect ivel y .  The   ELM   by   RB F  kernel  is  bette r  tha n  ELM   with  Po ly nom ia l  ker nel  in  m ul ti cl ass  cl a ssific at ion   cas e,  a nd   k - nn   by   1  neig hbour   is  bette r  than  rest  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &   C om p  En g     IS S N: 20 88 - 8708       ELM  and  K - nn  mach i ne  le arn ing  i n  cl assi fi cation of  Breat h so unds si gnals   ( Z.  Ne il i )   3535   neig hbours .  W e  can  say   t hat  the  abili ty   of   t he  K - nn   is  hi gher  t han  ELM   in  the  cl assi ficat ion   of   t he  Breat h  so un ds   sig nals   into  seve ral  cl asses  (Nor m al  bron c hial,  Wh eeze ,  Crac kle ,  Pleural  r ub,  Strid or).   W e  c an  be   s een  in  Ta ble  3,   the  acc uracy   found  from   k - nn   is  95%  by  6 - 8 - 10  neig hbours  a nd  f ro m   ELM   with  P olyno m ia l   Kernel   is  90. 71%  be tt er  than   RB F  kernel  in  bi nar y  cl assi ficat ion   case .   Howe ver,  acco rd i ng   t o  these  resu lt s ,   we  can  say   th at ,  this  com par at ive  stud y  s hows  t hat  the  c apab il it y  of   th e  k - nn   cl assi fier  is  higher  c om par ed   with  that   of  t he  ELM   cl ass ifie r  in   the  cl assifi cat io n  of   breat h  sou nds  si gnal s  f r om   our   te st  co nd it ion s.   The   abili ty   of   the  k - nn   is  higher  tha n  ELM   in  the  cl assifi cat ion   of  the  br eat h  sounds  si gn al s  int o  bi na ry  and  m ul ti cl ass cla s sific at ion  case s .        Table  3 .   Cl assi ficat ion   pe rform ance of (Acti vity , P E)  fro m  I MFs  of BS si gnal s in  b i nar y c la ssific at ion  st age   Clas sif ier   K - Fo ld   K neig h b o u rs   Kernel   Av erage accur acy   (%)   EL M  ( A ctiv ity ,  PE )   EL M  ( A ctiv ity ,  PE )   10   10   /   /   RBF   Po ly n o m ial   8 9 .29   9 0 .71   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   K - nn   (Activit y ,  PE )   10   10   10   10   10   10   10   10   10   10   1   2   3   4   5   6   7   8   9   10   /   /   /   /   /   /   /   /   /   /   93. 57   9 2 .14   9 4 .29   9 2 .86   9 4 .28   9 5 .00   9 4 .29   9 5 .00   9 3 .00   9 5 .00       4.   CONCL US I O N     In   t his  stu dy,  t he  perform ance  of  the  ELM   an d  K - nn  cl assifi ers  wer e   c om par ed  us in g  the  Hjort h  descr i ptors  ( A ct ivit y)  and   Pe rm utati on   Entr op y  (P E )  feat ures  in  disti ngui sh in g  betwee n  br eat h  s ounds  sign al s   with  c om bin at ion   the se  fe at ur es  ( Acti vity ,  PE).  T he   featu res  e xt racted  wer e   analy zed  sta ti sti cal l y    by  cal culat ing  a  m ean  and   sta nd ar d  de vi at ion   to  ob s e rv e  the  di ff e r ence  betwee n  the m   fo r  each  cl ass    (Nor m al   bronchial ,  Wh eeze ,  Crac kle,  Pleural  rub,  Stri dor).  T he  cl a ssific at ion   acc ur acy   i n  m ulti cl ass   cl assifi cat ion   case  of  the  E LM  an d  k - nn   cl assifi ers  is  83.57%  a nd  86. 42%  res pect ively ,  an d  in  bin a ry   cl assifi cat ion   c ase,  the  acc ur a cy   is  90 . 71 %  ,   95%  res pecti ve ly .  These  s how  that  the  a bili ty   of   k - nn   i n  our  te s t   conditi ons  (d a ta base,  m et ho ds   of  analy ses  the  br eat h  sign al s ,  and   fea tures  us e d)  is  higher  tha n   th e  ELM   cl assifi er  in  m ulti cl ass  and   bi nar y  cl assifi ca ti on .  In   f utu re  work,  the  EMD  m et ho ds   will   be  com par ed   wit h  ano t her m et ho d for  furthe r  a na ly sis of   br eat h so unds si gnal s  u si ng a lar ge d at abase.       REFERE NCE S     [1]   H.   Kita oka ,   and   R.   T aka ki ,   B.   Suki ,  “ A  thr ee - d imensional   m odel   of  th e  hum an   ai rwa y   t ree,”   J ournal  of  Applie d  Phy siolog y ,   Dec .   1999.   [2]   Md.A.  Islam,  et   al . ,   “ Multi cha nn el   lung  sound  ana l y s is  for  asthma  det e ct ion , ”  Co mputer  Me thods  and  Programs  i n   Bi omedi ci ne ,   vo l .   159 ,   pp .   111 – 1 23,   Jun.   2018.     [3]   A.  Mond al ,   e t  al . ,   “ A  Novel  Feat ure   Ext r acti on  Techni que   f or  Pulm onar y   Sound  Anal y s is  Based  on  EMD,”  Computer  Me tho ds and  Program s in  B iomedicine ,   vol .   159 ,   pp .   19 9 - 209,   Jun.   2018 .   [4]   A.  Riz a l,   R .   Hid a y at   and  H. A.  N ugroho,   “ Pulm o nar y   crackle  fe ature  ext r action  us ing   tsal l is  ent rop y   for  aut om at i c   lung  sound c la ss ifi c at ion , ”   2016  1st I nte rnationa l   Confe renc e  on  Bi omedi cal   Eng i nee ring ( IBI OMED) ,  Yogy aka r t a,   pp.   1 - 4 ,   2016 .   [5]   F.   Panca ld i,   et   al . ,   “ Anal y sis  o f  pulmonar y   sounds   for  the   di agnosis  of  int e r stit ial  lung  d ise ase s  sec ondar y   to   rhe um at oid art hr it is, ”  Computers  in  B iol ogy   and  Me dicine ,   vol .   9 6,   pp .   91 - 97 ,   Ma y   2018.   [6]   A.   Chee m a,   et   al . ,   “ An a ppli catio n  of  phonoca rdi ogra ph y   sign al s for  psy chol ogi cal  stress de te ction   using non - li nea r   ent rop y - base d   f ea tur es  in  empir ic a l  m od e  dec o m positi on  dom ai n, ”  In   Applied  Soft   Computing  Journal ,   vol .   77 ,     pp.   24 - 33 ,   Apr.   2019.   [7]   R.   Pala n ia ppan ,   et   al . ,   “ Pulm onar y   Acousti c  Sign al   Cla ss ifica ti on  using  Autore gre ss ive   Coeff icients   and  k - Nea rest   Neighbor , ”   Ad va nce d  Manu factu ring R ese arch   a nd  Intelli g ent A p pli cations ,   vo l .   5 91,   pp .   211 - 214 ,   Jul.   2014 .   [8]   H.  Pasterka m p,   et   al . ,   “ State  of  the   ar t  adv anc es   be y ond   the   st ethos cope , ”  Ame ri can  J ournal  R espiratory  Criti ca l   Care  Me di ci n e ,  vol .   156 ,   pp .   974 - 987,   1997 .   [9]   The   A uscul ta t io n  As sistant ,   “ Bre at h  Sounds , ”   20 15.     [10]   A.  Riz a l,   R .   Hi da y at   and  H.  A.   Nugroho,  “ Ent r op y   m ea surem e nt  as  feature s  e xtra c ti on  in  aut o m at ic   lung  soun d  cl assifi ca t ion,”   Inte rnational   C onfe renc e  on  Control,   Elec tronic s,  R ene wab le   En ergy   and   Comm unic ati o ns   ( ICCRE C) ,  Yog y ak arta,  pp.   93 - 9 7,   2017 .   [11]   D.   Arnal l ,   “ Pul m onar y   br eath  s ounds, ”   2015 .   [12]   R.   W il kins ,   e t  a l . ,   “ Lung  Sounds :  A Prac t ical  Gu i de  with   Audio  C D . 2nd  Ed, ”   Mos by ,   Feb .   1996 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  4 ,  A ugus t  2020  :    3528   -   3536   3536   [13]   D.   Bardou,   et   a l . ,   “ Lung  sounds   cl assific a ti on  using  convol utional  neur a l  ne t works , ”  Arti fici al  int ellige n ce   i n  medic in e ,   v ol .   8 8,   p p .   58 - 69 ,   20 18.   [14]   R.   Pala ni appa n ,   et   al . ,   “ A  compara ti v e  stud y   of  t he  svm   and  k - nn   m ac hine   learni n g  al gorit hm s  for  the   dia gnosis  of   respir at or y   pa tho logi es  using   pul m onar y   ac ousti c   signal s, ”  BMC bioi nfo rm ati cs ,   vol .   15 ,   p p .   223 ,   2014.   [15]   A.   S ovij ärv i ,  et  al . ,   “ Standardi za t ion  of  computer i ze d  respir a t or y   sound  anal y sis, ”  Crit   Care  Me d . ,   v ol .   15 6,     pp.   974 - 987 ,   19 97.   [16]   I.   Branc h ,   et   al . ,   “ The   empirical   m ode  dec om po siti on  and  the   H il ber t  spe ct rum   for  nonli nea r  a n d  non - sta ti onar y  ti m e  seri es  an alys is,”   Proc ee d ing   of the   Roy a l  So c ie t y  Math ematic al,   Phy si cal   and   Engi ne ering  Sc i enc es ,   1998.   [17]   G.   Ril li ng,   e t  a l . ,   “ On E m piri cal M ode  Dec om positi on  an d  i ts Al gorit hm s,”   2003 .   [18]   A,  Mondal,   et   al . ,   “ A  Enha nc ement  of  lung  soun ds   base d  on  empirical   m ode  de co m positi on  and  Fourier  tr ansform   al gorit hm , ”  Com pute r met hods a nd  progr ams   in  biomedi c ine ,   vol .   139 ,   pp .   119 - 1 36,   2017 .   [19]   C.   Bandt ,   and  B.   Po m pe,   “ Perm u ta ti on  En trop y :  A  Natur al   Com p le xity   Mea sur e  for  Ti m e  Serie s,”   Phy sical   Revi e w   Lett ers ,   vo l .   88,   pp.   17 - 29 ,   Ap r.  2002.   [20]   G.   Bin - Huang,   e t  al . ,   “ Ext r em L ea rning  Mac hin e: T heor y   an d  applications, ”  Neuro computi ng,   vol .   70,   pp.   489 - 501 ,   Dec .   2006.   [21]   G.   Bin - Huang,   et   al . ,   “ Ext r eme  le arn ing  m a chines :  a  surve y , ”   Inte rnational   J ournal  of  Mac h ine   Learning  an d   Cybe rnet ic s ,  vol .   2,   pp.   107 – 122,   Jun.   2011.   [22]   S.   Liao  and  C.   Feng,   “ Met a - E LM:  E LM  with   EL M  h idde n   nodes, ”  N euroc omputing ,  vo l .   128,   pp.   81 - 87,     Mar.   2014 .   [23]   C over ,   T.   M,  et  a l . ,   “ Nea rest  nei ghbor  pat t ern   cl assifi ca t ion,”  IEE E  transacti on s  on  inf orm ati o n  the ory ,   v ol .   13 ,    no.   1 ,   pp .   21 - 27 ,   1967.   [24]   T.   Andersen  and   T.   Marti ne z,   “ Cross   val ida ti on  a nd  MLP  arc hit ecture   select ion , ”  I n  IJCNN'99.   Inte rnational   Joi n t  Confe renc e  on   N eural  Ne tworks.   Proce ed ings ,  vo l .   3 ,   pp .   1614 - 16 19,   1999 ,   [25]   A.   Riz al,  et   al . ,   “ Lung  Sound   Cla ss ifi c at ion  Us ing  Empiric al   Mode  Dec om po siti on  and  the   Hjorth  Descri ptor , ”   Ame rican Journal  of   Applied   Scienc es ,  vol .   14 ,   p p.   166 - 173 ,   Jan .   2017.       BIOGR AP H I ES   OF  A UTH ORS        Neil i   Z akaria   rec ei v ed  his  m aster  degr e e  in  m ulti m edi a  and  d igi t a l  comm unic at ion s  from   Badj i  Mokhtar  Annaba   Univer sit y   in   2017.   Since   2 018  he  has  joi n ed  the   Autom atic  and  Signa ls   La bora tor y   of  A nnaba   Unive rsit y ,   His  rese ar ch  i nte rests  ar e  in   bi om edi ca l   sign al   proc essing  and   biomedic a l appl i ca t ions.                 Mohame d  Fe z a ri   is  a  profe ss or   in  el e ct roni cs  a nd  computer   archit e ct ure   at   th e  Univer sit y   of  Badj i  Mokht ar  Annaba ,   Alg eria .   He  go t  a   Bac h el or  d egr ee  in  e le c tri c al   engi n eering  from   the  Univer sit y   of   Oran,   1983 .   H e  g ot  an   MS c  degr ee   in  computer   scie nc e  from   th e  Univer si t y   of  Cal ifornia  River side,   1987.   He  h olds  a  PhD   degr ee   in  e lectr oni cs  from   the   Univer sit y   of  B adj i   Mokhtar  Annab a,   2006 .   His  res ea rch   intere sts  i ncl ude  sp ee ch   p roc essing,   DS P,  m ic roc ont rol le r ,  m ic roproc essor, robotic s  and  hu m an - m ac hine   intera c ti on,   and   reh abi litation.         Ab delghan i  Re djati   was  born  in  Annaba ,   Al ger ia,  in  1966 .   He  rec e ive d  M. Sc.   degr e e  in   El e ct roni c  (State  Engi ne er  in  El e ct roni cs  (June  1995  –   Badj i   Mokhtar  Annaba   Unive rsit y ),  Alger ia,  Magist er  degr e e  in  Ind ustria l  Contro l  i n  2005  and  PhD   degr ee s  in  Si gnal   Proce ss ing   from   Badj i - Mokhtar  Univ ersity ,   Annaba   Alger ia,   in  2009.   Curre ntly ,   h e  is  As sis ta nt  Prof essor  and  Hea d  of  El e ct roni c  Depa rtment  at   Badji -   Mokhtar  Univer sit y ,   Annab a  Alger ia .   His  cur ren t   rese arc h   intere s ts  inc lud e  Spe ec h  pro ce ss ing   and  embedd e d  s y stems ,   Inf orm at ion  and  Com m unic at ion Te chno log y ,   ele ct roni c  design   c i rcu it s.     Evaluation Warning : The document was created with Spire.PDF for Python.