Indonesi an  Journa of El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   12 ,  No.   3 Decem ber   201 8 , p p.   984 ~ 9 9 4   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v1 2 .i 3 .pp 984 - 994     984       Journ al h om e page http: // ia es core.c om/j ourn als/i nd ex. ph p/ij eecs   Compari son of Mu ltiscale E ntrop y Techniq ues for L un g Sound  Classific atio n       Achm ad   Riz al 1 Ris an uri  Hida yat 2 Hanu ng   Ad Nugr oho 3   1 ,2,3 Depa rt m ent o Elec tr ical Engi nee ring   &   Infor m at ion  T ec hnolo g y ,   Univer sita s Gad j ah  Mada Jl   Graf ika   no   2,   Mlati,   Sleman,   D . I .   Yo g y ak arta,   Indone sia   1 School  of El ec t ric a Eng ineeri n g,   T el kom   Unive rsit y   Jl T e le kom unikas no  1,   T ers.   Bu ah  Ba tu, Boj ong  Soang,   Bandung ,   Indone si a       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   A pr   27 , 201 8   Re vised  A ug   24 , 2 018   Accepte Oct   8 , 2 018       Lung  sound  is  a   biol ogi cal  sign al   tha t   c an  b u sed  to  d eterm ine   th h ea l th   le ve of  th res pira tor y   tract.  Vari ous  digital  signal   proc essing  te chn iques   have   bee dev eloped  for  aut om at ic   class ifi c at ion   of  lung  sounds .   Ent rop y   i s   one  of  the  par a m et ers  used  to  m ea sure  the   b io m edi ca sign al   complexit y .   Multi sca l ent ro p y   is  int rodu ced  to  m ea sure   th en trop y   of  signal   a a   par ticula sca le   r ange .   Over  ti m e,  var ious  m ult isca le   ent rop y   t ec h nique have  bee proposed  t m ea sure  the   complexi t y   of  b iol ogical  s ign al s   and  other   ph y sic al   signa ls.   In  thi pape r,   som m ult isca le   ent rop y   techniq ues  for  lung  sound  cl assifica ti on  ar compar ed.   Th resul o the   compari so indi c at es  tha the   Mult isca l Perm uta t io Ent rop y   (M PE)  produc es  t he  highe st   ac cur acy   of   97. 9 8%  fo five   lung   sound  dat ase ts.  The   resul was  a chi ev ed  for   the   sca l 1 - 10  produc ing  te fe atures  for  ea ch  lu ng  sound  dat a.   T his  result   is   bet t er  tha other  seve ent ropies .   Multi sca l en trop y   an aly sis  c an  improve  the   a cc ur acy   of   l ung  sound  cl assi fic a ti on  with ou req uiri ng  an y   fe at ure oth er   tha ent rop y .   Ke yw or ds:   Mult isc al e entr op y   Lu ng  sou nd   Coarse - grai ne d p ro ce dure   Mult il ay er  perce ptr on   Copyright   ©   201 Instit ut o f Ad vanc ed   Engi n ee r ing  and  S cienc e .     Al l   rights re serv ed.   Corres pond in Aut h or :   Ach m ad  Ri zal ,   Dep a rtm ent o f El ect rical  En gi n eeri ng & In f orm ation  Tec hn ology ,   Un i ver sit as  Ga dj a Ma da ,   Jl Gr a fika  no 2 , Mla ti , S le m a n,   D.I. Y og ya ka rta,   I ndonesi a .   Em a il rizal .s3 te 14@m ai l.ug m .ac.id       1.   INTROD U CTION   Lu ng  s ound is o ne of  t he  bi olo gical  sig nals that e m erg e fr om  the r espirati on   process . An y chan ges i it   are  ge ner at e f r om   fo reig bodies  or  phy siolo gical   cha nges  in   the  res pi rator tract   ca us e by  diseas es  [ 1] Diff e re nces  in  patte rn of   l ung  sou nd ca be   heard  by  doct or  us i ng   s te tho sc op t di agnos diseas es  [2 ] Au sc ultat ion   t echn i qu e on  the  oth e ha nd,   is  ver su bjec ti ve  fo bein dep e ndent  up on  existi ng  ex pe rience  and ex pe rtise  of the  docto r.   Var i ou te c hniqu e f or   a naly zi ng   l ung  s ounds  us in c om pu te rs  ha ve  bee de vel op e d.   S om of   these   te chn iq u es  i nc lud ti m e - dom ai analy sis  te chn i qu es su c as  sta ti sti cal   analy sis   base on  Hjort   descr i ptor  [ 3] ,   em pirical   m od e   dec om po s it ion   (EM D)  [4 ] or  f ractal   analy sis  [ 5].   Seve ral  re se arch e rs  pro po se t pe rfor m   lun s ound  analy sis  in  the  f reque ncy  do m ai n,   suc as  quantil ve c tor  fr e qu e ncy  [ 6]  or  MFC C [7 ] . Me anwhil e,  wav el et  an al ysi s h as   been u sed  in [8 ]  f or cla ssifyi ng a bnorm al  lun s o un ds .   On of   the  popu la bio l og ic al   sign al   analy sis  m et ho ds   is  m ulti scal e   entropy  (MSE) pro posed  by   Costa  et   al with  c oa rse - grai ne proce dure  for  m ulti scal process   an sam ple  entr op for  e ntr op y   m easur em ent  [9 ] Subse quent ly sever al   va riants  of  MSE  e m erg su c as   ref ine d - M SE ,   com po sit e - MSE  or   adap ti ve  MS (A ME [ 10 ] Othe resea rchers  m od ifie their  ent ropy  m easur em ent  te chn i qu e s,  w hich   resu lt   in  m ulti scal e   per m utati on   entr op (MPE [11],  m ult isc al app r oxim at entropy  (MAp E N)   [12],  and  m ul ti scal fu zzy   entropy  [13 ] In   the  case  of   lu ng  sounds m ulti scal en tro py  has  bee us ed  to  an al yz the  Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       Compari son  of  Mu lt isc ale E nt ro py  Tec hniq ue s for Lu ng  Sound  Cl as sif ic ation   ( Ac hma R izal )   985   lung  sou nd of  pu lm on ary  al veo l it is  patie nt s   [14].  The  re s ults  ind ic at ed  t hat  MSE  pro duces  m or consi ste nt   featur e com par ed  to  the  s pe ct ral  m et ho d.   Si m il ar  to  bio log ic al   sig nal  analy sis,  wav el et   entropy  is  us ed  f or   trans form er  design   [ 15] wh i le   fau lt   diagnosis  was  anal yz ed  us in sa m pl e   entropy  [16]  and   a ppr ox im at e   entr op [17].   The  perform ance  com par iso of   m ulti scal e ntr op f or  va ri ou s   entr opy  m easur em ent  te chn i qu e has   nev e previ ous ly   been   done.   I this  stu dy,  we  com par ed  the  us of  m ult isc al entro py  for  var i ous  ent ropy  m easur em en t echn i qu e f or  lung  s ound  cl as sific at ion Entr op m easur em ent  m et ho in   this  stu dy  incl ude Sh a nnon  e ntr opy  [ 18] s pectral  ent ropy  [18],  Re nyi  e nt ropy  [ 19] wa velet   entr opy  [ 20 ] ,   ap pro xim at   entr op [21],  s a m ple  entr op [22],  per m utatio ent ropy  [ 23 ] a nd  Tsal li e ntr op [24].  T ho s e ig hth   ent ropies   m easur em ents  are  re prese ntati on   of   t wo  ty pes  entr op m easur em ent  te chn iq ues:  sp ect ral  e ntropy  an e m bed di ng   e nt ropy Em bed di ng   e ntr op wa cal culat ed  directl fr om   the   sign al   in  the  tim do m ai n,   and   th e   sp e ct ral  e ntr opy  was  cal culat ed  f r om   the  sign al   am plit ud e   in  the  fr e que ncy  dom ai n.   By   this  resear ch,   we   ob ta ine t he  be st  m ulti scal entr op te ch ni qu e f or   a ut om at ic   lun s ound  cl assifi cat ion .   Ne xt,  we   co uld   reco m m end   the  best  m e tho fo a uto m at ic  lun s ound  a naly sis.  From   our  ex pe rim en t,  MPE  produc ed  th e   highest ac c ur a cy  a m on g t hos e eigh t e ntr opie s.   This  pa per   is  orga nized  as  f ol lows Sect ion   ex plains  the  exp e rim ental   m et ho d,   t he  lu ng   s ound  data   us e in  this  st udy,  ent ropy  m e asur em ent  m e t hods   a nd  m ultiscale   entr op t echn i qu e s.  Me anwhil e,  the  re su lt s   and analy sis  of the test  r e su lt s  d esc ribe in  S ect ion   3.   Sect ion 4  contai ns t he  c on cl us io ns o this  pa per.       2.   MA TE RIA L   AND  METH OD S   Figure  pr ese nts  the  m et ho in  this  pa per.  We  her us e f ive  cl asses  of   l ung  s oun data   as  the  i nput   data.  Me a nwhi le in  t he  cl ass ific at ion   sta ge,  we   us e m ult il ay er  per ce ptr on  an thre e - f old   cr os s - valid at ion The follo wing  su bse ct ions e xpla in the  dat a,  entr op y m easur em ent, an d cl assifi cat ion  m eth od i n detai l.           Figure  1. Bl oc k diag ram  o m ulti scal e entr opy i this  pa per       2 . 1.      Lun g so und da ta   The  l ung  s ounds  wer e   gat hered  from   sever a sources   on  t he   inter net  [ 25,  26 ]   a nd  CD   co m pan ion   of   te xtb oo [ 27 ] All  the  data  w ere  co nv e rted  i the  f or m   of   wav file with  sam pling   fr eq ue ncy  of   8000   Hz.  Fu rt her m or e,  the  data we re  c ut into  one  res pirato ry cy cl e.     Table  pr ese nt the  detai of   lung  sou nd   dat a.  So m of   the   data  have  bee us e in  pr e vious  stu dy  [3 ] N or m al   br onc hial  is  kind  of  norm al   lung  s ound  with  a e xp i ra tory  durati on  rel at ively   long er  that  insp irat io ph a se.  It  has  l oud  and   high - pitch  sou nd   with  pau se  betwe en  ins pirati on  and   e xpirat io [28].   Crackle i s a n onm us ic al  an exp l os ive s ound  that has  a sh or t du rati on. Cra ckle sound in dicat es secreti on   as in   chro nic  bro nc hiti (co a rse  c rack le )   or  no t   correla te wi th  secreti on  a in  c ongestiv hear fail ur e   (f i ne   crackle)   [ 28] Asth m is  di sease  that  pr oduce wh eez ing   s ound  t hat  has  a   co ntin uous  patte r n,  m us ic al   so un a nd   do m inant  fr e quen cy   m or than  400  Hz  [29].  F r ic ti on   r ub   or   pl eur al   r ub  is  ass ociat ed  wit pl eur al   inflam m at ion   or   pleu ral  tum or that  pr oduce  nonm us ic al exp l os ive   and   us ua ll biphasic   sou nd  [ 28 ] So m et i m es,  it   do e not  nee ste tho sc op e   to  li ste to  the  stridor,  or i gin a ti ng   f ro m   the  la ryn or  trac he an hav i ng a  do m inant  fr e quency  > 10 00 H z  [8] .         Table  1.  L un g soun d data   Data c lass   Nu m b e o f  data   No r m al  bro n ch ial   22   Crackl e   21   Asth m a   18   Friction  r u b   18   Strido r   20       On the  data, t he  nor m al iz ation   process  is car ried o ut as in ( 1) an d (2).     Evaluation Warning : The document was created with Spire.PDF for Python.
           IS S N :   25 02 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   12 , N o.   3 Dece m ber  2 01 984     994   986   ( ) = ( ) 1 ( ) = 1   (1)     ( ) = ( ) 1  ( ) 2  1   wi t h   μ = 1 ( ) = 1   (2)     wh e re  x( n)   is  t he  in pu sig nal is  the  le ngt of  the  in put  s ign al a nd   μ  re fer to  t he  m ea of  the  in put  s ign al Be cause in  (1)  m ean (μ)   has  bee m ade as  ze ro, s ( 2) ca n b e re wr it te as  (3).     ( ) = ( ) 1  ( ) 2  1     (3 )     The  res ult  fr om   (3 is  the  m ean  of   si gn al   ( μ)   an sta nd a r dev ia ti on  (σ)   1.  The  value  of  σ  would be  used   in the calc ulati on of sa m ple en tr op y a nd a pproxim at e entropy.   Figure  sho w an   exam ple  of  norm al   bro nch ia a nd  it s   lung   sou nd  s pectr um   fr eq ue ncy,  wh il e   Figure  disp la ys  the  crackle  so un exam ple.  Fr om   Figu re  an Fig ur 3,  we  can  see  the   diff e ren ce  between  the  two  ty pes  of   si g nals  in  t he  tim do m ain   an the  fr e quency  do m ai n.   This  is  to  be   disti nguish e us in m ul ti scal e entro py  both  sp ect ral entr opy an d em bed ded ent ropy.           Figure  2. N orm al  lun g so un a nd the  sp ect ru m           Figure  3. Crac k le  lu ng s ound  and the  sp ect r um       2.2 .      M ultisc al e pro cess   Mult isc al entro py  wa us e to  view  t he  physi ology  sign al entropy  at   va rio us   scal es  [9] W use the co a rse - grai ned pr ocedur e   for  the  m ulti sc al e p r ocess  as i n (4).     ( ) = 1  = ( 1 ) + 1   , 1   (4 )     wh e re   x(i )   is  t he  i nput  sig nal,  τ   is  scal e   a nd  y j ( τ )   is  sig nal   in   s cal τ.   I ge ne ral,  t he  si gnal   y j ( τ )   is  the   outp ut  sign al   on  a   sc al τ  as  t he  a ve rag e   of  a   num ber   τ  of  t he  input   sig nal  x(i ).   In it ia ll y,  this  m et ho was   us e i conj un ct io w it sam ple  of   e ntr opy  to   it entr op c al culat ion [9] I this  pa pe r,   the   coa rse - gr ai ned   proce dure  was use to gethe r wit the  foll ow ing  e ntr opy m e asur em ent to e xtract the  f eat ures  of lu ng sou n ds.       Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       Compari son  of  Mu lt isc ale E nt ro py  Tec hniq ue s for Lu ng  Sound  Cl as sif ic ation   ( Ac hma R izal )   987   2.3 .      En tropy   measure ment   In   t his  pa pe r,   we  us ed   ei ght  entr op m easur em ent  m et ho ds  to  be  com bine with  the  c oa rse - gr ai ne proce dure. Thi s secti on expla ins e ac e ntrop m easur em ent m e tho d.     2.3.1 .   Sh an n on Entr opy   Sh a nnon  ent ropy  (ShE N)   is  sign al   c om p le xity   m et ric.  Sh E s hows  i nfor m at ion   co ntain  in  t he   sign al  as  exp re ssed  i n (5).      = = 1  2       (5 )     wh e re  pi   is  distrib ution p roba bili ty  o sig nal,  and  i   is a  level  of the  sig nal.     2.3.2 .   Spec tra l  Entr opy   Sp ect ral e ntr op y (SE N)  is  S hE m easur em ent in th fr e que nc y do m ai as e xpresse as  (6).      = = 0  2 ( 1 )   (6 )     wh e re  P f   is  the  power   de ns it of   fr e qu e ncy   band,   an f i   and   f h   are  the  fr e qu e ncy  lim i of   the  sign al .   The  powe r of  t he  si gn al   was  nor m al iz ed  so t hat  ∑p n   1.     2.3.3 .   Ren yi E nt r op y   Re nyi entr op (REN is t he   ge ner al   form  o f ShE N [19] . Ma them a ti cal l y REN  is e xpres se as  (7).     = 1 1  2 ( = 1 ) q ≠ 1   (7 )     wh e re  =  ord e r of  Re nyi entr op y.  Prac ti cal l y, REN is  d e fined f or or der   q = 2 .     2.3.4 .   Wavel et  Entr opy   Wav el et   Ent ropy  ( W E )   is  cal culat ed  f ro m   the  energy  of   eac sub - ba nd   i the  wa velet   tran sform at ion   resu lt [20].  W E is ex presse d as ( 8).      =  < 0   (8 )     wh e re  pi   is t he   relat ive w a vele t ener gy  ob ta in ed fr om  ( 9) .     =     (9 )     wh e re  Ei  is  the  energy  for  i - th  reso l utio n,   and   Et  is  the  total   energy.  T he  ad va ntages  of   WE  that  it   is  no influ e nce by  no ise W det ect so m e   s m a ll   chan ges  in  non - sta ti on a ry  sign al an doe no de pe nd   on  any   par am et ers  [20 ] . I n t his  pa per ,  w us e d D b2  as m ot her  w a ve le t and   dec ompo sit io le vel  = 7 ,  as i [ 30] .     2.3.5 .   Appro xi mat e  Entr opy   Appro xim at entr op (ApE n)  is  si gn al   com plexity   pa ram et er  by  m easur in t he   num ber   of   occurre nces   of  sig nal  patte r al ong  t he  si gn al   [ 21 ] .   I f   the   s equ e nce   of  the   sign al   al o ng  { ( ) : , 1 }   is give n     to  for m  a   vector     unti + 1   as in  (10 ).     X i m = { u ( i ) , u ( i + 1 ) , , u ( i + m 1 ) } , for   i = 1 , , N m + 1   (1 0 )     wh e re    is  the  l eng t of   wind ow  wh ic woul be  c om par ed .   F or   eac + 1 the   def i ne d   ( )   is   ( + 1 ) 1   m ult ipli ed  by  a num ber  of th e the     in    from   By  d efi ning  (11)     m ( r ) = ( N m + 1 ) 1 ln C i m ( r ) N m + 1 i = 1   (1 1 )     wh e re     is nat ural  log a rithm .   Pincus  def ine A pE as i n (12)   [ 21 ] .     ApEn ( m , r ) = li m N [ Φ m ( r ) Φ m + 1 ( r ) ]     (1 2 )   Evaluation Warning : The document was created with Spire.PDF for Python.
           IS S N :   25 02 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   12 , N o.   3 Dece m ber  2 01 984     994   988   ApEn   was  esti m at ed  us in st at ist ic  as   (13).     ApEn ( m , r , N ) = Φ m ( r ) Φ m + 1 ( r )     (1 3 )     Com m on ly  A pE n was calc ula te usi ng m  = 2  a nd r =  0.2   ×   st and a r d dev ia ti on.     2.3.6 .   Sampl Entropy   Sam ple  entro py   (S a m pEn w as  propose by   R ic h m an  and   Moorm an  to  ov erc om the   weakness  of  ApEn  [ 22 ] I ApEn bias   is  pr ese nt  by  sel f - m at ches .   Sam pE is  m easur of  the   pro ba bili ty   of   row  of   m   data  that  w ould  be   the  sam as  oth e in  a   s eries  of  the  si gnal   with  t ole ran ce  of  r,  w hi ch  w ould  rem a i the  sam e if the r ow  of  m  d at a is  increase to  m +1.  Mat hem ati cal ly  Sa m pEn  i s expr e ssed  as  (14).     Sa mp En ( m , r ) = li m N ln A m ( r ) B m ( r )   (1 4 )     wh e re  ( )   is  the   pro ba bili ty   of   t wo  se qu e nces   will   m a tc f or  num ber   of   m +1  sam ples  wit hin   t olera nce  r Me anwhil e,  ( )   is   the  pro ba bili t of   tw se qu e nces  that  woul m at ch  fo m   nu m ber   of   sam ples  withi the   tolerance   of  r .   I bo t par a m et ers,   sel f - m at ches  was  a voide d.   Furthe r m or e,  by  m aking   = { [ ( 1 ) ( ) ] / 2 } ( )   an = { [ ( 1 ) ( ) ] / 2 } ( )   so S am pEn  ca n be e xpr essed  a s (1 5).       Sa m pEn ( m , r , N ) = ln A B     (1 5 )     2.3.7 .   Permu t at i on  En tr opy   Perm utati on   en tro py  (PE)  is   the  m easur em e nt  of  si gn al   co m plexit by  id entify ing  the  pro ba bili ty   of   cod se quence  in  the  sig nal  [23].  PE  obse rv e the  per m utatio patte rns  of  the  dif fer e nt  el em ents  in  the  sign a l .   It is ex presse d as ( 16).     PE = p j log 2 p j n j = 1   (1 6 )     wh e re    is  the   r el at ive  fr e quen cy   of  possi ble  patte rn  an i is  pe rm utati on   order,  ≥  2.  I this   pa per,  we   us e d n = 6 as  in [1 1].     2.3.8 .   Ts alli Entropy   Tsal li entrop (TE)   is  com m on ly   us ed  to  descr ibe  th ph ysi cal   be ha vior  of   syst e m   [2 4].  TE   descr i bes  the  s yst e m   with  the   eff ect   of   lo ng - te rm   m e m or y,  long - range  inte racti on   a nd   m ulti fr act al   sp ace - tim e   const raint [28 ] .  I t i s n on - e xten sive in  w hich  t her e a re two  id entic al  syst e m s , th en  the  nu m ber   of  e ntropy  is no the   sam e as b ot a dd e t og et he r.  T E m at he m at ic al ly  is exp r essed  a s (1 7).     TE = 1 p i q W i = 1 q 1   ( 17)     wh e re  is  no n - e xtensi vity   orde r,   pi  is  disc rete  pro bab il it y,  and   is  th m ic ro sco pic  config ur at io of   t he  syst e m In   t hi pa per  we   us t he  order  of  non - e xte nsi vity   pro ve to   pro duce  the   hi gh e st    accuracy i n [31].       3.   RESU LT S   A ND  DI SCUS S ION   3.1.     Measure ment Resul t a nd  S tatistics  Analysis   Figure  s how the  resu lt of  the  m ult isc ale  process  us i ng  the  coa rse - grai ne proce dure  f or  the   norm al   br on c hi al   and   lu ng  s ound  crac kle  s ound.  In   ge neral the  sig nal  sh a pe  di not  change  bu t he   data  le ng th  bec om e N/τ,  with  is  the  or igi nal  data  le ng t h,   a nd  τ  is  the  scal e.  The  value  of  each  sam ple  on   the   scal τ  was   the   ave rag e   val ue   of  τ  sam ple  da ta   from   the  ori gin al   da ta T he   coa rse - gr ai ne proce dure  re du ce the  var ia nce  of   the  sign al a the  scal τ  increase  th e the  var ia nce  will   de crease.  T he  de crease  in  var i ance   will   change  th entropy  m ea su rem ent  valu e.  The  c hange   of   ent ropy  va lue  was  util iz ed  as  featu re  for   pu lm on ary s ou nd classi ficat io n.   Fig ur e  5 dis play s the  var i a nce as  a fu ncti on of scale τ .       Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       Compari son  of  Mu lt isc ale E nt ro py  Tec hniq ue s for Lu ng  Sound  Cl as sif ic ation   ( Ac hma R izal )   989       Figure  4.  N orm al  b ronc hial and crac kle lu ng s ound  for  sca le  1     scal 5           Figure  5. The   var ia nce  of   eac cl ass  of  data         Figure  -   Fi gure  13  sho th aver a ge  valu es  of   t he  m ultiscale   entr op m easur em ent  resu lt in  fi ve   cl asses  of  l ung  s ounds.   T he   entr opy  m eas ur em ent  res ults  te nded   to  be   low  e xcep Tsal li entr opy  that   gen e rated  c on si der a ble  va lue  but  ne gati ve  value.   s m al value  wa infl uen ce by   the  norm al i zat ion   process  s that   the  aver a ge  va lue  w hile  the  var ia nce  va lue  bec am =   1.   W c ou l identify   that  spe ct ral  entr op an w avelet   entropy  gen e rated  r el at ively   disti nct  patte rn betwe e cl asses.  The  resu lt   sug gested  that   the  entr op m easur em ent  in  the  fr e quency  do m ai produ ced  m or disti nct  char act e risti cs  than  in  th tim e   d om ai n.   Fi gure   10  a nd  Fi gure   11  disp la t ha wh e eze  s ound  on  the   Sam pEn   a nd  ApEn   hav e   se par at e val ues  to  oth e cl ass es.  Sam pEn   is  an  i m pr ovem ent  of   ApEn  t hat  has  s om sel f - m at ching   pro blem [4 5].  The   cal culat ion   of  bo t e ntr op ie is ab ou t t he  sa m e;  h ence t he  r esulti ng en t rop y al so   has  sim il ar ch aracte r ist ic .           Figure  6. S hannon  e ntr opy m easur em ent for  f ive   lung s ound cla sses   Figure  7. S pectral entr opy m e asur em ent for f ive lu ng  so un cl asses   Evaluation Warning : The document was created with Spire.PDF for Python.
           IS S N :   25 02 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   12 , N o.   3 Dece m ber  2 01 984     994   990       Figure  8.  Re ny i entr op y m easur em ent f or  fiv e lung  so un cl asses       Figure  9.  W a ve le t entropy m easur em ent for  f ive  lu ng  so un cl asses       Figure  10. A pproxim at e entropy m easur em e nt for  five  l ung  s ound classe s       Figure 11. S am ple en t ropy m e asur em ent for f ive lu ng  so un cl asses       Figure 12. P e r m uta ti on  e ntrop y m easur em e nt for  five  l ung  s ound classe s   Figure 13. Tsall is entr op y m easur em ent for fi ve  lu ng  so un cl asses       We  us e t he  a naly sis  of  var i ance  (AN OVA sta ti sti cal   te st  to  te st  t he  se pa rati on  bet wee t he  cl asses   of   featu re  res ul ti ng   f ro m   the  m ult isc al ent ropy.  T he  perform ance  of  m ul ti scal entro py  was  deter m ined   us in T he  A N OVA  F - value  [32].  la r ger   F - va lue  i nd ic at es  bette r   pe r form ance  for  s epar at in t he  c la sses  te ste com par e to  the l ow e r on e . In  t his stu dy, F - val ue wa s m easur ed on  the scal of   1 - 20,  1 - 15 scale ,  a nd so  on   to  see  t he   changes  in  t he  discrim inati on   pe rfo rm ance  at   diff ere nt   scal es.  Table   shows  t he   resu lts   ANO VA test .   Table  sho ws   that  the  m ulti s cal sa m ple  entropy  pro du ce the  la rg e st  F - value  on  the  sc al of   1 - 20  and   t he  scal of   1 - 15.  F or   t he  scal of  1 - 10   a nd  scal of  1 - 5,  the  high est   F -   val ue  w as  achieve by  Re nyi  entr op y.  F or   t he  scal of   to  the  scal of   1 - 4,   the  hig he st  F -   val ue   was  achieve by  Tsal li entropy.  Me anwhil e, m ulti scal e Sh a nnon en t ropy  pro du ce t he  lo we st F - value  i a l l condit ions.   It  was  widely   per cei ved   t ha the  F - value  decr ease as  t he  re duct ion   s cal excep on  m ulti scal Tsal li entropy   an m ulti scale  Re nyi  entr op y.  In  m ulti scaleTsall is  entr opy,  F - value   incr eased  on  the   s cal of  1 - 15  an then  decr ease in  t he  ne xt  scal e.  Me anwhil e,  in   m ulti scal e   Ren yi   entropy,  F - val ue  of   1 - 20   scal e   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       Compari son  of  Mu lt isc ale E nt ro py  Tec hniq ue s for Lu ng  Sound  Cl as sif ic ation   ( Ac hma R izal )   991   increase to   scal of  1 - 10  t hen  dec rease d.  This  i nd ic at ed   that  re duci ng  the  scal or   re du ci ng  the  nu m ber   of  featur e did   no al ways  red uc the  rate  of   se par at io of  dat bu m ay  increas it This  oc curred  beca us e   of   the   high scale   (sca le  1 5 t o sca le  20) t he varia nce  of the  s ig nal t end e t o decre ase [ 10 ] .   Th us   the   entr opy  ge ne rated  w as  not  sig nifica ntly   diff e re nt  f ro m   oth er   data.   The  sm allest   F -   value  f or   al the  m ulti sc al entr op w as  ob ta ine in   scal or  m e asur em ent  of  entr op i the   or i gin al   si gn a l.  Thi s   su ggest e that  the  m ulti scal schem pr od uc es  bette pe rfor m ance  com par ed  t e ntr op y   m easur e m ent  of   on   a sin gle scal e s ign al   on ly .       Table  2.   F - Values  from  A NOVA Test   MS - Entro p y   F v alu e   scale   1 - 20   scale   1 - 15   scale   1 - 10   scale   1 - 5   scale   1 - 4   scale   1 - 3   scale   1 - 2   scale   1   Multis cale Sa m p le  entro p y   8 0 9 .60   7 0 9 .18   5 1 3 .69   2 0 1 .71   1 4 5 .39   4 9 .66   5 7 .19   2 4 .29   Multis cale  Tsalli's  en trop y   6 3 7 .19   6 3 8 .20   6 1 5 .42   4 8 1 .38   4 2 5 .38   3 5 4 .12   2 6 3 .91   1 4 8 .62   Mu ltiscale Ap p rox i m ate  Entro p y     5 7 9 .57   4 1 5 .65   2 5 2 .37   9 2 .46   6 9 .20   4 9 .66   3 3 .38   1 9 .51   Multis cale Pe r m u t atio n  entro p y     5 1 2 .33   4 0 8 .36   3 3 4 .95   3 6 0 .62   3 4 4 .47   2 7 5 .38   1 5 4 .25   4 0 .08   Multis cale  W av ele t entro p y   4 0 0 .53   3 2 2 .37   1 5 0 .48   4 1 .75   3 2 .13   2 4 .57   1 5 .22   1 0 .63   Multis c ale Spect ra l entro p y   3 7 1 .63   3 2 2 .34   2 8 7 .77   2 4 8 .40   2 1 0 .23   1 5 1 .73   8 1 .69   3 1 .33   Multis cale Ren y i e n trop y   3 6 0 .94   4 4 2 .09   6 2 0 .06   5 1 2 .14   4 3 4 .54   3 4 0 .49   2 3 3 .71   1 1 8 .13   Mutlis cale Shan n o n  entro p y   8 6 .68   5 7 .74   3 3 .48   1 5 .84   1 2 .18   9 .75   8 .35   3 .64       3.2.  Accur ac y T esting u sin g Multil ayer  Pe rceptr o   To  determ ine  the  perform ance  of   m ulti sca le   entropy  in  the  lung  sou nd  cl assifi cat ion we  us ed   m ul ti la ye perce ptr on  (ML P as   cl assifi er.  ML is  one  var ia nt  of   arti fici al   neura netw orks   tha have  su pe r vised  le ar ning  pro pe rtie s.  B ecause  the  MLP  was  s upe rv ise d,   the w us ed  t he  N - f old   c ro ss - valid at ion  (N - f old   C V)   f or   t he  trai ni ng  and  te sti ng   process  [33].  Be cause  the  num ber   of  data  in  each  cl ass  is  18  to  22   data,  the n,  the   N - fo l C us e s tha each  dataset   would  ha ve  6 dat a.  Ta ble  pr ese nts  it r esult.   Table  s hows   that  the   m ultiscale   pe rm utatio e ntr opy  pr oduce th highest  acc ur acy   i m os of  the   scal es.  Mult isc al Perm uta ti on   Entr opy  (MPE)  pro duced  t he  lowe r   accuracy  com par e to  m ulti s cal sa m ple  entropy  (MSE)  on   the   s cal of   1 and   scal of  1 4.   PE  ha sever al   ad va ntages  c om par ed  with  Sam pEn PE   cal culat ed  the  per m utati on   of  the  sequ e nce  patte rn   of   the  s ign al w hile  the  Sa m pEn   cal culat ed  the  num ber   of   the  sam patte rn s o t he  sig nal   with  ce rtai tolerance T his   i m pl ie that  the  Sam pEn   cal culat ion   ta kes  lo ng e r   com pu ta ti on   ti m rather   than   the  PE.  Sim i l arit ie betwee those   two  pa tt ern we re  de te rm ined  by  sever al   par am et ers,   suc as  the  n - or der   per m utati on   on  PE,  m ea nwhile in  Sa m pEn they   wer determ ined   by  the  si m il a rit ie s toleran ce   a nd le ng t h of patt er m .       Table  3.   Acc uracy  ( %)  for va r iou s  m ulti scal e  en tr opie s usi ng th ree - f old  c r os s - validat io n   MS  Ent rop y   Scale us e f o en tro p y   m e asu re m en t   scale   1 - 20   scale   1 - 15   scale   1 - 10   scale   1 - 5   scale   1 - 4   scale   1 - 3   scale   1 - 2   s cale   1   Multis cale Sa m p le  entro p y     8 5 .86   8 6 .87   8 6 .87   8 6 .87   8 2 .83   7 2 .73   6 9 .7   5 0 .51   Multis cale  Tsalli's  en trop y   8 8 .89   8 9 .9   9 1 .92   7 9 .8   7 3 .74   7 2 .73   7 0 .71   6 9 .7   Multis cale A p p rox i m ate  Entro p y     8 8 .89   8 8 .89   8 3 .84   7 9 .8   7 1 .72   6 5 .66   5 9 .6   5 1 .52   Multis cale Pe r m u t ati o n  entro p y     9 6 .97   9 6 .97   9 7 .98   9 3 .94   9 2 .93   8 9 .9   8 6 .87   5 9 .6   Multis cale  W av ele t entro p y   7 4 .75   6 8 .69   6 7 .68   7 0 .71   7 0 .71   7 1 .72   6 6 .67   4 3 .43   Multis cale Spect ra l entro p y   9 3 .94   9 5 .96   9 5 .96   9 0 .91   8 9 .9   8 0 .81   7 5 .76   4 9 .49   Multis cale Ren y i e n trop y   8 8 .89   9 0 .91   9 3 .94   78 .79   7 0 .71   7 4 .75   6 9 .7   6 8 .69   Mutlis cale Shan n o n  entro p y     8 3 .84   8 4 .85   8 1 .82   7 6 .77   7 6 .77   6 6 .67   5 8 .59   3 7 .37       Evaluation Warning : The document was created with Spire.PDF for Python.
           IS S N :   25 02 - 4752   Ind on esi a J  E le c Eng &  Co m Sci,   Vo l.   12 , N o.   3 Dece m ber  2 01 984     994   992   Table  s ummari zes  the  best   res ults  f or   eac of   m ulti scal e   entr op i nclu ding  scal t ha produce s   the  highest  acc ur acy ,   the   acc ur acy   of  the   si ng le   s cal a nd  aver a ge  c om pu ta ti on  tim for  a   sin gle  data.   Test wer pe rfor m ed  on   a   PC  with  the  sp eci ficat ion   of   In te ( R)  Co re  (TM i3 - 3 22 CP 3.3 0GHz GB  of   RAM.   Table  disp la ys  that  the  co m pu ta ti on al   tim fo the  ov e rall   te chn iq ue  was  acce pta ble   excep t   f or   t he  m ul ti scal approxim at entro py.  It  t ook  ve ry  long  ti m e,  so   it   was   le ss  r el ia ble  us e in   real  ap plica ti ons.  A   sel f - m at ching   process  cause d l ong  c om pu ta ti on  ti m e o ccurr ed  in  ApE c om pu ta ti on .       Table  4.   Scal for  the  h i gh e st  accuracy a nd c om pu ta ti on  ti m e   Multis cale  Entro p y   Bes t scale   Hig h est   Accurac y  ( %)   Accurac y  f o r   sin g le scale ( %)   Av erage co m p u tati o n   ti m (s)   Multis cale Sa m p le  entro p y   1 - 5   8 6 .87   5 0 .51   2 7 .69   Multis cale  Tsalli's  en trop y   1 - 10   9 1 .92   6 9 .7   0 .69   Multis cale A p p rox i m ate  Entro p y   1 - 15   88 .89   5 1 .52   2 0 8 7 .4 7   Multis cale Pe r m u t atio n  entro p y     1 - 10   9 7 .98   5 9 .6   1 .61   Multis cale  W av ele t entro p y   1 - 20   7 4 .75   4 3 .43   1 .00   Multis cale Spect ra l entro p y   1 - 10   9 5 .96   4 9 .49   0 .93   Multis cale Ren y i e n trop y   1 - 10   9 3 .94   6 8 .69   0 .70   Mutlis cale Shan n o n  entro p y   1 - 15   84 .85   3 7 .37   0 .84       Table  s hows   that  the  MPE  pro du ce the  hi gh est   accu rac on   the  scal 1 - 10  with  an  a ccur acy   of   97.98% So m m ulti scal ent ropy  only   us e scal 1 - to  pro du ce  th hi gh e st  accuracy but  sti ll   below   the   MPE.  He nce,   it   was  no the  best  ch oic e Re gardin com pu ti ng   ti m e,  the  MPE  r equ i red   reas on a ble  com pu ti ng   ti m e,  i.e.,   1.6 s   f or   t he  si ng le   da ta Me an wh il e,  m ulti scal Ap E to ok  lo ng  c om pu ta ti onal   tim e .   This  was  cause by  the  cal culat ion   of   the n um ber   of   si m i lar   patte rn s o da ta   carried  al on the  seq uen ce   of   t he   sign al an th e m erg ence  of  sel f - m at ching Mult isc al Sam pEn   (MSE ov e rcam th weakness  m ulti scal ApEn , so MSE  r e qu ire d sh or t er c om pu ta ti on tim e than  the   m ul ti scal e A pE n.   Mult isc al SEN   pr oduce t he  highest  ac cur acy   a fter  m ul ti scal PE  as  so m signa diff e rence betwee the  cl asses  cou l be   seen  cl early   in  the  sp ect ra fr eq uen cy H ow e ve r,   m ulti s cal W c ou l not  pro du ce  a   quit high  acc ur ac for  bei ng  inf luence by  the   m oth er  wa velet   sel ect ion th sam pling   fr e qu e nc y   and   t he  le vel  o dec om po sit io n.   T hese  facto r w ou l af fect  the  f or m ed  sub - ba nd.  Th se le ct ion   of  DB and   deco m po sit io le vel  did  no pro du ce   a   high  acc ur ac y.  A pprop riat W a velet   filt er  an t he  le ve of  deco m po sit io n sel ect ion   will  be t he next  rese arch .   Sh E N,   RE N,  a nd  T ha ve  s i m i la form Sh E is  s peci al   case  of  RE a nd  TE.   S hE is  RE or  TE  with  orde 1.   T he  sel e ct ion   of   orde in  RE a nd  TE  will   pro duc the  di ff e ren accuracy.  The  us of   TE  with  a   dif fer e nt  orde f or   l ung  s ound   analy sis  was   pr es ente in  [31].   T he  re sul sh owed   that   non - extensi vity  o r de r q =  2 pro du c es the  best  featu re  for t he  l ung  s ound a naly sis.   The  e ntr opy  m easur em ent  i the  m ulti sca le   sche m increased  lung  sound  cl assifi cat ion   accu racy   com par ed  with   the  sing le   scal schem es.  Seve ral  pr e viou s tud ie us ed  only   on e ntropy  values  c ouple with  the  oth e featu res  of  the  lu ng  so un cl assifi cat ion Sam ple  entropy  was  c om bin ed  with  sk ew ness kurt os is ,   and  la cu nar it repor te by  M ondal  et   al   [ 34] The   res ulti ng  acc ur acy   wa 92. 86%  for  norm al   and  ab norm al   lung  s ound.  M eanwhil e,  kurt os is,  m ean  cr ossi ng   i rr e gula r it and   Re nyi  entr op us e in  [ 35] T he  re su lt ob ta ine t he  ac cur acy   of  95. 1%   f or  the  trai ni ng   data  a nd  93. 5%  for  te sti ng  data.  Tsal li entr op a nd  25  othe r   char act e risti cs  us e by  Morill et   al f or   l ung  s ound  from   congesti ve   obs tructi ve  pulm o nar disease  ( COPD)   patie nts  [ 36 ] Me anwhil e,  Jin  et   al us e s a m ple  entropy   as  the  featu re of   l ung  s ound  extr act ed  f r om   the   sh ort - ti m e   Fo uri er tra nsfo rm  ( STFT [ 37] .   The  sam entr op ie a in  t his  pa per  we re  us e in  [ 38 ] Sing le   e ntr opy  only   pro du ce 69.7 %   of   accuracy  us i ng   TE.  Com po sit of   seve e ntropies  increa se the  accu racy  becam 94 .9   %.  Com pu ta ti on   of   seve entr opie was  m or co m plex  than  on entr op with   the  m ult isc al e   process.  C ompare wit this   pap e r ,   94.9 %  was  ac hieve d usin s even feat ur es   wh il 97.9 %  w as ac hieve d u sing t en feat ur es.   Ov e rall   the  stu dies  we re  co nducte on  si ngle   scal sign al .   W co uld   see   that  entr op s ti ll   need ed   oth e feat ur es   f or   l ung  sou nd  cl assifi cat ion Wh il on  the  m ul ti scal entro py,   we   only   use only   entr opy  tha t   cal culat ed  on  sign al   with  differe nt  sca le Alth ough  it   was  no direc tl co m par able m ulti sca le   entropy  pro vid e m or prom isi ng   res ults.  Di rect  co m par ison with  the   sam dataset   m a be  m ade  on  the  rese arch  i the futu re.   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a J  E le c Eng &  Co m Sci     IS S N:  25 02 - 4752       Compari son  of  Mu lt isc ale E nt ro py  Tec hniq ue s for Lu ng  Sound  Cl as sif ic ation   ( Ac hma R izal )   993   So m m ult isc a le   entropies  we re  pro posed  by  so m researchers  f or   s olv in var i ou case in  previ ous   stud ie s.   Mult is cal sam ple  entropy  w hich   w as  m or kn own  as   m ulti scale  entr opy  (MS E)  was  pro pos ed  by   Costa  et   al   [9 ] .   Mult isc al perm uta ti on   ent r opy  was  us e f or  quantify in s ign al   com plexi ty   pr op os ed  by   Azis   and   Ar if  [11].  In   this  pa pe r,   we  intr oduce sever al   m ulti sc al entropies  f or   sig nal  com plexity   m easur em ent.  Fo r   exam ple  m ulti scal Tsal lis  entr op y,   m ult isc al Re nyi  entr op y,  m ulti scal sp ect r al   ent ropy  an m ultiscale   wav el et   ent ropy.  Mult isc al entropy  pro vi des  bette pe rfor m ance  for   lung  sou nd   analy sis  com par ed  to   entr op y i sin gl e scal e [38].       4.   CONCL US I O N   Lu ng   sou nd   i one  of   t he  bio lo gical   sig nals  w hich   ha ve  in form at io a bout  the  he al th  of  th e   resp i rator sys tem To  reduc su bject ivit in  the  eval uation  of   l ung  s ounds  va riet of   dig it al   sign al   processi ng   te c hn i qu e for  au tom a ti lun s ound  cl assifi cat ion   ha ve  bee dev el opin g.   On of   the  m et hods  us e in  l ung  s ound  sig nal  processin is  t he   entr opy  m eas ur em ent  m e tho d.  I t his  re s earch we  c ompare m ul ti scal entr op with  s om e   diff ere nt  entr op m easur em ent  te chn iq ues   fo lu ng   s ound  featu re  extra ct ion.   The  res ults  showe t hat  the   m ul ti scal perm uta ti on   e ntropy  pr oduce t he  highest  acc ur acy   of  97 .98 with   the  scal of  1 - 10.  T hese   res ul ts  are  m uch   hig he t han  usi ng  Pe rm utati on   entr op i nd i vid ually   on  the  ov e rall   sign al S om entr op m easur em ent  par am e te rs  that  co uld  be  al te red   t change  s uc as  Tsal li entropy  or   Re nyi  entr op for  diff e re nt  ord er   of  q.   Pe r form ance  of   m ulti scal entropy  with  va rio us  entr opy  pa ra m et ers   can  be  e xam ined  in  s ub se que nt r esea rc h.       ACKN OWLE DGE MENTS   This  w ork  ha been   fina nc ia ll su ppor te by  Mi nistry   of   Re sea rch,   Tech no l og y,  and   Highe Ed ucati on of R epublic  of  Ind onesi under Pe nelit ia Dise rtasi  D okt or   Sche m e n o:  014/P N LT3/PPM/ 2018.       REFERE NCE S   [1]     Pasterka m H, K raman  SS ,   W odic ka   GR.  R espi rat or y   Sounds .   A m J   R espir  Crit   Care  Me d .   1997; 156(3):974 987.   [2]     Spiet PM ,   Zha ng  H.  Anal y z in Lung  Crac kle  Sounds Stet ho scope And  Be y ond .   Inte nsiv Care  Me dic in e 2011;37(8): 1238 9.   [3]     Riz al   A,  Hida yat   R,   Nugroho  HA .   Mult iscal e   Hjorth  Descrip tor  for  Lung  So und  Classifi cat i on .   Inte rna ti on a l   Confer ence  on   Scie n ce a nd  Tech nolog y   20 15.   Yo g y ak arta. 2015;   1:160008.   [4]     Chen  X,  Shao  J,  Long  Y,  Qu C,   Zh ang  J,  Fang  J.  Ide ntifi ca t ion  of  Vel cr Ral es  Based  on  Hilbe rt Hua ng  Tra nsform .   Ph ys  S tat Me ch   i ts  Appl .   2014;   401( 8):34 44.   [5]     Gnite ck J,   Mous savi  Z,  Pasterk a m H.  Classifi ca ti on  of   lung   sounds   during  bronc hial   provo cat ion   using  wav ef orm   fract al  dimens io ns .   Annual  Inte r nat ion al   Confer e nce   of  the   IEEE   Engi nee r ing  in  Medic in and  Bi olog y   Soc iet y .   2004;  3844 384 7.   [6]     Ma y org P,  Dru zga lski  C ,   Gonz al e OH ,   Lop ez  HS .   Modif ie d   Classifi cation  of   Norm al  Lung  Sounds  Appl yi n g   Quantil Ve c tors .   Proce edi ngs  o the   Annu al   In t ern ational   Conf e ren ce   of  the   I E EE   Eng ine er ing  in  Medicine  and   Biol og y   So ciet y ,   EMBS .   2012;   4 262 - 4264.   [7]     Chen  C,   Huang  W ,   Ta T,  Chan C - C,   Ch ang  Y .   Us ing  K - Nea r e st  Neighbor   Cl assific a ti on  to  Dia gnose  Abnorm al   Lung  Sounds .   S e nsor s   .   2015  Jun  4;15(6): 13132 5 8.   [8]     Kanda sw am y   A,   Kum ar  CS ,   Ra m ana tha RP ,   J a y ara m an   S,  Ma lmurugan  N.  Ne ura cl assifi catio of  lung   sound using wa velet   co eff icient s.   Comp ut  B iol   M ed .   200 4;34(6): 523 537 .   [9]     Costa  M,  Gold ber ger   AL ,   Pen CK.  Multi sc a le   En trop y   Ana l y s is  of   Biol ogi ca Sign al s.   Ph ys  Rev  -   Sta t   Nonli near,   Soft  Matt er  Phy s .   20 05;71: 1 18.   [10]     Hum ea u - heur ti e A. The   Multi sc al e   Ent rop y   Alg orit hm   and Its V ari an ts:  A R evi e w.  Ent ropy .   201 5;17: 3110 3123.   [11]     Aziz   W ,   Arif  M.  Mult isca le   P ermutati on  Ent rop of  Phy siolog ic al  Time  Serie s .   In:  9th  Inte rn at i onal   Multi top ic  Confer ence, IEE INM IC  2005.   Kara chi 2005; 1 - 6.   [12]     W ang  G - J,  Xie  C,   Han  F.  Multi - Scal Approxi m at Ent rop y   A naly s is  of  Foreign  Exc hange   M ark et Eff i cienc y .   Syst  Eng   Proc ed ia .   2012 ;3(2011) :201 208.   [13]     Xie  H,  Chen  W ,   He  W ,   Li H.  Com ple xity   anal y sis  of  the   biomedical  signal   usi ng  fuz z y   ent rop y   m ea surem ent.  Appl   So ft   Comp ut .   2011 ;11(2): 2 871 2879.   [14]     Charl eston - Vi ll a lobos  S,  Albuer ne - Sanchez  L,  Gonza le z - C amare na  R,   Mej ia - Avila   M,  Carr il lo - Rodrigu ez   G,  Alja m a - Corra l es  T.   Li ne ar  and   Nonlinear  Anal y si of  Base  Lung  Sound  in  Ext rins ic   All erg i Alve oli ti Pat ie n ts  i n   Com par ison t Hea lt h y   Sub je c ts.  Me thods I nf   M ed .   2013 ;52(3): 2 66 76.   [15]     W N,  Guo   Y,  W ei   Y,  Fan  S,  Li   X.  Design  of  New  Tra nsform er  Protec ti on  Devic Based  o W ave le En er g y   Ent rop y - Neura l N et work T heo r and.  TEL KOMNIKA.   2013 ;11(11 ):6746 6754.   [16]     Xu  X,  W ang  S,  Li J,   W Z.  Fa Fault   Di agnosi Based  on  W av el e Pack et  and  Sam ple   Ent rop y .   TEL KOMNIKA 2013;11(6): 3451 3462.   [17]     Dong  Z,   Ti an  X,  Ze ng  J.  Mec hanica Faul Diagnosis  Based   on  LMD -   Ap proximate   Ent ro p y   and  LSS VM .   TEL KOMNIKA .   2013;11(2): 803 808.   Evaluation Warning : The document was created with Spire.PDF for Python.