Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   10 ,  No.   5 ,  Octo be r   2020 ,  pp.  4872 ~ 4880   IS S N: 20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v10 i 5 . pp 4872 - 48 80     4872       Journ al h om e page :  http: // ij ece.i aesc or e.c om/i nd ex .ph p/IJ ECE   A  ne w a pp ro ach to  im age c l assific atio n  b ased  on a deep  m ulti class  A da B oosting e nsembl e       Ha s an   Asil 1 , J amsh id  Ba gh e rz ad eh 2   Depa rtment  o f  C om pute r  Engi n e eri ng,   Facu lty   of   Elec tr ical and  C om pute r  Engi n e eri ng,   Urm ia   Un ive rsit y ,   Ir an       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   A pr   20 , 201 9   Re vised  Ma r   11 ,   2020   Accepte d  Ma r   30 , 202 0       In  rec ent   y e ars,   dee p  learni ng  m et hods  have   been  deve lope d  in  orde r  to  solve   the   probl ems .   The se  m et hods  were   eff ective   in  solving  complex   proble m s.  Convolut ion  is  one  of  th e  le ar ning  m et hods.  Thi s  m et hod  is   appl i ed  in   cl assif y ing  and  proc essing  of  i m age s  as  well .   H y brid  m et hods   are   anot her   m ult i - componen t  m ac hine   le a rni ng  m et hod.   The se  m et hods  are   ca t egor ized   int o  inde pend en t  and  depe ndent  t y pes.   Ada - Bo osting  al gorit hm   is  one  of   the se  m et hods.  Today ,   th e  class ifi c at ion  of  ima ges  has  m an y   a ppli c at ions.     So  far ,   seve ra l  al gorit hm s  have  bee n  pre sen te d   for  bina r y   and   m ult i - cl ass   cl assifi ca t ion.   M ost of   the   above - m ent ione d  m et h ods ha ve  a  high  depe nden ce  on  the   data.   The  pre sent  stud y   in te nds  to  use  a  co m bina ti on  of  de ep  learni ng   m et hods  and  associate d  h y br id  m et hods  to  cl assif y   the   imag es.   It   i s  pre sum ed  tha t  thi s  m et ho d  is  able  to  red uce   the   err or  r a te   in   images  class ifi cation .     The   proposed  a lgori thm  consists  of  the   Ada - Boosting  h y brid  m et hod  and     bi - lay e r  convol u ti onal   le arn ing  m et hod.   The   pro posed  m et hod  w as  ana l y z ed   aft er  it   was  implemente d  on   a   m ult i - class   Mnist  data  set  and   display ed     the   resul t  of  th e   err or  ra te   red u c ti on.   The   r esult s  of  thi s  stud y   in dic a te   th at    the   err or  ra te   of  the   propose d  m et hod  is  le ss   tha n  Ada - Boosting  and  convol uti on  m ethods .   Also,   the   net work  has  m ore   stabi li t y   c om par ed  to     the   o the r   m et hod s.   Ke yw or d s :   Boo sti ng   Conv olu ti on    Deep l ear ning   Ensem ble  m e t hods   Im age  c la ssific at ion     Copyright   ©   202 0 Instit ute of   Ad v ance d  Engi ne eri ng  and  Sc ie n ce .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Jam sh id Bagh e rzad e h ,   Dep a rtm ent o f C om pu te r  E ng i neer i ng,    Faculty  of Elec tric al  an d C om pu te r  E ng i neeri ng ,   Ur m ia  U niv e rs it y,   Ur m ia , I ra n.   Em a il : j. baghe rzad e h@u rm ia. ac.ir       1.   INTROD U CTION   In  rece nt  ye ars ,  dee p  le a rn i ng  m e tho ds hav e  g ai ne d  a   lot of  at te ntion   a nd w ere   us e d  i n  m any  ty pes  of  researc h.  I n  de ep  le ar ning,   f irst,  the   no nlin ear  fe at ur e s  of  seve ral  la ye rs   are  e xtracte d   [1 ] .  The n,  the y  are   trans ferred  to  a  cl assifi er,  an d  finall y,  they   are  sent  to  a  c om bin er  la ye r,  in  order   to  perform   the  co m b inati on  and   pr e dicti on.   The  m or e  hierar chy  of  la ye rs  is  (d eepe r) ,  th e  m or e  nonline ar  featu res  are  ob ta ine d  an d  be tt er   resu lt s  a re  pres ented.  T hese  m et ho ds  are   us ed  t o  s olv e   va r iou s   com plex  pro blem s  [2 ] .  On e   of  t hese  ne tworks   is t he  co nvolu t ion  m et ho d,   w hic h has m any app li cat io ns  in im age p r ocessi ng   [3 ] . T his  ne twork was  or i gi nally   desig ne d  to  proces s  i m ages,  and   var i ous   convo l utio n - base d  m od el s  hav e  been   de velo ped   t o  cl assify     the im ages.    On  the  oth e r  hand,  hy br id   m et ho ds   a re  c omm on   m achine  le ar ning  te chn i qu e s.  T he se  m e tho ds  com bin e d if fere nt pred ic ti ons  to  pr ov i de bett er and  m or e ac cur at e  pro blem - so l ving r e su lt s  [ 4].  These  m eth ods   are  us e d  f or   s ol vin g  cl assifi ca ti on   pro blem s  and   hav e  a pp li ed  in  dif fer e nt  cl assifi cat ion   pro blem s  in  ord er  to  pro vid e  var i ous  predict io ns   [ 5].   No  al gorithm s  are  opti m a l  i n  al l  ar eas.  E ver y  le a rn i ng  al gorithm   is  lim it ed  to  a  s pe ci fic  m od el .    In   fact,  if  dat a  assum ption s  are  no t  true,   error s  will   occu r  [ 6].  If   the   m od el   par am et ers  are  def i ne d  for     Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g   IS S N: 20 88 - 8708       A n ew   appro ac h  to  im ag e  clas sif ic ation   ba s e d on a dee p m ul ti cl as s AdaB oosti ng e ns em bl e  ( Ha s an Asil )   4873   a  trai nin g  set ,  the  m od el   m ight   no t  be  ap propriat e  fo r  s om e  data,  f or   w hich   ano the r  m od el   can  produce  be tt er   resu lt s  [ 2].  E nse m ble  cl assifier s  are  am ong  the  m ulti co m p on e nt  cl assifi e rs  de fine d  to  pro duce  bette r  r esults   than  a  si ng le - c om po ne nt  cl assifi er  [ 7].  I n  s uch   cl assi ficat ion s ,  e ns em bl e  cl assifi ers  are  us e d  to  ob ta in  bette r   resu lt s.   En sem ble  m et ho ds   var y  i n  ho w  they   create   diff e ren t  cl assifi ers  a nd  ho w  they   com bin e  basi c   cl assifi ers wit h res pect to t hei r  w ei ghts [ 8].   In   fact,  the re  are  two  e ns e m ble   fr am ewo rk s:  de pe nd e nt   (ser ia l)  an d  ind e pe nd e nt  ( pa rall el )  [9 ] .    In  a  de pende nt f ram ewo r k,  t he  o ut pu t  of  a cl assifi er is u se d i n  the n e xt classi fier.  T her e f ore, the  knowle dg e  of  pr e vious  it erati on s  can  be  use d  to  direct  le arn i ng   in  ne xt   it erati on s  [10 ] .  Boo sti ng   is  an  instance  of  su ch   fr am ewo r k s.  I n  the  sec ond  f ram ewo rk   ( known  as  i nd e pe nd e nt) ,  eve ry  cl assifi er  is  cr eat ed  in dep e ndently .   Their o utputs a re c om bin ed w it h  those   of   voti ng  m et ho ds [ 11] .    So   far,  m any  te ch niques  hav e   be en   pr opos e d  for  cl assify ing  the   i m ages.  S om e  of   t hese   cl assifi cat ion s   are  bi - cl ass  and   so m e  othe rs  are  m ulti - cl ass  [8 ] .  It  sh oul d  be  note d  that  m ulti - cl ass   cl assifi cat ion s  hav e   m any  ap plica ti on s.   Cre at ing   a   r obus t   m od el   in  li ne   with   net work  sta bili ty ,  reduci ng   cl assifi cat ion  e rror an d decrea sing data  de pe nd e ncy in  the   m od e l are so m e of im age classi ficat ion  iss ue s   [ 12 ] .   The  pr e sent  stud y  pro poses  a  ne w  m od el   base d  on  dee p  le arn i ng  m et ho ds  a nd  hy br i d  m et ho d  to   i m pr ove  an d  r edu ce  the  er r or  rate  of   m ulti - cl ass  i m age  c la ssific at ion .  On   the  ot her   ha nd,  com bin in g  these   te chn iq ues  res ults  in  hi gh e r   sta bili ty ,  com par ed  to  pre vious  m et ho ds.  This  hybr i d  boos ti ng  m eth od  is    a  bi - la ye r   co nv olu ti on r el at ed  hybri d  m et ho d.   As   yo u  know,  the g oal of b oo sti ng   is   to   stre ngthe n  a nd  im pr ov e   poor  le arn i ng,   wh ic h  at te m pts  to  stren gt hen   it s  le arn i ng   a nd   m ake  the  m od el   stron ger .  In   thi s  stud y,     the b i - la ye r  c onvoluti on tec hniq ue was c ons idere d  a  wea k  l earn i ng m et ho d.       2.   BACKG ROU ND   In   t he  past,  deep  le ar ning   netw orks   we re  use d  to  s olv e  dif fer e nt   pro blem s  su ch  as  im age   cl assifi cat ion ,  obj ect   rec ogniti on ,   im age  extracti on,  et c.  [13].The se  netw orks  em plo ye d  var io us   m et ho ds   f or   op ti m iz ation .  Conv olu ti onal   neural  netw ork s  (CN Ns)   a re  a m on g  t he  m os t  i m po rtant  de ep  le arn i ng  net works  po s sessin g  se ver al   la ye rs   a nd  ser ving  as   a  ve ry  po w erful  m et ho d  for  m achine  visi on  op ti m izati on .     These  netw ork s  co ns ist   of  t hree  la ye rs  nam ed  c onvoluti ona l,  poolin g,  an d  fu ll y  c onnecte d.   C NNs  hav e   been  us e d  f or im age classi ficat ion .   A  dee p  le ar ni ng  m od el   was  i ntr oduce d  by  Dan ie l  F rits  et   al .  for  im age  cl assifi cat ion .  This  m od el   com bin es  a  de ep  net wor k  wit h  PixelR NN   a nd   DCGR A N  m od el s  fo r  im age  rec ogniti on.  T hese  m od e ls  wer e   i m ple m ented  in  PixelR N N  a nd   DCGR A N  for  ha ndw ritt en  data  [ 14] .  G an  Pro j ect   was   carried  out  for  i m age   cl assifi cat ion ,  too .  It  is  us e d  in  a  k - cl as s  cat egorizat ion   [ 15 ] .  Anothe r  cl assifi cat ion   pro j ect   incl ud e d    the  aux il ia ry  de ep  ge ner at ive   m od el s  (ADGM s).   A DG Ms  consi st  of   va ri ou s  set s  of   enc od e rs  an d  de c od e rs .   This  pro j ect   w as  execu te d  on   the  MINIST  dataset .  Acc ordin g  to  the  res ults,  Atla sRB F  al go rithm   pr oduc e d  1.5 tim es  m or e co nv e r gen ce  than dee p ge nerat ive m od el s,  vi rtual ad ve rsar i al , and  la dde r m et ho ds [ 16 - 18] .    A  m ajo r  ap pro ach  to  dee p  ne tworks  is  to  cr eat e  diff ere nt   la ye rs  for  le arni ng   the  feat ur e s  [19,   20 ] .     An  instanc e  of   su c h  netw ork s  is  an  ei gh t - la ye red   netw ork  desig ned  by   Kr iz hevsky  et   al .  [ 21 ] .  It  is  a  dee p  netw ork  arc hit ect ur e  based   on  the  c onvolut ion   of   a  dee p  ei gh t - la ye re d  netw ork.   Give n  the  s uccess  of   t his  netw ork,   it   is  us e d  wi dely   to   so lve   m any  pr oble m s  su ch  as  vid e o  cl assi ficat ion   [22],  f aci al   recogn it ion,  a nd   act ion   detect io n  [ 20 ] .  Othe r  r el evan t  pr oj ect s  inclu de  the  use   of   a  c onvol ution   a  wea k  le arn e r  in  the  e ns em ble  Ad aB oosti ng  a lgorit hm   [2 3]. Weak  le ar ner   i s  a  le ar ner   t hat   no  m at te r  what   the  distri bu t ion   over  t he  tr ai nin g  data  is  will   al w ay s  do  bette r  t han  cha nce ,  w hen  it   trie s  to   la bel  the   data.   This  m eans  tha t  the  le ar ner  al gorithm   is  al ways  goin g  to  le a rn   s om et hin g,   not  al ways  com pletely   accurate.  Th e  c om bin at ion   of  a  c onvo luti on al   netw ork  an d  A daBo os ti ng  m e thod  has  al so   been   us e d  in  num erati on .  Th e  aim  of   this  pa per   was  to  pr opos e     a  m od el   based  on   the  com bin at ion   of   A da Boo sti ng  m et h od   a nd   a  two - la ye red   co nvol ution al   net wor k  to  pro du ce  b et te r   resu lt s .       3.   RESEA R CH MET HO D   In   t he  propose d  a ppro ac h,  en sem ble  m et hods   a nd   dee p  le anin g  wer e  em plo ye d  to  im pr ov e   im age   cl assifi cat ion .  Fo r   this  purpos e,  a  co nvol utio nal  ne ur al   net work  was   com bin e d  with  the  Ad aB oosti ng  m et ho d.  E v e r y   e n s e m bl e   p r o b l e m   c o n s i s t s   o f   f o u r   s e c t i o n s :   a   t r a i ni n g   s e t ,   a   b a s i c   l e a r n e r ,   a   d r i v e r ,   a n d   a   c om p o s e r   [ 1 0 ] .   Likewise,  the  prop os ed  m et ho d  incl ud e s the  foll ow i ng secti on:   a.   Trainin g  set :A  trai ning  set   c onta ins  la belle d  sam ples  us ed   f or  trai ni ng.  In  this  stu dy,   the   MINIST  sta nd ar d  dataset  w a s  em plo ye d f or im a ge  cl assifi cat io n.   b.   Ba sic   le arn er:  A  ba sic   le arn e r  is  a  le ar ning   al gorithm   us ed  f or  le ar ning   a  trai ning  set .   In   t his  pr oj ec t,     the  ba sic   le ar ne r  was  us e d  to   i m ple m ent  de ep  le ar ning.   F or  this  pur pose ,  a  c onvoluti on al   ne ur al   netw ork   was  us e d   as  a  le arn ing   al go rithm .  Ho wever,  the  CNN  c on sist e d  two  c onvoluti onal   f un ct io ns   in  ev ery   Evaluation Warning : The document was created with Spire.PDF for Python.
                IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  5 ,  Oct ob e r 2 020  :    48 72   -   48 80   4874   cl assifi er  f or   m or e  converge nce.  On   t he  ot her   ha nd,  the  conv olu ti onal   functi ons  are  base d  on  er r or  rate   reducti on in  learni ng.   c.   Dr i ver : T his c om po nen t i s  us e d  to  creat e  dif f eren t cl assifi e r s.   d.   Com po ser:  T hi s  com po ne nt  is  us e d  to  c om bin e  cl assifi cat ion   m et ho ds.  I n  this  pro je ct ,  the  boos ti ng  te chn iq ue was   us e d.   Figure  1  s hows  a sc hem atic v ie w of t he pr op os e d  m et ho d f or com bin at ion.           Figure  1. The   g ene ral  a r chite ct ur e  of the  pro po s ed  m et ho d       The  A daBo os t ing   net wor k  was  create d  a nd   c om bin ed  with  the  co nv olu ti onal   ne ural   network   to   ob ta in   a  po werfu l  le ar ner  f rom   weak   c onvo luti on al   le ar ners.  Acc ordi ng ly ,  the  c onvoluti on al   netw ork  c on sist s   of   t hr ee  la ye rs :  conv olu ti ona l,  poolin g,   a nd   fu ll y  co nnect ed.   T he  fu ll y  connecte d  la ye r  is  res pons i ble  for   com pu ti ng   t he  cl assifi cat ion   [ 23,  24] .  I n  the p r opos e d  al go r it h m ,  two  de ep   conv olu ti onal  lay ers  of   e ve ry  cl ass  are r e spo ns ible  for   wea k  le ar ni ng .  T he  m ulti c la ss boo sti ng  ne twork  is d e fin ed  in  the  f ollo wing  way [ 13] .     F: X→  {1…M }            (1)     In  t his str uctu r e,X  is all   data in Cla ss M also  ev ery  xire fer s   to a class  nu m ber   of a label  num ber  of an  M - cl assifi cat ion . F( X) is trai ne d glo bally  and  dev el op e d  i n t he  f ollo wing  way  [ 9].     F( x) =  ar g  m ax  <Y k  ,  F(X )>k=1...M   (2)     In  ( 2 ) , YK¬ i ndic at es the la be l of a  k - cl assif ic at ion .In  fact,  the outp ut  of F (X) is as  foll ows  [13].     F( x) =  [   f 1(x)... fM( x) ]   ∈ RM   (3)     On  the  oth e r   ha nd,  the   m ulti cl ass  boos t ing   m et ho d  di vid es  t he  le a rn i ng   pro ce ss   into  se ve ral  su bc la sses to  im pr ov e lea r ni ng. T he refor e , g i:  X →RD  sho ws  trai ning  fun ct ion s.     F( X ) = ∑ ∝ ( )   (4)     In   this  functi on,  t  and   α   sh ow  the  fr e qu e ncy  an d  c orrelat ion   c oe ff ic ie nt  in  ea ch  it erati on,   resp ect ively .   I n  this   m et ho d,  GD - MC Bo os t  was  em plo ye d  to  im pr ov e   le a rn i ng  [ 13 ] .   Co ns ide rin g  t he  l earn i ng  cl assifi cat ion ,  the  pro pose d  al gorithm   us ed  a  m ini m iz a t ion   poli cy   in  wh ic h  a  desce nd i ng  gradie nt   was   e m plo ye d [15].  Th e refor e , the  m ini m u m  w eak lear ner is sel ect ed  in t he fol lowing  way:     g=arg ⁡ m in ⁡ R [f ;g]     (5)     The  ( 6 )   i nd ic at es the  functi on  us e d  f or m ini m iz at ion  [7].     Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g   IS S N: 20 88 - 8708       A n ew   appro ac h  to  im ag e  clas sif ic ation   ba s e d on a dee p m ul ti cl as s AdaB oosti ng e ns em bl e  ( Ha s an Asil )   4875    [ ; ] = − 1 2 | | | | + ∑ < ( ) ( ) >  ,  ∈   (6)     The follo wing  al gorithm  is a p art  of the  sour ce co de of  the  pro po se d  m et ho d:     Algorithm  1 . T he  a lg ori thm   s t ru ct ur e   cnn.layers  = {        struct( 'type' ,  'i' )  %input layer        struct( 'type' ,  'c' ,  'outputmaps' , 6,  'kernelsize' , 5)  %convolution layer        struct( 'type' ,  's' ,  'scale' , 2)  %sub sampling layer        struct( 'type' ,  'c' ,  'outputmaps' , 12,  'kernelsize' , 5)  %convolution layer        struct( 'type' ,  's' ,  'scale' , 2)  %sub sampling layer   };       Sample code for any classification   %   opts.alpha = 1;   opts.batchsize = 50;   opts.numepochs = 500;   cnn,er5]= cnntrain(cnn, train_x5, train_y5, opts);   D(1,5), bad4] = cnntest(cnn, test_x5, test_y5);   cnn = cnnsetup(cnn, train_x6, train_y6);     opts.alpha = 1;   opts.batchsize = 50;   opts.numepochs = 500;   [cnn,er6] = cnntrain(cnn, train_x6, train_y6, opts);   [D(1,6), bad5] = cnntest(cnn, test_x6, test_y6);   cnn = cnnsetup(cnn, train_x7, train_y7);   opts.alpha =   1;   opts.batchsize = 50;   opts.numepochs = 500;   [cnn,er7] = cnntrain(cnn, train_x7, train_y7, opts);   [D(1,7), bad6] = cnntest(cnn, test_x7, test_y7);   cnn = cnnsetup(cnn, train_x8, train_y8);   cnn,er10]= cnntrain(cnn, train_x10, train_y10, opts);   D(1,10), bad 9] = cnntest(cnn, test_x10, test_y10);   Increase the result by min %   er=cat(1,er1,er2,er3,er4,er5,er6,er7,er8,er9,er10);   er=min(er);       4.   RESU LT S  AND A N ALYSIS   The  pro pose d  al gorithm   was  i m ple m ented  on   the  MIN IS T  dataset   in  MA TLAB  f or   e valuati on   [25] .    The  MNI ST  da ta base  (Mo dif ie d  Nati on al   I nst it ute  of   Standa rd s  a nd   Tec hnol og y  data bas e)  is  a  la rg e  database   of   hand wr it te n  dig it s that is com m on ly  u sed  f or  traini ng   var i ou s im age p ro c essing  syst em s   [26] . Th e d at a bas e   is  al so   widely   us e d  for  trai ni ng   a nd  te sti ng  in   the  fiel d  of   m achine  le arn i ng  [ 27,  28] .  It  was   creat ed  by     "re - m ixing "  th e  sam ples  fr om   NI ST' s  or igi nal  dataset s.   F ur t her m or e,  t he   black   an d  w hite  i m ages  f rom   NI ST   wer e  norm al ized   to  fit  into  a   28x28  pi xel  boun ding  bo x  a nd   a nti - al ia sed ,  w hich  i ntrod uced   gray scal e  le vels.   The  M NI S T  da ta base  c on ta i ns   60,00 0  trai ning  im ages  and  10, 000  te st ing   im ages   [ 29] .   Sect io n  4.1   to  4.4   sh ows  t he  te sti ng   resu lt s. I n  these  sect io ns , the  CN N,   AdaB oo sti ng  m eth od,  a nd  the  pro po se d  e ns e m ble  m ul ti cl ass  con vo l ution al   A da Boo sti ng   m et h od   wer e  eval ua te d  to  com par e  the  resu lt s.  On   the  ot her   hand,  ever y t est   was e valuate d  wit h diff e re nt it erati on s  to  an al yz e  the r es ults  bette r.       4.1.    AdaBo os t   Figure  2  i nd i cat es  the  proc ess  of  le a rn i ng  the   Ad aB oosti ng   al gorith m   fo r  diff e re nt  it erati o ns.   Accor dingly ,  the  er ror  rate  de creased  w hen  the  num ber   of  it erati on s  inc r eased.   In   t his  al gorithm ,  the  sa m ple  sp ace  was divi ded into  classe s.  T hen the lea rn i ng   proce ss  was  ca rr ie d  out  on those cla ss es in th e  AdaB oo sti ng  m et ho d.  Nat ural ly ,  the  num ber   of   it erati ons   an d  le ngth   of  le arn in g  i ncr ea sed.   I n  oth e r  w ords,  the re  were  10 0,   500,   an d  2000   processes   in  10,  50,   an d  200  it erati ons .T he  le ar ning  cy cl e  find  the  s et   of   par am et ers  to  op ti m iz e the er ror fu nctio n.   In the e nd,   the  m od el  a nd  par a m et ers  are  with t he  sm al le st  error.     4.2 .   Single - l ay ere d  CNN   A  CN N  co ns is ts  of   c onvoluti on al ,  poolin g,   and   fu ll y  co nnect ed  la ye rs   [ 30] .  The refo re,  a  com par iso n  sh oul d  be  m ad e  between   this   m et ho d  an d  the  pro posed  m et ho d.   T he  CNN  wa s  eval uated  on  the  MINIST   dataset .  Fig ur e   3   sh ows  the  resu lt s  of  the  CNN.   Fi gure  2  ind ic at es  the   CNN  le arn in g  process  in  10,  50 ,     and 20 0  it erati on s . Acc ordin gl y, the CN N  is  slow e r  tha n  t he  AdaBo os ti ng  m et ho d.   Evaluation Warning : The document was created with Spire.PDF for Python.
                IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  5 ,  Oct ob e r 2 020  :    48 72   -   48 80   4876       Figure  2. E rro r  r at e  c om par iso n  b ase d on the  n um ber   of  i te r at ion s i n  the  in  AdaBo os ti ng           Figure  3. Er ror   r at e  c om par ison  b a sed  on t he   n um ber  of  i te rati on s  in  t he  C NN   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g   IS S N: 20 88 - 8708       A n ew   appro ac h  to  im ag e  clas sif ic ation   ba s e d on a dee p m ul ti cl as s AdaB oosti ng e ns em bl e  ( Ha s an Asil )   4877   4.3 .   Tw o - la yered  CNN   Con si der i ng   th e  us e  of  tw o - la ye red   CN Ns  in   weak   le ar ning ,  a  conv olu ti on al   deep   le ar ning  net wor k  was  form ed.   T he  cl assifi cat io n  resu lt s  of  th at   netw ork  we re  e valuated   t o  pro du ce   bett er  re su lt s.   Fig ur e   4  ind ic at es the  r e su lt s of t hat n et work.           Figure  4. Er ror   r at e  c om par ison  b a sed  on t he   n um ber  of  i te rati on s  in  t he  t wo - l ay ered C N N       4.4 .     Deep m ulticl ass A da B oostin g   The  pr opos e d  m et ho d  was  a nensem ble  of   Ad aB oosti ng   and   c onvoluti on al   m et ho ds .   The  sam ple   sp ace  was  di vid ed  int o  te n  unit s  in  co m bin at ion   with  the  co nvolu ti onal   m e thod.  Fig ur e  5  sh ows  the  res ul ts  of  le arn in g proces s in dif fer e nt it erati on s .     4.5 .    Results  and  discussi on   In   order   t o  eva luate   the  pro po sed  m et ho d,   t he   i m age  cl assifi cat ion   was  c onduct ed  on  the   Mnist   data  set   with  dif fere nt  al gorithm s .  The  m et ho ds  us ed  f or   im ple m enting  thes e  exp e rim ents   wer e  pr ese nt ed  i n  sect ion s  4.1  to  4.4.  The  m on o -   an d  bi - la ye r  convo l ution   m et ho ds  wer e  car ried  out  to  eva luate   the  A da Bo os ti ng   m et hods .  T he  er ror  rates wer e d et erm ined  ba sed  on  th e  nu m ber  o f  re petit ion s.  The  r esults  of  these  e xp e rim ents  are   s how n  in   Ta ble  1.  Fo r   e xam ple,  in  500  re petit ion s,   the  e rror  r at e  of  A da - bo os ti ng,   bila te r  conv olut ion ,  an d  de ep   Ada - bo os ti ng  are  0.008,  0.0 089,   a nd   0.0 067  r especti vely .  On   the  oth e r  ha nd,   if  the  num ber  of   rep et it io ns  increase d  t hen   a  bette r  conve rg e nce  c an  be  ac hie ve d  in  the   pro po s ed  m et ho d.Acc ordin g  to  th e  res ults,  the  im age  cl assifi cat ion   error   rate  in  th e  pro p os e d  m et hod  wa s  8%  bette r   than  the  pr e vi ou s  m et ho d  a nd  ha d  bette r  sta bili ty   as  well .  Table  1  s how s  the  erro r  rat es  in  three  dif fer e nt  sit uations .  Fig ur e  6 sho ws  a   com par ison d r awn b et ween t he pr opos e d  al gorithm  an d ot her m et ho ds .     Evaluation Warning : The document was created with Spire.PDF for Python.
                IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  5 ,  Oct ob e r 2 020  :    48 72   -   48 80   4878       Figur e  5. Er ror   r at e  c om par ison  b a sed  on t he   n um ber  of  i te rati on s  in  d ee p  m ul ti cl ass A da Boo sti ng       Table  1.  E rro r  r at e  c om par iso n  b ase d on  a lg or it hm s an d  i te rati on s   Ro w   Iter atio n s   Ad aBo o stin g   Sin g le - Layered  CNN   Two - La y e red  CNN   Co n v o l u tio n al  Multiclas s Ad aBo o stin g   1   10   0 .01 3 5   0 .46 8 0   0 .03 2 3   0 .45 0 1   2   50   0 .00 9 4   0 .50 0 0   0 .00 3 7   0 .04 4 6   3   200   0 .00 9   0 .01 9 7   0 .00 8 9   0 .01 6 8   4   500   0 .00 8   0 .08 7   0 .00 8 1   0 .00 6 7           Figure  6. The   e rror  r at e  of  a lg or it hm s  b ase d on  i te rati ons   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g   IS S N: 20 88 - 8708       A n ew   appro ac h  to  im ag e  clas sif ic ation   ba s e d on a dee p m ul ti cl as s AdaB oosti ng e ns em bl e  ( Ha s an Asil )   4879   5.   CONCL US I O N   Deep  le arn i ng  is  now  us e d  f or  so l ving  var i ous  c om plex  prob le m s.  Conv olu ti on  is  on e  of   t he  deep  le arn in g  m et ho ds,  w hich  i s  us e d  f or  c la ssifyi ng   im a ges.  Th e  h yb rid  m et ho ds  are  c onsidere d  a s   a  m ulti - com po nen t  le ar ning  m et ho d  t hat  inten ds   to  st re ng t hen   t he  le a rn i ng   process  by  us i ng   c ombine d  appr oach es .  B oo sti ng  i s  one  of   t hese  m et hods .  This  stu dy  seeks  t o  fi nd  a  m et ho d  f or   optim izing   a nd  re du ci ng   error s  w hen  cl assify ing   im ages.  So   far,   var i ou s   m eth ods  a nd  m od el s  ha ve  bee n  prese nted  f or   t his   cl assifi cat ion .   The  pro posed   m et ho d  is  bas ed  on  a  c om bin at ion  of  bo ost ing   m et ho d  a nd  de ep   co nvol ution   te chn iq ue.   B oosti ng   ha s  a  set   of   basic  le arn i ng   t hat  i m pr ov es  and   st rength ens  the  poor   le arn i ng   in  eac h  ste p.  In   t he  pro po se d  m et ho d,  the  bi - la ye r  c onvo luti on   netw ork   is  co ns ide red  as  basic  le ar ni ng.  T his  m et ho d  was   i m ple m ented  us in g  M ATL AB  s of twa re  and  eval uation  was  ca rr ie d  ou t  us in g  ha ndw ritt en  data.   In  this   al gorithm ,  the   Mnist   data  s et   was  app li ed.   A fter  eval ua ti ng   the  res ults  of   the  pro pose d  m et ho d,   it   was  analy zed  us i ng  convo l ution   a nd   boos ti ng  m et hods .  T he  res ults  ind ic at ed  that  in  500  re pe ti ti on s,  the  erro r  rate   was decrease d by 8% . On  the  oth e r  ha nd, s in ce the boost ing  m et ho d was  use d,  t he  pro pos ed  m od el  h as  hi gh e r   sta bili ty . In   the   fu tu re,  it   is  possible  to  im pr ov e  the  propose d  al gorithm   by  stren gth e ning  the  basic  al gor i th m   and creati ng s om e connecti on s in  t he wei ghti ng pr ocess.       REFERE NCE S   [1]   H .   F.  Parde de ,   e t   al . ,   “ Convolu ti o nal   Neura l  Netw ork  and  Feat ur e  Tra nsform at ion  f or  Distant   Spee c h  Rec ogni ti on, ”  Inte rnational   Jo urnal  of El e ct ri c al  and  Comput er  Engi n ee ring   ( IJE CE) ,   v ol .   8 ,   n o .   6,   pp.   5381 - 538 8,   2018 .   [2]   S .   Khan   and   Kiruba nand  V.B . ,   “ Com par ing  m a chi ne  l ea rn ing  a nd  ense m ble   lea rning  in  the   f ie l d  of  footba ll, ”  Inte rnational   Jo urnal  of El e ct ri c al  and  Comput er  Engi n ee ring   ( IJE CE) ,   v ol .   9 ,   n o .   5,   pp.   4321 - 432 5,   2019 .   [3]   R . Carua na   and   A .   N .  Mizi l,  “ An  E m piri cal  Com par ison  of  Supervised  Le arn ing  Algorit hm s, ”   ICML  '06  Proce ed ings o f   t he  23rd i n te rnati onal  con fe ren ce   on  Mac hin e le ar ning,   USA ,  pp .   1 61 - 168,   2006 .   [4]   E.  Alp a y din ,   “ In troduc ti on   to   Ma chi ne   Learni ng , ”   Mass ac husett s ,   US A ,   MIT   Press ,   2004 .   [5]   C .  W .   Hs u  and  C .  J .   Lin ,   “ A  compari son  of  m et hods  for  m ult ic la ss   support  vec tor  m ac hine s, ”   I EE Et rans action  on   neural  ne tworks ,   vol .   13,   no.   2,   p p.   415 - 425 ,   200 2.   [6]   T .   T .   Khuat   an d   M .   H .   Le,   “ Ensemble  le arn in g  for  software   f aul t  pre di ction  proble m   with  imbala nce d  da ta, ”  Inte rnational   Jo urnal  of El e ct ri c al  and  Comput er  Engi n ee ring   ( IJE CE) ,   v ol .   9 ,   n o .   4,   pp.   3241 - 324 6,   2019 .   [7]   M .   Ghos h   and   P rab u  P . ,   “ Empiric al   Ana l y s is  of  Ensemble  Methods  for  the   Cla ss ifi c at io n  of  Roboca ll s   in   Te l ec om m unic ations , ”  In te rnati onal  Journal   of   Elec tri cal  and   Computer  Eng ine ering   ( IJE CE) ,   v ol.  9,   n o.   4,     pp.   3108 - 3114 ,   2019 .   [8]   S .   Ravi das   and   M.  A.  Ans ari ,   “ Dee p  learni ng  f or  pose - inva ri an t  face  de tecti on   in  unconstraine d  envi ronm ent, ”  Inte rnational   Jo urn al  of El e ct ri c al  and  Comput er  Engi n ee ring   ( IJE CE) ,   v ol .   9 ,   n o .   1,   pp.   577 - 584,   2019 .   [9]   J . T anh a,  “ Ense m ble   appr oa che s   to  sem i - superv i sed  learni ng , ”   Thesis ,  Unive rsit y  of  Am sterda m ,   2013 .   [10]   A .  Rasm us,  et   al . ,  “ Sem i - Supervised  Le a rning   with  La dder   N et works ,   Neura l   and  Evol uti on a r y   Com puti ng, ”   arXiv :1507. 0267 2 ,   2015 .   [11]   J .  Ta nha ,   et   al . ,  “ An  AdaBoost  Algorit hm   for  Multi xla ss   Sem i - supervise d  Le a rning, ”  IE EE   1 2th  Inte rnationa l   Confe renc e  on   Data  Mini ng   ( ICDM) ,  vol.   1 ,   pp .   1116 - 1121,   201 2 .   [12]   M .  S .   H .   Al - Ta m imi,   “ Co m bini ng  convol uti on a l  neur al   ne tworks  and  slant le t  t ran sform   for  an   eff ec t ive   imag e   ret ri eva l   sche m e, ”  Int ernati ona l  Journal   of  E le c tric al   and  C omputer  Engi n e ering  ( IJE CE) ,   v ol.  9,   n o.   5,     pp.   4382 - 4395 , 2 019 .   [13]   M .   Moghim i,   et  al . ,  “ Boosted  C onvolut ional  Ne ura l  Networks, ”   Proce ed ings  of  the   27th  Bri ti sh   Mac hine   Vi sion   Confe renc e ,  pp.   24. 1 - 24. 13 ,   201 6 .   [14]   A .   van Oord ,  et   al . ,   “ Pixel   Re cur ren t  Neura l  Net works , ”   Proce ed ings  of  the   I nte rnational   Confe r enc e  on  Mac hin e   Learning,   vol .   4 8,   pp .   1747 - 175 6,   2016 .   [15]   A .   Oden ,  “ Sem i - Supervised  L earning  with   Gene rat iv e  Adversar i al   Ne tworks, ”   D ata  E ff i ci en t  Ma chi ne   Learning   workshop at   IC ML 2016 ,   2016 .   [16]   H .  Valpol a ,   “ From   neur al   PC A  to  dee p  unsuper vised  le arn ing ,”   i n  Adv anc es   in  I ndepe nden t  Component  Anal ysi s  and  Learning  M achi nes ,  p p.   143 - 1 71 ,   2015 .   [17]   L .   Maa lø e,   e t  al . ,  “ Auxili ar y   D ee p  Gene ra ti v e  Models, ”   Proceedi ngs  of  the   33rd  Inte rnational   Confe renc e  on   Mac hine Learni ng ,   vol .   48 ,   pp .   1 445 - 1453,   2016 .   [18]   R.   Jensen  and  Q.Shen,   “ New App roa che s to  Fuzz y - Rough  Feat ure   Sele c ti on , ”  IEEE  Tr an sacti ons  on  FuzzySy stems ,  vol.   17 ,   no .   4 ,   pp .   824 - 838 ,   2009 .   [19]   K .   Sim ony an  a nd  A .   Zi ss erman ,   “ Ver y   d ee p   convol uti on al   net works   fo r  large  sca l e  imag e  rec ogn it ion ,”   arXiv :  1409 . 155 6 ,   2014 .   [20]   C .   Szeg ed y ,   e t  al .,   “ Going  dee p er   with convol ut io ns ,”   arXi v:  1409 . 4842 ,   2014.   [21]   A .   Krizh evsk y ,   et   al . ,  “ Im age   n et   cl assifi ca t ion  with  de e p  convo lut ional  n eur al  n et works , ”  i n  A d vanc es  in  neural   inf orm ati on  proc essing  systems , p p.   1097 - 1105 ,   2 012.   [22]   A .   Karpa th y ,   et   al .,   “ La rg e - sca le  vide o  cl assifi cat ion  with  convolutiona l  n eur al   n e tworks, ”   i n  IEEE  Confe renc e  on  Computer  Vi sion   and  Pa tt ern   Rec ognit ion  ( CVPR) ,  pp .   1725 - 1732 ,   2014.   [23]   J .   Zhu ,   e t  a l . ,  “ Multi - class   ada b oost ,”   S tat ist ic s  and  Its  Int erface ,  vol .   2 ,   pp .   349 - 36 0,   2009 .   [24]   N .  Kari ana kis,   e t   al . ,  “ Boosting   c onvolut ional  f ea t u res  for   robust   o bje c t  proposals , ”   arXiv :   1503. 063 50 ,   2015 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  10 , No .  5 ,  Oct ob e r 2 020  :    48 72   -   48 80   4880   [25]   M .   J.  Saber ia n   and   N .  Vasconc el os,  “ Multi class   Boosting:   The or y   and  Al gorit hm s, ”   Advance s  in  Neural   Information  Pro ce ss ing  Syst em ,   2011 .   [26]   Qiao,   Yu ,  “ T he   MN IST  D at aba s e   of  h andwri t te n   digi ts, ”   Re trieve d  18  Augus t  201 3.   [27]   J.  C.   Pl at t ,   “ Us ing  ana l y t i c  QP   and  sparsene ss   t o  spee d  tr ai n ing   of  support  ve ctor  m ac hine s, ”   A dvanc es  in  Neur al  Information  Pro ce ss ing  Syst ems ,   pp.   557 - 563 ,   1 9 99 .   [28]   T .   A .   As segi e   a nd   P .   S .   Nair ,   “ Handwrit te n  d ig it s  rec ogn it ion   with  decision  tr e e  class ifi c at ion :  a  m ac hin e  l ea rni ng  appr oac h , ”  In te r nati onal  Journal   of  El e ct ri cal   an d  Computer  Engi nee ring  ( IJE CE ) ,  v ol .   9,   n o .   5,   pp.   4446 - 4451 ,   2019 .   [29]   Y.  Le Cun ,   et al . ,   “ MN IST  handwri tt en   dig it   d atab ase , ”   [Onlin e] .   Avail ab le :   htt p :/ / y an n . l ec un . com/ exdb/ m nist/ .   [30]   K .   Kum ar  N . ,  e t  al . ,   “ An  ense m ble   m ult i - m odel   t ec hniqu e  for   pre dicting  chr o nic   kidn e y   diseas e, ”  Int ernati on al   Journal  of   Elec t rical   and   Computer  Eng ine ering   ( IJE CE) ,   v ol .   9,   n o .   2 ,   pp .   1321 - 1326,   2019 .       BIOGR AP H I ES   OF  A UTH ORS        Hasan   As il   is  a  l ec tur er  in  th e  Facu lty   computer   of   Islamic  Aza d  Univer si t y,   Aza rsh ahr   Branc h.   He  is   al so  PH D  Student   a t  Urm ia  Univer sit y . His   rese ar ch  Fiel d s  are   Quer y   Optimiza ti o n  in   Data base ,   Soft ware   Deve lopm ent   Methodol og ie s,  Dat a  Minin g,   Mac hin e   Le arn ing .         J amsh id  B.   Mohasefi   rec ei v ed  his  B. S.  in  computer   engi n ee r in g  from   Sharif  U nive rsit y   of  Te chno log y   in  Ira n  at   1996  a nd  M.S.  in  computer   engi ne e ring  from   Ta rbia t  Modare s   Univer sit y   in  Ira n  at   1999.   He  got  his  PhD   in  c om pute r  engi ne e ring  from   India n  Instit ute   of   Te chno log y   Del hi  (IIT D)  in  Ind ia   a t  2006.   H e  i s  cur ren tly   associate   prof essor  and  dea n   of   computer   and   e le c tri c al  engi n eering  fa cul t y   a t  Urm ia   Univer sit y ,   Ir an.  He  is   a lso  hea d   of   Com pute r  Emerge nc y   Response   Te am  (CER T)  ce nt er  a t  Urm ia   Univer sit y ,   I ran .   His  cur ren t   rese arc h   in te rest s inc lud e  n et wor k  sec uri t y ,   m ac h ine   le arn ing, a nd   interne t   of thing s .     Evaluation Warning : The document was created with Spire.PDF for Python.