T E L KO M NIK A , V ol . 17 No. 5,  O c tob er  20 1 9,  p p.2 6 50 ~ 26 58   IS S N: 1 69 3 - 6 93 0 accr ed ited   F irst  Gr ad e b y K em en r istekdikti,  Decr ee  No: 2 1/E/ K P T /20 18   DOI: 10.12928/TE LK OM N IK A .v 1 7 i 5 . 11797      26 50       Rec ei v ed   Nov e mb er  12 20 1 7 ; R ev i s ed   J a nu ary  2 8 , 2 0 1 9 A c c ep ted   F eb r u ary  12 20 1 9   Pr op osi ng   ne w   met ho of  i m age clas sifica ti on  b ased  on  t he  A d aB oo s dee p b eli ef n et w o rk h y bri d m e th o d       Hasa n   A s il * 1 J amshid   B a g h er z adeh 2     Dep a rtm e n o Co m p u t e r En g i n e e ri n g F a c u l ty  o El e c tr i c a l  a n d  Co m p u te r  En g i n e e r i n g ,   Urm i a   Un i v e rs i ty Ur m i a ,  I ra n   *C o rre s p o n d i n g  a u th o r,  e - m a i l :   h .a s i l @i a u a z a r.a c .i r 1 j . b a g h e r z a d e h @urm i a .a c .i r 2       Ab strac t   Im a g e   c l a s s i fi c a t i o n   h a s   d i ff e re n a p p l i c a ti o n s U p   to   n o w,  v a r i o u s   a l g o r i th m s   h a v e   b e e n   p re s e n te d   fo i m a g e   c l a s s i fi c a t i o n .   Ea c h   o th e s e   m e th o d s   h a s   i t s   o wn   wea k n e s s e s   a n d   s tre n g th s Re d u c i n g   e rr o ra t e   i s   a n   i s s u e   wh i c h   m a n y   re s e a rc h e s   h a v e   b e e n   c a rri e d   o u a b o u i t.   Th i s   r e s e a rc h   i n t e n d s   to   o p t i m i z e     th e   p ro b l e m   wit h   h y b ri d   m e th o d s   a n d   d e e p   l e a rn i n g T h e   h y b ri d   m e th o d s   were   d e v e l o p e d   to   i m p ro v e     th e   re s u l ts   o th e   s i n g l e - c o m p o n e n m e th o d s O n   t h e   o th e h a n d a   d e e p   b e l i e n e tw o rk   (DBN i s   a   g e n e ra t i v e   p ro b a b i l i s ti c   m o d e l wit h   m u l t i p l e   l a y e rs   o l a te n v a ri a b l e s   a n d   i s   u s e d   t o   s o l v e   th e   u n l a b e l e d   p ro b l e m s I n   fa c t,   th i s   m e t h o d   i s   a n u n s u p e rv i s e d   m e t h o d ,   i n   whi c h   a l l   l a y e rs   a re   o n e - w a y   d i re c te d   l a y e rs   e x c e p fo r     th e   l a s l a y e r.  So   fa r,  v a ri o u s   m e th o d s   h a v e   b e e n   p r o p o s e d   fo i m a g e   c l a s s i fi c a t i o n a n d   th e   g o a l   o th i s   re s e a r c h  p ro j e c wa s   to  u s e   a  c o m b i n a ti o n   o t h e   Ad a Bo o s m e th o d   a n d   th e   d e e p   b e l i e n e two rk   m e th o d   t o   c l a s s i fy   i m a g e s T h e   o th e r   o b j e c ti v e   w a s   t o   o b ta i n   b e tt e r   re s u l ts   th a n   th e   p r e v i o u s   re s u l t s In   th i s   p ro j e c t,   a   c o m b i n a ti o n   o f   th e   d e e p   b e l i e f   n e two r k   a n d   Ad a Bo o s m e th o d   was   u s e d   to   b o o s l e a r n i n g   a n d   t h e   n e two rk   p o te n t i a l   wa s   e n h a n c e d   b y   m a k i n g   t h e   e n t i re   n e two r k   r e c u r s i v e T h i s   m e th o d   w a s   te s te d   o n   th e   M INIST   d a ta s e a n d   th e   re s u l ts   w e re   i n d i c a ti v e   o a   d e c re a s e   i n   th e   e rr o ra t e   wit h   t h e   p ro p o s e d   m e th o d   a s   c o m p a re d   to  t h e  A d a Bo o s a n d   d e e p  b e l i e n e two r k  m e th o d s .     Key w ords b o o s t i n g d e e p  b e l i e n e two rk ,   d e e p  l e a rn i n g h y b ri d  m e th o d s i m a g e   c l a s s i fi c a t i o n     Copy righ ©  2 0 1 9   Uni v e rsi t a s  Ahm a D a hl a n.  All  rig ht s  r e s e rve d .       1.  Int r o d u ctio n   In  ord er  to  i d en t i f y   th c o nte nt   of   an   i m ag e,  i t   i s   n ec es s ar y   to   ex tr ac a nd   p r oc es s   i nf orm ati on   f r o m   i m ag e.  V a r i ou s   m eth od s   ha v be en   pres en te f or  proc es s i ng   t hi s   i nf orm ati on   tha ea c of   the m   ha s   i ts   s pe c i a l   f ea tures .   Di f f erent  a l go r i thm s   ha v be en   pres e nte f or  i m ag c l as s i f i c ati on   u to   no w.  Mo s of   the s e   a l g orit hm s   are  b as ed   on   arti f i c i al   i nte l l i ge nc a nd   m ac hi ne   l ea r n i n g.  T he   av ai l a bl m eth od s   h av d i f f erent  po te nt i al s   b as ed   on   t he   d ata s ets   an l ea r ni n m eth od s E ac h   c l as s i f i c at i o pro bl em s   ha s   err or   ba s e o t he   ne t w ork   t y p an d   s tr uc ture.  T hi s   err or  c an   ha v e   d i f f erent  r e as on s T hi s   s tu d y   h as   ac te to   r ed uc the   i m ag c l as s i f i c ati on   err or.  Deep   l e arni ng  b as ed  m i x ed  m eth od s  are us ed   to  r e du c e e r r or.    A r ti f i c i a l   ne ura l   ne t wor k s   ha v e   b ee n   em pl o y e d   f or  c l as s i f i c ati on   pu r p os es   gi v e the p ote n ti a l of   th l a y ers   to   l e arn  t he   ne h y bri d - ba s ed   f ea tur es T he   de ep   be l i ef   m od el s   are     the   ex te nd e v ers i on s   of   the   arti f i c i a l   n eu r a l   ne t wor k   m od el s T he s m od el s   h av nu m erous   ap p l i c at i on s   i c l as s i f y i ng   te x ts   an i m ag e s   an proc es s i ng   s ate l l i te  a nd   m ed i c al   i m ag es   an the y   ha v b ee wi de l y   us e r ec e ntl y   [ 1].   D ee l ea r n i ng   h as   b ee ba s e o th arti f i c i a l   n eu r al   ne t w ork s   an r es ea r c he r s   ai m   to  m od el   the   h i g h - l e v e l   ab s tr ac ti on   of   the   da ta.   T he s m od el s   e x tr ac m ul ti pl e   f ea tures   f r o m   the   d ata   an an a l y z e   th em A   da t c a be   a   w or d,  pi x e l f r eq ue nc y etc A l tho ug h   thi s   da t c an   c on v e y   an   i ns i gn i f i c an m ea ni ng c o m bi na ti on   of   thi s   da ta  c a n   l ea t be t ter     r es ul ts  [2 ].   Deep   l e arni ng   i s   us ef ul   f o r   c ertai s c en ario s   an d   i t   i n v o l v es   t he   us of   th m ac hi n l ea r n i n m od el s   an o the r   tec hn i qu es   f or  the   c r ea ti o of   m ea ni ng f ul   r es u l ts   [ 3].   Deep   m od el s   ha v s ev er al   l ate nt  l a y ers   a nd   nu m erous   pa r am ete r s   t ha ne ed   to  b tau g ht.   T hi s   c o m pu tat i o na l   c o m pl ex i t y   an d   th l arg er  p aram ete r   s pa c e   h av r e du c ed   t he   us e   of   a   l arge   nu m be r   of   l a y ers   i the   c om m on   ne ural   n et w or k   m eth od s   [ 4].   T he   l arge   n um be r   of   the   l a y ers   i n   th es n et w ork s   no t   on l y   r ed uc es   the   s p ee bu t   al s r es ul ts   i t he   l oc al   m i ni m an un s a ti s f ac tor y   r e s ul ts   [5] D ee p   be l i ef   ne t wor k s   ha v pr ov i de t he   s o l ut i o to  th i s   pro bl em   an t he   op p ortun i t y   t us m ul ti p l ne t w ork s In  a dd i ti on ,   D ee p   be l i ef   ne t wor k s   ha v a pp l i c at i on s   to  f ea t ure   l e arni ng   an d     c l as s i f i c ati on   [ 6].   A   d ee be l i ef   ne t wor k   i s   ge ne r ati v proba bi l i s ti c   m od el   c om po s ed   of   m ul ti pl Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A     IS S N: 1 69 3 - 6 93 0       P r op os i ng   a n ew m eth od  o f  i ma ge  c l as s i fi c a ti o n ... ( J a ms hi d   B a gh er z a de h )   2651   l a y ers   of   r an do m   hi dd e u ni ts w h i c are  on   to of   l a y er  of   v i s i b l v aria bl es   or  da ta  v ec tor.  F i gu r 1   s ho w s   an  ex am pl e  of  th es e n et w ork s .   V ari ou s   a l go r i thm s   ha v e   be e prop o s ed   f or  tr a i ni n de e be l i ef   ne t wor k   on     the   r e l e v an w e i gh ts   [7] O ne   of   the   di s t i nc ti v e   c ha r ac t eris ti c s   of   de ep   be l i ef   ne t wor k   i s   tha a l l   of   the   s tat es   of   the   hi dd en   un i ts   of   the   ne t w ork   are  i de nti f i ed   o f orw ar pa t an r eg r es s i on   i s   no al l o wed .   A l th ou gh   th i s   de du c t i on   i s   n ot  c om pl et el y   ac c ura te,   i t   i s   r el at i v el y   ac c urate.  A f ter  tr ai n i ng   th de e be l i ef   n et wor k al l   of   the   pro ba b i l i s ti c   m od el s   are  r u l e ou t   an th r es u l t i ng   wei g hts   ar us e as   a   n e s tarti ng   s et  f or  t he   ne ural   ne t wor k   w e i g hts T hi s   p r oc es s   i s   c al l ed     pre - tr ai n i ng F ol l o wi ng   th e   pre - tr ai ni n p ha s e,   on l a y e r   i s   ad de as   th o utp u of   the   n et w or k   as   aS of tm ax   f un c ti on   an t he   en t i r ne t wor k   i s   tr ai ne di s c r i m i na ti v el y T hi s   ne t wor k   ha s   be en   us ed   i s ol v i ng   v ari ou s   p r ob l em s   [8] T he   en s em bl c l as s i f i c ati o ns   be l on to   the   f am i l y   of    the   m ul ti - c om po ne nt  c l as s i f i c ati on   ap pro ac he s whi c h   wer pr op os e to   prod uc be t ter  r es u l ts   tha n   a   s i n gl e - c om po ne nt  c l as s i f i c ati on   a pp r o ac [ 9].   In   th i s   c l as s i f i c ati o n,  di f f erent  en s em bl c l as s i f i c ati on   ap proac he s   a r us ed   to  ob t ai be t ter  r e s ul ts an th h y bri ap pro ac he s   di f f er  i the i r   c l as s i f i c ati o m ec ha ni s m s   an ho w   t he y   c o m bi ne   the   ba s c l as s i f i er  i r e l at i o to     the   wei g hts  [1 0].   In  f ac t,  the r are  t wo  po s s i b l f r a m ew ork s   f or  the   en s em bl es de pe nd en ( s eq ue n ti al )   an i nd ep e nd e nt  ( pa r a l l el )   [1 1].   In  de p en d en f r am ew or k the   ou tpu of   on c l as s i f i er  i s   us ed   to   c r ea te  t he   s ub s eq ue nt  c l as s i f i er.  He nc e,  i t   i s   po s s i b l e   to  us e   t he   k no wl ed ge   ge ne r ate d   thro ug h   the   pr ev i ou s   c y c l es   t d i r e c the   l ea r n i n proc es s   i t he   s ub s e qu e nt  c y c l es   [1 2].   B o os ti n i s   an   ex am pl of   the   ap pl i c ati on   of   thi s   ap pro ac h.  In  t he   s ec on f r am ew ork i .e.   t h i nd e pe n de n f r a m ew ork ea c c l as s i f i er  i s   bu i l i nd i v i d ua l l y   an d   the   o utp uts   of   the   c l as s i f i ers   are  c o m bi ne d   w i th   the   po l l i n m eth od s   [13 ].  T he   pres en r es e arc go a l   was   to  us the   de e be l i ef   ne t w ork   h y brid   m eth od s  to  op t i m i z e t h e re s ul ts  of  i m ag e c l as s i f i c ati o n .   Natu r a l l y ,   the   m ai go a l   of   th i s   pro bl em   an t he   ot he r   l e arni ng   prob l em s   i s   to   p r ov i de   be tte r  r es ul ts . T he   h y br i d   m eth o ds   w ere  us ed   i n  th i s  r e s ea r c h t i m prov e t h e res u l ts . A s  h um an s   us th pre v i o us   r es u l ts   a n r es ea r c h   f i nd i ng s   to   m a k d ec i s i o ns   a nd   ob t ai be tt er  r es ul ts ,   th i s   m eth od   ha s   be en   al s em p l o y ed   i v ar i ou s   s tu di es   on   l ea r n i n g.  O ne   of   the   r e l at ed   tec hn i qu e s   i s   the   m e m or y   r ev i v al   tec hn i q ue V ario us   s tud i es   ha v b ee c on du c te on   t hi s   to pi c T he   pres en r es ea r c go a l  w as   to  c om bi ne   the  A d aB o os t,  de ep   b el i ef   ne twork an ne ura l   ne t w ork s   m eth od s .   In  f ac t,  th go a l   was   to   c o m bi ne   A d aB oo s t   wi th   d ee p   be l i ef   ne t wor k s   to  c r ea te  a   m e m ory - ba s ed   ne t w ork us e   the   pre v i ou s   l e arni n r es u l ts   i n   th s u bs eq ue nt   i t erat i on s ,   an produc e   be t ter  r es u l ts .   W i th  the   pro po s ed   h y bri m eth od the   r es ul ts   f r om   t he   l arge - s c al s tud i es   are   ex pe c ted   to  be   c l as s i f i ed  m ore s pe c i f i c al l y   an d t he  c om pu tat i on al   di m en s i o n i s  ex p ec ted   to  d ec r e as e.       2.  L it er atu r e R ev iew   Rec en t l y   t he   de ep   b el i ef   ne t w ork s   ha v be en   us e t s ol v v ario us   t y p es   of   probl em s   s uc as   i m ag c l as s i f i c ati on o bj ec r ec og n i ti on an d   f ea ture  ex tr ac ti on   [1 4].   T he s ne t w ork s   em p l o y   di f f erent  t ec hn i qu e s   to  op t i m i z the s e   m eth od s T he   no ti o of   the   d ee p   be l i ef   n et w ork s   was   pro po s ed   b y   Hi n ton .   T he s n et w ork s   of f er  pl en t y   of   ad v a nta g es   a nd   ha v e   b ee n   us ed   to   s ol v e   di f f erent  t y p es   of   prob l em s   [15 ].  O n of   the s e   prob l em s   w as   th c l as s i f i c ati on   of   the   s oc i a l   ne t w ork s   us i ng   ne ural   D B ne t wor k   an the   g en e t i c   al g orit hm   ( G A )   [16 ].  In  an ot he r   s tud y   ne w   m eth od   of   ne ural   ne twork   pre - tr ai ni n w as   i ntro du c ed   b as ed   o B ol t z m an m ac hi ne s   to  ac c el erat t he   tr ai ni ng   pro c es s   an d   en ha nc e   t he   ph o ne m r ec og ni ti o n.   O the r   r e s ea r c he r s   al s us ed   th d ee p   be l i ef   ne t wor k s   to  r ec og n i z th F ars i   nu m be r s   [17 ].  I an ot h er  s tud y   on   de e l ea r n i n g,  the   c o nte x t - b as e wor r ec og ni t i o ab i l i t y   was   an a l y z e [18 ].  F r i t z   et   al pro po s ed   deep - l ea r n i n m od el   f or  i m ag c l as s i f i c ati on T he i r   m od el   c om bi ne s   a   de ep   ne t wor k   w i th    the   P i x el RNN  a nd   DCG A m od el s   an i i s   us ed   f or  i m ag e   r ec og ni t i o n.  T he s m od el s   w ere  de v el op e wi th   r eg ard   to   P i x e l RNN   an DCG A f or   ha n d w r i t ten   da t [ 19 ].   O th er  r es ea r c he r s   c on du c te r es ea r c o th A DG proj ec c l as s i f i c a ti on   [20 ] T he   A r ti f i c i a l   D e ep   G en erati v Neura l   N et w ork s   Mo de l   ( A DG M)  w as   de v e l op ed   u s i n a   d i v ers s et   of   en c o de r s   an d ec od ers T hi s   proj ec w as   tes te on   t he   MIN IS T   da tas et  [21 ] T he   G A proj ec was   al s a no the r   proj ec on   i m ag c l as s i f i c ati o n.  T he   r e s ul ts   f r o m   thi s   proj ec c a b us ed   f or  K - c l as s   c l as s i f i c a ti on M oreo v er,   on of   the   m a j or  de ep - n et wor k   ap proac he s   i s   ba s e on   the   c r ea t i on  of   di f f erent  l a y ers   f or  f ea ture  l ea r n i n g [ 2 2 ].       Evaluation Warning : The document was created with Spire.PDF for Python.
        IS S N: 1 69 3 - 6 93 0   T E L KO M NIK A     V ol .   17 ,  No 5,  O c tob er 20 19 :   265 0 - 26 58   2652   3.  T h e P r o p o se d  M eth o d   T he   de ep   be l i ef   ne t w ork s   are  RB M - ba s e n et w ork s   [23 2 4].   T he r are  a l s t wo  oth er  ne t w ork   t y pe s na m el y   t he   Deep   B ol t z m an   Ma c hi ne s   ( DB Ms )   an D ee E ne r g y   M od e l s   ( DE Ms ) whi c are  d ev el op e ba s e d   on   the s n et w ork s   [25 ].  F i g ure  pres en ts   th i nt erc on ne c ti o ns   wi th i the s n et w ork s A s   s ee i F i gu r 2,  t he   D B Ns   ha v e   un d i r ec ted   c o nn ec t i on s   i the   u pp er  t wo  l a y ers w hi c f orm   an   RB M.  In  a dd i ti o n,  th di r ec t ed   c on ne c ti on s   are  i the   l o wer   l a y ers   [26 ].     T he   m ai c ha r ac ter i s ti c   of   thi s   n et wor k   i s   tha th tr ai n i ng   i s   u ns up er v i s e d,  wh i c e l i m i na tes     the   n ee f or  the   l a be l ed   da t f or  tr ai ni ng A   d ee be l i ef   ne t w ork   i s   ge ne r at i v pro ba b i l i s ti c   m od el i whi c h  t he  j o i nt  pro ba b i l i t y  di s tr i bu t i o n o f  t he  da t i s   v i s i bl e  a nd  pro v i de s  t he   l a be l s . A   DB N  f i r s t   us es   an   o pti m u m   l a y er ed   g r ee d y   s tr a teg y   f or  the   i n i ti al i z ati on   ( of   the   de e ne t w or k   pa r a m ete r s ) ,   an d   th en   s ets   a l l   of   t he   w e i gh ts   j oi n tl y   i n   r el ati on   to   th ex p ec ted   o utp u ts T he   greed y   l e arni ng   proc ed ure  ha s   t w a dv an tag es   [2 7]:   f i r s tl y i pro v i de s   f or  proper  ne t wor k   i ni ti al i z ati on   a nd   the r ef ore  i r e d uc es   t he   di f f i c ul t y   of   s el ec ti n t he   pa r a m ete r s   ( w hi c m a y   l e ad   t the   s e l ec t i on   of   l oc al   op t i m a);  s ec on dl y t h l e arni ng   proc es s   i s   u ns u pe r v i s ed wi t ho ut   ne e f or  c l as s   l ab e l Henc e,   the   tr a i n i ng   ne ed   f or  the   l ab e l e d ata   i s   av oi de d   [ 28 ].   Ho wev er,  t he   de v e l op m en of   DB m od el   i c urs   he av y   c om pu ta ti on al   c os ts   be c au s i i s   no k no wn  ho w   to  a pp r ox i m ate   the   m ax i m u m   tr ai n i ng   l i k el i ho od  f or the  m od e l  op ti m i z at i on  [2 9 ].   A s   s tat ed   i s ec ti o 1,  th e ns em bl c l as s i f i c ati on s   w er propos e to  i m prov t he   r es ul t s .   T he s m ul ti - c o m po ne nt   c l a s s i f i c ati on   ap proac he s   r es ul i be tt er  r es ul ts T he   prop os ed   al go r i t hm   was   al s de s i gn ed   to  us t he   h y bri m eth od s   an th e   de ep   b el i ef   m eth od   to  i m pr ov t he   i m ag c l as s i f i c ati on   r es ul ts In  thi s   r es ea r c h,  a   bo os ti n h y br i a l go r i thm   w as  us ed   t c o m bi ne   the  da t a,  an d t he   propos e d d es i gn  i s  i l l us tr ate i n Fi gu r 3 .           F i gu r 1.  A  de ep   be l i ef  ne t wor k       F i gu r 2.  A  c om pa r i s on  be t ween   the   Dee p B ol t z m an   n et w ork s           F i gu r 3 .   T he  pro po s ed   al g orit hm  s tr uc ture   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A     IS S N: 1 69 3 - 6 93 0       P r op os i ng   a n ew m eth od  o f  i ma ge  c l as s i fi c a ti o n ... ( J a ms hi d   B a gh er z a de h )   2653   4.  A s se s sment  of  t h e P r o p o se d   A lgo r it h   In  order   to  as s es s   the   propos e al go r i t hm i was   i m pl e m en ted   i M A T LA B   o   the   MINI S T   da t as et.   T hi s   d ata s et   c on s i s ts   of   ap pr ox i m ate l y   60 00 0   r ec ords   of   ha nd w r i tte n   E ng l i s h   nu m be r s   f or  l ea r ni n a nd   10 00 d ata   r ec ords   f or  tes ti ng In  order   to  c o m pa r e     the   r es u l ts t he   de ep   be l i ef   ne t w ork A d aB o os t,  an th pro po s e D B N - ba s e A da B oo s t i ng   m eth od s   w ere  t es ted .   O t he   ot he r   ha nd f or   m ore  prec i s an a l y s i s the   r es ul ts   f r o m   ea c tes t   wer e   c om pa r ed  c y c l e - wi s e as  pres en te i n t he  f ol l o wi n g.     4 . 1 A d aBoo st   F i gu r d ep i c ts   t he   l ea r n i ng   proc es s   i th A da B oo s ti ng   al g orit hm   throug d i f f erent  c y c l es A s   s ee n,  wi th  an   i n c r ea s i t he   c y c l es   the   err or  r ate   d ec r ea s es T s ol v thi s   pr ob l em ,   the   pro bl em   s pa c was   di v i de i nt 10   s e gm en ts   an d   the   l e arni ng   pr oc es s   w as   c o m pl ete f o r   the s c l as s es T he   A d aB oo s ti n proc es s   a l s t oo k   pl ac e.  Nat ural l y ,   wi th  a i nc r e as i   the   nu m be r  of  th e  c y c l es , t he   l ea r ni n ti m e e s c al at ed .   F or i ns t an c e,  10 0,  50 0,  an d  20 00  l e arni ng   proc es s es  were c om pl ete f or 10,  50 an d  20 0 c y c l es r es pe c ti v el y .           ( a)         ( b)       ( c )       ( d)     F i gu r 4.  T he  proc es s  of  l e arni n g b as ed  o n t h e n um be r  of  c y c l es   us i ng     the   A da B o os ti n g l ea r n i ng   m eth od ( a)  10  c y c l es , (b)   5 0 c y c l es , (c )   20 0 c y c l es , (d)   50 0 c y c l es           Evaluation Warning : The document was created with Spire.PDF for Python.
        IS S N: 1 69 3 - 6 93 0   T E L KO M NIK A     V ol .   17 ,  No 5,  O c tob er 20 19 :   265 0 - 26 58   2654   4.2 . Con v o lut ion     In  t he   s u bs eq u en t   ex p erim en ts th c o nv ol u ti o na l   ne t wo r k   err or  r ate s   at  di f f erent  i ter ati o ns   are  ex am i ne an c om pa r ed   to  the   propos e al go r i thm T he   c on v ol uti on a l   a l go r i th m   i s   c o m po s ed   of   three  l a y ers na m el y   t he   f ul l y - c on ne c te d,  p oo l i n g a nd   c on v o l ut i on al   l a y ers T hi s   m eth od   was   tes ted   on   th MINI S T   da t a s et  an the   r es u l ts   are   pr e s en ted   i F i gu r 5.  T hi s   f i gu r i l l us tr at es     the   c om pl eti on   of   the   c on v ol ut i o na l   l ea r ni ng   al go r i t hm   proc es s   f or  10 50 an 2 00   c y c l es A s   s ee n,  t he   A da B o os ti n g   m eth od   ou tp ac ed  t hi s  m eth od .           ( a)         ( b)       ( c )       ( d)     F i gu r 5.  T he  proc es s  of  l e arni n g b as ed  o n t h e n um be r  of  c y c l es   us i ng     the  c on v o l ut i o na l  l ea r ni ng   m eth od ( a)  10  c y c l es , (b)   5 0 c y c l es , (c )   20 0 c y c l es , (d)   50 0 c y c l es       4.3 . D ee p  B eli ef N etw o r   In  or de r   t c om pa r t he   p r op os ed   m eth od   wi t t he   de ep   b el i ef   n et w ork the   MINI S T   da tas et  was   c on v erted  an i m pl e m en ted   us i n t y p i c al   ne ura l   ne t wor k T he   r es ul ts   are  pres en t ed   i n t he  Fi gu r 6.             Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A     IS S N: 1 69 3 - 6 93 0       P r op os i ng   a n ew m eth od  o f  i ma ge  c l as s i fi c a ti o n ... ( J a ms hi d   B a gh er z a de h )   2655       ( a)         ( b)       ( c )       ( d)     F i gu r 6 .   T he  proc es s  of  l e arni n g b as ed  o n t h e n um be r  of  c y c l es   us i ng     the  d ee p  be l i ef  ne t w ork   m eth od ( a)  10  c y c l es ( b)  50  c y c l es ( c )   20 0 c y c l es ( d)  50 0 c y c l es       4.4 . D BN - Bas ed  A d aBoo s t ing   T he   propos e m eth od   i s   c om bi na t i on   of   t he   A da B oo s t i ng   a nd   de ep   be l i ef   ne t w ork   m eth od s In  order   t s i m ul at t hi s   m eth od ,   th s a m pl s pa c was   c om bi ne i t he   s pa c   wi th  the   de ep   be l i ef   m eth od F i g ure  al s o   pres en ts   the   r es ul ts   of   the   l e arni ng   proc e s s   i d i f f eren t   c y c l es .       5.  Co mp a r ison  of  t h A s s es sm ent  Res u lt s   T hi s   proj ec ai m ed   to  op ti m i z i m ag c l as s i f i c ati on   an as   r es ul t,  r ed uc i ng   err or  r ate   i n   i m ag c l as s i f i c ati o n.  F o u r   al g orit hm s   w ere   e v a l u ate d   i n   th i s   r es ea r c h.  A c c ordi n to     the   e v a l ua ti o n,  l ea r n i ng   t i m i t he   pro po s ed   m eth od   was   hi g he r   tha ot he r   m eth od s T hi s   i s   w h i l e   the  prec i s i o n o f  s y s tem  i nc r ea s ed   an as  a  r es u l t,  err or r ate  d ec r ea s ed   A c c ordi n to   th r es ul ts   o f   the   c om pa r i s on   be t w ee n   thi s   m eth od   an th pro po s ed   m eth od s the   pro po s ed   m eth od   w as   s l o wer   th an   th a f ores ai m eth od s bu t   wi th   an   i nc r ea s e   i n   the   nu m be r   of   c y c l es t he   c on v erge nc i nc r ea s e d.  O the   oth er  ha n d,  t he   r es ul ts   of    the   c y c l e - wi s as s es s m en of   al l   t hree   m eth od s   are   l i s ted   i n   T ab l e   1.   A s   s e en ,   w i t a i nc r ea s e   i th nu m be r   of   c y c l es   t he   err or  r ate   de c l i ne s   an d   thi s   m eth od   ou tp erf or m s   the   m en ti on ed   m eth od s  i n t erm s  of  th e e r r or r ate .   Evaluation Warning : The document was created with Spire.PDF for Python.
        IS S N: 1 69 3 - 6 93 0   T E L KO M NIK A     V ol .   17 ,  No 5,  O c tob er 20 19 :   265 0 - 26 58   2656   T he   r es ul ts   f or  three  err or  r ate s   are  pres en t ed   i T ab l e   1.   T ab l i n di c at es   err or  f o r   three  r ate s T he   err or  r ate   i n   A da B oo s t i ng   f or  50 i tera ti on s   was   0.0 0 8,  0. 19 f or  c on v o l ut i on 0.0 02 4   f or dee p b e l i ef , a nd  0. 00 0 f or Ad aB o os tba s e d o de e p b e l i ef  th at  err or r ate  h as  s i gn i f i c an t e r r or  r ate T he   di ag r am   of   the   c om pa r i s on   of   th pr op os e a l go r i thm   wi th   th prev i o us   m eth od s   i s   de p i c ted   i n F i gu r e  8.           ( a)       ( b)         ( c )       ( d)     F i gu r 7.  A  c y c l e - w i s e c om pa r i s on   be t wee n t h e e r r or r ate s  us i ng     the  d ee p - be l i ef  A d aB oo s ti n g m eth od ( a)  10  c y c l es , (b)   50  c y c l es , (c )   20 0 c y c l es , ( d)  50 0 c y c l es       T ab l 1 .   T he   C om pa r i s on   o f  th E r r or Rat es  B as e o A l g orit hm   and the  Num be r   of   C y c l es   N o .   C y c les   A d a B o o s t ing   C o n v o lut ion   D e e p   B e li e f   D e e p - B e li e f   A d a B o o s t ing   1   10   0 . 0 1 3 5   . 0 4 6 8 0   0 . 0 1 9 8   0 . 0 0 6 1   2   50   0 . 0 0 9 4   0 . 5 0 0 0   0 . 0 0 4 8   0 . 0 0 5 7   3   200   0 . 0 0 9   0 . 0 1 9 7   0 . 0 0 2 4   0 . 0 0 2 8   4   500   0 . 0 0 8   0 . 0 0 8 7   0 . 0 0 1 5   0 . 0 0 0 8   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A     IS S N: 1 69 3 - 6 93 0       P r op os i ng   a n ew m eth od  o f  i ma ge  c l as s i fi c a ti o n ... ( J a ms hi d   B a gh er z a de h )   2657       F i gu r 8 .   A  c y c l e - w i s an a l y s i s  of  th al go r i t hm  err or r ate       6 Dis cussion   T he   pres en r es ea r c go al   w as   to  c om bi ne   th A da B o os t,  de e be l i ef   ne t w ork ,     an ne ura l   n et w ork   m eth o ds   to  ob tai b ett er  r es u l ts   f r o m   i m ag c l as s i f i c ati on .   O ne   go al   o m a c hi ne   l e arni ng   i s   t o   de v el o p att er ns   b as ed   on   th e   pre v i ou s   d ata   to   i m pl em en th m eth od s S tud i es   ha v al s be en   c on du c ted   o m e m orie s   an the i r   ef f ec ts   on   l ea r ni ng G i v e   the   po te nti al s   of   the   A da B o os m eth od   f or  the   c l as s i f i c a ti on   of   the   l e arni ng   da t a nd   r ei nf orc em en t   o f   l ea r n i n a nd   gi v e t he   c ap ac i t y   of   the   de ep   l e arn i ng   m eth od   f or  l arge - s c al e   op erati on s a   c o m bi na t i on   of   the s m eth od s   y i e l ds   be tte r   r es u l ts B as ed   o th i nv es ti g ati on   r es ul ts t he   err or   r ate   d ec r ea s ed   ap pro x i m ate l y   b y   0.0 0 07 %   an d   0.0 08 as   c o m pa r ed   to     the   de ep   b el i ef   ne t w ork   an c on v ol u ti o na l   ap pr oa c h,  r es pe c ti v el y T he   m ai ad v an ta ge   of   thi s   m eth od   i s   th r e i nf orc em en of   l ea r n i n thro ug s ev era l   i tera ti o ns w h i c i s   i n he r i t ed   f r o m   A da B o os t,  an i ts   c ap ac i t y   f or  l arge - s c al op era ti o ns .   T he   i m pl em en tat i on   of   thi s   m eth od   wi th  m an y   i t erati on s   y i e l de be tte r   r es ul ts Ho wev er,  the   l ea r ni ng   t i m w as   i nc r ea s e be c au s of     the   c l as s i f i c ati o a nd   r ep e ate d   l e arni ng   proc es s es E v i de nt l y t he   ac hi ev em en of   be tte r   r es u l ts   ha s  a  h i g he r  pri orit y  t ha l e arni n g.        7 Co n clus ion   D e ep   b el i e n etw o r k s   a r te c h ni qu e s   w i t a pp l i c at i o n s   t fe a t u r e   l ea r ni ng   an c l a s s i fi c a ti on .   A   de ep   be l i e n e tw o r k   i s   a   g en e r at i v e   p r o ba bi l i s ti c   m o d el   c o n s i s ti ng   o m u l t i p l e   l ay er s   o r a n do h i d de n   u ni t s   tha t   a r e   pl a c e o n   to p   o a   l a y e r   o v i s i b l e   d a ta   o r   a   da ta   v e c to r .   T h e s e   ne tw o r k s   a r e   u s e to   i n c r e a s e   t he   n u m b e r   o l a y er s   a nd   c o nd u c m o r e   p r e c i s e   i nv e s ti ga ti on s .   T h p r e s e nt   r e s e a r c h   w a s  al s o c on du c t ed  u s i ng   t he  h y br i d  m e t ho d s   a nd  th e d e ep  be l i e f n e tw o r k s  t o   p r op o s e   n ew   m e t h od   fo r   t he   c l a s s i fi c a ti on   o h an dw r i t te n   da t a.   T he   hy br i d   m e t ho d s   c l a s s i f y   l ea r ni ng   a nd   tu r n   p oo r   l e a r n i n g   i nt o   s t r o ng   l e ar n i n g .   T he   d ee p   b el i e ne tw or k s   a r e   u n l a be l e d,   bu t   th e y   i n t en d   t o   s el e c t   t h p r op e r   l e a r ni ng   p a r a m e t e r s   u s i n th g r e ed y   ap p r oa c h e s .   T h ov e r a r c h i n g oa l   o f   t hi s   pa pe r   w a s   to   c o m b i n e   t he   tw o   m e t ho d s   t o   i m p r ov e   t he   r e s u l t s   a nd   r e du c e   e r r o r s .   T hi s   c o m b i n a ti o n   i s   b a s ed   on   r eg r e s s i o n  a nd   ea c h   c l a s s   u s e s   t he   p r ev i ou s   c l a s s   pa r a m e t e r s   fo r   a s s e s s m e n t .   H e n c e ,  i t   c a pe r fo r m   b e t te r   w i t th s e m i - s u p e r v i s e m e t ho d s In  fa c t ,   thi s   m e t ho c r ea t e s   a   m e m o r y - ba s ed   hy br i d   n etw o r k .   T h e   r e s ul t s   a l s o   r e fl e c te d   t he   i m p r o v e d   c l a s s i fi c a ti on s   an th de c r e a s ed   l ev e l   o f   e r r o r   r a t e.   I n   t hi s   n etw o r k ,   e r r o r   r a t ha s   s i gn i fi c a nt   r ed u c ti on   r e l a ti v to   A da B oo s t   de ep   l ea r ni n a nd   c o nv ol u ti on I i s ho w e v e r po s s i b l t u s ot he r   h y b r i d   al go r i t h m s   o r   t he   m e m o r y - ba s ed   m e t h o d s   to  i m p r o v e   the   r e s u l t s .       Ref er en ce   [1 ]   Sc h m i d h u b e J Dee p  l e a rn i n g  i n   n e u ra l  n e tw o rk s An  o v e rv i e w Neu ra l  Ne two r k s .   2 0 1 5 6 1 8 5 - 1 1 7 .   [2 ]   Ba g h e rz a d e h   J A s i l  H.  A  re v i e w  o v a ri o u s  s e m i - s u p e rv i s e d   l e a rn i n g   m o d e l s  w i th  a  d e e p   l e a rn i n g  a n d   m e m o ry  a p p ro a c h Ira n  J o u rn a l  o C o m p u te r S c i e n c e 2 0 1 8 :  1 - 6.   [3 ]   Su d i a t m i k a   IBK Ra h m a n   F T r i s n o   T Su y o to   S.   Im a g e   fo r g e r y   d e te c ti o n   u s i n g   e rro r   l e v e l   a n a l y s i s   a n d   d e e p   l e a r n i n g . TEL KO M NIKA  Te l e c o m m u n i c a ti o n   Com p u t i n g   El e c tro n i c s   a n d   Con tr o l 2 0 1 9 1 7 ( 2 ) 653 - 65 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
        IS S N: 1 69 3 - 6 93 0   T E L KO M NIK A     V ol .   17 ,  No 5,  O c tob er 20 19 :   265 0 - 26 58   2658   [4 ]   Be n g i o   Y Cou rv i l l e   A,  V i n c e n P.   Rep re s e n ta t i o n   L e a rn i n g :   Rev i e w   a n d   Ne w   Pe rs p e c t i v e s IEE E   Tra n s a c t i o n s   o n   Pa tt e rn   An a l y s i s   a n d   M a c h i n e   In t e l l i g e n c e 2 0 1 3 3 5   ( 8 ):  1 7 9 8 1 8 2 8 .   a rX i v :1 2 0 6 .5 5 3 8  Fre e l y  a c c e s s i b l e d o i :1 0 .1 1 0 9 /t p a m i .2 0 1 3 . 5 0 .   [5 ]   Su m a   T ,Ku m a ra   Sw a m y   Y S Pl a n n i n g   a n d   Coo rd i n a t i o n   i n   H i e ra rc h i e s   o f   In te l l i g e n t   Dy n a m i c   Sy s te m s .   TEL KO M NIKA T e l e c o m m u n i c a ti o n  Co m p u ti n g  El e c tr o n i c s   a n d  Co n tr o l .   2016 ;   1 4 (4 ):   1 4 0 8 - 1416 .   [6 ]   L i u   Y Zh o u   S,   Che n   Q Di s c ri m i n a ti v e   d e e p   b e l i e n e tw o rk s   fo v i s u a l   d a ta   c l a s s i fi c a ti o n Pa tt e r n   Rec o g n i ti o n .   2 0 1 1 ;  4 4 ( 1 0 - 1 1 ) :   2287 2 2 9 6 .   [7 ]   Dah l   G E,  Y u   D,  De n g   L Ac e ro   A Con t e x t - d e p e n d e n t   p re - tra i n e d   d e e p   n e u r a l   n e tw o rk s   fo r     l a rg e - v o c a b u l a ry   s p e e c h   r e c o g n i ti o n .   IEEE  Tr a n s a c t i o n s   o n  a u d i o s p e e c h ,   a n d   l a n g u a g e  p ro c e s s i n g 2 0 1 1 2 0 (1 ) :   30 42.   [8 ]   Hs u   C W ,  L i n   C J A  c o m p a ri s o n   o f   m e th o d s   fo r   m u l ti c l a s s  s u p p o rt   v e c to r   m a c h i n e s .   IEEE  tr a n s a c ti o n s   o n  Ne u ra l  Ne two r k s 2 0 0 2 1 3 ( 2 ):   415 4 2 5 .   [9 ]   T anha   J.   E n s e m b l e   a p p ro a c h e s   to   s e m i - s u p e rv i s e d   l e a r n i n g . Doc to ra l   T h e s i s .   Un i v e rs i ty   o Am s te r d a m .   2013   [1 0 ]   Ras m u s   A V a l p o l a   H Ho n k a l a   M Be rg l u n d   M Rai k o   T Se m i - S u p e rv i s e d   L e a rn i n g   w i th   L a d d e r   Net w o rk s . Neu ra l  a n d  Ev o l u t i o n a ry  Co m p u ti n g .   2 0 1 5   [1 1 ]   J a fa rT a n h a M a a rte n   v a n   So m e re n Ham i d e h   Afs a rm a n e s h .   An   Ad a Bo o s Al g o r i th m   fo r   M u l ti c l a s s   Se m i - s u p e rv i s e d  L e a r n i n g .   IE EE 1 2 th   I n te rn a ti o n a l  C o n fe r e n c e  o n  Da ta  M i n i n g  (I CD M ) .   2012 .   [1 2 ]   Y i n   S,  Liu   J ,   T e n g     L .   New   Se m i - s u p e rv i s e d   Clu s te ri n g   A l g o ri th m   Ba s e d   o n   V a ri a t i o n a l   B a y e s i a n   a n d   It s   Ap p l i c a t i o n .   TEL KO M NIKA   Te l e c o m m u n i c a ti o n   C o m p u ti n g   El e c tr o n i c s   a n d   Con tr o l 2 0 1 6 14 ( 3 ) :   1150 - 1 1 5 6 .   [1 3 ]   Be n g i o   Y L e a rn i n g   d e e p   a r c h i te c t u re s   fo AI Fo u n d a t i o n s   a n d   tre n d s   i n   M a c h i n e   L e a rn i n g .   2 0 0 9 2 (1 ):   1 1 2 7 .   [1 4 ]   W i b o w o   H F i rd a u s i   F ,   Su h a r s o   W Ku s u m a   WA H a rm a n t o   D Fa c i a l   e x p re s s i o n   re c o g n i ti o n   o 3 D   i m a g e   u s i n g   f a c i a l   a c t i o n   c o d i n g   s y s t e m   ( FACS).  TEL K O M NIKA  Te l e c o m m u n i c a t i o n   Com p u ti n g   El e c tr o n i c s   a n d  Co n tro l .   2 0 1 9 1 7 (2 ) 628 - 636 .   [1 5 ]   O d e n a   A.   Se m i - Su p e rv i s e d   L e a rn i n g   w i th   G e n e ra ti v e   Ad v e rs a ri a l   Net w o rk s .   Dat a   Eff i c i e n M a c h i n e   L e a rn i n g  wo r k s h o p   ICM L  2 0 1 6 2016 a rX i v :1 6 0 6 . 0 1 5 8 3 v 2 .   [1 6 ]   Za b i h i   F.  U s e  t h e  Be l i e f  n e two rk  T o  r e c o g n i z e  F a rs i  n u m b e r s Ei g h t h  c o n fe r e n c e Ira n  M i n i n g .   2015 .   [1 7 ]   Va l p o l a   H.   Fro m   n e u ra l   PCA  t o   d e e p   u n s u p e rv i s e d   l e a rn i n g Ad v i n   In d e p e n d e n Com p o n e n An a l y s i s   a n d  L e a rn i n g  M a c h i n e s 2 0 1 5 143 171.   a rX i v :1 4 1 1 .7 7 8 3 .   [1 8 ]   O o rd   AV,  Ka l c h b r e n n e N,  Ka v u k c u o g l u   K.  Pi x e l   Rec u rre n N e u ra l   Net w o rk s .   I n te rn a ti o n a l   Con fe re n c e   o n  M a c h i n e   L e a r n i n g .   New  Y o rk .   2 0 1 6 a rX i v :1 6 0 1 .0 6 7 5 9 v 3 .   [1 9 ]   O d e n a   A.   Se m i - Su p e rv i s e d   L e a rn i n g   w i th   G e n e ra ti v e   Ad v e rs a ri a l   Net w o rk s .   Dat a   Eff i c i e n M a c h i n e   L e a rn i n g  wo r k s h o p   ICM L  2 0 1 6 .   2016 a rX i v :1 6 0 6 . 0 1 5 8 3 v 2 .   [2 0 ]   Si m o n y a n   K,  Zi s s e r m a n   A. Ve r y   d e e p   c o n v o l u ti o n a l   n e tw o rk s   fo l a rg e   s c a l e   i m a g e   r e c o g n i t i o n ArX i v   p re p ri n a rXi v 1 4 0 9 .1 5 5 6 .   2 0 1 4 .   [2 1 ]   Sz e g e d y   C,  L i u   W J i a   Y Se rm a n e P,  Ree d   S,  An g u e l o v   D,  Erh a n   D,  Va n h o u c k e   V,  Rab i n o v i c h   A.   G o i n g   d e e p e r w i th  c o n v o l u t i o n s . ArX i v  p r e p ri n a rX i v 1 4 0 9 . 4 8 4 2 .   2 0 1 4 .   [2 2 ]   Ngi a m   J ,   Che n   Z,   K o h   P W ,   Ng  AY L e a rn i n g   d e e p   e n e rg y   m o d e l s .   Pro c e e d i n g s   o th e   2 8 th   I n te rn a t i o n a l   Con fe re n c e   o n  M a c h i n e  L e a rn i n g  (I CM L - 11) .   2 0 1 1 1 1 0 5 - 1 1 1 2 .   [2 3 ]   Are l   I,   Ro s e   DC Ka r n o w s k i   T P Dee p   m a c h i n e   l e a r n i n g - a   n e w   fro n ti e i n   a rti f i c i a l   i n te l l i g e n c e   re s e a rc h   [re s e a rc h  f ro n t i e r].   Com p u ta t i o n a l  I n te l l i g e n c e  M a g a z i n e 2 0 1 0 ;   5 (4 ):   13 - 1 8   [2 4 ]   Be n g i o   Y Cou rv i l l e   A,  Vi n c e n P.  Rep re s e n ta ti o n   l e a rn i n g re v i e w   a n d   n e w   p e rs p e c t i v e s IEE E   tra n s a c t i o n s  o n   p a tt e rn  a n a l y s i s  a n d  m a c h i n e   i n te l l i g e n c e 2 0 1 3 3 5 ( 8 ):  1 7 9 8 - 828.   [2 5 ]   Ba g h e ri   A,   Sa ra e e   M d e   J o n g   F.   S e n ti m e n Cl a s s i f i c a ti o n   i n   Pe r s i a n I n tro d u c i n g   a   M u tu a l     In fo rm a ti o n - b a s e d   M e th o d   f o r   Fe a tu re   S e l e c ti o n .   21 st   Ira n i a n   Con fe re n c e   o n   El e c tr i c a l   E n g i n e e ri n g   (ICEE ) 2013 1 - 6 .   [2 6 ]   Al e x a n d e Y a k o v l e v i c h   Fr i d m a n .   Pl a n n i n g   a n d   Coo r d i n a ti o n   i n   Hi e ra rc h i e s   o f   In te l l i g e n t   Dy n a m i c   Sy s te m s TEL KO M NIKA  Te l e c o m m u n i c a ti o n   Com p u ti n g   El e c tr o n i c s   a n d   Con tr o l .   2 0 1 6 14 ( 4 ):     1408 - 1 4 1 6 .   [2 7 ]   M o g h i m i   M Be l o n g i e   SJ Sa b e ri a n   M J Y a n g   J Va s c o n c e l o s   N,  L i   L J .   Bo o s t e d   Con v o l u ti o n a l   Neu ra l   Net work s .   2 7 t h  Bri t i s h  M a c h i n e  Vi s i o n  Co n fe re n c e .   2 0 1 6 :2 4 - 1.   ISBN 1 - 9 0 1 7 2 5 - 59 - 6 .   [2 8 ]   As i l   H.   In n o v a ti o n   Stra t e g i e s :   Cha l l e n g e s   o r   O p p o rt u n i t i e s   i n   So ft w a re   Dev e l o p m e n t   T e a m s J o u rn a l   o f   So ft ware  En g i n e e ri n g 2 0 1 3 ;   7 (4 ):   1 5 1 - 15 5.   [2 9 ]   Ram a d a n   ZM O p ti m u m   I m a g e   Fi l te rs   fo V a ri o u s   T y p e s   o Noi s e .   TEL KO M NIKA  Te l e c o m m u n i c a ti o n   Com p u ti n g  E l e c tro n i c s  a n d  Co n tro l . 2 0 1 8 1 6 ( 5 ):  2 4 5 8 - 24 64.   Evaluation Warning : The document was created with Spire.PDF for Python.