I n d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r   S c i e n c e   V o l .   11 ,   N o .   3 S e p t e m b e r   201 8 ,   p p 975 ~ 986   I S S N :   2502 - 4 7 5 2 D O I :   1 0 . 1 1 5 9 1 / i j e e c s . v 1 1 . i 3 . p p 9 7 5 - 9 8 6          975       J o u r n a l   h o m e p a g e h t t p : / / i a e s c o r e . c o m / j o u r n a l s / i n d e x . p h p / i j e e c s   A n   I m p r o v e d   F l e x i b l e   P a r ti a l   H i s to g r a m   B a y e s   Le a r n i n g   A l g o r i th m       H a i d e r   O .   L a w e n d A n u a r   M .   M u a d A i n i   H u s s a i n   Ce nt e r for Int e g ra t e S y s t e m s  E ng i ne e ri ng   a nd  A dva nc e d T e c hnol og i e s   (IN T E G RA ),   F a c ul t y  of E ng i ne e ri ng   a nd Bui l t  E nvi ronm e nt U ni ve rs i t i  K e ba ng s a a M a l a y s i a ,   43600 U K M  Ba ng i , S e l a ng or,  M a l a y s i a       A r t i c l e   I n f o     A B S T R A C T   A r t i c l e   h i s t o r y :   R e c e i v e d   M a r   3 1 ,   2 0 1 8   R e v i s e d   A p r   22 ,   2 0 1 8   A c c e p t e d   J u n   1 4 ,   2 0 1 8       T hi s   p a p e p re s e nt s   a   p rop os e s up e rvi s e c l a s s i fi c a t i on  t e c hni que   na m e l y   fl e x i bl e   p a rt i a l   hi s t og ra m   Ba y e s   (fP H Ba y e s l e a rni ng   a l g ori t hm T he   t ra di t i ona l   c l a s s i fi c a t i on  a l g ori t hm s   l i ke   ne ura l   ne t w ork,  s up p ort   ve c t or  m a c hi ne fi rs t   ne a re s t   ne i g hbor,  ne a re s t   s ubc l a s s   c l a s s i fi e a nd  G a us s i a m i x t ure   m ode l   c l a s s i fi e a re   a c c ura t e   but   s l ow   w he de a l i ng   w i t l a rg e   num be of  i ns t a nc e s In  a ddi t i ona l   t t ha t   t he s e   a l g ori t hm s   m i g ht   re qui re   t be   re t ra i w he t he   c l a s s e s   c ha ng e s O t he   ot he r ha nd, a l g ori t hm s  l i ke  na ï ve   Ba y e s   a nd  ne a re s t   c l a s s   m e a a re   fa s t   but   not   a c c ura t e It   i s   di ffi c ul t   a nd  c ha l l e ng i ng   t ha ve   a   c l a s s i fi c a t i on  a l g ori t hm   t ha t   i s   fa s t   a nd  a c c ura t e   w he de a l i ng   w i t l a rg e   num be of  i ns t a nc e s In  our  p re vi ous   w ork,  p a rt i a l   hi s t og ra m   Ba y e s   (P H Ba y e s l e a rni ng   a l g ori t hm   s how e s om e   a dva nt a g e s   i t he   a s p e c t s   of  s p e e a nd  a c c ura c y   i c l a s s i fi c a t i on  t a s ks H ow e ve r,  i t s   a c c ura c y   de c l i ne s   w he de a l i ng   w i t s m a l l   num be of  i ns t a nc e s   or  w he t he   c l a s s   fe a t ure   di s t ri but e s   i w i de   a re a In  t hi s   w ork,  t he   p rop os e fP H Ba y e s   s ol ve s   t he s e   l i m i t a t i ons fP H Ba y e s   i s   a bl e   t w ork  fa s t   w i t g ood  a c c ura c y   w i t l a rg e   a n s m a l l   num be of  i ns t a nc e s fP H Ba y e s   us e s   a   p roba bi l i t y   di s t ri but i on  de ri ve from   s m oot hi ng   t he   obs e rve hi s t og ra m   i orde t re p re s e nt   t he   c l a s s T he i t   p e rform s   t he   c l a s s i fi c a t i on  us i ng   t he   Ba y e s i a rul e fP H Ba y e s   w a s   a na l y z e a nd  c om p a re w i t P H Ba y e s   a nd  ot he s t a nda rd  l e a rni ng   a l g ori t hm s   l i ke   fi rs t   ne a re s t   ne i g hbor,  ne a re s t   s ubc l a s s   m e a n,  ne a re s t   c l a s s   m e a n,  na i ve   Ba y e s   a nd  G a us s i a m i x t ure   m ode l   c l a s s i fi e r.  T he   e x p e ri m e nt s  w e re  p e rform e d us i ng  bot h re a l  da t a  a nd s y nt he t i c   da t a   c ons i de ri ng   di ffe re nt   num be of  i ns t a nc e s   a nd  di ffe re nt   va ri a nc e s   of  G a us s i a ns T he   re s ul t s   s how e t ha t   fP H Ba y e s   i s   m ore   a c c ura t e   a nd  fl e x i bl e   t de a l   w i t di ffe re nt   num be of  i ns t a nc e s   a nd  di ffe re nt   va ri a nc e s   of  G a us s i a ns  a s  c om p a re d t o ot he r c l a s s i fi e rs .   K e y w o r d s :   C l a s s i f i c a t i o n   H i s t o g r a m   p r o b a b i l i t y   D i s t r i b u t i o n   M a c h i n e   l e a r n i n g   N a ï v e   b a y e s   P H B a y e s   Copy r i ght   ©   201 8   Ins t i t ut e   of   A dv anc e d E ngi ne e r i ng  and Sc i e nc e   A l l   r i ght s  r e s e r v e d .   C o r r e s p o n d i n g   A u t h o r :   H a i d e r   O .   L a w e n d   C e n t e r   f o r   I n t e g r a t e d   S y s t e m s   E n g i n e e r i n g   a n d   A d v a n c e d   T e c h n o l o g i e s   ( I N T E G R A ) ,   F a c u l t y   o f   E n g i n e e r i n g   a n d   B u i l t   E n v i r o n m e n t ,   U n i v e r s i t i   K e b a n g s a a n   M a l a y s i a ,   4 3 6 0 0   U K M   B a n g i ,   S e l a n g o r ,   M a l a y s i a .   E m a i l :   h a i d e r b n o m a r @y a h o o . c o m       1.   I N T R O D U C T I O N   C l a s s i f i c a t i o n   i s   a   p r o c e s s   o f   a s s i g n i n g   a n   i n s t a n c e   i n   t h e   d a t a   t o   t h e   c l a s s   t h a t   i t   b e l o n g s   t o .   C l a s s i f i c a t i o n   i s   i n c l u d e d   i n   m a n y   a p p l i c a t i o n s   o f   p a t t e r n   r e c o g n i t i o n ,   m a c h i n e   l e a r n i n g   a n d   d a t a   m i n i n g .   T h e   c l a s s i f i c a t i o n   t a s k   b e c o m e s   m o r e   c h a l l e n g i n g   w h e n   d e a l i n g   w i t h   l a r g e   d a t a b a s e s   e s p e c i a l l y   w h e n   t h e   d a t a   k e e p s   c h a n g i n g   f r o m   t i m e   t o   t i m e .   D a t a   s t r e a m   i s   a n   e x a m p l e   i n   w h i c h   n e w   i n f o r m a t i o n   a n d   c l a s s e s   a r e   c o n t i n u o u s l y   a d d e d   a n d   u p d a t e d .   T h i s   c a u s e s   t h e   e x p a n s i o n   o f   t h e   s i z e   o f   t h e   d a t a   a n d   m a y   r e d u c e   t h e   a c c u r a c y   o f   c l a s s i f i e r s   [ 1 ] .   R o b o t i c   t e c h n o l o g y   i s   a n o t h e r   e x a m p l e   o f   l e a r n i n g   l a r g e   d a t a   i n   w h i c h   t h e   d a t a   i s   c o n t i n u o u s l y   u p d a t i n g .   D e a l i n g   w i t h   l a r g e   a n d   d y n a m i c   d a t a   m a y   r e d u c e   t h e   l e a r n i n g   p r o c e s s   o f   t h e   r o b o t   t o   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l .   11 ,   N o .   3 S e p t e m b e r   2 0 1 8   :     975     986   976   p e r f o r m   c e r t a i n   t a s k s   [ 2 ] .   T h e   c h a l l e n g e   o f   l e a r n i n g   b i g   d a t a   i s   a l s o   a d d r e s s e d   i n   t h e   w o r k   o f   [ 3 ] .   F o r   e x a m p l e ,   i n   t h e   A p a c h e   H a d o o p   s y s t e m ,   p r o c e s s i n g   a n d   s t o r a g e   b i g   d a t a   i s   c h a l l e n g i n g   b e c a u s e   o f   l a r g e   n u m b e r   o f   c o n f i g u r a t i o n s .   A   n e t w o r k   b a s e d   c l a s s i f i e r   l i k e   a r t i f i c i a l   n e u r a l   n e t w o r k   ( A N N )   i s   n o t   s u i t a b l e   f o r   l a r g e   d a t a b a s e   b e c a u s e   i t   i s   s l o w   i n   t r a i n i n g   p h a s e .   T h i s   i s   d u e   t o   t h e   c o m p l e x i t y   o f   i t s   s t r u c t u r e   t h a t   c o n t a i n s   t h e   n u m b e r   o f   n o d e s ,   h i d d e n   l a y e r s   a n d   a c t i v a t i o n   f u n c t i o n   [ 4 ] .   A N N   i s   a l s o   n o t   s u i t a b l e   t o   d e a l   w i t h   d y n a m i c   d a t a b a s e   a s   i t   r e q u i r e s   t o   b e   r e t r a i n e d   w h e n e v e r   a   c h a n g e   o c c u r s   o r   n e w   d a t a   i s   b e i n g   a d d e d   [ 5 ] .   I n s t e a d   o f   u s i n g   t h e   t r a d i t i o n a l   n u e r a l   n e t w o r k ,   s o m e   r e s e a r c h e r s   u s e d   e x t r e m e   l e a r n i n g   m a c h i n e   ( E L M )   w h i c h   i s   a   t y p e   o f   n e u r a l   n e t w o r k   w i t h   o n l y   o n e   h i d d e n   l a y e r .   T h e   w o r k   o f   [ 6 ]   s h o w e d   t h a t   E L M   p e r f o r m e d   g o o d   i n   t e r m   o f   a c c u r a c y   a n d   s p e e d   i n   t h e   f i e l d   o f   p a t t e r n   r e c o g n i t i o n .   T h e   w o r k   o f   [ 7 ]   c o m p a r e d   E L M   w i t h   s u p p o r t   v e c t o r   m a c h i n e   ( S V M )   a n d   t h e   t r a d i t i o n a l   n e u r a l   n e t w o r k   a n d   s h o w e d   t h a t   E L M   i s   f a s t e r   a n d   m o r e   a c c u r a t e   t h a n   b o t h   a l g o r i t h m s .   H o w e v e r   E L M   s t i l l   r e q u i r e s   t o   b e   r e t r a i n e d   w h e n e v e r   a   c h a n g e   o c c u r s   i n   t h e   d a t a   w h i c h   m a k e s   i t   n o t   s u i t a b l e   t o   b e   u s e d   w i t h   l a r g e   a n d   d y n a m i c   d a t a .   D i s t a n c e   b a s e d   c l a s s i f i e r s   p e r f o r m   t h e   c l a s s i f i c a t i o n   b y   a s s i g n i n g   t h e   t e s t i n g   i n s t a n c e   t o   t h e   n e a r e s t   t r a i n i n g   i n s t a n c e   o r   p r o t o t y p e   i n   t h e   s p a c e .   A   s i m p l e   c l a s s i f i e r   l i k e   f i r s t   n e a r e s t   n e i g h b o r   ( 1 s t N N )   r e p r e s e n t s   a   c l a s s   d e n s i t y   i n   t h e   s p a c e   u s i n g   a l l   t r a i n i n g   i n s t a n c e s .   1 s t N N   i s   v e r y   a c c u r a t e   a n d   f a s t   i n   t r a i n i n g   p h a s e   e v e n   w h e n   d e a l i n g   w i t h   l a r g e   n u m b e r   o f   i n s t a n c e s ,   b u t   i t   s u f f e r s   f r o m   c u r s e   o f   d i m e n s i o n a l i t y   a n d   v e r y   s l o w   i n   t e s t i n g   p h a s e ,   w h i c h   m a k e s   i t   i m p r a c t i c a l   [ 8 - 1 1 ] .   M a n y   r e s e a r c h e r s   a t t e m p t e d   i m p r o v i n g   t h e   s p e e d   a n d   a c c u r a c y   o f   1 s t N N   [ 1 0 - 1 4 ] .   N e a r e s t   s u b c l a s s   c l a s s i f i e r   ( N S C )   r e p r e s e n t s   a   c l a s s   d e n s i t y   i n   t h e   s p a c e   a s   m u l t i p l e   p r o t o t y p e s ,   w h e r e   K - m e a n s   c l u s t e r i n g   a l g o r i t h m   i s   t y p i c a l l y   u s e d   t o   f i n d   t h e   p r o t o t y p e s   [ 9 ] .   N S C   i s   f a s t e r   t h a n   1 s t N N   i n   t h e   t e s t i n g   p h a s e   a n d   i t   i s   v e r y   a c c u r a t e   i f   i t   g e t s   c o r r e c t   c h o i c e   o f   t h e   p r o t o t y p e s   n u m b e r .   H o w e v e r ,   N S C   w i t h   k - m e a n s   i s   n o t   s u i t a b l e   f o r   l a r g e   d a t a .   T h e   w o r k   o f   [ 1 5 ]   s h o w e d   t h a t   k - m e a n s   i s   n o t   s u i t a b l e   t o   b e   u s e d   w i t h   l a r g e   d a t a   b e c a u s e   i t   i s   a n   i t e r a t i v e   a l g o r i t h m   a n d   c a n   b e   s l o w   w i t h   b i g   d a t a .   N e a r e s t   c l a s s   m e a n   ( N C M )   r e p r e s e n t s   a   c l a s s   d e n s i t y   i n   t h e   s p a c e   a s   o n e   p r o t o t y p e ,   w h i c h   i s   t h e   c e n t e r   o f   t h e   c l a s s .   N C M   i s   a   s p e c i a l   c a s e   o f   N S C   t h a t   u s e   o n e   p r o t o t y p e .   N C M   t e n d s   t o   g e n e r a l i z e   w e l l   f o r   t h e   b a s e   c o n f i g u r a t i o n   [ 1 6 ] .   I t   i s   v e r y   f a s t   i n   t r a i n i n g   a n d   t e s t i n g   p h a s e s   b u t   n o t   a c c u r a t e   e s p e c i a l l y   w h e n   t h e   c l a s s   d e n s i t y   i n   t h e   s p a c e   s p r e a d s   w i d e r   [ 9 ] ,   [ 11] [ 1 7 ] ,   S u p p o r t   v e c t o r   m a c h i n e   ( S V M )   r e p r e s e n t s   a   c l a s s   d e n s i t y   i n   t h e   s p a c e   a s   s u p p o r t   v e c t o r s .   T h e   n u m b e r   o f   s u p p o r t   v e c t o r s   i n c r e a s e s   w h e n   d e a l i n g   w i t h   l a r g e   d a t a   u s i n g   t w o   a p p r o a c h e s :   o n e   v e r s u s   o n e   a n d   o n e   v e r s u s   r e s t .   T h e   w o r k   o f   [ 3 ]   s h o w e d   t h a t   S V M   c a n   p r o v i d e   g o o d   a c c u r a c y .   H o w e v e r ,   S V M   i s   s l o w   i n   t r a i n i n g   p h a s e   e s p e c i a l l y   w h e n   d e a l i n g   w i t h   l a r g e   d a t a   [ 1 7 - 2 0 ] .   I t   a l s o   r e q u i r e s   t o   b e   r e t r a i n e d   w h e n e v e r   a   c h a n g e   i n   t h e   d a t a   o c c u r s .   B a y e s i a n   c l a s s i f i e r s   p e r f o r m   t h e   c l a s s i f i c a t i o n   b y   a s s i g n i n g   t h e   i n s t a n c e   t o   t h e   c l a s s   w i t h   t h e   h i g h e s t   p o s t e r i o r   p r o b a b i l i t y   u s i n g   B a y e s i a n   r u l e .   N a ï v e   B a y e s   ( N B )   r e p r e s e n t s   a   c l a s s   f e a t u r e   p r o b a b i l i t y   d e n s i t y   u s i n g   o n l y   a   s i n g l e   G a u s s i a n   f u n c t i o n .   N B   i s   a   s i m p l e ,   f a s t   a n d   a c c u r a t e   c l a s s i f i e r   w h e n   t h e   c l a s s   d i s t r i b u t i o n   i s   G a u s s i a n .   H o w e v e r ,   i t s   a c c u r a c y   d e c r e a s e s   i f   t h e   c l a s s   d i s t r i b u t i o n   i s   n o t   G a u s s i a n   [ 8 ] .   D u e   t o   i t s   s i m p l i c i t y ,   s p e e d   a n d   a c c u r a c y   i n   l a r g e   d a t a b a s e s ,   N B   h a s   b e c o m e   a   p o p u l a r   c l a s s i f i e r   i n   m a n y   a p p l i c a t i o n s   [ 2 1 - 2 4 ] .   T h e   a c c u r a c y   o f   t h e   N B   c l a s s i f i e r   i s   c o m p a r a b l e   t o   t h e   A N N   [ 2 5 ] .   H o w e v e r ,   i t   i s   l e s s e r   t h a n   t h a t   o f   t h e   S V M   [ 2 6 - 2 8 ] .   G a u s s i a n   M i x t u r e   M o d e l   C l a s s i f i e r   ( G M M C )   r e p r e s e n t s   a   c l a s s   f e a t u r e   p r o b a b i l i t y   d e n s i t y   u s i n g   G a u s s i a n   m i x t u r e   m o d e l   f u n c t i o n .   A n   i t e r a t i v e   a l g o r i t h m   l i k e   E x p e c t a t i o n   M a x i m i z a t i o n   ( E M )   i s   n o r m a l l y   u s e d   t o   e s t i m a t e   G a u s s i a n   m i x t u r e   m o d e l   ( G M M )   p a r a m e t e r s   [ 2 9 - 3 3 ] .   G M M C   i s   m o r e   a c c u r a t e   c o m p a r e d   t o   N B   b u t   s l o w e r   i n   t r a i n i n g   p h a s e   d u e   t o   E M .   F l e x i b l e   N a ï v e   B a y e s   ( F N B )   r e p r e s e n t s   a   c l a s s   f e a t u r e   p r o b a b i l i t y   d e n s i t y   u s i n g   k e r n e l   f u n c t i o n   [ 2 2 ] ,   [ 34 ] ,   [ 3 5 ] .   G a u s s i a n   k e r n e l   f u n c t i o n   i s   n o r m a l l y   u s e d   i n   F N B   [ 3 6 ] .   F N B   w i t h   G a u s s i a n   k e r n e l   f u n c t i o n   i s   s i m i l a r   t o   G M M C   i n   w h i c h   b o t h   o f   t h e m   r e p r e s e n t   a   c l a s s   f e a t u r e   p r o b a b i l i t y   d e n s i t y   a s   m i x t u r e   o f   G a u s s i a n s .     T h e   m a i n   p r o b l e m   o f   c l a s s i f i c a t i o n   i s   t h a t   i t   i s   d i f f i c u l t   a n d   c h a l l e n g i n g   t o   h a v e   a   c l a s s i f i c a t i o n   a l g o r i t h m   t h a t   i s   f a s t   a n d   a c c u r a t e   w h e n   d e a l i n g   w i t h   l a r g e   n u m b e r   o f   i n s t a n c e s .   R e v i e w i n g   t h e   p a s t   r e s e a r c h s   s h o w e d   t h a t   t h e   c l a s s i f i c a t i o n   a l g o r i t h m s   l i k e   A N N ,   S V M ,   1 s t N N ,   N S C   a n d   G M M C   a r e   a c c u r a t e   b u t   s l o w   w h e n   d e a l i n g   w i t h   l a r g e   n u m b e r   o f   i n s t a n c e s .   I n   a d d i t i o n a l   t o   t h a t   t h e s e   a l g o r i t h m s   m i g h t   r e q u i r e   t o   b e   r e t r a i n e d   w h e n   t h e   c l a s s e s   c h a n g e s .   O n   t h e   o t h e r   h a n d ,   a l g o r i t h m s   l i k e   N B   a n d   N C M   a r e   f a s t   b u t   n o t   a c c u r a t e .     I n   o u r   p r e v i o u s   w o r k ,   P H B a y e s   w h i c h   i s   a   B a y e s i a n   a l g o r i t h m   r e p r e s e n t s   a   c l a s s   f e a t u r e   p r o b a b i l i t y   d e n s i t y   u s i n g   h i s t o g r a m   [ 3 7 ] .   C o m p a r e d   w i t h   o t h e r   a l g o r i t h m s ,   P H B a y e s   i s   f a s t   i n   b o t h   t r a i n i n g   a n d   t e s t i n g   p h a s e s .   I t   i s   a l s o   v e r y   a c c u r a t e   w h e n   d e a l i n g   w i t h   l a r g e   n u m b e r   o f   i n s t a n c e s .   I n   t h i s   p a p e r ,   a   n e w   F l e x i b l e   P a r t i a l   H i s t o g r a m   B a y e s   l e a r n i n g   a l g o r i t h m   ( f P H B a y e s )   i s   p r o p o s e d   w h i c h   i s   a n   i m p r o v e m e n t   o f   P H B a y e s .   C o m p a r e d   w i t h   P H B a y e s   i n   o u r   p r e v i o u s   w o r k   [ 3 7 ] ,   t h e   p r o p o s e d   f P H B a y e s   i s   m o r e   a c c u r a t e   t o   d e a l   w i t h   s m a l l   a n d   l a r g e   n u m b e r   o f   i n s t a n c e s ,   m o r e   f l e x i b l e   t o   t h e   c l a s s   p r o b a b i l i t y   d i s t r i b u t i o n   a n d   r e q u i r e s   f e w e r   p a r a m e t e r s   t o   b e   c o n s i d e r e d .   f P H B a y e s   u s e s   a   p r o b a b i l i t y   d i s t r i b u t i o n   d e r i v e d   f r o m   s m o o t h i n g   t h e   o b s e r v e d   h i s t o g r a m   a n d   p e r f o r m s   t h e   c l a s s i f i c a t i o n   u s i n g   B a y e s i a n   r u l e .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2       A n   I m p r o v e d   F l e x i b l e   P a r t i a l   H i s t o g r a m   B a y e s   L e a r n i n g   A l g o r i t h m   ( H a i d e r   O .   L a w e n d )   977   O u r   c o n t r i b u t i o n s   i n   t h i s   w o r k   i s   p r o p o s i n g   a   n e w   s u p e r v i s e d   l e a r n i n g   a l g o r i t h m   f P H B a y e s   w h i c h   i s   a n   a c c u r a t e   a l g o r i t h m ,   a b l e   t o   w o r k   w i t h   s m a l l   a n d   l a r g e   n u m b e r   o f   i n s t a n c e s   a n d   f l e x i b l e   t o   t h e   d i s t r i b u t i o n   o f   t h e   c l a s s .   f P H B a y e s   i s   a l s o   c o m p a r e d   w i t h   o t h e r   s t a n d a r d   a n d   m o s t   r e l a t e d   a n d   r e c e n t   l e a r n i n g   a l g o r i t h m s   c o n s i d e r i n g   r e a l   d a t a   f r o m   U C I   d a t a b a s e   a n d   s y n t h e t i c   d a t a   a n a l y s i s .   T h e   r e s t   o f   t h i s   p a p e r   i s   o r g a n i z e d   a s   f o l l o w s :   P H B a y e s   a n d   t h e   p r o p o s e d   a l g o r i t h m   f P H B a y e s   a r e   e x p l a i n e d   i n   m o r e   d e t a i l s   i n   t h e   m e t h o d o l o g y   s e c t i o n .   R e s u l t s   a n d   a n a l y s i s   a r e   p r o v i d e d   i n   t h e   r e s u l t s   a n d   d i s c u s s i o n   s e c t i o n   a n d   t h e   c o n c l u s i o n   i s   p r o v i d e d   i n   t h e   c o n c l u s i o n   s e c t i o n .       2 .   R E S E A R C H   M E T H O D   2 . 1 .   P a r t i a l   H i s t o g r a m   B a y e s   L e a r n i n g   ( P H B A Y E S )   P H B a y e s   i s   a   s u p e r v i s e d   p r o b a b i l i s t i c   l e a r n i n g   a l g o r i t h m .   I t   p e r f o r m s   t h e   c l a s s i f i c a t i o n   b y   a s s i g n i n g   a   t r a i n i n g   i n s t a n c e ,   X ,   w h e r e   X   =   ( X 1 , , X n )   r e p r e s e n t s   a   v e c t o r   o f   a   t r a i n i n g   i n s t a n c e   w i t h   n   f e a t u r e s ,   t o   t h e   c l a s s ,   C ,   w i t h   t h e   h i g h e s t   p o s t e r i o r   p r o b a b i l i t y ,   P ( C | X ) ,   a p p l y i n g   t h e   B a y e s i a n   r u l e   a s   i n   E q u a t i o n s   ( 1 )     a n d   ( 2 ) .   T h e   t r a i n i n g   p h a s e   o f   P H B a y e s   c o n s i s t s   o f   t h r e e   s t e p s :   t h e   g e n e r a t i o n   o f   t h e   o b s e r v e d   h i s t o g r a m ,   e s t i m a t i o n   o f   n o i s e   l e v e l   i n   t h e   h i s t o g r a m   a n d   e s t i m a t i o n   o f   h i s t o g r a m   p r o b a b i l i t y .     | | P C P C PC P X X X   ( 1 )     1 || n i i P C P C P X C X   ( 2 )     T h e   o b s e r v e d   h i s t o g r a m ,   b   =   ( b 1 , , b r ) ,   i s   g e n e r a t e d   d i r e c t l y   f r o m   t h e   i n s t a n c e s   o f   t h e   c l a s s .   T h e   v a l u e   o f   e a c h   b i n   i n   t h e   h i s t o g r a m ,   b k ,   r e p r e s e n t s   t h e   f r e q u e n c y   o f   o c c u r r e n c e .   T h e   h i s t o g r a m   r e s o l u t i o n ,   r ,   i s   a n   i m p o r t a n t   p a r a m e t e r   i n   o r d e r   t o   g e n e r a t e   m o r e   a c c u r a t e   h i s t o g r a m   c o m p a r e d   t o   i t s   o w n   p r o b a b i l i t y   f u n c t i o n .   F i g u r e   1   s h o w s   o b s e r v e d   h i s t o g r a m s   f r o m   s m a l l   a n d   l a r g e   n u m b e r   o f   i n s t a n c e s   g e n e r a t e d   f r o m   m i x t u r e   o f   G a u s s i a n   w i t h   t w o   G a u s s i a n   c o m p o n e n t s .   I n   g e n e r a l ,   i n c r e a s i n g   t h e   n u m b e r   o f   i n s t a n c e s   i m p r o v e s   t h e   a c c u r a c y   o f   t h e   o b s e r v e d   h i s t o g r a m .   T h e   e s t i m a t i o n   o f   t h e   n o i s e   l e v e l   i n   t h e   h i s t o g r a m   i s   i m p o r t a n t   p r o c e d u r e   t o w a r d   r e d u c i n g   t h e   e r r o r   i n   t h e   h i s t o g r a m   e s p e c i a l l y   w h e n   d e a l i n g   w i t h   s m a l l   n u m b e r   o f   i n s t a n c e s .   T h e   p r o b a b i l i t y   o f   c h a n c e ,   p ch ( b k ) ,   o f   e a c h   b i n   i n   t h e   h i s t o g r a m   i s   c a l c u l a t e d   u s i n g   D e - m o i v r e   L a p l a c e   t h e o r e m   b y   t r e a t i n g   t h e   n u m b e r   o f   i n s t a n c e s ,   s ,   a s   t r i a l s   [ 3 8 ] .   A c c o r d i n g   t o   D e - m o i v r e   L a p l a c e   t h e o r e m ,   w h e n   t h e   n u m b e r   o f   i n s t a n c e s   i s   l a r g e ,   t h e   p r o b a b i l i t y   o f   c h a n c e   c a n   b e   r e p r e s e n t e d   a s   G a u s s i a n   d i s t r i b u t i o n   w i t h   m e a n ,   µ ch   sp   a n d   v a r i a n c e ,   ch   s p q ,   w h e r e   p   =   1 / r   a n d   =   1 - p .   T h e   p r o b a b i l i t y   o f   c h a n c e   i s   g i v e n   i n   E q u a t i o n   ( 3 ) .   F i g u r e   2   s h o w s   D e - m o i v r e   L a p l a c e   t h e o r e m   a p p l i e d   o n   a n   o b s e r v e d   h i s t o g r a m   t a k e n   f r o m   s i x   s i d e d   d i c e .   F i g u r e   3   s h o w s   h o w   t o   e s t i m a t e   t h e   l e v e l   o f   n o i s e   i n   P H B a y e s   f o r   t h r e e   s t e p s   o f   i t e r a t i o n .         ( a )         ( b )         ( c )     ( d )         ( e )     F i g u r e   1 .   O b s e r v e d   h i s t o g r a m s   ( a )   i s   p r o b a b i l i t y   d e n s i t y   f u n c t i o n   w i t h   t w o   G a u s s i a n s .   ( b )   a n d   ( c )   a r e   o b s e r v e d   h i s t o g r a m s   f r o m   s m a l l   n u m b e r   o f   i n s t a n c e s   u s i n g   3 2   a n d   6 4   b i n s .   ( d )   a n d   ( e )   a r e   o b s e r v e d   h i s t o g r a m s   f r o m   l a r g e   n u m b e r   o f   i n s t a n c e s   u s i n g   3 2   a n d   6 4   b i n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l .   11 ,   N o .   3 S e p t e m b e r   2 0 1 8   :     975     986   978     ( a )             ( b )     F i g u r e   2 .   C a l c u l a t i n g   t h e   p r o b a b i l i t y   o f   c h a n c e   a p p l i e d   o n   t h e   o b s e r v e d   h i s t o g r a m   o f   s i x   s i d e d   d i c e .   ( a )   T h e   p r o b a b i l i t y   o f   c h a n c e .   ( b )   T h e   o b s e r v e d   h i s t o g r a m   o f   s i x   s i d e d   d i c e .         ( a )       ( b )         ( c )     F i g u r e   3 .   H i s t o g r a m   l e v e l   o f   n o i s e   e s t i m a t i o n   i n   P H B a y e s   ( h a r d   a p p r o a c h ) .   ( a ) ,   ( b )   a n d   ( c )   a r e   t h r e e   s t e p s   o f   i t e r a t i o n   w h e r e   t h e   l o w e r   h o r i z o n t a l   r e d   l i n e   r e p r e s e n t s   t h e   m e a n   o f   t h e   c h a n c e   o r   n o i s e , µ ch an d   t h e   u p p e r   h o r i z o n t a l   b l a c k   l i n e   r e p r e s e n t s   t h e   t h r e s h o l d f U .       A f t e r   d e t e r m i n i n g   t h e   i n i t i a l   µ ch   a n d   ch ,   a n   i t e r a t i o n   p r o c e d u r e   i s   p e r f o r m e d   t o   e s t i m a t e   t h e   h i s t o g r a m   l e v e l   o f   n o i s e .   I n   e a c h   s t e p   o f   i t e r a t i o n ,   t h e   i n s t a n c e s   o f   e a c h   b i n ,   b k   w i t h   l o w   p r o b a b i l i t y   o f   c h a n c e   a r e   r e m o v e d   o r   s u b t r a c t e d   f r o m   t h e   t o t a l   n u m b e r   o f   i n s t a n c e s ,   s ,   r e s u l t i n g   i n   t h e   r e m a i n i n g   i n s t a n c e s   o r   t h e   i n s t a n c e s   t h a t   o c c u r   b y   c h a n c e ,   s ch ,   a s   g i v e n   i n   E q u a t i o n   ( 4 ) ,   w h e r e   t h e   u p p e r   f r e q u e n c y ,   f U ,   i s   a   t h r e s h o l d   c o n t r o l l e d   b y   β   p a r a m e t e r   a s   i n   E q u a t i o n   ( 5 ) .   A s   a   r e s u l t   o f   t h a t ,   µ ch   a n d   ch   a r e   a l s o   u p d a t e d   i n   e a c h   s t e p   o f   i t e r a t i o n   f r o m   t h e   v a l u e   o f   s ch .   T h i s   i t e r a t i v e   p r o c e d u r e   s t o p s   w h e n   i t   c o n v e r g e s .   A f t e r   i t   c o n v e r g e s ,   t h e   h i s t o g r a m   l e v e l   o f   n o i s e   a n d   i t s   v a r i a n c e   a r e   t h e   l a t e s t   u p d a t e   o f   µ ch   a n d   ch .   I n   F i g u r e   3 ,   t h e   u p p e r   h o r i z o n t a l   d a r k   l i n e   r e p r e s e n t s   f U   a n d   t h e   l o w e r   h o r i z o n t a l   r e d   l i n e   r e p r e s e n t s   µ ch   w h i l e   f L   a t   z e r o .   T h i s   a p p r o a c h   i s   t h e   h a r d   t h r e s h o l d i n g   a p p r o a c h .   I n   e a c h   s t e p   o f   i t e r a t i o n ,   t h e   p a r t s   o f   t h e   h i s t o g r a m   t h a t   a r e   h i g h e r   t h a n   t h e   t h r e s h o l d   f U   a r e   r e m o v e d .     2 2 1 ,, 2 k c h ch b c h k k c h c h ch p b N b e    ( 3 )     1 |& r c h k U c h k k c h k s s b f p b b    ( 4 )     2 l n 1 2 U c h c h c h f   ( 5 )     T h e   h i s t o g r a m   p r o b a b i l i t y   i s   e s t i m a t e d   b y   s m o o t h i n g   t h e   h i s t o g r a m   b i n s   b k   t h a t   h a v e   h i g h   p r o b a b i l i t y   o f   c h a n c e   p ch ( b k ) a r o u n d   t h e   l e v e l   o f   n o i s e   µ ch t h e n   r e s c a l i n g   i t   b y   t h e   n u m b e r   o f   i n s t a n c e s   s .   T h e r e   a r e   t w o   c o n d i t i o n s   i n   t h e   h i s t o g r a m   s m o o t h i n g .   F i r s t ,   i f   t h e   p r o b a b i l i t y   o f   c h a n c e   o f   a   b i n   i s   l o w e r   t h a n   t h e   t h r e s h o l d   p ch ( b k )< β ,   t h e n   n o   s m o o t h i n g   p r o c e s s   o c c u r .   I n   t h i s   c a s e ,   t h e   b i n   o f   t h e   h i s t o g r a m   i s   c o n s i d e r e d   t o   b e   r e l i a b l e .   S e c o n d ,   i f   t h e   p r o b a b i l i t y   o f   c h a n c e   o f   t h e   b i n   i s   h i g h e r   t h a n   t h e   t h r e s h o l d ,   p ch ( b k )≥ β ,   t h e n   t h e   b i n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2       A n   I m p r o v e d   F l e x i b l e   P a r t i a l   H i s t o g r a m   B a y e s   L e a r n i n g   A l g o r i t h m   ( H a i d e r   O .   L a w e n d )   979   o f   t h e   h i s t o g r a m   i s   n o t   c o n s i d e r e d   t o   b e   r e l i a b l e   a n d   i t   i s   r e s c a l e d   a r o u n d   t h e   l e v e l   o f   n o i s e .   T h e   p a r a m e t e r   α   i s   u s e d   t o   c o n t r o l   t h e   s c a l e   o f   s m o o t h i n g .   T h e   h i s t o g r a m   p r o b a b i l i t y ,   p ( b ) ,   i s   c a l c u l a t e d   b y   r e s c a l i n g   t h e   s m o o t h e d   h i s t o g r a m   b y   t h e   n u m b e r   o f   i n s t a n c e s .   T h e   s m o o t h i n g   a n d   p r o b a b i l i t y   e s t i m a t i o n   i s   c a l c u l a t e d   u s i n g   E q u a t i o n   ( 6 ) .   F i g u r e   4   s h o w s   h o w   t o   s m o o t h   t h e   h i s t o g r a m   a n d   c a l c u l a t e   i t s   p r o b a b i l i t y   i n   P H B a y e s .   H e r e ,   o n l y   t h e   b i n s   b e t w e e n   f U a n d   f L a r e   s m o o t h e d   a r o u n d   µ ch .     , , k c h k k k c h c h c h k b s p b pb b s p b   ( 6 )     T h e   t e s t i n g   p h a s e   o f   P H B a y e s   i s   d o n e   b y   a s s i g n i n g   t h e   i n s t a n c e   X   t o   t h e   c l a s s   C   w i t h   t h e   h i g h e s t   p o s t e r i o r   p r o b a b i l i t y   P ( C | X )   u s i n g   t h e   B a y e s i a n   r u l e   a s   i n   E q u a t i o n   ( 7 ) ,   w h e r e   k   i s   t h e   n e a r e s t   b i n   t o     v a l u e   o f   X i .     P H B a y e s 1 | n k i P C P C p b X   ( 7 )             (a )     (b)     F i g u r e   4 .   H i s t o g r a m   s m o o t h i n g   ( a )   a n d   p r o b a b i l i t y   e s t i m a t i o n   ( b )   i n   P H B a y e s .   T h e   l o w e r   h o r i z o n t a l   r e d   l i n e   r e p r e s e n t s   t h e   m e a n   o f   t h e   c h a n c e   o r   n o i s e   µ ch a n d   t h e   u p p e r   h o r i z o n t a l   b l a c k   l i n e   r e p r e s e n t s   t h e   t h r e s h o l d f U .       T h e   a d v a n t a g e s   o f   P H B a y e s   a r e   t h a t   i t   i s   f a s t   b o t h   i n   t r a i n i n g   a n d   t e s t i n g   p h a s e s .   I t   i s   a c c u r a t e   e s p e c i a l l y   w h e n   t h e   n u m b e r   o f   i n s t a n c e s   i n c r e a s e   a s   t h e   e r r o r   i n   t h e   p r o b a b i l i t y   e s t i m a t i o n   r e d u c e s .   I t   h a s   l o w   m e m o r y   r e q u i r e m e n t   s i n c e   i t   o n l y   s a v e   b i n s   o f   t h e   h i s t o g r a m   a n d   p r o b a b i l i t y   f o r   e a c h   c l a s s .   I t   i s   a l s o   f l e x i b l e   t o   t h e   s h a p e   a n d   d i s t r i b u t i o n   o f   c l a s s   b y   u s i n g   h i s t o g r a m   p r o b a b i l i t y   a n d   i s   n o t   r e q u i r e d   t o   b e   r e t r a i n e d   a l t h o u g h   t h e r e   a r e   c h a n g e s   i n   t h e   d a t a   a n d   c l a s s e s .   T h e   l i m i t a t i o n s   o f   P H B a y e s   i s   t h a t   i t s   p e r f o r m a n c e   i s   h i g h l y   d e p e n d e n t   o n   t h e   v a l u e s   o f   t h e   p a r a m e t e r s   α β   a n d   r .   U s i n g   d i f f e r e n t   v a l u e s   o f   t h e s e   p a r a m e t e r s   m a y   l e a d   t o   d i f f e r e n t   c l a s s i f i c a t i o n   r e s u l t s .   F o r   e x a m p l e ,   u s i n g   s m a l l   r   i s   g o o d   t o   e s t i m a t e   t h e   h i s t o g r a m   p r o b a b i l i t y   w i t h   s m a l l   n u m b e r   o f   i n s t a n c e s   w h i l e   u s i n g   l a r g e   r   i s   b e t t e r   w i t h   l a r g e   n u m b e r   o f   i n s t a n c e s .   P H B a y e s   i s   a l s o   n o t   v e r y   a c c u r a t e   w h e n   d e a l i n g   w i t h   s m a l l   n u m b e r   o f   i n s t a n c e s   o r   i f   t h e   d i s t r i b u t i o n   o f   t h e   c l a s s   s p r e a d   w i d e r .   T h i s   i s   b e c a u s e   i n   t h e s e   c a s e s ,   e s t i m a t i o n   o f   t h e   h i s t o g r a m   p r o b a b i l i t y   b e c o m e s   d i f f i c u l t .   T h e s e   l i m i t a t i o n s   r e d u c e   t h e   e s t i m a t i o n   a c c u r a c y   o f   t h e   h i s t o g r a m   p r o b a b i l i t y .     2 . 2 .   F l e x i b l e   P a r t i a l   H i s t o g r a m   B a y e s   L e a r n i n g   ( f P H B a y e s )   I n   t h i s   p a p e r ,   a   s u p e r v i s e d   f l e x i b l e   p a r t i a l   h i s t o g r a m   B a y e s   l e a r n i n g   a l g o r i t h m   ( f P H B a y e s )   i s   p r o p o s e d   t o   o v e r c o m e   s o m e   o f   t h e   l i m i t a t i o n s   o f   t h e   o r i g i n a l   P H B a y e s .   C o m p a r e d   w i t h   P H B a y e s ,   f P H B a y e s   r e q u i r e s   f e w e r   p a r a m e t e r s   t o   c o n s i d e r   a n d   i t s   p e r f o r m a n c e   d o e s   n o t   d e p e n d   o n   t h e   p a r a m e t e r s   α   a n d   β .   I t   i s   a l s o   s u i t a b l e   t o   w o r k   w i t h   l a r g e   a n d   s m a l l   n u m b e r   o f   i n s t a n c e s   u s i n g   h i g h e r   h i s t o g r a m   r e s o l u t i o n .   T h i s   p r o p e r t y   h e l p s   t o   i n c r e a s e   t h e   a c c u r a c y   o f   f P H B a y e s .   S i m i l a r   t o   P H B a y e s ,   t h e   t r a i n i n g   p h a s e   o f   f P H B a y e s   a l s o   c o n s i s t s   o f   t h e   t h r e e   s t e p s :   t h e   g e n e r a t i o n   o f   t h e   o b s e r v e d   h i s t o g r a m ,   e s t i m a t i o n   o f   t h e   l e v e l   o f   n o i s e   i n   t h e   h i s t o g r a m   a n d   e s t i m a t i o n   o f   t h e   h i s t o g r a m   p r o b a b i l i t y .   T h e   p r o c e d u r e   o f   g e n e r a t i n g   t h e   o b s e r v e d   h i s t o g r a m   i n   f P H B a y e s   i s   s i m i l a r   t o   t h a t   i n   P H B a y e s   w i t h   t h e   e x c e p t i o n   t h a t   f P H B a y e s   u s e s   h i g h e r   h i s t o g r a m   r e s o l u t i o n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l .   11 ,   N o .   3 S e p t e m b e r   2 0 1 8   :     975     986   980   T h e   p r o c e d u r e   o f   e s t i m a t i n g   t h e   l e v e l   o f   n o i s e   i n   t h e   h i s t o g r a m   i n   f P H B a y e s   i s   i m p r o v e d   c o m p a r e   w i t h   P H B a y e s ,   w h e r e   a   s o f t   a p p r o a c h   i s   u s e d   i n s t e a d   o f   t h e   h a r d   o n e .   T h e   m e a n ,   µ ch   a n d   v a r i a n c e ,   ch   a r e   c a l c u l a t e d   f r o m   t h e   p r o b a b i l i t y   o f   c h a n c e   i n   e a c h   s t e p   o f   i t e r a t i o n   a n d   t h e   r e m a i n i n g   i n s t a n c e s ,   s ch i s   c a l c u l a t e d   u s i n g   E q u a t i o n   ( 8 ) .   C o m p a r e d   w i t h   t h e   c a l c u l a t i o n   o f   t h e   s ch   i n   t h e   P H B a y e s   t h a t   u s e s   h a r d   t h r e s h o l d   f U   w h i c h   i s   c o n t r o l l e d   b y   t h e   p a r a m e t e r   β ,   t h e   c a l c u l a t i o n   o f   t h e   s ch i n   t h e   f P H B a y e s   a s   i n     E q u a t i o n   ( 8 )   u s e s   s o f t   a p p r o a c h   w h i c h   d o e s   n o t   h a v e   f U o r   f L   a n d   n o t   c o n t r o l l e d   b y   t h e   p a r a m e t e r   β .   I n   a n o t h e r   w o r d ,   t o   f i n d   t h e   r e m a i n i n g   i n s t a n c e s   s ch ,   t h e   r e l i a b l e   a n d   n o n - n o i s y   p a r t s   o f   a l l   b k a r e   s u b t r a c t e d   f r o m   s   T h e   n o n - n o i s y   p a r t   f o r   e a c h   b k ,   i s   t h e   m u l t i p l i c a t i o n   o f   t h e   i n v e r s e   p r o b a b i l i t y   o f   c h a n c e   f o r   t h e   b i n   ( 1   -   p ch ( b k ) )   b y   t h e   d i f f e r e n c e   b e t w e e n   b k a n d   µ ch .   T h i s   i s   o n l y   a p p l i c a b l e   w h e n   b k > µ ch .   A s   a   r e s u l t   o f   t h a t ,   i n   e a c h   s t e p   o f   i t e r a t i o n ,   µ ch a n d   ch a r e   u p d a t e d   b a s e d   o n   t h e   v a l u e   o f   s ch .   T h i s   p r o c e d u r e   s t o p s   w h e n   i t   c o n v e r g e s .   T h e   h i s t o g r a m   l e v e l   o f   n o i s e   a n d   i t s   v a r i a n c e   a r e   t h e   l a t e s t   u p d a t e   o f   µ ch a n d   ch .     1 1| r c h c h k k c h k c h k s s p b b b      ( 8 )     F i g u r e   5   s h o w s   h o w   t o   e s t i m a t e   t h e   l e v e l   o f   n o i s e   i n   f P H B a y e s   f o r   t h r e e   s t e p s   o f   i t e r a t i o n .   T h e   s o f t   a p p r o a c h   i n   f P H B a y e s   a f f e c t s   a l l   t h e   p a r t s   i n   t h e   h i s t o g r a m   t h a t   a r e   h i g h e r   t h a n   t h e   l e v e l   o f   c h a n c e   o r   n o i s e   µ ch .   T h e   s o f t   a p p r o a c h   d o e s   n o t   h a v e   f i x e d   t h r e s h o l d   l i k e   f U a s   i n   t h e   h a r d   a p p r o a c h .   I n s t e a d   o f   t h a t ,   e a c h   b i n   i n   t h e   h i s t o g r a m   t h a t   h a s   a   v a l u e   h i g h e r   t h a n   t h e   l e v e l   o f   c h a n c e   i s   e f f e c t e d   d i f f e r e n t l y   b a s e d   o n   t h e   p r o b a b i l i t y   o f   c h a n c e   o f   t h e   b i n   p ch ( b k ) .   F o r   e x a m p l e   i n   t h e   f i r s t   s t e p   o f   i t e r a t i o n ,   t h e   b i n   n u m b e r   7 ,   b 7   w i t h   t h e   l o w e s t   p r o b a b i l i t y   o f   c h a n c e   i s   t h e   m o s t   e f f e c t e d   b i n   b y   t h e   s o f t   a p p r o a c h .   O n   t h e   o t h e r   h a n d ,   t h e   b i n   b 21   w i t h   h i g h   p r o b a b i l i t y   o f   c h a n c e   i s   m o s t l y   n o t   a f f e c t e d   b y   t h e   s o f t   a p p r o a c h   i n   t h e   f i r s t   s t e p   o f   i t e r a t i o n .   T h e   s e c o n d   a n d   t h e   t h i r d   s t e p s   o f   i t e r a t i o n   a l s o   s h o w   t h a t   w h e n   t h e   l e v e l   o f   c h a n c e   µ ch r e d u c e s   a f t e r   r e m o v i n g   t h e   n o n - n o i s y   p a r t s   o f   t h e   h i s t o g r a m ,   m o r e   p a r t s   o f   t h e   h i s t o g r a m   a r e   a f f e c t e d   b e c a u s e   t h e i r   p r o b a b i l i t i e s   o f   c h a n c e   r e d u c e .   T h i s   i s   b e c a u s e   t h e   s o f t   a p p r o a c h   a f f e c t s   e a c h   b i n   b a s e d   o n   i t s   p r o b a b i l i t y   o f   c h a n c e .   A s   a   r e s u l t   o f   t h a t   t h e   p a r a m e t e r   β   i s   n o t   r e q u i r e d .               (a )     (b)     (c )     F i g u r e   5 .   H i s t o g r a m   l e v e l   o f   n o i s e   e s t i m a t i o n   i n   f P H B a y e s   ( s o f t   a p p r o a c h ) .   ( a ) ,   ( b )   a n d   ( c )   a r e   t h r e e   s t e p s   o f   i t e r a t i o n   w h e r e   t h e   h o r i z o n t a l   r e d   l i n e   r e p r e s e n t s   t h e   m e a n   o f   t h e   c h a n c e   µ ch .       T h e   h i s t o g r a m   p r o b a b i l i t y   e s t i m a t i o n   i n   f P H B a y e s   i s   a l s o   i m p r o v e d   c o m p a r e d   w i t h   P H B a y e s .   I n   f P H B a y s e ,   e a c h   b i n   i n   t h e   o b s e r v e d   h i s t o g r a m ,   b k i s   s m o o t h e d   b y   r e d i s t r i b u t i n g   t h e   p a r t   t h a t   i s   h i g h e r   t h a n   t h e   l e v e l   o f   c h a n c e   o r   n o i s e   ( b k - µ ch )   a m o n g   t h e   n e i g h b o r i n g   b i n s   b j ,   w h e r e   1   ≤  j   ≤  r .   T h e   r e d i s t r i b u t i o n   o f   t h e   b i n   b k a m o n g   t h e   n e i g h b o r i n g   b i n   b j G ( b j ,   b k )   i s   f o l l o w i n g   G a u s s i a n   d i s t r i b u t i o n   N ( j µ G ,   G ( b k ) )   s c a l e d   b y   ( b k   - µ ch ) a s   i n   t h e   E q u a t i o n   ( 9 ) .   T h e   m e a n   o f   t h e   s m o o t h i n g   o r   r e d i s t r i b u t i o n ,   µ G ,   i s   t h e   h i s t o g r a m   b i n   n u m b e r ,   k a n d   t h e   v a r i a n c e   o f   t h e   r e d i s t r i b u t i o n ,   G ,   d e p e n d s   o n   t h e   p r o b a b i l i t y   o f   c h a n c e   o f   b i n   p ch ( b k )   a n d   c a n   b e   c a l c u l a t e d   u s i n g   E q u a t i o n   ( 1 0 ) .   T h e r e f o r e ,   t h e   s m o o t h e d   v a l u e   o f   t h e   b i n ,   θ ( b k )   i s   t h e   s u m m a t i o n   o f   t h e   r e d i s t r i b u t i o n   o f   a l l   n e i g h b o r i n g   b i n s   G ( b j ,   b k ) p l u s   t h e   l e v e l   o f   n o i s e   µ ch a s   i n   t h e   E q u a t i o n   ( 1 1 ) .   F i n a l l y   a n d   i n   o r d e r   t o   g e t   1 0 0 %   p r o b a b i l i t y   d i s t r i b u t i o n ,   t h e   h i s t o g r a m   p r o b a b i l i t y ,   p ( b ) ,   i s   e s t i m a t e d   b y   r e s c a l i n g   t h e   s m o o t h e d   h i s t o g r a m ,   θ ( b ) ,   b y   t h e   n u m b e r   o f   i n s t a n c e s   s   a s   i n   E q u a t i o n   ( 1 2 ) .   T h i s   m e a n s   t h e   h i g h e r   t h e   p r o b a b i l i t y   o f   c h a n c e   t h e   b i n   h a s ,   t h e   l a r g e r   t h e   v a r i a n c e   o f   s m o o t h i n g   i t   h a s .   H e r e ,   t h e   p a r a m e t e r   α   i s   n o t   r e q u i r e d   a s   e a c h   b i n   h a s   a   d i f f e r e n t   v a r i a n c e   o f   s m o o t h i n g   b a s e d   o n   i t s   p ch ( b k ) .   T h i s   m a k e s   s u r e   t h a t   o n l y   t h e   n o i s y   p a r t   o f   t h e   h i s t o g r a m   i s   s m o o t h e d   a n d   b a s e d   o n   t h e   a m o u n t   o f   n o i s e   i t   h a s .   T h i s   a l l o w s   f P H B a y e s   t o   w o r k   w i t h   s m a l l   a n d   l a r g e   n u m b e r   o f   i n s t a n c e s   u s i n g   l a r g e r   h i s t o g r a m   r e s o l u t i o n   c o m p a r e d   w i t h   P H B a y e s .   F i g u r e   6   s h o w s   h o w   t o   s m o o t h   t h e   h i s t o g r a m   a n d   c a l c u l a t e   i t s   p r o b a b i l i t y   i n   f P H B a y e s .   H e r e   a s   a n   e x a m p l e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2       A n   I m p r o v e d   F l e x i b l e   P a r t i a l   H i s t o g r a m   B a y e s   L e a r n i n g   A l g o r i t h m   ( H a i d e r   O .   L a w e n d )   981   i n   F i g u r e   6 ,   t h e   h i g h l i g h t e d   b i n s   b 7   a n d   b 21   h a v e   d i f f e r e n t   v a r i a n c e   o f   s m o o t h i n g   r e p r e s e n t e d   b y   b l a c k   l i n e s .   S i n c e   b 7 h a s   l o w e r   p r o b a b i l i t y   o f   c h a n c e   t h a n   b 21 ,   i t s   i n s t a n c e s   a r e   r e d i s t r i b u t e d   i n   s m a l l e r   a r e a   c o m p a r e d   w i t h   b 21 .   F i n a l l y ,   t h e   p r o b a b i l i t y   i s   e s t i m a t e d   b y   r e d i s t r i b u t i n g   a l l   b i n s   i n   t h e   h i s t o g r a m .     , , , j k G G k k c h G b b N j b b    ( 9 )     2 4 1 Gk c h k pqr b s p b    ( 1 0 )     1 , r k c h j k j b G b b     ( 1 1 )     kk p b b s   ( 1 2 )     S i m i l a r   t o   P H B a y e s ,   t h e   t e s t i n g   p h a s e   i n   f P H B a y e s   i s   d o n e   b y   a s s i g n i n g   t h e   i n s t a n c e   X   t o   t h e   c l a s s   C   w i t h   h i g h e s t   p o s t e r i o r   p r o b a b i l i t y   P ( C | X )   u s i n g   t h e   B a y e s i a n   r u l e   a s   i n   E q u a t i o n   ( 7 ) .   F i g u r e   7   s h o w s   t h e   h i s t o g r a m   p r o b a b i l i t y   e s t i m a t i o n   o f   b o t h   P H B a y e s   a n d   f P H B a y e s   u s i n g   s m a l l   a n d   l a r g e   n u m b e r   o f   i n s t a n c e s .   I t   i s   c l e a r   t h a t   b o t h   P H B a y e s   a n d   f P H B a y e s   e s t i m a t e   t h e   h i s t o g r a m   p r o b a b i l i t y   b e t t e r   w h e n   t h e   n u m b e r   o f   i n s t a n c e s   i s   l a r g e   w i t h   r e s p e c t   t o   t h e   h i s t o g r a m   r e s o l u t i o n .   H o w e v e r   w h e n   t h e   n u m b e r   o f   i n s t a n c e s   i s   s m a l l ,   t h e   e s t i m a t i o n   o f   f P H B a y e s   i s   b e t t e r   t h a n   P H B a y e s .   T h i s   i s   b e c a u s e   t h e   s m o o t h i n g   p a r t   i n   f P H B a y e s   i s   i m p r o v e d .   I t   t e n d s   t o   r e d i s t r i b u t e   o n l y   b i n s   w i t h   h i g h   p r o b a b i l i t y   o f   c h a n c e   a m o n g   o t h e r   b i n s .   T h i s   i m p r o v e m e n t   m a k e s   s u r e   t h a t   s m o o t h i n g   p r o c e s s   o n l y   a p p l i e s   o n   t h e   p a r t   t h a t   i s   n o t   r e l i a b l e   i n   t h e   h i s t o g r a m .   T h i s   a l l o w s   f P H B a y e s   t o   w o r k   w i t h   l a r g e   a n d   s m a l l   n u m b e r   o f   i n s t a n c e s   a n d   w i t h   l a r g e   a n d   s m a l l   v a r i a n c e s   u s i n g   l a r g e   h i s t o g r a m   r e s o l u t i o n .         ( a )           ( b )       ( c )           ( d )     F i g u r e   6 .   H i s t o g r a m   s m o o t h i n g   a n d   p r o b a b i l i t y   e s t i m a t i o n   i n   f P H B a y e s .   ( a ) ,   ( b )   a n d   ( c )   a r e   t h e   s t e p s   t o   s m o o t h   t h e   h i s t o g r a m   b i n s b 7 a n d b 21 .   ( d )   T h e   p r o b a b i l i t y   e s t i m a t i o n   b y   s m o o t h i n g   a l l   b i n s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l .   11 ,   N o .   3 S e p t e m b e r   2 0 1 8   :     975     986   982     ( a )       ( b )         ( c )       ( d )       ( e )         (f)     F i g u r e   7 .   P r o b a b i l i t y   e s t i m a t i o n   o f   P H B a y e s   a n d   f P H B a y e s .   ( a ) ,   ( b )   a n d   ( c )   r e p r e s e n t   t h e   p r o b a b i l i t y   e s t i m a t i o n   o f   P H B a y e s ( 3 2 ) ,   f P H B a y e s ( 3 2 )   a n d   f P H B a y e s ( 6 4 )   w i t h   s m a l l   n u m b e r   o f   i n s t a n c e s .   ( d ) ,   ( e )   a n d   ( f )   r e p r e s e n t   t h e   p r o b a b i l i t y   e s t i m a t i o n   o f   P H B a y e s ( 3 2 ) ,   f P H B a y e s ( 3 2 ) ,   f P H B a y e s ( 6 4 )   w i t h   l a r g e   n u m b e r   o f   i n s t a n c e s       3       R E S U L T S   A N D   D I S C U S S I O N   3 . 1 .   R e s u l t s   o f   S y n t h e t i c   D a t a     I n   s y n t h e t i c   d a t a   e x p e r i m e n t s ,   t w o   f a c t o r s   t h a t   a f f e c t   t h e   a c c u r a c y   o f   t h e   c l a s s i f i e r s   w e r e   c o n s i d e r e d .   T h e s e   f a c t o r s   w e r e   t h e   n u m b e r   o f   t r a i n i n g   i n s t a n c e s   a n d   v a r i a n c e   o f   G a u s s i a n s .   T h e s e   f a c t o r s   w e r e   s e l e c t e d   f o r   t h e s e   e x p e r i m e n t s   t o   s h o w   t h e   i m p r o v e m e n t   i n   t h e   p r o p o s e d   f P H B a y e s   c o m p a r e d   w i t h   P H B a y e s .   D i f f e r e n t   c l a s s i f i e r s   w e r e   c o n s i d e r e d   f o r   t h e   e x p e r i m e n t s .   T h e y   w e r e   1 st N N ,   N C M ,   N S C   w i t h   5   c o m p o n e n t s ,   G M M C   w i t h   5   c o m p o n e n t s ,   P H b a y e s   w i t h   r = 1 6 ,   P H B a y e s ( 1 6 ) ,   P H B a y e s   w i t h   r = 3 2 ,   P H B a y e s ( 3 2 ) ,   P H B a y e s   w i t h   r = 4 8 ,   P H B a y e s ( 4 8 )   a n d   t h e   p r o p o s e d   a l g o r i t h m   w i t h   r = 6 4 ,   f P H B a y e s ( 6 4 ) .   T h e   v a l u e s   f o r   α   a n d   β   o f   t h e   P H B a y e s   w e r e   s e t   t o   α = 0 . 5   a n d   β = 0 . 0 0 5   [ 3 7 ] .   T h e   r e a s o n   o f   u s i n g   6 4   b i n s   o f   h i s t o g r a m   i n   f P H B a y e s   i s   t o   a l l o w   i t   t o   c o v e r   a l l   r a n g e s   o f   h i s t o g r a m   l o w e r   t h a n   6 4   b i n s .   T h i s   m e a n s   f P H B a y e s   w i t h   6 4   b i n s   o f   h i s t o g r a m   i s   f l e x i b l e   t o   u s e   a n y   h i s t o g r a m   l o w e r   t h a n   6 4   b i n s .   T h e s e   d i f f e r e n t   c l a s s i f i e r s   w e r e   s e l e c t e d   f o r   t h e   t e s t   b e c a u s e   t h e y   a r e   s t a n d a r d s   a n d   r e c e n t   a l g o r i t h m s   a n d   u s e d   i n   m a n y   r e s e e a r c h s .   F o r   e x a m p l e   N S C   w a s   u s e d   i n   t h e   w o r k s   o f   [ 1 1 ,   1 7 ] ,   G M M C   w a s   u s e d   i n   t h e   w o r k   o f   [ 3 2 ,   3 3 ] ,   a n d   o u r   p r e v i o u s   P H B a y e s   w a s     p r o p o s e d   [ 3 7 ] .   I t   i s   a l s o   i m p o r t a n t   t o   m e n t i o n   t h a t   N C M   i s   a   s p e c i a l   c a s e   o f   N S C   i n   w h i c h   a   s i n g l e   p r o t o t y p e   i s   u s e d   t o   r e p r e s e n t   a   c l a s s   d e n s i t y   a n d   N B   i s   a   s p e c i a l   c a s e   o f   G M M C   i n   w h i c h   a   s i n g l e   G a u s s i a n   c o m p o n e n t   i s   u s e d .   T h e   g e n e r a t i o n   o f   t h e   s y n t h e t i c   d a t a   w a s   b a s e d   o n   t h e   r e p r e s e n t a t i o n   o f   p r o b a b i l i t y   d e n s i t y   f u n c t i o n s   o f   f e a t u r e s   o f   t h e   c l a s s e s   a s   m i x t u r e   o f   G a u s s i a n s .   F o r   a l l   t h e   c l a s s e s ,   i n s t a n c e s   w e r e   d e r i v e d   f r o m   t h e   p r o b a b i l i t y   d e n s i t y   f u n c t i o n   a n d   t h e   n u m b e r   o f   t r a i n i n g   i n s t a n c e   w a s   t h e   s a m e   a s   n u m b e r   o f   t e s t i n g   i n s t a n c e s .   T h e   d e f a u l t   v a l u e   o f   t h e   n u m b e r   o f   t r a i n i n g   i n s t a n c e s   p e r   c l a s s   w a s   3 0 0   a n d   f o r   t h e   v a r i a n c e   o f   G a u s s i a n s   w a s   a r o u n d   0 . 1 .   T e n   c l a s s e s   w e r e   u s e d   i n   e a c h   e x p e r i m e n t .   E a c h   c l a s s   h a d   1 6   f e a t u r e s   ( 8   i n d e p e n d e n t s   a n d   8   d e p e n d e n t s ) .   F i g u r e   8   s h o w s   t h e   r e s u l t s   o f   s y n t h e t i c   d a t a   e x p e r i m e n t s .   F i g u r e   8 a   s h o w s   a n   a n a l y s i s   o n   t h e   i m p a c t   o f   t h e   n u m b e r   o f   t r a i n i n g   i n s t a n c e   a s   o n e   o f   t h e   f a c t o r s   t h a t   a f f e c t s   t h e   c l a s s i f i c a t i o n   a c c u r a c y .   N u m b e r   o f   t r a i n i n g   i n s t a n c e   w a s   v a r i e d   f r o m   6 0   t o   5 4 0 .   T h e   v a l u e s   f o r   o t h e r   f a c t o r s   w e r e   f i x e d   a t   t h e i r   r e s p e c t i v e   d e f a u l t   v a l u e s .   I n   g e n e r a l ,   t h e   a c c u r a c y   o f   a l l   t h e   c l a s s i f i e r s   i n c r e a s e d   w i t h   t h e   a d d i t i o n   o f   n u m b e r   o f   i n s t a n c e .   H o w e v e r ,   t h e   p e r f o r m a n c e   r a t e   o f   t h e   c l a s s i f i e r s   w a s   a t   t h e   d i f f e r e n t   r a t e .   T h e   a c c u r a c y   o f   t h e   N B   a n d   N C M   w a s   l e s s   a f f e c t e d   w i t h   t h e   a d d i t i o n   o f   t h e   n u m b e r   o f   i n s t a n c e .   P H B a y e s   p r o d u c e d   s i g n i f i c a n t   i m p r o v e m e n t   a s   t h e   n u m b e r   o f   i n s t a n c e   i n c r e a s e d .   L a r g e   n u m b e r   o f   i n s t a n c e   h e l p e d   t o   i m p r o v e   t h e   e s t i m a t i o n   o f   t h e   h i s t o g r a m   i n   t h e   P H B a y e s .   f P H B a y e s   w a s   v e r y   a c c u r a t e   w h e n   t h e   n u m b e r   o f   i n s t a n c e s   w a s   s m a l l   a s   w e l l   a s   w h e n   t h e   n u m b e r   o f   i n s t a n c e s   i s   l a r g e   c o m p a r e d   w i t h   P H B a y e s .   F i g u r e   8 b   s h o w s   t h e   r e s u l t s   o f   v a r i a n c e   o f   G a u s s i a n   t h a t   r a n g e s   f r o m   0 . 0 2   t o   0 . 1 8 .   O t h e r   f a c t o r s   w e r e   s e t   t o   t h e i r   d e f a u l t   v a l u e s .   T h e   i n c r e m e n t   o f   t h e   v a r i a n c e   t y p i c a l l y   r e d u c e d   t h e   c l a s s i f i c a t i o n   a c c u r a c y   o f   a l l   t h e   t e c h n i q u e s .   C o m p a r e d   t o   t h e   o t h e r   c l a s s i f i e r s ,   t h e   d e c l i n i n g   r a t e   o f   t h e   a c c u r a c y   o f   t h e   P H B a y e s   w a s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i     I S S N :   2502 - 4 7 5 2       A n   I m p r o v e d   F l e x i b l e   P a r t i a l   H i s t o g r a m   B a y e s   L e a r n i n g   A l g o r i t h m   ( H a i d e r   O .   L a w e n d )   983   m o r e   a p p a r e n t   b e c a u s e   t h e   c l a s s   p r o b a b i l i t y   d e n s i t y   w a s   s p r e a d   w i d e r .   f P H B a y e s   w a s   l e s s   e f f e c t e d   b y   t h i s   f a c t o r   t h a n   P H B a y e s .       ( a )           ( b )       ( c )     F i g u r e   8 .   A c c u r a c i e s   r e s u l t s   ( a )   R e s u l t s   f r o m   v a r y i n g   t h e   n u m b e r   o f   t r a i n i n g   i n s t a n c e s   ( b )   R e s u l t s   f r o m   v a r y i n g   t h e   v a r i a n c e s   o f   G a u s s i a n s   ( c )   L e g e n d s       3 . 2   R e s u t s   o f   R e a l   D a t a     I n   r e a l   d a t a   e x p e r i m e n t s ,   t w e n t y   d i f f e r e n t   d a t a b a s e s   f r o m   U C I   m a c h i n e   l e a r n i n g   d a t a b a s e   ( ht t p : / / w w w .i c s .uc i .e du/ ~ m l e a rn/ M L Re p os i t ory .ht m l )   c o n t a i n i n g   m o r e   t h a n   5 0 , 0 0 0   i n s t a n c e s   f r o m   d i f f e r e n t   c l a s s e s   w e r e   u s e d .   T h e   d a t a b a s e   i s   p r e s e n t e d   i n   T a b l e   1 .   E a c h   d a t a b a s e   c o n t a i n s   d i f f e r e n t   c l a s s e s ,   f e a t u r e s ,   a n d   i n s t a n c e s .   I n   o r d e r   t o   s t a n d a r d i z e   t h e   a n a l y s i s   f o r   a l l   t h e   c l a s s i f i e r s ,   t h e   f e a t u r e s   w e r e   s c a l e d   e q u a l l y   a n d   n o m i n a l   f e a t u r e   w e r e   i g n o r e d .   A b o u t   h a l f   o f   t h e   i n s t a n c e s   w e r e   r a n d o m l y   s e l e c t e d   a s   t r a i n i n g   i n s t a n c e s   a n d   t h e   o t h e r   h a l f   w e r e   u s e d   f o r   t e s t i n g .   f P H B a y e s   w a s   c o m p a r e d   w i t h   o t h e r   c l a s s i f i e r s ,   1 st N N ,   N S C ,   N C M ,   N B ,   G M M C   a n d   P H B a y e s .     T a b l e   2   p r e s e n t s   t h e   a c c u r a c y   r e s u l t s   o f   t h e   c l a s s i f i e r s   o n   t h e   d a t a b a s e s .   I n   g e n e r a l ,   f P H B a y e s   p r o d u c e d   h i g h   a c c u r a t e   r e s u l t s   i n   1 2   o f   t h e   2 0   d a t a b a s e s   ( 6 0 % )   a s   c o m p a r e d   t o   o t h e r   c l a s s i f i e r s .   f P H B a y e s   w a s   t h e   m o s t   a c c u r a t e   c l a s s i f i e r   w i t h   a v e r a g e   a c c u r a c y   0 . 7 8 8 8 .   C o m p a r e d   w i t h   P H B a y e s ,   f P H B a y e s   i s   t h e   w i n n e r   f o r   1 6   o u t   o f   2 0   o f   t h e   d a t a b a s e s .   T h e   a v e r a g e   c o m p u t a t i o n a l   t i m e   u s i n g   t h e   2 0   d a t a b a s e s   i s   s h o w n   i n   T a b l e   3 .   T h e   t i m e   o f   f P H B a y e s   w a s   c o m p a r a b l e   t o   t h e   f a s t e s t   a l g o r i t h m   P H B a y e s   i n   t h e   t e s t i n g   p h a s e ,   b u t   s l o w e r   i n   t h e   t r a i n i n g   p h a s e .       T a b l e   1 .   T w e n t y   U C I   d a t a b a s e s   u s e d   i n   t h e   a n a l y s e s   N o .   D a t a b a s e   n a m e   N o .   o f   i n s t a n c e   N o .   o f   f e a t u r e s   N o .   o f   c l a s s e s   1   A b a l o n e   4177   8   3   2   B a l a n c e - s c a l e   625   4   3   3   B l o o d   T r a n s f u s i o n   S e r v i c e   C e n t e r   748   4   2   4   C a r   e v a l u a t i o n   1728   6   4   5   C o n n e c t i o n i s t   B e n c h   ( S o n a r ,   208   60   2   6   C o n t r a c e p t i v e   M e t h o d   C h o i c e   1473   9   3   7   G l a s s   i d e n t i f i c a t i o n   214   9   6   8   H a b e r m a n 's   s u r v i v a l   306   3   2   9   H a y e s - R o t h   132   5   3   10   H e p a t i t i s   155   19   2   11   I o n o s p h e r e   351   34   2   12   I r i s   150   4   3   13   M A G I C   G a m m a   T e l e s c o p e   19020   10   2   14   M a m m o g r a p h i c   M a s s   961   5   2   15   N u r s e r y   12960   8   5   16   P i m a   I n d i a n s   D i a b e t e s   768   8   2   17   S p a m b a s e   4601   57   2   18   S t a t l o g   ( I m a g e   S e g m e n t a t i o n )   2310   19   7   19   W i n e   178   13   3   20   W i s c .   B r e a s t   C a n c e r   ( D i a g n o s t i c )   699   10   2   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4 7 5 2   I n d o n e s i a n   J   E l e c   E n g   &   C o m p   S c i ,   V o l .   11 ,   N o .   3 S e p t e m b e r   2 0 1 8   :     975     986   984   T a b l e   2 .   A c c u r a c y   r e s u l t s   N o .   1 st   NN   N C M   N S C   NB   G M M C   P H B a y e s   ( 1 6 )   P H B a y e s   ( 3 2 )   P H B a y e s   ( 4 8 )   f P H B a y e s   ( 6 4 )   1   0 . 4 7 5 6   0 . 3 9 8 7   0 . 4 1 5 8   0 . 4 4 0 0   0 . 3 5 7 4   0 . 4 9 9 3   0 . 4 9 3 8   0 . 4 9 6 1   0 . 5 0 3 6   2   0 . 7 9 9 4   0 . 7 3 4 0   0 . 6 8 7 5   0 . 8 7 8 2   0 . 8 7 5 0   0 . 7 7 8 5   0 . 7 7 8 5   0 . 7 7 8 5   0 . 8 7 7 2   3   0 . 7 0 6 4   0 . 6 6 3 1   0 . 5 9 9 2   0 . 7 6 4 4   0 . 7 4 6 8   0 . 7 5 3 5   0 . 7 5 9 1   0 . 7 5 3 5   0 . 7 6 2 3   4   0 . 9 0 6 0   0 . 7 1 8 7   0 . 7 1 4 1   0 . 6 8 5 8   0 . 7 5 4 1   0 . 8 0 1 0   0 . 8 010   0 . 8 0 1 0   0 . 8 1 3 5   5   0 . 9 3 4 6   0 . 9 9 2 3   0 . 9 4 8 1   0 . 9 8 6 5   0 . 9 8 6 5   0 . 9 2 3 1   0 . 9 6 3 5   0 . 9 3 9 4   0 . 9 9 4 2   6   0 . 4 3 5 9   0 . 4 3 5 9   0 . 4 0 8 8   0 . 4 7 3 4   0 . 3 9 7 1   0 . 5 0 7 5   0 . 5 0 2 6   0 . 5 0 0 1   0 . 5 0 4 3   7   0 . 6 1 6 8   0 . 5 6 7 3   0 . 6 0 3 7   0 . 5 8 6 9   0 . 7 4 4 9   0 . 7 5 9 8   0 . 6 4 0 2   0 . 6 0 4 7   0 . 8 0 6 5   8   0 . 7 0 8 5   0 . 7 4 3 8   0 . 5 6 9 9   0 . 7 4 7 1   0 . 7 3 9 2   0. 7444   0 . 7 2 1 6   0 . 7 1 5 7   0 . 7 6 0 8   9   0 . 5 4 8 5   0 . 5 2 7 3   0 . 4 9 7 0   0 . 6 1 5 2   0 . 6 1 8 2   0 . 5 3 1 8   0 . 5 2 4 2   0 . 5 2 4 2   0 . 5 5 7 6   10   0 . 6 5 1 9   0 . 7 0 1 3   0 . 6 7 1 4   0 . 6 8 1 8   0 . 7 1 4 3   0 . 8 0 2 6   0 . 7 7 6 6   0 . 7 3 9 0   0 . 8 1 1 7   11   0 . 8 0 9 7   0 . 7 7 4 3   0 . 7 0 3 4   0 . 7 6 6 3   0 . 7 9 2 6   0 . 8 5 2 6   0 . 8 5 8 9   0 . 8 6 0 6   0 . 7 8 1 7   12   0 . 8 8 6 7   0 . 4 8 1 3   0 . 8 0 8 0   0 . 5 2 1 3   0 . 8 5 2 0   0 . 8 0 9 3   0 . 7 4 9 3   0 . 7 9 6 0   0 . 6 6 4 0   13   0 . 9 9 3 5   0 . 9 0 5 3   0 . 9 1 7 1   0 . 9 0 8 7   0 . 9 6 8 7   0 . 9 6 6 5   0 . 9 9 2 7   0 . 9 8 5 3   0 . 9 9 5 0   14   0 . 7 5 5 8   0 . 7 9 1 3   0 . 7 5 2 7   0 . 8 1 2 7   0 . 8 2 8 5   0 . 8 3 5 8   0 . 8 3 2 7   0 . 8 3 3 5   0 . 8 3 4 0   15   0 . 8 8 8 9   0 . 8 2 0 0   0 . 7 8 6 9   0 . 7 2 0 6   0 . 7 7 4 4   0 . 8 6 6 4   0 . 8 6 6 4   0 . 8 6 6 4   0 . 8 7 1 7   16   0 . 6 4 1 1   0 . 6 6 0 2   0 . 6 3 3 1   0 . 6 8 3 9   0 . 6 8 5 9   0 . 6 8 2 8   0 . 6 6 9 0   0 . 6 6 6 7   0 . 6 9 0 9   17   0 . 9 2 0 3   0 . 8 2 3 4   0 . 6 4 8 3   0 . 7 1 2 2   0 . 7 9 5 6   0 . 9 3 7 0   0 . 9 3 8 4   0 . 9 3 3 3   0 . 9 4 3 8   18   0 . 4 4 2 3   0 . 4 4 7 2   0 . 4 2 3 9   0 . 3 5 4 8   0 . 6 0 7 2   0 . 6 4 1 6   0 . 7 1 0 6   0 . 7 3 7 5   0 . 6 5 2 3   19   0 . 7 1 0 1   0 . 7 7 3 0   0 . 7 4 1 6   0 . 8 3 9 3   0 . 8 1 4 6   0 . 7 2 4 7   0 . 7 4 9 4   0 . 7 5 9 6   0 . 9 7 5 3   20   0. 9613   0 . 9 6 7 6   0 . 8 9 1 4   0 . 9 6 1 0   0 . 9 6 4 2   0 . 9 7 3 6   0 . 9 7 3 6   0 . 9 7 3 6   0 . 9 7 5 9   T o t a l   A v e r a g e   0 . 7 3 9 7   0 . 6 9 6 3   0 . 6 7 1 1   0 . 7 0 7 0   0 . 7 5 0 9   0 . 7 6 9 6   0 . 7 6 5 1   0 . 7 6 3 2   0 . 7 8 8 8       T a b l e   3 .   T r a i n i n g   a n d   t e s t i n g   t i m e s   o n   t h e   2 0   d a t a b a s e s   A l g o r i t h m   T r a i n i n g   T i m e   ( s )   T e s t i n g   T i m e   ( s )   1 st NN   ---   3 5 4 . 3 1 5 7   N C M   1 . 7 2 8 4   0 . 2 4 8 5   N S C   2 2 . 2 3 3 5   1 . 1 0 6 7   NB   3 . 8 2 5 2   0 . 5 9 4 8   G M M C   2 0 2 . 8 3 7 6   3 . 5 6 1 1   P H B a y e s ( 1 6 )   1 . 5 6 7 2   0 . 1 2 9 9   P H B a y e s ( 3 2 )   1 . 8 0 4 0   0 . 1 2 7 7   P H B a y e s ( 4 8 )   1 . 9 9 7 0   0 . 1 3 0 8   f P H B a y e s ( 6 4 )   4 . 8 3 5 4   0 . 1 3 1 5       3 . 3 .     S p e e d   a n d   M e m o r y   A n a l y s e s   T o   a n a l y s i s   t h e   s p e e d   a n d   m e m o r y   r e q u i r e m e n t   f o r   f P H B a y e s   a n d   P H B a y e s ,   i t   i s   i m p o r t a n t   t o   l o o k   a t   t h e i r   s t r u c t u r e s .   T h e   t r a i n i n g   p h a s e   i n   b o t h   a l g o r i t h m s   c o n s i s t s   o f   t h r e e   s t e p s :   t h e   o b s e r v e d   h i s t o g r a m   b u i l d i n g ,   h i s t o g r a m   l e v e l   o f   n o i s e   e s t i m a t i o n   a n d   h i s t o g r a m   p r o b a b i l i t y   e s t i m a t i o n .   B o t h   a l g o r i t h m s   b u i l d   t h e   o b s e r v e d   h i s t o g r a m   t h e   s a m e   w a y ,   t h u s   t h e   r e q u i r e d   t i m e   o f   b u i l d i n g   t h e   o b s e r v e d   h i s t o g r a m   i s   s n τ   w h e r e   τ   i s   u n i t   o f   t i m e .   B o t h   s o f t   a p p r o a c h   i n   f P H B a y e s   a n d   h a r d   a p p r o a c h   i n   P H B a y e s   r e q u i r e   t h e   s a m e   n u m b e r   o f   o p e r a n d s   t o   e s t i m a t e   t h e   h i s t o g r a m   l e v e l   o f   n o i s e .   A s   a   r e s u l t ,   t h e   r e q u i r e d   t i m e   t o   e s t i m a t e   t h e   h i s t o g r a m   l e v e l   o f   n o i s e   i n   b o t h   a l g o r i t h m s   i s   l r n τ   w h e r e   l   i s   t h e   n u m b e r   o f   i t e r a t i o n s .   S m o o t h i n g   p r o c e s s   a n d   e s t i m a t i n g   t h e   h i s t o g r a m   p r o b a b i l i t y   i n   f P H B a y e s   i s   s l o w e r   t h a n   P H B a y e s   s i n c e   i t   r e d i s t r i b u t e s   t h e   n o i s y   i n s t a n c e s   o f   t h e   b i n s   a m o n g   n e i g h b o r i n g   b i n s .   T h i s   m a k e s   f P H B a y e s   t a k e s   l o n g e r   t i m e   e q u a l   t o   r 2   c o m p a r e d   w i t h   o n l y   r n τ   i n   P H B a y e s .   T h e   t o t a l   r e q u i r e d   t i m e s   f o r   f P H B a y e s   a n d   P H B a y e s   a r e   ( s + l r + r 2 )   a n d   ( s + l r + r )   r e s p e c t i v e l y .   I n   t h e   t e s t i n g   p h a s e ,   b o t h   a l g o r i t h m s   a s s i g n   a   t e s t i n g   i n s t a n c e   t o   t h e   c l a s s   w i t h   t h e   h i g h e s t   p o s t e r i o r   p r o b a b i l i t y   a p p l y i n g   B a y e s i a n   r u l e .   B e c a u s e   o f   b o t h   a l g o r i t h m s   u s e   h i s t o g r a m   p r o b a b i l i t y ,   t h e i r   t o t a l   t e s t i n g   t i m e   i s   o n l y   .   T h e   m e m o r y   s i z e   o f   b o t h   a l g o r i t h m s   i s   2 r n M .   T h i s   i s   i n   o r d e r   t o   s a v e   t h e   o b s e r v e d   h i s t o g r a m   r n M   p l u s   t h e   h i s t o g r a m   p r o b a b i l i t y   r n M ,   w h e r e   M   i s   u n i t   o f   m e m o r y .     3 . 4 .     D i s c u s s i o n   O u r   c o n t r i b u t i o n s   i n   t h i s   w o r k   i s   p r o p o s i n g   a   n e w   s u p e r v i s e d   l e a r n i n g   a l g o r i t h m   f P H B a y e s   w h i c h   i s   a n   a c c u r a t e   a l g o r i t h m ,   a b l e   t o   w o r k   w i t h   s m a l l   a n d   l a r g e   n u m b e r   o f   i n s t a n c e s   a n d   f l e x i b l e   t o   t h e   d i s t r i b u t i o n   o f   t h e   c l a s s .   f P H B a y e s   i s   a l s o   c o m p a r e d   w i t h   o t h e r   s t a n d a r d   a n d   m o s t   r e l a t e d   a n d   r e c e n t   l e a r n i n g   a l g o r i t h m s   c o n s i d e r i n g   r e a l   d a t a   f r o m   U C I   d a t a b a s e   a n d   s y n t h e t i c   d a t a   a n a l y s i s .   f P H B a y e s   d e m o n s t r a t e d   m o r e   a c c u r a t e   r e s u l t s   t h a n   o t h e r   t e s t e d   a l g o r i t h m s   i n   m o s t   o f   t h e   e x p e r i m e n t s .   I t   i s   a b l e   t o   w o r k   w i t h   s m a l l   a s   w e l l   a s   l a r g e   n u m b e r   o f   i n s t a n c e s   a n d   f l e x i b l e   t o   t h e   c l a s s   d i s t r i b u t i o n .   f P H B a y e s   i s   a   B a y e s i a n   a l g o r i t h m   w h i c h   d o e s   n o t   f a l l   i n t o   c u r s e   o f   d i m e n s i o n a l i t y .   I t   i s   a l s o   i m p o r t a n t   t o   m e n t i o n   t h a n   b y   u s i n g   h i s t o g r a m   p r o b a b i l i t y ,   i t   i s   e a s y   t o   h a n d l e   t h e   c h a n g e s   i n   t h e   d a t a .   T h i s   i s   Evaluation Warning : The document was created with Spire.PDF for Python.