I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 J a n u a r y   20 21,   pp .   1 79 ~ 19 5   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 179 - 195             179       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   Fuzz y   e n c o d i n g   w i t h   h y b r i d   p o o l i n g   f o r   v i su a l   d i c t i o n a r y   i n   f o o d   r e c o g n i t i o n       M o h d   N o r h i s h am   R az al i 1 ,   N o r i d ayu   M an s h o r 2 ,   A l fi an   A b d u l   H a l i n 3 ,   N o r w ati   M u s tap h a 4   R az al i   Y aa k o b 5   1 F a c ul t y   of   C o m put i ng   a nd  I nf o r m a t i c s ,   U n i v e r s i t i   M a l a y s i a   S a b a h ,   M a l a y s i a   2 , 3 , 4 , 5 F a c ul t y   of   C o m put e r   S c i e nc e   a nd   I nf o r m a t i o T e c hno l o gy ,   U ni v e r s i t i   P u t r a   M a l a y s i a ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   F e b   1 6 ,   2 020   R e v i s e A pr   5 2020   A c c e pt e J ul   2 1 ,   2020       T r e m e n do us   num be r   o f   f   f oo i m a g e s   i t h e   s o c i a l   m e d i a   s e r v i c e s   c a be   e xpl o i t e d   by   us i ng   f o o r e c og ni t i o f o r   h e a l t hc a r e   be n e f i t s   a nd   f o od  i ndus t r y   m a r ke t i ng .   T he   m a i c ha l l e ng e s   i f oo r e c og ni t i o a r e   t he   l a r g e   v a r i a b i l i t y   of   f oo a ppe a r a nc e   t h a t   o f t e g e ne r a t e s   a   h i g hl y   di v e r s e   a nd  a m bi g uo us   de s c r i pt i o ns   o f   l o c a l   f e a t u r e .   I r o ni c a l l y ,   t he   a m b i g uo us   de s c r i p t i o n s   o f   l o c a l   f e a t u r e   ha v e   t r i g g e r e d   i nf o r m a t i o l o s s   i v i s ua l   d i c t i o na r y   c o n s t r uc t i o ns   f r o m   t he   ha r a s s i g nm e nt   p r a c t i c e s .   T h e   c ur r e nt   m e t ho ba s e d   o ha r a s s i g nm e nt   a n F i s he r   v e c t o r   a ppr o a c t c o ns t r uc t   v i s ua l   di c t i o na r y   ha v e   une xp e c t e d l y   c a us e   e r r o r s   f r o m   t he   u nc e r t a i nt y   pr o bl e m   dur i ng   v i s ua l   w o r a s s i g na t i o n.   T hi s   r e s e a r c p r o po s e s   a   m e t ho o f   c o m bi na t i o i s o f t   a s s i g nm e nt   t e c hn i qu e   by   us i ng   f uz z y   e nc o di ng   a ppr o a c a nd  m a xi m um   po o l i ng   t e c hni q ue   t o   a g g r e g a t e   t he   f e a t u r e s   t o   pr o duc e   a   hi g h l y   di s c r i m i n a t i v e   a nd  r o bus t   v i s ua l   di c t i o na r y   a c r o s s   v a r i o us   l o c a l   f e a t u r e s   a nd   m a c hi ne   l e a r n i ng   c l a s s i f i e r s .   T he   l o c a l   f e a t ur e s   by   us i ng   M S E R   de t e c t o r   w i t S U R F   de s c r i p t o r   w a s   e nc o de by   us i ng   f uz z y   e nc o di ng   a ppr o a c h.   S up po r t   v e c t o r   m a c hi ne   ( S V M )   w i t h   l i ne a r   ke r ne l   w a s   e m pl o y e t o   e va l u a t e   t he   e f f e c t   of   f uz z y   e nc o di ng .   T he   r e s u l t s   o f   t he   e xpe r i m e nt s   ha v e   de m o ns t r a t e a   no t e w o r t hy   c l a s s i f i c a t i o pe r f o r m a nc e   o f   f uz z y   e nc o di ng   a ppr o a c c om pa r e d   t o   t he   t r a di t i o na l   a ppr o a c ba s e o h a r a s s i g nm e n t   a n F i s h e r   v e c t o r   t e c hni que .   T he   e f f e c t s   o f   unc e r t a i nt y   a nd  pl a us i b i l i t y   w e r e   m i n i m i z e a l o ng   w i t h   m o r e   di s c r i m i na t i v e   a n c o m pa c t   v i s u a l   d i c t i o na r y   r e pr e s e nt a t i o n.   Ke y w or d s :   F oo r e c o gn i t i o n   O b j e c t   r e c o gn i t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   N o r i da y M a n s h o r   F a c ul t y   of   Co m put e r   S c i e n c e   a n d   I n f o r m a t i o T e c hn o l o gy   U n i v e r s i t i   P ut ra   M a l a y s i a   43400  U P M   S e r d a n g   S e l a n go r   D a r ul   E h s a n,   M a l a y s i a   hi s h a m r z @ u m s . e du . m y       1.   I N TR O D U C TI O N     T h e   a dv a n c e m e nt   o f   m o b i l e   de v i c e s   t e c h n o l o gy   t h a t   p r o v i de s   a   b e t t e r   i m a gi n g   qua l i t y   h a s   a t t ra c t e an   i n t e r e s t   f r o m   r e s e a r c h e r s   t o   a do pt   obj e c t   r e c o gn i t i o n   m e t h o t o   f a c i l i t a t e   s e l f - di e t a r y   a s s e s s m e n t   v i a   a a ut o m a t i c   f oo r e c o gn i t i o n   [1 2] .   D i e t a r y   a s s e s s m e n t   i s   a   t re a t m e n t   f o r   di e t - r e l a t e c hr o n i c   di s e a s e s   s uc h   a s   di a b e t e s ,   h y pe r t e n s i o n s ,   a n h e a r t   d i s e a s e s   t ha t   b e e n   s t r o n gl y   l i n ke w i t h   t h e   o be s i t y   a n b e i ng  o v e r w e i gh t   t h a t   a r e   c a us e by   i m b a l a n c e n ut ri t i o n   i nt a ke   a nd  l a c o f   p h y s i c a l   a c t i v i t i e s .   T hi s   h e a l t h   i s s ue   h a s   s e ri o us l y   a f fe c t e d   n a t i o n s   w o r l dw i de   a s   1. b i l l i o n   a du l t s   w e r e   c a t e g o r i z e a s   o ve r w e i gh t   i n   2018  a n 650  m i l l i o n   o t h e m   w e r e   obe s e   [3].   In   a dd i t i o n   t o   t h a t ,   t h e   e xpl o s i o n   o f   s oc i a l   m e di a   s e r v i c e s   h a v e   w i t n e s s e t h e   po pul a ri t y   of   foo i m a ge s   w h i c h   c r e a t e s   po t e n t i a l   t o   f oo r e c o gn i t i o n   a l go r i t h m   t o   b e   us e fo r   a na l y s i n t h e   e a t i ng  ha b i t s   a n d   f oo pr e f e r e n c e s   w h i c h   a r e   us e f ul   f o r   f oo i ndus t ry .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     179   -   195   180   In   ge n e r a l ,   t h e r e   a r e   t w m a i n   s t e ps   t o   a c c o m pl i s h   f oo r e c o gn i t i o n   t a s w h i c h   a r e   i m a ge   de s c r i pt i o n   a nd  c l a s s i f i c a t i o n   [4 ].   I m a ge   de s c r i pt i o n   i s   a   p ro c e s s   t o   e xt r a c t   t h e   v i s ua l   c o n t e n t   o f   foo ds .   In  pa r t i c ul a r,   l o c a l   f e a t u r e   i s   m o r e   s ui t a b l e   t o   r e p r e s e n t   f oo f e a t ur e s   a s   t h e   p r o pe r t i e s   o f   l oc a l   f e a t u r e s   t h a t   c a pt u r e   m i n us c ul e   pa rt s   o f   t h e   f oo b e s i de   i t s   r o b us t n e s s   t ow a r ds   i l l u m i na t i o n,   s c a l e ,   r o t a t i o n ,   a n o r i e n t a t i o w h i c h   m a de   i t   c a p a b l e   t o   de a l   w i t h   t h e   c l ut t e r e a ppe a ra n c e   of   f oo ds   [1 5 6].   T h e   i nt e r e s t   po i n t s   t ha t   w e r e   de t e c t e a n de s c r i b e ha v e   pr o duc e a   h i g v o l um e   a n d   di v e r s e   fe a t ur e s   t ha t   r e qui r e   t h e   f e a t u r e s   t o   be   t r a n s f o r m e i n t o   a n o t h e m o r e   s i m pl i f i e r e pr e s e nt a t i o by   us i ng  c e rt a i n   f e a t u r e   e n c o di ng  t e c hn i que .     F e a t u r e   e n c o di n i s   a   p r o c e s s   i b a o f   fe a t u r e   (B o F m o d e l   t o   c o n s t r uc t   t h e   v i s ua l   di c t i o na r y   i o r de r   t o   r e p r e s e nt   t h e   c ha r a c t e r i s t i c s   of   i m a ge   f e a t ur e s   f ro m   t h e   h i g hl y   di ve r s e   a n m a s s i v e   vo l um e   o i n t e r e s t   po i n t s .   B o F   m o de l   h a s   b e e n   e m pl o y e t o   e n c o d e   l o c a l   fe a t u r e s   i n   m a n y   foo r e c o gn i t i o n   s t udi e s     [1 5 7 8].   F e a t u r e   e n c o di n g   i s   a   c r uc i a l   s t e i n   B o F   a s   i t   h a s   s i g n i f i c a nt   i m p a c t   o t h e   c l a s s i f i c a t i o pe r f o r m a n c e   [9] .   T h e   m o s t   c o m m o n   f e a t u r e   e n c o di ng  t e c hni que   us e i n   p r e v i o us   s t udi e s   i s   by   us i n ha r d   a s s i g n m e nt   a p p r o a c h   w h e r e   k - m e a n s   c l us t e r i ng  a l go ri t hm   w a s   us e t o   ge n e r a t e   c e n t r o i ds   o r   v i s ua l   w o r ds     [1 7 1 0].   T h e   f e a t u r e   e n c o di n g   by   us i n ha r d   a s s i g nm e n t   w o r ks   by   a s s i gn i ng  e a c h   f e a t u r e   de s c r i pt i o n   f r o m   i n t e r e s t   po i nt   t o   v i s ua l   w o r s o l e l y   b a s e o n   t h e   di s t a n c e   be t w e e n   i n t e r e s t   po i nt   a n v i s ua l   w o r d.   T h e   h i g v a r i a t i o n s   o f oo ds   t h a t   p r o duc e   h i g h l y   di ve r s e   a m b i guo us   fe a t u r e   de s c r i pt i o n s   [1 11 12]  m a y   s t r o n g l y   l e a t o   i n f o r m a t i o n   l o s s   o r   e rr o r   w h i l e   a s s i g n i ng  f e a t ur e   de s c ri pt i o n s   t o   v i s ua l   w o r ds .   T h e   e rr o r s   i n   f e a t u r e   e n c o di n g   o c c ur r e d ue   t o   u n c e r t a i nt y   a n pl a us i b i l i t y   pr o b l e m .   U n c e r t a i nt y   a n pl a us i b i l i t y   pr o b l e m   ha b e e n   e a r l i e di s c o ve r e i n   s c e n e   i m a ge   c l a s s i f i c a t i o n   [13 14]  w h i c h   s h o w e t h a t   a n y   i m a ge   w i t a   l a rg v a r i e t y   of   a ppe a r a n c e   s uf f e r   f r o m   u n c e r t a i nt y   a n d   pl a us i b i l i t y   pr ob l e m .     T h e   u n c e r t a i nt y   a n pl a us i b i l i t y   pr o b l e m   a r e   t ri gge r e w h e n   a   f e a t ur e   de s c r i pt i o n   i s   a s s i g n e t o   o n l y   o n e   v i s ua l   w o r w i t h o ut   c o n s i de r a t i o o f   o t h e r   v i s ua l   w o r ds   t h a t   c o ul b e   m o r e   r e l e v a n t .   I n   a   v i s ua l   w o r un c e rt a i n t y ,   a n   i n t e r e s t   po i nt   c a n   h a v e   a   s i m i l a r   o r   j us t   a   s l i ght   di f f e r e n c e   of   di s t a n c e   w i t h   t w o   v i s ua l   w o r ds ,   e s pe c i a l l y   fo r   i n t e r e s t   po i nt s   t ha t   a r e   l o c a t e n e a r   t o   t he   b o un da r y   of   c l us t e r s .   T h e s e   i n t e r e s t   po i nt s   r e p r e s e n t e by   us i n ha r a s s i g n m e n t   c a b e   a m b i guo us   a s   t h e y   a r e   a s s i g n e t o   a   v i s ua l   w o r w i t h o ut   f urt h e e v a l ua t i o n   w i t h   o t h e r   v i s ua l   w o r ds   a n i n t e r e s t   po i nt s .   O n   t h e   o t h e r   ha n d ,   v i s ua l   w o r pl a us i b i l i t y   c a n   a l s o c c ur   w h e n   i nt e r e s t   po i nt s   po pul a t e f a r   a w a y   f r o m   a n y   v i s u a l   w o r a s s i g n e t o   a n y   n e a r e s t   v i s ua l   w o r a n d   m i g ht   b e   w r o n gl y   gr o upe d.   F i gu r e   s h o w s   a   de m o n s t ra t i o n   of   un c e r t a i n t y   a n pl a us i b i l i t y   e f fe c t   o n   t h e   s a m pl e s   i a   f oo c a t e go r y   f r o m   U E CF O O D - 100  d a t a s e t .           F i gu r e   1 .   U n c e rt a i n t y   a n d   pl a us i b i l i t y   e ff e c t   o n   v i s ua l   di c t i o na r y   c o n s t r uc t i o by   us i n ha r d   a s s i g n m e n t       T h e   s a m pl e s   o f   f oo i m a ge   s h o w n   i n   F i gu r e   de m o n s t ra t e t h e   v a r i a t i o n   o f   foo ds   t ha t   l e a t o   t h e   c o n f us i o n   i n   ge n e ra t i n v i s ua l   d i c t i o n a r y .   O bv i o us l y ,   t h e   v i s ua l   di c t i o n a r y   ge n e r a t e b y   t h e   t hr e e   s a m pl e s   ha v e   di f fe r e n t   p a t t e rn.   T h i s   w i l l   de f i n i t e l y   e n l a r ge   t h e   i nt r a - c l a s s   v a ri a t i o i a   f oo c a t e go r y .   A s   m e nt i o n e d   i n   [2]   a nd  [ 12],   t h e   i n t ra - c l a s s   v a ri a t i o n s   a nd  de f o r m a b l e   na t ur e   o f   foo i m a ge s   h a v e   c a us e u n c e r t a i nt y   a n d   pl a us i b i l i t y   pr o b l e m   t o   be c o m e   s i gn i f i c a n t .   F i s h e r   v e c t o r   (F V t e c h ni que   i s   a   m o r e   r e c e n t   f e a t ur e   e n c o di n t h a n   ha r a s s i g n m e nt   i nt r o duc e i n   i m a ge   c l a s s i f i c a t i o n   [15 t h a t   c a n   ge n e ra t e   a   c o m pr e s s e r e p r e s e n t a t i o v i a   a   s m a l l   v oc a b ul a r y   s i z e .   F V   ha s   b e e n   i nt r o duc e i n   foo r e c o gn i t i o i [16]   w h i c h   p r o v i de s   m o r e   a dv a n t a ge   f o r   m o b i l e   a ppl i c a t i o n s .   H ow e v e r ,   t h e   p r o b l e m   of   un c e r t a i nt y   a n p l a us i b i l i t y   s t i l l   e xi s t   i F V   r e p r e s e n t a t i o a s   s h o w n   i n   F i gu r e   2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       F uz z y   e n c odi ng  w i t h y br i d   poo l i n f or   v i s ua l   d i c t i o nar y   i n   f ood  r e c ogn i t i on   ( Mohd  N or hi s ham   R az a l i )   181   A c c o r di n t o   F i gu r e   2,   t hr e e   di f fe r e nt   pa t t e rn s   o f   f e a t ur e   re pr e s e n t a t i o n   ge n e ra t e by   us i n f i s h e v e c t o r   o n   t hr e e   f o o i m a ge s   A ,   B ,   a nd  C   f r o m   t h e   s us hi   f oo c a t e go r y .   I n   a ddi t i o n   t o   t ha t ,   t h e   f i r s t - o rde s t a t i s t i c   c o m put a t i o n   i F i s h e v e c t o r   e n d   up  w i t e xt r e m e l y   l o n ge r   f e a t u r e   v e c t o r   t ha t   r e qui r e s   h i g h   c o m put a t i o n a l   c o s t   fo r   c l a s s i f i c a t i o n   a n l e s s   s ui t a b l e   fo r   l a r ge - s c a l e   a pp l i c a t i o n   [1 7,   18] .   T h e r e f o r e ,   t h i s   s t udy   i s   m a i nl y   pr o p o s i n a   s o f t   a s s i gnm e nt   f e a t u r e   e n c o d i n t e c hni que   t o   i m p r o v e   t h e   v i s ua l   di c t i o na r y   c o n s t r uc t i o n   i n   B o F .   T hi s   s t udy   i s   m o t i v a t e f r o m   t h e   r e s e a r c h   c o n duc t e i n   [13,   19 - 21]  t ha t   h a s ugge s t e t h e   s of t   a s s i gnm e nt   t e c hni que   t o   de a l   w i t h   t h e   u n c e r t a i nt y   a n p l a us i b i l i t y   i n   s c e n e   r e c o gn i t i o n.   S pe c i f i c a l l y ,   t h e   f uz z y   f e a t ur e   e n c o di n t e c hn i que   b a s e o n   f uz z y   s e t   t he o r y   (F S T h a s   b e e n   s e l e c t e d   a s   i t   m a y   l e a t b e t t e r   c o n s t r uc t i o n   o f   v i s ua l   di c t i o n a r y   w h i c i t u rn   l e a d   t o   b e t t e r   c l a s s i f i c a t i o pe r f o r m a n c e   [22] .           F i gu r e   2 .   U n c e rt a i n t y   a n d   pl a us i b i l i t y   e ff e c t   o n   v i s ua l   di c t i o na r y   c o n s t r uc t i o by   us i n f i s h e v e c t o r       In  s um m a r y ,   t h e   c o n t ri b ut i o n s   o f   t h i s   s t udy   a r e   f o ur   f o l ds :   a)   W e   i m p r o v e t h e   B oF   m o de l   i n   f o o r e c o gn i t i o by   i n c o rpo r a t i n F S T   i f e a t ur e   e n c o di n g   p r o c e s s   w h i c r e duc e t h e   u n c e r t a i nt y   a n d   pl a us i b i l i t y   pr o b l e m .     b)   W e   pr o pos e t h e   c o m b i n a t i o n   o f   m a xi m u m   po o l i n a n s u m   po o l i n t e c hni que s   t o   pr o du c e   a   h i g h l y   di s c r i m i na t i v e   v i s ua l   di c t i o n a r y   t o   s um m a r i z e   t h e   e n c o de f e a t u r e s .   c)   W e   pr o v i de   e v a l ua t i o n   o f   f e a t ur e   e n c o di n g   t e c hn i que s   t o w a r ds   di f f e r e n t   f e a t u r e s .   d)   W e   pr o v i de   e v a l ua t i o n   o f   f e a t ur e   e n c o di n g   t e c hn i que s   t o w a r ds   di f f e r e n t   m a c h i n e   l e a rn i ng  c l a s s i f i e r s .     e)   W e   pr o v i de   e v a l ua t i o n   o n   us i ng  di f f e r e n t   v oc a b ul a r y   s i z e s   i f uz z y   e n c o di n g   t e c hni que .   T h e   r e s t   o f   t h e   p a pe i s   o r ga ni z e a s   f o l l o w s .   T h e   f o l l ow i n s e c t i o n s   di s c us s   r e l a t e w o r ks   r e ga r d i n g   f e a t ur e   e n c o di n t e c hni que s ,   t h e   f uz z y   e n c o di n t e c hni que ,   t h e   e xpe ri m e n t a l   de s i g n ,   e xpe r i m e nt a l   r e s ul t s   a n d   f i n di ngs   a r e   f i na l l y   c o n c l ude i t h e   l a s t   s e c t i o n .       2.   R ELA TED   WO R K S   T h e   b a o f e a t ur e   (B oF m o de l   h a s   be e n   w i de l y   us e i n   pr e v i o us   r e s e a r c h   t o   r e p r e s e n t   f e a t u r e s   f r o m   foo i m a ge s   [5 7 8].   F e a t u r e   e n c o di n i s   a   p r o c e s s   w i t h i t h e   B o F   m o d e l   t ha t   c o n s t ruc t s   t h e   v i s ua l   di c t i o na r y   i n   o r de r   t o   r e p r e s e n t   t h e   c ha r a c t e r i s t i c s   of   i m a ge   f e a t ur e s   f r o m   t h e   hi g hl y   di v e r s e   a n m a s s i v e   vo l um e   of  l o c a l   f e a t ur e   i n t e r e s t   po i n t s .   T h e   m o s t   c o m m o n   f e a t ur e   e n c o di n t e c hni que   i s   t hr o ugh   ha r d   a s s i g n m e nt   w h e r e   k - m e a n s   c l us t e r i n a n h i e r a r c hi c a l   k - m e a n s   a r e   us e t o   c o n s t r uc t   t h e   v i s ua l   w o r ds .   I n   t h e s e   t e c hn i que s ,   t h e   c e nt r o i ds   o v i s ua l   w o r ds   a r e   pl a c e n e a t h e   m o s t   o c c ur ri n g   i nt e r e s t   po i nt s   a nd  e a c h   w i l l   b e   a s s i g n e t o   a   s i n gl e   n e a r e s t   c e nt r o i d.     In   ge n e r a l ,   t h e   h a r a s s i g nm e n t   a pp r o a c h   t o   e n c o de   t h e   l o c a l   f e a t ur e   w a s   c r i t i c i s e due   t o   t h e   e rr o r s   c r e a t e w hi l e   b ui l d i n t h e   v i s ua l   di c t i o n a r y   [9 20 23] .   H a rd   a s s i g nm e nt   a pp r o a c h   i s   l e s s   s ui t a b l e   fo r   i m a ge s   t h a t   c o n t a i n   l a rge   a ppe a r a n c e   v a r i a b i l i t y   [21].   T h e   r e a s o n   i s   t ha t   a   s i n gl e   v i s ua l   w o r fe a t u r e   us i ng  ha r d   a s s i g n m e nt   m a y   c a us e   i t s   r e l e v a n c e   t o   o t h e r   po s s i b l e   v i s ua l   w o r ds   t o   be   l o s t .   T h i s   c a n   po t e n t i a l l y   l e a t v i s ua l   w o r u n c e r t a i nt y   a n pl a us i b i l i t y .   V i s ua l   w o r un c e rt a i nt y   o c c ur s   w h e n   a   g r o up  of   n e a r e s t   i nt e r e s t   po i n t s   a r e   a s s i g n e t o   di f f e r e n t   v i s ua l   w o r ds .   T h e s e   i nt e r e s t   po i n t s   a r e   us ua l l y   po pul a t e n e a r   t o   t h e   bo r de r   i b e t w e e n   t h e   c l us t e r   r e gi o n s .   O n   t h e   o t h e r   ha n d ,   v i s ua l   w o r pl a us i b i l i t y   i s   a   c a s e   w h e r e   t h e   i n t e r e s t   po i n t s   a r e   po pul a t e f a r   f r o m   a n y   v i s ua l   w o r w h e r e   t h e y   a r e   a s s i g n e d   t o   a n y   n e a r e s t   v i s ua l   w o r d.   Co n s e que n t l y ,   t h e s e   i n t e r e s t   po i n t s   a r e   w r o n gl y   gr o upe w i t o t h e di s s i m i l a i nt e r e s t   po i nt s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     179   -   195   182   T h e   pr o b l e m s   of   un c e r t a i nt y   a n pl a us i b i l i t y   h a v e   b e e n   l o n i de n t i f i e i n   o b j e c t   r e c o gn i t i o n   d a t a s e t s   de a l i n w i t h   n a t u r a l   s c e n e s ,   s uc h   a s   Ca l t e c h   a n P a s c a l   [ 9 20 21 23 24] .   T h e s e   da t a s e t s   e xh i b i t   l a r ge   v a r i a b i l i t i e s   i n   i m a ge   a ppe a ra n c e s   w i t h   h i g h   i nt ra - c l a s s   di f f e r e n c e   a nd  i nt e r - c l a s s   s i m i l a r i t i e s .   A s   s um m a ri z e by   [25],   m a n y   e n c o di n g   a pp r o a c h e s   h a v e   b e e n   p r o po s e s u c h   a s   F i s h e v e c t o r ,   s pa r s e   c o di n g ,   l o c a l   t a n ge n t   c o di n g,   a nd  s a l i e n c y   c o di n g   t o   r e pl a c e   t h e   t ra di t i o n a l   ha r d   a s s i g n m e n t   t e c hni que .     H ow e ve r ,   t h e   s of t   a s s i gnm e nt   b a s e e n c o di n us i ng  f uz z y   l o gi c   h a s   b e e n   fo un t o   b e   m o r e   r e p r e s e n t a t i v e   a t   m o de l l i ng  un c e r t a i nt y   a n pl a us i b i l i t y   by   a l l ow i n m u l t i pl e   de gr e e s   of   m e m b e r s hi a s s i g n m e nt s   t o   e a c h   v i s ua l   w o r [22 26 27] .   H ow e v e r ,   de s pi t e   t h e   s uc c e s s   of  f uz z y   e n c o di n a pp r o a c h e s ,   t t h e   b e s t   o f   o ur   k n o w l e dge ,   t h e   p r o b l e m   of   un c e r t a i nt y   a n p l a us i b i l i t y   i n   f oo r e c o gn i t i o n   do m a i n   ha v e   y e t   t b e   e xpl o r e d.   S i n c e   foo i m a ge s   h a v e   ve r y   di v e r s e   a ppe a r a n c e s   i n   t e r m s   o f   c o l o ur   a n t e xt u r e ,   a s   w e l l   a s   b e i n h i g hl y   de fo r m a b l e   i n   na t u r e ,   t h e y   a r e   n o t   e xe m pt   f r o m   u n c e rt a i nt y   a n p l a us i b i l i t y   [1 13] .   M o r e o ve r ,   t h e   un c e rt a i n t y   pr o b l e m   i n   f oo r e c o gn i t i o n   c o n t r i b ut e s   t o   hi g h   i n t ra - c l a s s   v a r i a t i o n s   w h e r e   t h e   fo o ds   i n   t h e   s a m e   c a t e go r y   c a n   v a r y   d e pe n di n o n   i n g r e d i e nt s ,   l o c a t i o n ,   a n i n d i v i dua l   pr e f e r e n c e s   [11].   I n   m a n y   of   t h e   pr e v i o us   w o r ks   pe r t a i ni n t o   foo r e c o gn i t i o n ,   ha r d   a s s i g nm e nt   by   us i n k - m e a n s   w a s   a d a pt e i t h e   B o F   m o de l   [1 7 2 8,   29] .     S o m e   of   t h e   w o r ks   ha v e   us e t h e   f i s h e r   r e p r e s e n t a t i o n   [ 30]  a n d   s pa r s e   c o di ng   [31 a s   a l t e rn a t i v e s   t us i n h a rd  a s s i g nm e n t .   H ow e v e r ,   t h e   c o n c e n t r a t i o n   o f   f i s h e r   r e p r e s e n t a t i o n   i s   m o r e   t o   pr o v i de   r i c h e r   g ra d i e nt   r e p r e s e n t a t i o n s   w i t h   r e s pe c t   t o   t h e   m e a n   a n c o - v a r i a n c e   fr o m   a   ga us s i a n   m i x t u r e   m o de l   (G M M ),   w hi c r e s ul t s   i n   a   l e ngt h y   fe a t u r e   v e c t o r .   S p a r s e   c o di n o n   t h e   o t h e r   ha n d   i s   m o r e   t o   c a p t u r e   t h e   s a l i e n t   p r o pe r t i e s   of  l o c a l   fe a t u r e s .   Bo t h   m e t h o ds   a r e   n o t   de s i g n e fo r   e l i m i na t i ng  t h e   u n c e r t a i nt y   a n pl a us i b i l i t y   i s s ue s   i n   foo d   i m a ge s .       3.   F U ZZY   EN C O D I N G   I N   BO F   T h e   f uz z y   t e c hn i que   t o   e n c o de   t h e   f e a t ur e s   i n   B o F   i s   b a s e d   o n   t h e   f uz z y   s e t   t h e o r y   (F S T i n   [ 32] .   F S T   a l l o w s   s of t   a s s i gn m e nt   t o   be   pe r fo r m e w h e r e   i n i t i a l l y   e a c h   i n t e r e s t   po i nt   i s   a s s i g n e t o   m ul t i p l e   v i s ua l   w o r ds   w i t h   di f f e r e n t   de gr e e s   of   m e m b e r s hi v a l ue s .   T h e   m e m b e r s h i v a l ue   i s   de t e r m i n e by   us i n a   G a us s i a P r o b a b i l i t y   D e n s i t y   F un c t i o b a s e o n   t h e   di s t a nc e   be t w e e n   i nt e r e s t   po i n t s   a n t h e   v i s ua l   w o r ds .   T h e   c l o s e r   v i s ua l   w o r ds   a r e   a s s i g n e d   h i g h e m e m b e r s hi v a l ue s .     F uz z y   c - m e a n s   (F CM [3 3]  a nd  p o s s i b i l i s t i c   c - m e a n s   (P CM [34]  a r e   a m o n t w o   e s t a b l i s h e f uz z y   c l us t e r i n t e c hni que s   t ha t   pe r f o r m   s o f t   a s s i gn m e n t   us i n F S T .   F CM   i s   k n o w n   t o   p e r f o r m   v e r y   w e l l   o n   n o i s e   f r e e   da t a   b ut   t e nds   t o   b e   s e n s i t i v e   t o   o ut l i e r s .   P CM   o n   t h e   o t h e h a nd  i s   a b l e   t o   de a l   w i t h   n o i s y   da t a .   E a rl y   w o r by   [13]  t ha t   de a l t   w i t h   t h e   u n c e rt a i n t y   pr o b l e m   i v i s ua l   w o r ha d   s ugge s t e t ha t   t h e   hi g h e r   di m e n s i o na l   f e a t u r e   s pa c e   w i l l   c r e a t e   v i s ua l   w o r u n c e r t a i n t y   du e   t o   m o r e   i n t e r e s t   po i nt s   l y i n c l o s e   t o   t h e   c l us t e r i ng  b o un da r y .   T h e   un c e rt a i n t y   m o d e l l i n w e r e   us e t a l l e v i a t e   t h e   p r o b l e m s   a n s h o w e d   i m p r o v e m e n t   o c l a s s i f i c a t i o n   a c c ur a c y   o n   ge n e ra l   o b j e c t   re c o gn i t i o n   da t a s e t s .   T h e n   s ub s e que n t   w o r ks   a r e   fo un i n   [21 a n [19 t h a t   a do pt e u n c e r t a i nt y   m o d e l l i n us i n F CM   f o r   a n   a ut o m a t i c   s c e n e   r e c o gn i t i o n,   ob j e c t   t r a c ki ng  [23]  a nd  m a n y   o t h e r   w o r ks   [22 24 ,   3 5 ,   36 ha v e   de m o n s t ra t e t h e   e ff e c t i v e n e s s   of   f uz z y   e n c o di n g   a pp r o a c o v e r   t h e   t ra d i t i o n a l   a pp r o a c h   us i n g   h a rd  a s s i gnm e n t   t e c hni que .       4.   S O F A S S I G N M EN V S .   H A R D   A S S I G N M EN T   In  t hi s   s e c t i o n,   w e   i l l us t r a t e   t h e   c o m pa ri s o n   b e t w e e n   ha r a nd  s o f t   a s s i gnm e n t   w h e c o n s t r uc t i n t h e   v i s ua l   di c t i o n a r y .   T h e   i l l us t ra t i o n   i s   a do pt e f r o m   t h e   r e s e a rc h   c o n duc t e i n   [23 ].   F i gu r e   3   s h o w s   t h e   f e a t ur e   e n c o di n g   t e c hni que   b y   us i n ha r d   a s s i g nm e n t .   T h e   y e l l ow   s qua r e   de n o t e   t h e   v i s ua l   w o r ds   a n d   a r e   l a b e l l e a s   A ,   B ,   a n D .   T h e   r o u n s ha pe   w i t h   t h e   c o l o ur s   r e d,   g r e y ,   purpl e ,   a n g r e e n   de n o t e t h e   i nt e r e s t   po i nt s   o r   f e a t ur e   de s c r i pt i o n s .   T h e   s a m e   c o l o ur   o f   f e a t ur e   de s c r i pt i o n s   i n d i c a t e   t h e   h i g h   s i m i l a ri t y   b e t w e e n   t h e s e   f e a t ur e s .   B a s e o n   F i gu r e   4,   t h e   h a rd  a s s i g nm e nt   b y   us i n k - m e a n s   w o ul ge n e ra t e   t h e   c e n t r o i ds   o r   v i s u a l   w o r ds   a nd  p l a c e   ra n do m l y   a t   hi g de n s i t y   po i n t s .   T h e n ,   e a c h   f e a t ur e   de s c r i pt i o n   i s   a s s i g n e t o   t h e   n e a r e s t   v i s ua l   w o r ds   w h i c i s   s h o w n   b y   t h e   a rr o w   s y m bo l .   T a b l e   s h o w s   t h e   hi s t o g r a m   c a l c ul a t i o n   t o   ge n e r a t e   t h e   v i s u a l   d i c t i o na r y   b a s e o n   F i gu r e   4 .     A s   s h o w n   i n   T a b l e   1 ,   t h e   hi s t o gra m   o f   e a c h   v i s ua l   w o r ds   A ,   B ,   a n d   D   i s   c a l c ul a t e d   o s um   po o l i n g   f r o m   a l l   t h e   f e a t u r e   de s c ri pt i o n s   t ha t   h a v e   b e e n   a s s i g n e d   t o   t he m .   F i gu r e   4   s h o w s   t h e   hi s t o gra m   o f   v i s ua l   w o r A ,   B ,   a n d   D.       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       F uz z y   e n c odi ng  w i t h y br i d   poo l i n f or   v i s ua l   d i c t i o nar y   i n   f ood  r e c ogn i t i on   ( Mohd  N or hi s ham   R az a l i )   183       F i gu r e   3 .   F e a t u r e   e n c o di n g   by   us i n g   ha r a s s i g nm e n t       T a b l e   1 .   V i s u a l   d i c t i o na r y   c o n s t r uc t i o n   b y     us i n ha r d   a s s i g n m e n t     A   B   C   D   F 1 A   0   0   1   0   F 1 B   0   0   1   0   F 1 C   1   0   0   0   F 2 A   1   0   0   0   F 2 B   0   1   0   0   F 2 C   0   1   0   0   F 3 A   0   1   0   0   F 3 B   0   0   1   0   F 3 C   0   0   0   1   F 4 A   0   0   1   0   F 4 B   0   0   0   1   F 4 C   0   1   0   0   H i s t o g ra m   2   5   4   2           F i gu r e   4 .   V i s u a l   w o r hi s t o gra m   by   us i ng  ha r d   a s s i g nm e n t       In  t h e   g ra p h   s h o w n   i F i gu r e   5 ,   a l l   v i s ua l   w o r ds   ha v e   be e n   a s s i gn e w i t h   f e a t u r e   de s c ri pt i o n s .   B a s e d   o n   F i gu r e   5 ,   t h e   u n c e r t a i nt y   s i t ua t i o n s   o c c ur   a m o n t h e   i n t e re s t   po i n t s   l o c a t e i n   t h e   b o un da r y   of   c l us t e r .   T h e   ha r d   a s s i g nm e n t   t e c hni que   ha s   a s s i g n e d   s i m i l a r   f e a t u r e   de s c r i pt i o n s   i n t o   d i f fe r e nt   v i s ua l   w o r ds .       0 2 4 6 A B C D Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     179   -   195   184       F i gu r e   5 .   F e a t u r e   e n c o di n g   by   us i n g   s o f t   a s s i g n m e nt       B a s e o n   F i gu r e   5 ,   e ve r y   f e a t ur e   de s c r i p t i o n   i s   s uppo s e t o   b e   a s s i gn e t o   a l l   v i s ua l   w o r ds .   H ow e ve r ,   f o r   i l l us t ra t i o n   c l a r i t y ,   t h e   de m o n s t ra t i o i F i gu re   s h o w s   t h e   a s s i g na t i o w i t h   o nl y   t w o   v i s ua l   w o r ds .   E v e r y   a s s i gn a t i o n   w i l l   r e t u rn   m e m b e r s hi v a l ue   c a l c ul a t e by   us i n F S T .   A s   m e n t i o n e e a r l i e r,   t h e   un c e rt a i n t y   pr o b l e m   o c c ur s   w h e n   i nt e r e s t   po i nt s   a r e   l o c a t e a t   t h e   bo un da r y   of  a   v i s ua l   w o r d.   F o r   e xa m pl e ,   F 1A   a nd  F 1B   a r e   a s s i g n e t o   v i s ua l   w o r ds   A   a n C,   b o t h   ha v i n m e m b e r s h i v a l ue s   fo r   b o t h   c l us t e r s .   H ow e ve r ,   c a r e f ul   e xa m i na t i o n   o f   t h e   w e i gh t s   r e v e a l   t ha t   b o t h   po i n t s   ha v e   h e a v i e r   w e i gh t s   f o r   v i s ua l   w o r A   a n a r e   h e n c e   a s s i g n e t o   t ha t   c l us t e r.   T h e   i nt e r e s t   po i n t   F 2C   de m o n s t ra t e s   t h e   pl a us i b i l i t y   pr o b l e m   s i n c e   i t   i s   l o c a t e f a r   f r o m   t h e   v i s ua l   w o r ds   a n t h e   m e m b e r s h i v a l ue   c o n t ri b ut e   m o r e   o n   v i s ua l   w o r A .   T a b l e   s h o w s   t h e   hi s t o gra m   c a l c ul a t i o t o   ge n e r a t e   v i s ua l   di c t i o n a r y   b a s e o n   F i gu r e   6 .   B a s e o n   T a b l e   2,   m a x i m u m   po o l i n i s   i ni t i a l l y   pe r fo r m e t o   c h o o s e   o n e   h i g h e s t   m e m b e r s h i v a l ue   fo r   e a c h   f e a t u r e   de s c r i p t i o n s   a s   h i g hl i g ht e d.   T h i s   i s   f o l l ow e by   pe r fo r m i ng  s um   po o l i n t o   f i na l i z e   t h e   hi s t o gra m .   F i gu r e   6   s h o w s   t h e   v i s ua l   w o r hi s t o g r a m .       T a b l e   2 .   V i s u a l   d i c t i o na r y   c o n s t r uc t i o n   b y     us i n s o f t   a s s i g nm e n t     A   B   C   D   F 1 A   0 . 7   0 . 3   0 . 6   0 . 1   F 1 B   0 . 6   0 . 4   0 . 5   0 . 2   F 1 C   0 . 8   0 . 6   0 . 5   0 . 3   F 2 A   0 . 9   0 . 5   0 . 4   0 . 1   F 2 B   0 . 5   0 . 3   0 . 4   0 . 2   F 2 C   0 . 6   0 . 5   0 . 2   0 . 1   F 3 A   0 . 7   0 . 9   0 . 6   0 . 4   F 3 B   0 . 4   0 . 7   0 . 6   0 . 5   F 3 C   0 . 2   0 . 6   0 . 3   0 . 4   F 4 A   0 . 2   0 . 6   0 . 5   0 . 4   F 4 B   0 . 1   0 . 7   0 . 5   0 . 6   F 4 C   0 . 5   0 . 8   0 . 4   0 . 3   H i s t o g ra m   6   6   0   0         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       F uz z y   e n c odi ng  w i t h y br i d   poo l i n f or   v i s ua l   d i c t i o nar y   i n   f ood  r e c ogn i t i on   ( Mohd  N or hi s ham   R az a l i )   185       F i gu r e   6 .   V i s u a l   w o r hi s t o gra m   by   us i ng  s o f t   a s s i g nm e nt       A c c o r di n t o   t h e   hi s t o gra m   s h o w n   i n   F i gu r e   6 ,   t h e   f e a t ur e   d e s c r i pt i o n s   ha v e   b e e n   g r o upe i n t o   t w v i s ua l   w o r ds   o n l y .   H ow e ve r ,   t h e   u n c e r t a i nt y   a n d   pl a us i b i l i t y   pr o b l e m   ha s   c a us e t h e   hi s t o gra m   di s t ri b ut i o n   o f   h a r d   a s s i g nm e n t   i n   F i gu r e   m o r e   s pa r s e .   H e n c e ,   t h e   s o f t   a s s i gnm e nt   ha s   de m o n s t r a t e m o r e   di s c r i m i na t i v e   hi s t o g r a m .       5.   EX P ER I M EN TA D ES I G N   In   t hi s   s e c t i o n ,   t h e   ov e r a l l   r e c o gn i t i o n   p r o c e s s   t c l a s s i fy   foo i m a ge s   by   u s i n f uz z y   e n c o di n g   a pp r o a c h   i s   e xpl a i n e a s   s h o w n   i F i gu r e   8 .   E x pe ri m e n t s   us i n t h e   U E CF O O D - 100  d a t a s e t   [37] ,   w hi c c o n t a i n s   100  f o o c a t e g o r i e s   a s   s h o w n   i F i gu r e   7   w e r e   c on d uc t e d.   T h e   i m a ge s   a r e   t h e   r e a l   s e t t i n g   o f   f ood   i m a ge s   a s   i t   w a s   c o l l e c t e f r o m   t h e   In t e rn e t   c o n s i s t i ng  o m ul t i p l e   c l a s s e s   of  f oo d   c a t e go r i e s   w h o s e   i m a ge   c o n t ra s t ,   l i g ht i ng,   a nd  a ppe a ra n c e s   di f f e r   g r e a t l y .           F i gu r e   7 .   S a m p l e s   o f   U E CF O O D - 100  d a t a s e t           F i gu r e   8 .   F o o r e c o gn i t i o n   b a s e o f uz z y   e n c o di n g   a pp r o a c h       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     179   -   195   186   5 . 1 .       S ta ge   1:   i n te r e s t   p o i n ts   d e t e c t i o n   T h e   i nt e re s t   po i nt s   de t e c t o i de nt i f i e s   a   s e t   o f   s a l i e nt   r e g i o ns   f r o m   a i m a ge .   I t   p r o v i de s   s t a b l e   a nd  di s c ri m i na t i v e   i nt e re s t   po i nt s   t ha t   a r e   r o b us t   t o   i l l u m i na t i o n   v a ri a t i o n   [ 3 8] .   T h e   i nt e re s t   po i nt s   de t e c t o r,   b e s i de s   p r o v i d i ng  a   d i s t i nc t i v e   s e t   o f   i nt e r e s t   po i nt s ,   i s   a l s o   m o r e   c o m pu t a t i o na l l y   e f f i c i e nt   [3 9] .   S pe c i f i c a l l y ,   m a x i m a l l y   s t a b l e   e x t r e m a l   re g i o ( M S E R de t e c t o i s   us e d   t o   s a m p l e   t h e   i nt e re s t   po i nt s .   M S E R   i s   a i nt e r e s t   r e gi o b a s e d   de t e c t o r   w hi c h   ha s   p ro v e n   t o   b e   e ff e c t i v e   a m o ng  i t s   v a ri a nt   a s   i t   y i e l ds   t he   b e s t   s c o r e   i n   t e rm s   o f   e ff e c t i v e n e s s   a nd  e f f i c i e n c y   i r e c e nt   s t u dy   [4 0] .   M S E R   m a y   p r o v i de   a   m o r e   d i s c ri m i na t i v e   i nt e re s t   po i nt s   o n   f o o c a t e go ri e s   t ha t   ha v e   v e r y   s t r o ng  m i x t u r e   o f   i ng r e di e nt s   a s   i t   m a y   r e p r e s e nt   t h e   i rre g u l a s ha pe   o f   fo o ds ,   t y pi c a l l y   i p a ra l l e l o g ra m s .   I nde e d ,   t h e   l a rge s i z e   o f   pa t c de t e c t i o n   i i nt e r e s t   re g i o de t e c t o r s   a re   m o r e   s ui t a b l e   t o   de t e c t   f o o i nt e r e s t   po i nt s   [4 1 ] .   M S E R   w o r ks   b y   i de nt i f y i ng  a   s e t   o f   c o nn e c t e c a nd i d a t e   re g i o ns   t ha t   a re   d i s c o v e r e d   by   us i ng  a   g l o b a l   s e g m e nt a t i o n   b y   us i ng  w a t e r s he a l go ri t hm .   B a s e o n   a n   i nt e ns i t y   t hre s h o l d ,   p i xe l s   a r e   g r o u pe d   i nt o   t w o   s e t s   w hi c a r e   b l a c a nd  w hi t e .   T he   t hre s h o l v a l ue   i s   c ha nge a t   e a c i t e ra t i o n,   w hi c c h a ng e s   t he   c a rd i na l i t y   of   e a c h   s e t .   F i na l l y ,   t he   e x t r e m a l   r e gi o n s   a r e   ge ne r a t e a s   c o nn e c t e r e g i o ns   a nd  e a c r e g i o w i l l   b e   re p r e s e nt e d   b y   a i nt e r e s t   po i nt   t ha t   i s   l o c a t e d   i t h e   c e nt re   o f   e x t r e m a l   r e g i o n.     5 . 2     S ta ge   2:   fe atu r e   d e s c r i p t i o n s   F e a t u r e   de s c r i pt i o n   i s   a   p r o c e s s   t o   ge n e r a t e   f e a t ur e   v e c t o r   f r o m   e a c h   de t e c t e i n t e r e s t   po i n t .   T h e   gra di e nt - b a s e f e a t ur e s   a r e   m o r e   e f fe c t i ve   t o   de a l   w i t t h e   p r o b l e m   o f   v a r i o us   o b j e c t   de f o r m a t i o n,   v i e w p o i n t s ,   i l l u m i na t i o n,   o c c l us i o n ,   a nd  b l u r   r e s o l ut i o n   [ 42] .   M S E R   de t e c t o r   h o w e v e r   w a s   n o t   b ui l t   w i t h   i t s   ow n   de s c r i pt o r.   T h e   e m pi r i c a l   s t udy   c o n duc t e i n   [40]  t o   e va l u a t e   t h e   de s c r i pt o r s   f o r   M S E R   h a v e   s ugge s t e d   t h a t   t h e   s pe e de d - up  r o b us t   f e a t ur e   (S U R F d e s c r i pt o r   i s   v e r y   c l o s e   t o   r e a l - t i m e   a ppl i c a t i o n s .   T hi s   i s   b e c a us e   S U R F   us e i n t e g ra l   i m a ge   a n d   H a a r   w a v e l e t   t o   a pp r o xi m a t e   g ra di e n t   i n f o r m a t i o a n d   v e r y   m i n i m um   o n o i s e s   w e r e   ge n e r a t e d.   S U R F   h a s   a l s o   s c o r e v e r y   w e l l   i n   t e r m s   o f   r e pe a t a b i l i t y ,   di s t i n c t i v e n e s s ,   r o b us t n e s s ,   de t e c t i o n   e rr o r   a s   w e l l   a s   ge o m e t r i c   a n d   p h o t o m e t ri c   de f o r m a t i o [43] .   B a s i c a l l y ,   t h e   S U R F   de s c r i b e s   t h e   i n t e n s i t y   c o n t e nt   s u rr o un d i n t h e   i nt e r e s t   po i n t   n e i g h b o rhoo d.   In   t h e   f i r s t   pl a c e ,   t h e   o r i e nt a t i o n   o e a c h   f e a t ur e   i s   i de n t i f i e v i a   pi xe l   c o n v o l ut i o n   i n   i t s   n e i g h b o rh o o t o ge t h e r   w i t h   t h e   h o ri z o n t a l   a nd  v e r t i c a l   H a a r   w a ve l e t   f i l t e r .   T h e   H a a r   w a v e l e t   f i l t e r s   c a n   b e   i l l us t r a t e a s   a   b l o c t o   c a l c ul a t e   t h e   di r e c t i o n a l   de ri v a t i v e s   of  t h e   i m a ge ’s   i n t e n s i t y .   T h e   f e a t u r e s   c a b e   de s c r i b e r e ga r d l e s s   of   t h e i o ri e nt a t i o n   v i a   t h e   i n t e n s i t y   c h a n ge s   t c h a ra c t e ri z e   t h e   o ri e n t a t i o n .     5 . 3     F u z z fe atu r e   e n c o d i n g   A   h uge   a n di v e r s e   fe a t u r e   h a v e   be e n   ge n e ra t e i n   f e a t ure   de s c r i pt i o n   s t a ge .   A t   t h i s   po i nt ,   t h e   f e a t ur e   de s c r i p t i o n s   c a b e   r e pr e s e nt e a s   f r o m   N   di m e n s i o n a l   f e a t u r e s   f r o m   a n   i m a ge .   F o r   i n s t a n c e ,   h u nd r e ds   o r   e v e n   t h o us a n ds   o f   i nt e r e s t   po i nt s   w e r e   ge n e r a t e pe i m a ge   a n d   t h e   a m o u n t   o f   i n t e r e s t   po i n t s   f o r   a l l   i m a ge s   m a y   r e a c h   up  t o   h u n d r e ds   o f   t h o us a n ds   o f   i n t e r e s t   po i nt s .   S o f t   a s s i gnm e n t   t e c hn i que   e n c o de s   t h e   f e a t ur e   de s c r i pt i o n s   by   a s s i gn i n t h e m   i nt o   s e v e r a l   v i s ua l   w o r ds   a n t h e   r e s po n s e   o n   e a c h   v i s ua l   w o r i s   c a l c ul a t e by   us i n ke rn e l   f un c t i o n   o f   t h e   di s t a n c e   b e t w e e n   f e a t ur e   de s c r i pt i o n s   w i t h   v i s ua l   w o r d.   I ni t i a l l y ,   v i s ua l   w o r ds   v   a r e   ge n e r a t e t o   de f i n e   t h e   f e a t u r e   de s c r i p t i o ns   X :     ( ) =  ( 2 2 / )  ( = 1 2 2 / )   = 1 , 2 , . . ,       W h e r e   e sp ( K k = 1 x b i 2 2 / σ )   i s   t h e   n o rm a l i z a t i o n   f a c t o r,     i s   s m o o t pa ra m e t e a n M   i s   t h e   vo c a b ul a r y   s i z e .   S pe c i f i c a l l y ,   f uz z y   c - m e a n s   (F CM i s   us e t o   e n c o de   t h e   f e a t ur e s .   F CM   i s   a n   e xt e n s i o o f   k - m e a n s   w h e r e   o b j e c t i ve   f un c t i o n   i s   m o di f i e by   i n c o r po ra t i ng  f uz z i e r   pa ra m e t e r.   F CM   a s s i g n e e a c h   S U RF   de s c r i pt i o n s   i nt o   a l l   v i s ua l   w o r ds   w h e r e   di f f e r e n t   de g r e e s   o f   m e m be r s hi v a l ue s   a r e   c o m put e f o r   e a c h   a s s i g n a t i o n .   T h e   m e m b e r s h i v a l ue   i s   de t e r m i n e us i n a   G a us s i a n   P r o b a b i l i t y   D e n s i t y   F un c t i o n   b a s e o n   t h e   d i s t a n c e   b e t w e e i nt e r e s t   po i n t s   a nd   t h e   v i s ua l   w o r ds .   L e t   = {   1 , 2 , 3 , 4 }   b e   t h e   s e t   o f   S U RF   de s c r i pt o r s ,   w h e r e   ̃   r e p r e s e n t s   t h e   f uz z y   s e t   i n   S   a n ̃ (   )   i s   t h e   f uz z y   m e m b e r s h i f un c t i o n.   T h e   ̃   c a n   b e   c o m put e a s   f o l l ow s :     ̃ = ̃ (   1 )/   1   ̃ ( 2 ) / 2 + …. ̃ ( ) / = ̃ ( ) / = 1     W h e r e   n   i s   t h e   num b e o f   S U R F   de s c r i pt o r s   i S,   ̃ ( ) /   r e pr e s e nt s   t h e   f uz z y   m e m b e r s hi v a l ue   of     t o   ̃   a nd  = 1   r e p r e s e n t s   t h e   r e l a t i o n s h i p   b e t w e e n   S U R F   de s c r i p t o a nd  t h e   m e m b e r s h i p   f un c t i o n.   T h e   m e m b e r s hi f un c t i o n   i s   i ni t i a l l y   s t a r t e w i t h   t h e   v i s ua l   w o r ds   c o n s t r uc t i o n   by   us i n k - m e a n s   a l go ri t hm   t o   pr o duc e   l i s t   o f   v i s ua l   w o r ds   = { 1 , 2 , . . , , . , , } .   Th e   d i s t a n c e   ,   b e t w e e n     a n   c a n   b e   r e p r e s e n t e d   a s :   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       F uz z y   e n c odi ng  w i t h y br i d   poo l i n f or   v i s ua l   d i c t i o nar y   i n   f ood  r e c ogn i t i on   ( Mohd  N or hi s ham   R az a l i )   187   = { 1 , 2 , } = { 1 , 1 1 , 2 1 , 2 , 1 2 , 2 2 , , 1 , 2 , }       W h e r e   i s   t h e   n u m b e r   o f   S U RF   de s c r i pt o r s   e xt ra c t e f r o m   a i m a ge   g,   a n d   m   i s   t h e   n u m b e r   o v i s ua l   w o r ds   i W .   T h e   f uz z y   s e t   c a b e   e xpr e s s e a s :     ̃ = ( , ) , = 1       T h e   v a l ue   ( , )   de t e rm i n e   t h e   s i m i l a ri t y   b e t w e e n     a nd     b a s e on  t h e   G a us s i a m e m b e r s hi f un c t i o w h i c t ra n s f o r m s   t h e   di s t a n c e   s e t   t o   f uz z y   s e t   w h i c i s   c a l c ul a t e a s :     ( , ) = 1 1 2  ( ( , ) 2 2 2 )       W h e r e     i s   t h e   e xpe c t e v a l ue   a nd     i s   t h e   m e m b e r s hi p   f un c t i o n   f o .   B o t a r e   p a ra m e t e r s   t ha t   a r e   de r i v e by   us i n m a xi m um   l i ke l i h o o e s t i m a t i o n.   T a b l e   s h o w s   t h e   a l go r i t hm   f o r   f e a t u r e   e n c o di n by   us i n F CM .       T a b l e   3 .   A l go r i t hm   f o r   f uz z y   f e a t ur e   e n c o di n g   Feature encoding using fuzzy technique and feature summarization using maximum pooling   Input:  = { 1 , 2 , 3 }    Set of SURF feature from an image,  g .   Output:   = { 1 , 2 , 3 }    Fuzzy visual dictionary    1.   1.     Perform k - means by partitioning n features in    into  k   cluster represented  by  = { 1 , 2 , , }   .   2.   Generate fuzzy set  ̃   by using equation 4.4 to measure the similarity between the  features in    and visual words  W .     3.   ,   Get membership value for each w in g from  ̃ .   4.   =   ( , 1 , , 2 , , 3 . . , )    Perform maximum pooling on  , .   5.   =    = 1   count occurrence frequency for each  W       T h e   f uz z y   f e a t ur e   e n c o di n a l go ri t hm   s h o w n   i n   T a b l e   ha s   us e k - m e a n s   t o   ge n e ra t e   v i s ua l   w o r ds .   A f t e r w a r ds ,   t h e   f uz z y   s e t   i s   c a l c ul a t e t o   m e a s u r e   t h e   s i m i l a ri t y   be t w e e n   S U R F   de s c r i pt i o n s   a n d   v i s ua l   w o r ds   r e p r e s e n t e b y   t h e   m e m b e r s hi v a l ue   i e a c v i s ua l   w o r d.   F i na l l y ,   m a x i m u m   po o l i n g   i s   a pp l i e w h e r e   t h e   hi g h e s t   m e m b e r s hi v a l ue   o f   v i s ua l   w o r i s   a s s i g n e t o   t h e   S U R F   de s c r i pt i o n .   T a b l e   s h o w s   t h e   a l go ri t hm   fo r   F CM .       T a b l e   1 .   A l go r i t hm   f o r   f uz z y   c - m e a n s   (F CM )   F u z z y   C - M e a n s     In p u t :   = { 1 , 2 , 3 }    S e t   o S U R F   fe a t u r e                           F u z z i f i c a t i o n   p a ra m e t e r   m                           M a x i m u m   n u m b e o f   i t e ra t i o n s   m a x _ i t .                             T o l e ra n c e   c r i t e ri o n       O u t p u t :   C e n t e m a t r i x   C ;   M e m b e r s h i p   m a t r i x   U   1 .   0   2.   In i t i a l i z e   ra n d o m l y   ( )     3 .   w h i l e   ( ( | ( ) ( 1 ) |   <         )< m a x _ i t                                               u p d a t e   ( )                                                u p d a t e   ( )                                               τ τ + 1     4 .   e n d   w h i l e     5 .   = ( 1 , 2 , ,  )   c l u s t e r   c e n t e r s     6 .   U= [  ] = 1 . . = 1 . .       F u z z y   a s s i g n m e n t   o f   fe a t u r e   v e c t o r     t o   c l u s t e r s .         6.   EX P ER I M EN TA R ES U L TS   T h e   pe r f o r m a n c e   of   f e a t ur e   e n c o di n t e c hn i que s   a r e   m e a s ur e b a s e o n   c l a s s i f i c a t i o n   r a t e .   T h e   t r a i ni n a n t e s t i n s t r a t e g y   i s   b a s e o n   f i v e - fo l ds   w h e r e   t he   da t a s e t   i s   d i v i de i n t o   f i v e   t r a i ni n a n t e s t i n g   s e t   f o l l ow i n t h e   p r o c e dur e   i [30] .   T h e   f i na l   c l a s s i f i c a t i o n   r a t e   i s   t a ke n   b a s e o i t s   a v e r a ge .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021  :     179   -   195   188   6 . 1     V i s u al   w o r d s   an d   fu z z m e m b e r s h i p   v al u e   ge n e r at i o n   W e   i l l us t r a t e   a   de m o n s t ra t i o n   o f   F CM   i n   a   s a m p l e   i m a ge .   T h e   v i s ua l i z a t i o n   o F CM   m e c h a n i s m   i s   s h o w n   i F i g u r e   9 .           F i gu r e   9 .   F u z z y   f e a t ur e   e n c o di n g   by   us i n g   F CM       A s   s h o w n   i n   F i g u r e   9 ,   i ni t i a l l y   t h e   e xt r e m a l   r e gi o n s   ( E R of   s a m pl e   foo i m a ge   i n   (a a r e   de t e c t e d   by   us i n M S E R   i n   (b a n t h e   f e a t ur e s   a r e   de s c r i b e by   u s i n S U R F   a s   pl o t t e i n   (c ).   T h e n,   t h e   f e a t ur e s   a r e   f e i n t o   k - m e a n s   a l go ri t hm   t o   ob t a i n   t h e   v i s ua l   w o r ds   a s   s h o w n   i n   (d ).   T hi s   e xa m p l e   s e t s   t h e   c l us t e r   s i z e   a s   3.   I n   h a rd  a s s i g nm e n t ,   t h e   p r o c e s s   of   a s s i gn i n v i s ua l   w o r ds   t o   t h e   S U R F   de s c r i pt i o n s   w i l l   p r o c e e i n   (d)  w h e r e   t h e   S U R F   d e s c r i pt i o n s   a r e   j us t   a s s i g n e t o   t h e   t hr e e   v i s ua l   w o r ds   w h i c h   h a v e   b e e n   m a r ke i n   do t t e gr e e n,   b l ue   a nd  r e c o l o r .   H ow e v e r ,   t h e   F CM   h a s   e xt e n de t h e   e v a l ua t i o n   by   a s s i gn i n e a c h   S U R F   de s c r i pt i o n s   i n t o   s e ve r a l   v i s ua l   w o r ds   a n pe r f o r m   t h e   s i m i l a ri t y   c h e c ki n b e t w e e n   S U RF   de s c r i pt i o n s   a s   s h o w n   i n   (e ).   W h e n   a   s e t   of   S U R F   d e s c r i pt i o n s   a r e   r e ga rde a s   s i m i l a r,   t h e y   w i l l   b e   a s s i gn e t o   t h e   n e a r e s t   v i s ua l   w o r d.     6 . 2     C l as s i fi c at i o n   p e r fo r m an c e   T h e   gi v e n   c h a rt   i n   F i gu r e   1 0   de p i c t s   t h e   pe r c e n t a ge s   o f   c l a s s i f i c a t i o n   b e t w e e n   ha r a s s i g nm e nt ,   s o f t   a s s i g n m e nt ,   a n f i s h e r   v e c t o r   o n   di f fe r e nt   f e a t ur e s .   I ge n e ra l ,   t h e   s o f t   a s s i gnm e n t   t e c hn i que   ha s   o b t a i n e t h e   b e s t   a s   w e l l   a s   t h e   m o s t   c o n s i s t e nt   c l a s s i f i c a t i o n   ra t e   o ve r   di f f e r e n t   f e a t ur e s .   I t   i s   a l s o   a ppa r e n t   f r o m   t h e   c ha rt   t h e   i n c o n s i s t e n c i e s   of   f i s h e r   v e c t o r   a n ha r a s s i g nm e nt   t e c hni que   c l a s s i f i c a t i o n   r a t e   a c r o s s   m ul t i p l e   f e a t ur e s .   It   i s   f o un t ha t   t h e   F i s h e r   v e c t o r   o n l y   pe r fo r m e w e l l   o n l y   w i t h   D o g - S IF T .   T h e   r e a s o n   i s   pe rh a ps   S IF T   de s c r i pt o r   ge n e r a t e s   128  f e a t ur e   di m e n s i o n s   c o m pa r e t o   S U R F   a n H O G   de s c r i pt o r   t ha t   p r o duc e   s h o rt e f e a t ur e   d i m e n s i o n s   w h i c a r e   6 a n d   32   r e s pe c t i v e l y .           F i gu r e   10 .   P e r f o r m a n c e   o f   f e a t ur e   e n c o di n g   t e c hni que s   a c r o s s   di f f e r e n t   f e a t ur e s   Evaluation Warning : The document was created with Spire.PDF for Python.