I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 ,  J a n u a r y   20 21,   pp .   1 79 ~ 19 5   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 179 - 195             179       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   Fuzz y   e n c o d i n g   w i t h   h y b r i d   p o o l i n g   f o r   v i su a l   d i c t i o n a r y   i n   f o o d   r e c o g n i t i o n       M o h d   N o r h i s h am   R az al i 1 ,   N o r i d ayu   M an s h o r 2 ,   A l fi an   A b d u l   H a l i n 3 ,   N o r w ati   M u s tap h a 4 ,    R az al i   Y aa k o b 5   1 F a c ul t y   of   C o m put i ng   a nd  I nf o r m a t i c s ,   U n i v e r s i t i   M a l a y s i a   S a b a h ,   M a l a y s i a   2 , 3 , 4 , 5 F a c ul t y   of   C o m put e r   S c i e nc e   a nd   I nf o r m a t i o n  T e c hno l o gy ,   U ni v e r s i t i   P u t r a   M a l a y s i a ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   F e b   1 6 ,   2 020   R e v i s e d  A pr   5 ,  2020   A c c e pt e d  J ul   2 1 ,   2020       T r e m e n do us   num be r   o f   f   f oo d  i m a g e s   i n  t h e   s o c i a l   m e d i a   s e r v i c e s   c a n  be   e xpl o i t e d   by   us i ng   f o o d  r e c og ni t i o n  f o r   h e a l t hc a r e   be n e f i t s   a nd   f o od  i ndus t r y   m a r ke t i ng .   T he   m a i n  c ha l l e ng e s   i n  f oo d  r e c og ni t i o n  a r e   t he   l a r g e   v a r i a b i l i t y   of   f oo d  a ppe a r a nc e   t h a t   o f t e n  g e ne r a t e s   a   h i g hl y   di v e r s e   a nd  a m bi g uo us   de s c r i pt i o ns   o f   l o c a l   f e a t u r e .   I r o ni c a l l y ,   t he   a m b i g uo us   de s c r i p t i o n s   o f   l o c a l   f e a t u r e   ha v e   t r i g g e r e d   i nf o r m a t i o n  l o s s   i n  v i s ua l   d i c t i o na r y   c o n s t r uc t i o ns   f r o m   t he   ha r d  a s s i g nm e nt   p r a c t i c e s .   T h e   c ur r e nt   m e t ho d  ba s e d   o n  ha r d  a s s i g nm e nt   a n d  F i s he r   v e c t o r   a ppr o a c h  t o  c o ns t r uc t   v i s ua l   di c t i o na r y   ha v e   une xp e c t e d l y   c a us e   e r r o r s   f r o m   t he   u nc e r t a i nt y   pr o bl e m   dur i ng   v i s ua l   w o r d  a s s i g na t i o n.   T hi s   r e s e a r c h  p r o po s e s   a   m e t ho d  o f   c o m bi na t i o n  i n  s o f t   a s s i g nm e nt   t e c hn i qu e   by   us i ng   f uz z y   e nc o di ng   a ppr o a c h  a nd  m a xi m um   po o l i ng   t e c hni q ue   t o   a g g r e g a t e   t he   f e a t u r e s   t o   pr o duc e   a   hi g h l y   di s c r i m i n a t i v e   a nd  r o bus t   v i s ua l   di c t i o na r y   a c r o s s   v a r i o us   l o c a l   f e a t u r e s   a nd   m a c hi ne   l e a r n i ng   c l a s s i f i e r s .   T he   l o c a l   f e a t ur e s   by   us i ng   M S E R   de t e c t o r   w i t h  S U R F   de s c r i p t o r   w a s   e nc o de d  by   us i ng   f uz z y   e nc o di ng   a ppr o a c h.   S up po r t   v e c t o r   m a c hi ne   ( S V M )   w i t h   l i ne a r   ke r ne l   w a s   e m pl o y e d  t o   e va l u a t e   t he   e f f e c t   of   f uz z y   e nc o di ng .   T he   r e s u l t s   o f   t he   e xpe r i m e nt s   ha v e   de m o ns t r a t e d  a   no t e w o r t hy   c l a s s i f i c a t i o n  pe r f o r m a nc e   o f   f uz z y   e nc o di ng   a ppr o a c h  c om pa r e d   t o   t he   t r a di t i o na l   a ppr o a c h  ba s e d  o n  h a r d  a s s i g nm e n t   a n d  F i s h e r   v e c t o r   t e c hni que .   T he   e f f e c t s   o f   unc e r t a i nt y   a nd  pl a us i b i l i t y   w e r e   m i n i m i z e d  a l o ng   w i t h   m o r e   di s c r i m i na t i v e   a n d  c o m pa c t   v i s u a l   d i c t i o na r y   r e pr e s e nt a t i o n.   Ke y w or d s :   F oo d  r e c o gn i t i o n   O b j e c t   r e c o gn i t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   N o r i da y u  M a n s h o r   F a c ul t y   of   Co m put e r   S c i e n c e   a n d   I n f o r m a t i o n  T e c hn o l o gy   U n i v e r s i t i   P ut ra   M a l a y s i a   43400  U P M   S e r d a n g   S e l a n go r   D a r ul   E h s a n,   M a l a y s i a   hi s h a m r z @ u m s . e du . m y       1.   I N TR O D U C TI O N     T h e   a dv a n c e m e nt   o f   m o b i l e   de v i c e s   t e c h n o l o gy   t h a t   p r o v i de s   a   b e t t e r   i m a gi n g   qua l i t y   h a s   a t t ra c t e d  an   i n t e r e s t   f r o m   r e s e a r c h e r s   t o   a do pt   obj e c t   r e c o gn i t i o n   m e t h o d  t o   f a c i l i t a t e   s e l f - di e t a r y   a s s e s s m e n t   v i a   a n  a ut o m a t i c   f oo d  r e c o gn i t i o n   [1 ,  2] .   D i e t a r y   a s s e s s m e n t   i s   a   t re a t m e n t   f o r   di e t - r e l a t e d  c hr o n i c   di s e a s e s   s uc h   a s   di a b e t e s ,   h y pe r t e n s i o n s ,   a n d  h e a r t   d i s e a s e s   t ha t   b e e n   s t r o n gl y   l i n ke d  w i t h   t h e   o be s i t y   a n d  b e i ng  o v e r w e i gh t   t h a t   a r e   c a us e d  by   i m b a l a n c e d  n ut ri t i o n   i nt a ke   a nd  l a c k  o f   p h y s i c a l   a c t i v i t i e s .   T hi s   h e a l t h   i s s ue   h a s   s e ri o us l y   a f fe c t e d   n a t i o n s   w o r l dw i de   a s   1. 9  b i l l i o n   a du l t s   w e r e   c a t e g o r i z e d  a s   o ve r w e i gh t   i n   2018  a n d  650  m i l l i o n   o f  t h e m   w e r e   obe s e   [3].   In   a dd i t i o n   t o   t h a t ,   t h e   e xpl o s i o n   o f   s oc i a l   m e di a   s e r v i c e s   h a v e   w i t n e s s e d  t h e   po pul a ri t y   of   foo d  i m a ge s   w h i c h   c r e a t e s   po t e n t i a l   t o   f oo d  r e c o gn i t i o n   a l go r i t h m   t o   b e   us e d  fo r   a na l y s i n g  t h e   e a t i ng  ha b i t s   a n d   f oo d  pr e f e r e n c e s   w h i c h   a r e   us e f ul   f o r   f oo d  i ndus t ry .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021  :     179   -   195   180   In   ge n e r a l ,   t h e r e   a r e   t w o  m a i n   s t e ps   t o   a c c o m pl i s h   f oo d  r e c o gn i t i o n   t a s k  w h i c h   a r e   i m a ge   de s c r i pt i o n   a nd  c l a s s i f i c a t i o n   [4 ].   I m a ge   de s c r i pt i o n   i s   a   p ro c e s s   t o   e xt r a c t   t h e   v i s ua l   c o n t e n t   o f   foo ds .   In  pa r t i c ul a r,   l o c a l   f e a t u r e   i s   m o r e   s ui t a b l e   t o   r e p r e s e n t   f oo d  f e a t ur e s   a s   t h e   p r o pe r t i e s   o f   l oc a l   f e a t u r e s   t h a t   c a pt u r e   m i n us c ul e   pa rt s   o f   t h e   f oo d  b e s i de   i t s   r o b us t n e s s   t ow a r ds   i l l u m i na t i o n,   s c a l e ,   r o t a t i o n ,   a n d  o r i e n t a t i o n  w h i c h   m a de   i t   c a p a b l e   t o   de a l   w i t h   t h e   c l ut t e r e d  a ppe a ra n c e   of   f oo ds   [1 ,  5 ,  6].   T h e   i nt e r e s t   po i n t s   t ha t   w e r e   de t e c t e d  a n d  de s c r i b e d  ha v e   pr o duc e d  a   h i g h  v o l um e   a n d   di v e r s e   fe a t ur e s   t ha t   r e qui r e   t h e   f e a t u r e s   t o   be   t r a n s f o r m e d  i n t o   a n o t h e r  m o r e   s i m pl i f i e d  r e pr e s e nt a t i o n  by   us i ng  c e rt a i n   f e a t u r e   e n c o di ng  t e c hn i que .     F e a t u r e   e n c o di n g  i s   a   p r o c e s s   i n  b a g  o f   fe a t u r e   (B o F )  m o d e l   t o   c o n s t r uc t   t h e   v i s ua l   di c t i o na r y   i n  o r de r   t o   r e p r e s e nt   t h e   c ha r a c t e r i s t i c s   of   i m a ge   f e a t ur e s   f ro m   t h e   h i g hl y   di ve r s e   a n d  m a s s i v e   vo l um e   o f  i n t e r e s t   po i n t s .   B o F   m o de l   h a s   b e e n   e m pl o y e d  t o   e n c o d e   l o c a l   fe a t u r e s   i n   m a n y   foo d  r e c o gn i t i o n   s t udi e s     [1 ,  5 ,  7 ,  8].   F e a t u r e   e n c o di n g   i s   a   c r uc i a l   s t e p  i n   B o F   a s   i t   h a s   s i g n i f i c a nt   i m p a c t   o n  t h e   c l a s s i f i c a t i o n  pe r f o r m a n c e   [9] .   T h e   m o s t   c o m m o n   f e a t u r e   e n c o di ng  t e c hni que   us e d  i n   p r e v i o us   s t udi e s   i s   by   us i n g  ha r d   a s s i g n m e nt   a p p r o a c h   w h e r e   k - m e a n s   c l us t e r i ng  a l go ri t hm   w a s   us e d  t o   ge n e r a t e   c e n t r o i ds   o r   v i s ua l   w o r ds     [1 ,  7 ,  1 0].   T h e   f e a t u r e   e n c o di n g   by   us i n g  ha r d   a s s i g nm e n t   w o r ks   by   a s s i gn i ng  e a c h   f e a t u r e   de s c r i pt i o n   f r o m   i n t e r e s t   po i nt   t o   v i s ua l   w o r d  s o l e l y   b a s e d  o n   t h e   di s t a n c e   be t w e e n   i n t e r e s t   po i nt   a n d  v i s ua l   w o r d.   T h e   h i g h  v a r i a t i o n s   o f  f oo ds   t h a t   p r o duc e   h i g h l y   di ve r s e   a m b i guo us   fe a t u r e   de s c r i pt i o n s   [1 ,  11 ,  12]  m a y   s t r o n g l y   l e a d  t o   i n f o r m a t i o n   l o s s   o r   e rr o r   w h i l e   a s s i g n i ng  f e a t ur e   de s c ri pt i o n s   t o   v i s ua l   w o r ds .   T h e   e rr o r s   i n   f e a t u r e   e n c o di n g   o c c ur r e d  d ue   t o   u n c e r t a i nt y   a n d  pl a us i b i l i t y   pr o b l e m .   U n c e r t a i nt y   a n d  pl a us i b i l i t y   pr o b l e m   ha d  b e e n   e a r l i e r  di s c o ve r e d  i n   s c e n e   i m a ge   c l a s s i f i c a t i o n   [13 ,  14]  w h i c h   s h o w e d  t h a t   a n y   i m a ge   w i t h  a   l a rg e  v a r i e t y   of   a ppe a r a n c e   s uf f e r   f r o m   u n c e r t a i nt y   a n d   pl a us i b i l i t y   pr ob l e m .     T h e   u n c e r t a i nt y   a n d  pl a us i b i l i t y   pr o b l e m   a r e   t ri gge r e d  w h e n   a   f e a t ur e   de s c r i pt i o n   i s   a s s i g n e d  t o   o n l y   o n e   v i s ua l   w o r d  w i t h o ut   c o n s i de r a t i o n  o f   o t h e r   v i s ua l   w o r ds   t h a t   c o ul d  b e   m o r e   r e l e v a n t .   I n   a   v i s ua l   w o r d  un c e rt a i n t y ,   a n   i n t e r e s t   po i nt   c a n   h a v e   a   s i m i l a r   o r   j us t   a   s l i ght   di f f e r e n c e   of   di s t a n c e   w i t h   t w o   v i s ua l   w o r ds ,   e s pe c i a l l y   fo r   i n t e r e s t   po i nt s   t ha t   a r e   l o c a t e d  n e a r   t o   t he   b o un da r y   of   c l us t e r s .   T h e s e   i n t e r e s t   po i nt s   r e p r e s e n t e d  by   us i n g  ha r d  a s s i g n m e n t   c a n  b e   a m b i guo us   a s   t h e y   a r e   a s s i g n e d  t o   a   v i s ua l   w o r d  w i t h o ut   f urt h e r  e v a l ua t i o n   w i t h   o t h e r   v i s ua l   w o r ds   a n d  i n t e r e s t   po i nt s .   O n   t h e   o t h e r   ha n d ,   v i s ua l   w o r d  pl a us i b i l i t y   c a n   a l s o  o c c ur   w h e n   i nt e r e s t   po i nt s   po pul a t e d  f a r   a w a y   f r o m   a n y   v i s u a l   w o r d  a s s i g n e d  t o   a n y   n e a r e s t   v i s ua l   w o r d  a n d   m i g ht   b e   w r o n gl y   gr o upe d.   F i gu r e   1  s h o w s   a   de m o n s t ra t i o n   of   un c e r t a i n t y   a n d  pl a us i b i l i t y   e f fe c t   o n   t h e   s a m pl e s   i n  a   f oo d  c a t e go r y   f r o m   U E CF O O D - 100  d a t a s e t .           F i gu r e   1 .   U n c e rt a i n t y   a n d   pl a us i b i l i t y   e ff e c t   o n   v i s ua l   di c t i o na r y   c o n s t r uc t i o n  by   us i n g  ha r d   a s s i g n m e n t       T h e   s a m pl e s   o f   f oo d  i m a ge   s h o w n   i n   F i gu r e   1  de m o n s t ra t e d  t h e   v a r i a t i o n   o f   foo ds   t ha t   l e a d  t o   t h e   c o n f us i o n   i n   ge n e ra t i n g  v i s ua l   d i c t i o n a r y .   O bv i o us l y ,   t h e   v i s ua l   di c t i o n a r y   ge n e r a t e d  b y   t h e   t hr e e   s a m pl e s   ha v e   di f fe r e n t   p a t t e rn.   T h i s   w i l l   de f i n i t e l y   e n l a r ge   t h e   i nt r a - c l a s s   v a ri a t i o n  i n  a   f oo d  c a t e go r y .   A s   m e nt i o n e d   i n   [2]   a nd  [ 12],   t h e   i n t ra - c l a s s   v a ri a t i o n s   a nd  de f o r m a b l e   na t ur e   o f   foo d  i m a ge s   h a v e   c a us e d  u n c e r t a i nt y   a n d   pl a us i b i l i t y   pr o b l e m   t o   be c o m e   s i gn i f i c a n t .   F i s h e r   v e c t o r   (F V )  t e c h ni que   i s   a   m o r e   r e c e n t   f e a t ur e   e n c o di n g  t h a n   ha r d  a s s i g n m e nt   i nt r o duc e d  i n   i m a ge   c l a s s i f i c a t i o n   [15 ]  t h a t   c a n   ge n e ra t e   a   c o m pr e s s e d  r e p r e s e n t a t i o n  v i a   a   s m a l l   v oc a b ul a r y   s i z e .   F V   ha s   b e e n   i nt r o duc e d  i n   foo d  r e c o gn i t i o n  i n  [16]   w h i c h   p r o v i de s   m o r e   a dv a n t a ge   f o r   m o b i l e   a ppl i c a t i o n s .   H ow e v e r ,   t h e   p r o b l e m   of   un c e r t a i nt y   a n d  p l a us i b i l i t y   s t i l l   e xi s t   i n  F V   r e p r e s e n t a t i o n  a s   s h o w n   i n   F i gu r e   2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       F uz z y   e n c odi ng  w i t h  h y br i d   poo l i n g  f or   v i s ua l   d i c t i o nar y   i n   f ood  r e c ogn i t i on   ( Mohd  N or hi s ham   R az a l i )   181   A c c o r di n g  t o   F i gu r e   2,   t hr e e   di f fe r e nt   pa t t e rn s   o f   f e a t ur e   re pr e s e n t a t i o n   ge n e ra t e d  by   us i n g  f i s h e r  v e c t o r   o n   t hr e e   f o o d  i m a ge s   A ,   B ,   a nd  C   f r o m   t h e   s us hi   f oo d  c a t e go r y .   I n   a ddi t i o n   t o   t ha t ,   t h e   f i r s t - o rde r  s t a t i s t i c   c o m put a t i o n   i n  F i s h e r  v e c t o r   e n d   up  w i t h  e xt r e m e l y   l o n ge r   f e a t u r e   v e c t o r   t ha t   r e qui r e s   h i g h   c o m put a t i o n a l   c o s t   fo r   c l a s s i f i c a t i o n   a n d  l e s s   s ui t a b l e   fo r   l a r ge - s c a l e   a pp l i c a t i o n   [1 7,   18] .   T h e r e f o r e ,   t h i s   s t udy   i s   m a i nl y   pr o p o s i n g  a   s o f t   a s s i gnm e nt   f e a t u r e   e n c o d i n g  t e c hni que   t o   i m p r o v e   t h e   v i s ua l   di c t i o na r y   c o n s t r uc t i o n   i n   B o F .   T hi s   s t udy   i s   m o t i v a t e d  f r o m   t h e   r e s e a r c h   c o n duc t e d  i n   [13,   19 - 21]  t ha t   h a d  s ugge s t e d  t h e   s of t   a s s i gnm e nt   t e c hni que   t o   de a l   w i t h   t h e   u n c e r t a i nt y   a n d  p l a us i b i l i t y   i n   s c e n e   r e c o gn i t i o n.   S pe c i f i c a l l y ,   t h e   f uz z y   f e a t ur e   e n c o di n g  t e c hn i que   b a s e d  o n   f uz z y   s e t   t he o r y   (F S T )  h a s   b e e n   s e l e c t e d   a s   i t   m a y   l e a d  t o  b e t t e r   c o n s t r uc t i o n   o f   v i s ua l   di c t i o n a r y   w h i c h  i n  t u rn   l e a d   t o   b e t t e r   c l a s s i f i c a t i o n  pe r f o r m a n c e   [22] .           F i gu r e   2 .   U n c e rt a i n t y   a n d   pl a us i b i l i t y   e ff e c t   o n   v i s ua l   di c t i o na r y   c o n s t r uc t i o n  by   us i n g  f i s h e r  v e c t o r       In  s um m a r y ,   t h e   c o n t ri b ut i o n s   o f   t h i s   s t udy   a r e   f o ur   f o l ds :   a)   W e   i m p r o v e d  t h e   B oF   m o de l   i n   f o o d  r e c o gn i t i o n  by   i n c o rpo r a t i n g  F S T   i n  f e a t ur e   e n c o di n g   p r o c e s s   w h i c h  r e duc e d  t h e   u n c e r t a i nt y   a n d   pl a us i b i l i t y   pr o b l e m .     b)   W e   pr o pos e d  t h e   c o m b i n a t i o n   o f   m a xi m u m   po o l i n g  a n d  s u m   po o l i n g  t e c hni que s   t o   pr o du c e   a   h i g h l y   di s c r i m i na t i v e   v i s ua l   di c t i o n a r y   t o   s um m a r i z e   t h e   e n c o de d  f e a t u r e s .   c)   W e   pr o v i de   e v a l ua t i o n   o f   f e a t ur e   e n c o di n g   t e c hn i que s   t o w a r ds   di f f e r e n t   f e a t u r e s .   d)   W e   pr o v i de   e v a l ua t i o n   o f   f e a t ur e   e n c o di n g   t e c hn i que s   t o w a r ds   di f f e r e n t   m a c h i n e   l e a rn i ng  c l a s s i f i e r s .     e)   W e   pr o v i de   e v a l ua t i o n   o n   us i ng  di f f e r e n t   v oc a b ul a r y   s i z e s   i n  f uz z y   e n c o di n g   t e c hni que .   T h e   r e s t   o f   t h e   p a pe r  i s   o r ga ni z e d  a s   f o l l o w s .   T h e   f o l l ow i n g  s e c t i o n s   di s c us s   r e l a t e d  w o r ks   r e ga r d i n g   f e a t ur e   e n c o di n g  t e c hni que s ,   t h e   f uz z y   e n c o di n g  t e c hni que ,   t h e   e xpe ri m e n t a l   de s i g n ,   e xpe r i m e nt a l   r e s ul t s   a n d   f i n di ngs   a r e   f i na l l y   c o n c l ude d  i n  t h e   l a s t   s e c t i o n .       2.   R ELA TED   WO R K S   T h e   b a g  o f  f e a t ur e   (B oF )  m o de l   h a s   be e n   w i de l y   us e d  i n   pr e v i o us   r e s e a r c h   t o   r e p r e s e n t   f e a t u r e s   f r o m   foo d  i m a ge s   [5 ,  7 ,  8].   F e a t u r e   e n c o di n g  i s   a   p r o c e s s   w i t h i n  t h e   B o F   m o d e l   t ha t   c o n s t ruc t s   t h e   v i s ua l   di c t i o na r y   i n   o r de r   t o   r e p r e s e n t   t h e   c ha r a c t e r i s t i c s   of   i m a ge   f e a t ur e s   f r o m   t h e   hi g hl y   di v e r s e   a n d  m a s s i v e   vo l um e   of  l o c a l   f e a t ur e   i n t e r e s t   po i n t s .   T h e   m o s t   c o m m o n   f e a t ur e   e n c o di n g  t e c hni que   i s   t hr o ugh   ha r d   a s s i g n m e nt   w h e r e   k - m e a n s   c l us t e r i n g  a n d  h i e r a r c hi c a l   k - m e a n s   a r e   us e d  t o   c o n s t r uc t   t h e   v i s ua l   w o r ds .   I n   t h e s e   t e c hn i que s ,   t h e   c e nt r o i ds   o r  v i s ua l   w o r ds   a r e   pl a c e d  n e a r  t h e   m o s t   o c c ur ri n g   i nt e r e s t   po i nt s   a nd  e a c h   w i l l   b e   a s s i g n e d  t o   a   s i n gl e   n e a r e s t   c e nt r o i d.     In   ge n e r a l ,   t h e   h a r d  a s s i g nm e n t   a pp r o a c h   t o   e n c o de   t h e   l o c a l   f e a t ur e   w a s   c r i t i c i s e d  due   t o   t h e   e rr o r s   c r e a t e d  w hi l e   b ui l d i n g  t h e   v i s ua l   di c t i o n a r y   [9 ,  20 ,  23] .   H a rd   a s s i g nm e nt   a pp r o a c h   i s   l e s s   s ui t a b l e   fo r   i m a ge s   t h a t   c o n t a i n   l a rge   a ppe a r a n c e   v a r i a b i l i t y   [21].   T h e   r e a s o n   i s   t ha t   a   s i n gl e   v i s ua l   w o r d  fe a t u r e   us i ng  ha r d   a s s i g n m e nt   m a y   c a us e   i t s   r e l e v a n c e   t o   o t h e r   po s s i b l e   v i s ua l   w o r ds   t o   be   l o s t .   T h i s   c a n   po t e n t i a l l y   l e a d  t o  v i s ua l   w o r d  u n c e r t a i nt y   a n d  pl a us i b i l i t y .   V i s ua l   w o r d  un c e rt a i nt y   o c c ur s   w h e n   a   g r o up  of   n e a r e s t   i nt e r e s t   po i n t s   a r e   a s s i g n e d  t o   di f f e r e n t   v i s ua l   w o r ds .   T h e s e   i nt e r e s t   po i n t s   a r e   us ua l l y   po pul a t e d  n e a r   t o   t h e   bo r de r   i n  b e t w e e n   t h e   c l us t e r   r e gi o n s .   O n   t h e   o t h e r   ha n d ,   v i s ua l   w o r d  pl a us i b i l i t y   i s   a   c a s e   w h e r e   t h e   i n t e r e s t   po i n t s   a r e   po pul a t e d  f a r   f r o m   a n y   v i s ua l   w o r d  w h e r e   t h e y   a r e   a s s i g n e d   t o   a n y   n e a r e s t   v i s ua l   w o r d.   Co n s e que n t l y ,   t h e s e   i n t e r e s t   po i n t s   a r e   w r o n gl y   gr o upe d  w i t h  o t h e r  di s s i m i l a r  i nt e r e s t   po i nt s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021  :     179   -   195   182   T h e   pr o b l e m s   of   un c e r t a i nt y   a n d  pl a us i b i l i t y   h a v e   b e e n   l o n g  i de n t i f i e d  i n   o b j e c t   r e c o gn i t i o n   d a t a s e t s   de a l i n g  w i t h   n a t u r a l   s c e n e s ,   s uc h   a s   Ca l t e c h   a n d  P a s c a l   [ 9 ,  20 ,  21 ,  23 ,  24] .   T h e s e   da t a s e t s   e xh i b i t   l a r ge   v a r i a b i l i t i e s   i n   i m a ge   a ppe a ra n c e s   w i t h   h i g h   i nt ra - c l a s s   di f f e r e n c e   a nd  i nt e r - c l a s s   s i m i l a r i t i e s .   A s   s um m a ri z e d  by   [25],   m a n y   e n c o di n g   a pp r o a c h e s   h a v e   b e e n   p r o po s e d  s u c h   a s   F i s h e r  v e c t o r ,   s pa r s e   c o di n g ,   l o c a l   t a n ge n t   c o di n g,   a nd  s a l i e n c y   c o di n g   t o   r e pl a c e   t h e   t ra di t i o n a l   ha r d   a s s i g n m e n t   t e c hni que .     H ow e ve r ,   t h e   s of t   a s s i gnm e nt   b a s e d  e n c o di n g  us i ng  f uz z y   l o gi c   h a s   b e e n   fo un d  t o   b e   m o r e   r e p r e s e n t a t i v e   a t   m o de l l i ng  un c e r t a i nt y   a n d  pl a us i b i l i t y   by   a l l ow i n g  m u l t i pl e   de gr e e s   of   m e m b e r s hi p  a s s i g n m e nt s   t o   e a c h   v i s ua l   w o r d  [22 ,  26 ,  27] .   H ow e v e r ,   de s pi t e   t h e   s uc c e s s   of  f uz z y   e n c o di n g  a pp r o a c h e s ,   t o  t h e   b e s t   o f   o ur   k n o w l e dge ,   t h e   p r o b l e m   of   un c e r t a i nt y   a n d  p l a us i b i l i t y   i n   f oo d  r e c o gn i t i o n   do m a i n   ha v e   y e t   t o  b e   e xpl o r e d.   S i n c e   foo d  i m a ge s   h a v e   ve r y   di v e r s e   a ppe a r a n c e s   i n   t e r m s   o f   c o l o ur   a n d  t e xt u r e ,   a s   w e l l   a s   b e i n g  h i g hl y   de fo r m a b l e   i n   na t u r e ,   t h e y   a r e   n o t   e xe m pt   f r o m   u n c e rt a i nt y   a n d  p l a us i b i l i t y   [1 ,  13] .   M o r e o ve r ,   t h e   un c e rt a i n t y   pr o b l e m   i n   f oo d  r e c o gn i t i o n   c o n t r i b ut e s   t o   hi g h   i n t ra - c l a s s   v a r i a t i o n s   w h e r e   t h e   fo o ds   i n   t h e   s a m e   c a t e go r y   c a n   v a r y   d e pe n di n g  o n   i n g r e d i e nt s ,   l o c a t i o n ,   a n d  i n d i v i dua l   pr e f e r e n c e s   [11].   I n   m a n y   of   t h e   pr e v i o us   w o r ks   pe r t a i ni n g  t o   foo d  r e c o gn i t i o n ,   ha r d   a s s i g nm e nt   by   us i n g  k - m e a n s   w a s   a d a pt e d  i n  t h e   B o F   m o de l   [1 ,  7 ,  2 8,   29] .     S o m e   of   t h e   w o r ks   ha v e   us e d  t h e   f i s h e r   r e p r e s e n t a t i o n   [ 30]  a n d   s pa r s e   c o di ng   [31 ]  a s   a l t e rn a t i v e s   t o  us i n g  h a rd  a s s i g nm e n t .   H ow e v e r ,   t h e   c o n c e n t r a t i o n   o f   f i s h e r   r e p r e s e n t a t i o n   i s   m o r e   t o   pr o v i de   r i c h e r   g ra d i e nt   r e p r e s e n t a t i o n s   w i t h   r e s pe c t   t o   t h e   m e a n   a n d  c o - v a r i a n c e   fr o m   a   ga us s i a n   m i x t u r e   m o de l   (G M M ),   w hi c h  r e s ul t s   i n   a   l e ngt h y   fe a t u r e   v e c t o r .   S p a r s e   c o di n g  o n   t h e   o t h e r   ha n d   i s   m o r e   t o   c a p t u r e   t h e   s a l i e n t   p r o pe r t i e s   of  l o c a l   fe a t u r e s .   Bo t h   m e t h o ds   a r e   n o t   de s i g n e d  fo r   e l i m i na t i ng  t h e   u n c e r t a i nt y   a n d  pl a us i b i l i t y   i s s ue s   i n   foo d   i m a ge s .       3.   F U ZZY   EN C O D I N G   I N   BO F   T h e   f uz z y   t e c hn i que   t o   e n c o de   t h e   f e a t ur e s   i n   B o F   i s   b a s e d   o n   t h e   f uz z y   s e t   t h e o r y   (F S T )  i n   [ 32] .   F S T   a l l o w s   s of t   a s s i gn m e nt   t o   be   pe r fo r m e d  w h e r e   i n i t i a l l y   e a c h   i n t e r e s t   po i nt   i s   a s s i g n e d  t o   m ul t i p l e   v i s ua l   w o r ds   w i t h   di f f e r e n t   de gr e e s   of   m e m b e r s hi p  v a l ue s .   T h e   m e m b e r s h i p  v a l ue   i s   de t e r m i n e d  by   us i n g  a   G a us s i a n  P r o b a b i l i t y   D e n s i t y   F un c t i o n  b a s e d  o n   t h e   di s t a nc e   be t w e e n   i nt e r e s t   po i n t s   a n d  t h e   v i s ua l   w o r ds .   T h e   c l o s e r   v i s ua l   w o r ds   a r e   a s s i g n e d   h i g h e r  m e m b e r s hi p  v a l ue s .     F uz z y   c - m e a n s   (F CM )  [3 3]  a nd  p o s s i b i l i s t i c   c - m e a n s   (P CM )  [34]  a r e   a m o n g  t w o   e s t a b l i s h e d  f uz z y   c l us t e r i n g  t e c hni que s   t ha t   pe r f o r m   s o f t   a s s i gn m e n t   us i n g  F S T .   F CM   i s   k n o w n   t o   p e r f o r m   v e r y   w e l l   o n   n o i s e   f r e e   da t a   b ut   t e nds   t o   b e   s e n s i t i v e   t o   o ut l i e r s .   P CM   o n   t h e   o t h e r  h a nd  i s   a b l e   t o   de a l   w i t h   n o i s y   da t a .   E a rl y   w o r k  by   [13]  t ha t   de a l t   w i t h   t h e   u n c e rt a i n t y   pr o b l e m   i n  v i s ua l   w o r d  ha d   s ugge s t e d  t ha t   t h e   hi g h e r   di m e n s i o na l   f e a t u r e   s pa c e   w i l l   c r e a t e   v i s ua l   w o r d  u n c e r t a i n t y   du e   t o   m o r e   i n t e r e s t   po i nt s   l y i n g  c l o s e   t o   t h e   c l us t e r i ng  b o un da r y .   T h e   un c e rt a i n t y   m o d e l l i n g  w e r e   us e d  t o  a l l e v i a t e   t h e   p r o b l e m s   a n d  s h o w e d   i m p r o v e m e n t   o n  c l a s s i f i c a t i o n   a c c ur a c y   o n   ge n e ra l   o b j e c t   re c o gn i t i o n   da t a s e t s .   T h e n   s ub s e que n t   w o r ks   a r e   fo un d  i n   [21 ]  a n d  [19 ]  t h a t   a do pt e d  u n c e r t a i nt y   m o d e l l i n g  us i n g  F CM   f o r   a n   a ut o m a t i c   s c e n e   r e c o gn i t i o n,   ob j e c t   t r a c ki ng  [23]  a nd  m a n y   o t h e r   w o r ks   [22 ,  24 ,   3 5 ,   36 ]  ha v e   de m o n s t ra t e d  t h e   e ff e c t i v e n e s s   of   f uz z y   e n c o di n g   a pp r o a c h  o v e r   t h e   t ra d i t i o n a l   a pp r o a c h   us i n g   h a rd  a s s i gnm e n t   t e c hni que .       4.   S O F T  A S S I G N M EN T  V S .   H A R D   A S S I G N M EN T   In  t hi s   s e c t i o n,   w e   i l l us t r a t e   t h e   c o m pa ri s o n   b e t w e e n   ha r d  a nd  s o f t   a s s i gnm e n t   w h e n  c o n s t r uc t i n g  t h e   v i s ua l   di c t i o n a r y .   T h e   i l l us t ra t i o n   i s   a do pt e d  f r o m   t h e   r e s e a rc h   c o n duc t e d  i n   [23 ].   F i gu r e   3   s h o w s   t h e   f e a t ur e   e n c o di n g   t e c hni que   b y   us i n g  ha r d   a s s i g nm e n t .   T h e   y e l l ow   s qua r e   de n o t e   t h e   v i s ua l   w o r ds   a n d   a r e   l a b e l l e d  a s   A ,   B ,   C  a n d  D .   T h e   r o u n d  s ha pe   w i t h   t h e   c o l o ur s   r e d,   g r e y ,   purpl e ,   a n d  g r e e n   de n o t e d  t h e   i nt e r e s t   po i nt s   o r   f e a t ur e   de s c r i pt i o n s .   T h e   s a m e   c o l o ur   o f   f e a t ur e   de s c r i pt i o n s   i n d i c a t e   t h e   h i g h   s i m i l a ri t y   b e t w e e n   t h e s e   f e a t ur e s .   B a s e d  o n   F i gu r e   4,   t h e   h a rd  a s s i g nm e nt   b y   us i n g  k - m e a n s   w o ul d  ge n e ra t e   t h e   c e n t r o i ds   o r   v i s u a l   w o r ds   a nd  p l a c e   ra n do m l y   a t   hi g h  de n s i t y   po i n t s .   T h e n ,   e a c h   f e a t ur e   de s c r i pt i o n   i s   a s s i g n e d  t o   t h e   n e a r e s t   v i s ua l   w o r ds   w h i c h  i s   s h o w n   b y   t h e   a rr o w   s y m bo l .   T a b l e   1  s h o w s   t h e   hi s t o g r a m   c a l c ul a t i o n   t o   ge n e r a t e   t h e   v i s u a l   d i c t i o na r y   b a s e d  o n   F i gu r e   4 .     A s   s h o w n   i n   T a b l e   1 ,   t h e   hi s t o gra m   o f   e a c h   v i s ua l   w o r ds   A ,   B ,   C  a n d   D   i s   c a l c ul a t e d   o r  s um   po o l i n g   f r o m   a l l   t h e   f e a t u r e   de s c ri pt i o n s   t ha t   h a v e   b e e n   a s s i g n e d   t o   t he m .   F i gu r e   4   s h o w s   t h e   hi s t o gra m   o f   v i s ua l   w o r d  A ,   B ,   C  a n d   D.       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       F uz z y   e n c odi ng  w i t h  h y br i d   poo l i n g  f or   v i s ua l   d i c t i o nar y   i n   f ood  r e c ogn i t i on   ( Mohd  N or hi s ham   R az a l i )   183       F i gu r e   3 .   F e a t u r e   e n c o di n g   by   us i n g   ha r d  a s s i g nm e n t       T a b l e   1 .   V i s u a l   d i c t i o na r y   c o n s t r uc t i o n   b y     us i n g  ha r d   a s s i g n m e n t     A   B   C   D   F 1 A   0   0   1   0   F 1 B   0   0   1   0   F 1 C   1   0   0   0   F 2 A   1   0   0   0   F 2 B   0   1   0   0   F 2 C   0   1   0   0   F 3 A   0   1   0   0   F 3 B   0   0   1   0   F 3 C   0   0   0   1   F 4 A   0   0   1   0   F 4 B   0   0   0   1   F 4 C   0   1   0   0   H i s t o g ra m   2   5   4   2           F i gu r e   4 .   V i s u a l   w o r d  hi s t o gra m   by   us i ng  ha r d   a s s i g nm e n t       In  t h e   g ra p h   s h o w n   i n  F i gu r e   5 ,   a l l   v i s ua l   w o r ds   ha v e   be e n   a s s i gn e d  w i t h   f e a t u r e   de s c ri pt i o n s .   B a s e d   o n   F i gu r e   5 ,   t h e   u n c e r t a i nt y   s i t ua t i o n s   o c c ur   a m o n g  t h e   i n t e re s t   po i n t s   l o c a t e d  i n   t h e   b o un da r y   of   c l us t e r .   T h e   ha r d   a s s i g nm e n t   t e c hni que   ha s   a s s i g n e d   s i m i l a r   f e a t u r e   de s c r i pt i o n s   i n t o   d i f fe r e nt   v i s ua l   w o r ds .       0 2 4 6 A B C D Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021  :     179   -   195   184       F i gu r e   5 .   F e a t u r e   e n c o di n g   by   us i n g   s o f t   a s s i g n m e nt       B a s e d  o n   F i gu r e   5 ,   e ve r y   f e a t ur e   de s c r i p t i o n   i s   s uppo s e d  t o   b e   a s s i gn e d  t o   a l l   v i s ua l   w o r ds .   H ow e ve r ,   f o r   i l l us t ra t i o n   c l a r i t y ,   t h e   de m o n s t ra t i o n  i n  F i gu re   6  s h o w s   t h e   a s s i g na t i o n  w i t h   o nl y   t w o   v i s ua l   w o r ds .   E v e r y   a s s i gn a t i o n   w i l l   r e t u rn   m e m b e r s hi p  v a l ue   c a l c ul a t e d  by   us i n g  F S T .   A s   m e n t i o n e d  e a r l i e r,   t h e   un c e rt a i n t y   pr o b l e m   o c c ur s   w h e n   i nt e r e s t   po i nt s   a r e   l o c a t e d  a t   t h e   bo un da r y   of  a   v i s ua l   w o r d.   F o r   e xa m pl e ,   F 1A   a nd  F 1B   a r e   a s s i g n e d  t o   v i s ua l   w o r ds   A   a n d  C,   b o t h   ha v i n g  m e m b e r s h i p  v a l ue s   fo r   b o t h   c l us t e r s .   H ow e ve r ,   c a r e f ul   e xa m i na t i o n   o f   t h e   w e i gh t s   r e v e a l   t ha t   b o t h   po i n t s   ha v e   h e a v i e r   w e i gh t s   f o r   v i s ua l   w o r d  A   a n d  a r e   h e n c e   a s s i g n e d  t o   t ha t   c l us t e r.   T h e   i nt e r e s t   po i n t   F 2C   de m o n s t ra t e s   t h e   pl a us i b i l i t y   pr o b l e m   s i n c e   i t   i s   l o c a t e d  f a r   f r o m   t h e   v i s ua l   w o r ds   a n d  t h e   m e m b e r s h i p  v a l ue   c o n t ri b ut e   m o r e   o n   v i s ua l   w o r d  A .   T a b l e   2  s h o w s   t h e   hi s t o gra m   c a l c ul a t i o n  t o   ge n e r a t e   v i s ua l   di c t i o n a r y   b a s e d  o n   F i gu r e   6 .   B a s e d  o n   T a b l e   2,   m a x i m u m   po o l i n g  i s   i ni t i a l l y   pe r fo r m e d  t o   c h o o s e   o n e   h i g h e s t   m e m b e r s h i p  v a l ue   fo r   e a c h   f e a t u r e   de s c r i p t i o n s   a s   h i g hl i g ht e d.   T h i s   i s   f o l l ow e d  by   pe r fo r m i ng  s um   po o l i n g  t o   f i na l i z e   t h e   hi s t o gra m .   F i gu r e   6   s h o w s   t h e   v i s ua l   w o r d  hi s t o g r a m .       T a b l e   2 .   V i s u a l   d i c t i o na r y   c o n s t r uc t i o n   b y     us i n g  s o f t   a s s i g nm e n t     A   B   C   D   F 1 A   0 . 7   0 . 3   0 . 6   0 . 1   F 1 B   0 . 6   0 . 4   0 . 5   0 . 2   F 1 C   0 . 8   0 . 6   0 . 5   0 . 3   F 2 A   0 . 9   0 . 5   0 . 4   0 . 1   F 2 B   0 . 5   0 . 3   0 . 4   0 . 2   F 2 C   0 . 6   0 . 5   0 . 2   0 . 1   F 3 A   0 . 7   0 . 9   0 . 6   0 . 4   F 3 B   0 . 4   0 . 7   0 . 6   0 . 5   F 3 C   0 . 2   0 . 6   0 . 3   0 . 4   F 4 A   0 . 2   0 . 6   0 . 5   0 . 4   F 4 B   0 . 1   0 . 7   0 . 5   0 . 6   F 4 C   0 . 5   0 . 8   0 . 4   0 . 3   H i s t o g ra m   6   6   0   0         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       F uz z y   e n c odi ng  w i t h  h y br i d   poo l i n g  f or   v i s ua l   d i c t i o nar y   i n   f ood  r e c ogn i t i on   ( Mohd  N or hi s ham   R az a l i )   185       F i gu r e   6 .   V i s u a l   w o r d  hi s t o gra m   by   us i ng  s o f t   a s s i g nm e nt       A c c o r di n g  t o   t h e   hi s t o gra m   s h o w n   i n   F i gu r e   6 ,   t h e   f e a t ur e   d e s c r i pt i o n s   ha v e   b e e n   g r o upe d  i n t o   t w o  v i s ua l   w o r ds   o n l y .   H ow e ve r ,   t h e   u n c e r t a i nt y   a n d   pl a us i b i l i t y   pr o b l e m   ha s   c a us e d  t h e   hi s t o gra m   di s t ri b ut i o n   o f   h a r d   a s s i g nm e n t   i n   F i gu r e   6  m o r e   s pa r s e .   H e n c e ,   t h e   s o f t   a s s i gnm e nt   ha s   de m o n s t r a t e d  m o r e   di s c r i m i na t i v e   hi s t o g r a m .       5.   EX P ER I M EN TA L  D ES I G N   In   t hi s   s e c t i o n ,   t h e   ov e r a l l   r e c o gn i t i o n   p r o c e s s   t o  c l a s s i fy   foo d  i m a ge s   by   u s i n g  f uz z y   e n c o di n g   a pp r o a c h   i s   e xpl a i n e d  a s   s h o w n   i n  F i gu r e   8 .   E x pe ri m e n t s   us i n g  t h e   U E CF O O D - 100  d a t a s e t   [37] ,   w hi c h  c o n t a i n s   100  f o o d  c a t e g o r i e s   a s   s h o w n   i n  F i gu r e   7   w e r e   c on d uc t e d.   T h e   i m a ge s   a r e   t h e   r e a l   s e t t i n g   o f   f ood   i m a ge s   a s   i t   w a s   c o l l e c t e d  f r o m   t h e   In t e rn e t   c o n s i s t i ng  o f  m ul t i p l e   c l a s s e s   of  f oo d   c a t e go r i e s   w h o s e   i m a ge   c o n t ra s t ,   l i g ht i ng,   a nd  a ppe a ra n c e s   di f f e r   g r e a t l y .           F i gu r e   7 .   S a m p l e s   o f   U E CF O O D - 100  d a t a s e t           F i gu r e   8 .   F o o d  r e c o gn i t i o n   b a s e d  o n  f uz z y   e n c o di n g   a pp r o a c h       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021  :     179   -   195   186   5 . 1 .       S ta ge   1:   i n te r e s t   p o i n ts   d e t e c t i o n   T h e   i nt e re s t   po i nt s   de t e c t o r  i de nt i f i e s   a   s e t   o f   s a l i e nt   r e g i o ns   f r o m   a n  i m a ge .   I t   p r o v i de s   s t a b l e   a nd  di s c ri m i na t i v e   i nt e re s t   po i nt s   t ha t   a r e   r o b us t   t o   i l l u m i na t i o n   v a ri a t i o n   [ 3 8] .   T h e   i nt e re s t   po i nt s   de t e c t o r,   b e s i de s   p r o v i d i ng  a   d i s t i nc t i v e   s e t   o f   i nt e r e s t   po i nt s ,   i s   a l s o   m o r e   c o m pu t a t i o na l l y   e f f i c i e nt   [3 9] .   S pe c i f i c a l l y ,   m a x i m a l l y   s t a b l e   e x t r e m a l   re g i o n  ( M S E R )  de t e c t o r  i s   us e d   t o   s a m p l e   t h e   i nt e re s t   po i nt s .   M S E R   i s   a n  i nt e r e s t   r e gi o n  b a s e d   de t e c t o r   w hi c h   ha s   p ro v e n   t o   b e   e ff e c t i v e   a m o ng  i t s   v a ri a nt   a s   i t   y i e l ds   t he   b e s t   s c o r e   i n   t e rm s   o f   e ff e c t i v e n e s s   a nd  e f f i c i e n c y   i n  r e c e nt   s t u dy   [4 0] .   M S E R   m a y   p r o v i de   a   m o r e   d i s c ri m i na t i v e   i nt e re s t   po i nt s   o n   f o o d  c a t e go ri e s   t ha t   ha v e   v e r y   s t r o ng  m i x t u r e   o f   i ng r e di e nt s   a s   i t   m a y   r e p r e s e nt   t h e   i rre g u l a r  s ha pe   o f   fo o ds ,   t y pi c a l l y   i n  p a ra l l e l o g ra m s .   I nde e d ,   t h e   l a rge r  s i z e   o f   pa t c h  de t e c t i o n   i n  i nt e r e s t   re g i o n  de t e c t o r s   a re   m o r e   s ui t a b l e   t o   de t e c t   f o o d  i nt e r e s t   po i nt s   [4 1 ] .   M S E R   w o r ks   b y   i de nt i f y i ng  a   s e t   o f   c o nn e c t e d  c a nd i d a t e   re g i o ns   t ha t   a re   d i s c o v e r e d   by   us i ng  a   g l o b a l   s e g m e nt a t i o n   b y   us i ng  w a t e r s he d  a l go ri t hm .   B a s e d  o n   a n   i nt e ns i t y   t hre s h o l d ,   p i xe l s   a r e   g r o u pe d   i nt o   t w o   s e t s   w hi c h  a r e   b l a c k  a nd  w hi t e .   T he   t hre s h o l d  v a l ue   i s   c ha nge d  a t   e a c h  i t e ra t i o n,   w hi c h  c h a ng e s   t he   c a rd i na l i t y   of   e a c h   s e t .   F i na l l y ,   t he   e x t r e m a l   r e gi o n s   a r e   ge ne r a t e d  a s   c o nn e c t e d  r e g i o ns   a nd  e a c h  r e g i o n  w i l l   b e   re p r e s e nt e d   b y   a n  i nt e r e s t   po i nt   t ha t   i s   l o c a t e d   i n  t h e   c e nt re   o f   e x t r e m a l   r e g i o n.     5 . 2 .      S ta ge   2:   fe atu r e   d e s c r i p t i o n s   F e a t u r e   de s c r i pt i o n   i s   a   p r o c e s s   t o   ge n e r a t e   f e a t ur e   v e c t o r   f r o m   e a c h   de t e c t e d  i n t e r e s t   po i n t .   T h e   gra di e nt - b a s e d  f e a t ur e s   a r e   m o r e   e f fe c t i ve   t o   de a l   w i t h  t h e   p r o b l e m   o f   v a r i o us   o b j e c t   de f o r m a t i o n,   v i e w p o i n t s ,   i l l u m i na t i o n,   o c c l us i o n ,   a nd  b l u r   r e s o l ut i o n   [ 42] .   M S E R   de t e c t o r   h o w e v e r   w a s   n o t   b ui l t   w i t h   i t s   ow n   de s c r i pt o r.   T h e   e m pi r i c a l   s t udy   c o n duc t e d  i n   [40]  t o   e va l u a t e   t h e   de s c r i pt o r s   f o r   M S E R   h a v e   s ugge s t e d   t h a t   t h e   s pe e de d - up  r o b us t   f e a t ur e   (S U R F )  d e s c r i pt o r   i s   v e r y   c l o s e   t o   r e a l - t i m e   a ppl i c a t i o n s .   T hi s   i s   b e c a us e   S U R F   us e d  i n t e g ra l   i m a ge   a n d   H a a r   w a v e l e t   t o   a pp r o xi m a t e   g ra di e n t   i n f o r m a t i o n  a n d   v e r y   m i n i m um   o f  n o i s e s   w e r e   ge n e r a t e d.   S U R F   h a s   a l s o   s c o r e d  v e r y   w e l l   i n   t e r m s   o f   r e pe a t a b i l i t y ,   di s t i n c t i v e n e s s ,   r o b us t n e s s ,   de t e c t i o n   e rr o r   a s   w e l l   a s   ge o m e t r i c   a n d   p h o t o m e t ri c   de f o r m a t i o n  [43] .   B a s i c a l l y ,   t h e   S U R F   de s c r i b e s   t h e   i n t e n s i t y   c o n t e nt   s u rr o un d i n g  t h e   i nt e r e s t   po i n t   n e i g h b o rhoo d.   In   t h e   f i r s t   pl a c e ,   t h e   o r i e nt a t i o n   o f  e a c h   f e a t ur e   i s   i de n t i f i e d  v i a   pi xe l   c o n v o l ut i o n   i n   i t s   n e i g h b o rh o o d  t o ge t h e r   w i t h   t h e   h o ri z o n t a l   a nd  v e r t i c a l   H a a r   w a ve l e t   f i l t e r .   T h e   H a a r   w a v e l e t   f i l t e r s   c a n   b e   i l l us t r a t e d  a s   a   b l o c k  t o   c a l c ul a t e   t h e   di r e c t i o n a l   de ri v a t i v e s   of  t h e   i m a ge ’s   i n t e n s i t y .   T h e   f e a t u r e s   c a n  b e   de s c r i b e d  r e ga r d l e s s   of   t h e i r  o ri e nt a t i o n   v i a   t h e   i n t e n s i t y   c h a n ge s   t o  c h a ra c t e ri z e   t h e   o ri e n t a t i o n .     5 . 3 .      F u z z y  fe atu r e   e n c o d i n g   A   h uge   a n d  di v e r s e   fe a t u r e   h a v e   be e n   ge n e ra t e d  i n   f e a t ure   de s c r i pt i o n   s t a ge .   A t   t h i s   po i nt ,   t h e   f e a t ur e   de s c r i p t i o n s   c a n  b e   r e pr e s e nt e d  a s   f r o m   N   di m e n s i o n a l   f e a t u r e s   f r o m   a n   i m a ge .   F o r   i n s t a n c e ,   h u nd r e ds   o r   e v e n   t h o us a n ds   o f   i nt e r e s t   po i nt s   w e r e   ge n e r a t e d  pe r  i m a ge   a n d   t h e   a m o u n t   o f   i n t e r e s t   po i n t s   f o r   a l l   i m a ge s   m a y   r e a c h   up  t o   h u n d r e ds   o f   t h o us a n ds   o f   i n t e r e s t   po i nt s .   S o f t   a s s i gnm e n t   t e c hn i que   e n c o de s   t h e   f e a t ur e   de s c r i pt i o n s   by   a s s i gn i n g  t h e m   i nt o   s e v e r a l   v i s ua l   w o r ds   a n d  t h e   r e s po n s e   o n   e a c h   v i s ua l   w o r d  i s   c a l c ul a t e d  by   us i n g  ke rn e l   f un c t i o n   o f   t h e   di s t a n c e   b e t w e e n   f e a t ur e   de s c r i pt i o n s   w i t h   v i s ua l   w o r d.   I ni t i a l l y ,   v i s ua l   w o r ds   v   a r e   ge n e r a t e d  t o   de f i n e   t h e   f e a t u r e   de s c r i p t i o ns   X :     ( ) =  ( ‖ − ‖ 2 2 / ) ∑  ( = 1 ‖ − ‖ 2 2 / )   = 1 , 2 , … . . ,       W h e r e   ∑ e sp ( K k = 1 ‖ x − b i ‖ 2 2 / σ )   i s   t h e   n o rm a l i z a t i o n   f a c t o r,     i s   s m o o t h  pa ra m e t e r  a n d  M   i s   t h e   vo c a b ul a r y   s i z e .   S pe c i f i c a l l y ,   f uz z y   c - m e a n s   (F CM )  i s   us e d  t o   e n c o de   t h e   f e a t ur e s .   F CM   i s   a n   e xt e n s i o n  o f   k - m e a n s   w h e r e   o b j e c t i ve   f un c t i o n   i s   m o di f i e d  by   i n c o r po ra t i ng  f uz z i e r   pa ra m e t e r.   F CM   a s s i g n e d  e a c h   S U RF   de s c r i pt i o n s   i nt o   a l l   v i s ua l   w o r ds   w h e r e   di f f e r e n t   de g r e e s   o f   m e m be r s hi p  v a l ue s   a r e   c o m put e d  f o r   e a c h   a s s i g n a t i o n .   T h e   m e m b e r s h i p  v a l ue   i s   de t e r m i n e d  us i n g  a   G a us s i a n   P r o b a b i l i t y   D e n s i t y   F un c t i o n   b a s e d  o n   t h e   d i s t a n c e   b e t w e e n  i nt e r e s t   po i n t s   a nd   t h e   v i s ua l   w o r ds .   L e t   = {   1 , 2 , 3 , 4 … }   b e   t h e   s e t   o f   S U RF   de s c r i pt o r s ,   w h e r e   ̃   r e p r e s e n t s   t h e   f uz z y   s e t   i n   S   a n d  ̃ (   )   i s   t h e   f uz z y   m e m b e r s h i p  f un c t i o n.   T h e   ̃   c a n   b e   c o m put e d  a s   f o l l ow s :     ̃ = ̃ (   1 )/   1   +  ̃ ( 2 ) / 2 + …. ̃ ( ) / = ∑ ̃ ( ) / = 1     W h e r e   n   i s   t h e   num b e r  o f   S U R F   de s c r i pt o r s   i n  S,   ̃ ( ) /   r e pr e s e nt s   t h e   f uz z y   m e m b e r s hi p  v a l ue   of     t o   ̃   a nd  ∑ = 1   r e p r e s e n t s   t h e   r e l a t i o n s h i p   b e t w e e n   S U R F   de s c r i p t o r  a nd  t h e   m e m b e r s h i p   f un c t i o n.   T h e   m e m b e r s hi p  f un c t i o n   i s   i ni t i a l l y   s t a r t e d  w i t h   t h e   v i s ua l   w o r ds   c o n s t r uc t i o n   by   us i n g  k - m e a n s   a l go ri t hm   t o   pr o duc e   l i s t   o f   v i s ua l   w o r ds   = { 1 , 2 , . . , , . , , } .   Th e   d i s t a n c e   ,   b e t w e e n     a n d    c a n   b e   r e p r e s e n t e d   a s :   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       F uz z y   e n c odi ng  w i t h  h y br i d   poo l i n g  f or   v i s ua l   d i c t i o nar y   i n   f ood  r e c ogn i t i on   ( Mohd  N or hi s ham   R az a l i )   187   = { 1 , 2 , … } ′ = { 1 , 1 1 , 2 1 , 2 , 1 2 , 2 2 , , 1 , 2 , }       W h e r e   n  i s   t h e   n u m b e r   o f   S U RF   de s c r i pt o r s   e xt ra c t e d  f r o m   a n  i m a ge   g,   a n d   m   i s   t h e   n u m b e r   o f  v i s ua l   w o r ds   i n  W .   T h e   f uz z y   s e t   c a n  b e   e xpr e s s e d  a s :     ̃ = ∑ ( , ) , = 1       T h e   v a l ue   ( , )   de t e rm i n e   t h e   s i m i l a ri t y   b e t w e e n     a nd     b a s e d  on  t h e   G a us s i a n  m e m b e r s hi p  f un c t i o n  w h i c h  t ra n s f o r m s   t h e   di s t a n c e   s e t   t o   f uz z y   s e t   w h i c h  i s   c a l c ul a t e d  a s :     ( , ) = 1 − 1 √ 2  ( − ( , − ) 2 2 2 )       W h e r e     i s   t h e   e xpe c t e d  v a l ue   a nd     i s   t h e   m e m b e r s hi p   f un c t i o n   f o r  .   B o t h  a r e   p a ra m e t e r s   t ha t   a r e   de r i v e d  by   us i n g  m a xi m um   l i ke l i h o o d  e s t i m a t i o n.   T a b l e   3  s h o w s   t h e   a l go r i t hm   f o r   f e a t u r e   e n c o di n g  by   us i n g  F CM .       T a b l e   3 .   A l go r i t hm   f o r   f uz z y   f e a t ur e   e n c o di n g   Feature encoding using fuzzy technique and feature summarization using maximum pooling   Input:  = { 1 , 2 , 3 … } ←    Set of SURF feature from an image,  g .   Output:   = { 1 , 2 , 3 … } ←    Fuzzy visual dictionary    1.   1.     Perform k - means by partitioning n features in    into  k   cluster represented  by  = { 1 , 2 , … , }   .   2.   Generate fuzzy set  ̃   by using equation 4.4 to measure the similarity between the  features in    and visual words  W .     3.   , ←   Get membership value for each w in g from  ̃ .   4.   =   ( , 1 , , 2 , , 3 … . . , ) ←    Perform maximum pooling on  , .   5.   =   ∑  = 1 ←   count occurrence frequency for each  W       T h e   f uz z y   f e a t ur e   e n c o di n g  a l go ri t hm   s h o w n   i n   T a b l e   3  ha s   us e d  k - m e a n s   t o   ge n e ra t e   v i s ua l   w o r ds .   A f t e r w a r ds ,   t h e   f uz z y   s e t   i s   c a l c ul a t e d  t o   m e a s u r e   t h e   s i m i l a ri t y   be t w e e n   S U R F   de s c r i pt i o n s   a n d   v i s ua l   w o r ds   r e p r e s e n t e d  b y   t h e   m e m b e r s hi p  v a l ue   i n  e a c h  v i s ua l   w o r d.   F i na l l y ,   m a x i m u m   po o l i n g   i s   a pp l i e d  w h e r e   t h e   hi g h e s t   m e m b e r s hi p  v a l ue   o f   v i s ua l   w o r d  i s   a s s i g n e d  t o   t h e   S U R F   de s c r i pt i o n .   T a b l e   4  s h o w s   t h e   a l go ri t hm   fo r   F CM .       T a b l e   1 .   A l go r i t hm   f o r   f uz z y   c - m e a n s   (F CM )   F u z z y   C - M e a n s     In p u t :   = { 1 , 2 , 3 … } ←    S e t   o f  S U R F   fe a t u r e                           F u z z i f i c a t i o n   p a ra m e t e r   m .                            M a x i m u m   n u m b e r  o f   i t e ra t i o n s   m a x _ i t .                             T o l e ra n c e   c r i t e ri o n       O u t p u t :   C e n t e r  m a t r i x   C ;   M e m b e r s h i p   m a t r i x   U .    1 .   ← 0   2.   In i t i a l i z e   ra n d o m l y   ( )     3 .   w h i l e   ( ( | ( ) − ( − 1 ) |   <         )< m a x _ i t                                               u p d a t e   ( )                                                u p d a t e   ( )                                               τ ← τ + 1     4 .   e n d   w h i l e     5 .   = ( 1 , 2 , … ,  ) ←   c l u s t e r   c e n t e r s     6 .   U= [  ] = 1 . . = 1 . .     ←   F u z z y   a s s i g n m e n t   o f   fe a t u r e   v e c t o r     t o   c l u s t e r s .         6.   EX P ER I M EN TA L  R ES U L TS   T h e   pe r f o r m a n c e   of   f e a t ur e   e n c o di n g  t e c hn i que s   a r e   m e a s ur e d  b a s e d  o n   c l a s s i f i c a t i o n   r a t e .   T h e   t r a i ni n g  a n d  t e s t i n g  s t r a t e g y   i s   b a s e d  o n   f i v e - fo l ds   w h e r e   t he   da t a s e t   i s   d i v i de d  i n t o   f i v e   t r a i ni n g  a n d  t e s t i n g   s e t   f o l l ow i n g  t h e   p r o c e dur e   i n  [30] .   T h e   f i na l   c l a s s i f i c a t i o n   r a t e   i s   t a ke n   b a s e d  o n  i t s   a v e r a ge .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   21 ,   N o .   1 ,  J a n u a r y   2021  :     179   -   195   188   6 . 1 .      V i s u al   w o r d s   an d   fu z z y  m e m b e r s h i p   v al u e   ge n e r at i o n   W e   i l l us t r a t e   a   de m o n s t ra t i o n   o f   F CM   i n   a   s a m p l e   i m a ge .   T h e   v i s ua l i z a t i o n   o f  F CM   m e c h a n i s m   i s   s h o w n   i n  F i g u r e   9 .           F i gu r e   9 .   F u z z y   f e a t ur e   e n c o di n g   by   us i n g   F CM       A s   s h o w n   i n   F i g u r e   9 ,   i ni t i a l l y   t h e   e xt r e m a l   r e gi o n s   ( E R )  of   s a m pl e   foo d  i m a ge   i n   (a )  a r e   de t e c t e d   by   us i n g  M S E R   i n   (b )  a n d  t h e   f e a t ur e s   a r e   de s c r i b e d  by   u s i n g  S U R F   a s   pl o t t e d  i n   (c ).   T h e n,   t h e   f e a t ur e s   a r e   f e d  i n t o   k - m e a n s   a l go ri t hm   t o   ob t a i n   t h e   v i s ua l   w o r ds   a s   s h o w n   i n   (d ).   T hi s   e xa m p l e   s e t s   t h e   c l us t e r   s i z e   k  a s   3.   I n   h a rd  a s s i g nm e n t ,   t h e   p r o c e s s   of   a s s i gn i n g  v i s ua l   w o r ds   t o   t h e   S U R F   de s c r i pt i o n s   w i l l   p r o c e e d  i n   (d)  w h e r e   t h e   S U R F   d e s c r i pt i o n s   a r e   j us t   a s s i g n e d  t o   t h e   t hr e e   v i s ua l   w o r ds   w h i c h   h a v e   b e e n   m a r ke d  i n   do t t e d  gr e e n,   b l ue   a nd  r e d  c o l o r .   H ow e v e r ,   t h e   F CM   h a s   e xt e n de d  t h e   e v a l ua t i o n   by   a s s i gn i n g  e a c h   S U R F   de s c r i pt i o n s   i n t o   s e ve r a l   v i s ua l   w o r ds   a n d  pe r f o r m   t h e   s i m i l a ri t y   c h e c ki n g  b e t w e e n   S U RF   de s c r i pt i o n s   a s   s h o w n   i n   (e ).   W h e n   a   s e t   of   S U R F   d e s c r i pt i o n s   a r e   r e ga rde d  a s   s i m i l a r,   t h e y   w i l l   b e   a s s i gn e d  t o   t h e   n e a r e s t   v i s ua l   w o r d.     6 . 2 .      C l as s i fi c at i o n   p e r fo r m an c e   T h e   gi v e n   c h a rt   i n   F i gu r e   1 0   de p i c t s   t h e   pe r c e n t a ge s   o f   c l a s s i f i c a t i o n   b e t w e e n   ha r d  a s s i g nm e nt ,   s o f t   a s s i g n m e nt ,   a n d  f i s h e r   v e c t o r   o n   di f fe r e nt   f e a t ur e s .   I n  ge n e ra l ,   t h e   s o f t   a s s i gnm e n t   t e c hn i que   ha s   o b t a i n e d  t h e   b e s t   a s   w e l l   a s   t h e   m o s t   c o n s i s t e nt   c l a s s i f i c a t i o n   ra t e   o ve r   di f f e r e n t   f e a t ur e s .   I t   i s   a l s o   a ppa r e n t   f r o m   t h e   c ha rt   t h e   i n c o n s i s t e n c i e s   of   f i s h e r   v e c t o r   a n d  ha r d  a s s i g nm e nt   t e c hni que   c l a s s i f i c a t i o n   r a t e   a c r o s s   m ul t i p l e   f e a t ur e s .   It   i s   f o un d  t ha t   t h e   F i s h e r   v e c t o r   o n l y   pe r fo r m e d  w e l l   o n l y   w i t h   D o g - S IF T .   T h e   r e a s o n   i s   pe rh a ps   S IF T   de s c r i pt o r   ge n e r a t e s   128  f e a t ur e   di m e n s i o n s   c o m pa r e d  t o   S U R F   a n d  H O G   de s c r i pt o r   t ha t   p r o duc e   s h o rt e r  f e a t ur e   d i m e n s i o n s   w h i c h  a r e   6 4  a n d   32   r e s pe c t i v e l y .           F i gu r e   10 .   P e r f o r m a n c e   o f   f e a t ur e   e n c o di n g   t e c hni que s   a c r o s s   di f f e r e n t   f e a t ur e s   Evaluation Warning : The document was created with Spire.PDF for Python.