I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 6 ,   N o .   3 D e c e m b e r   201 9 ,   pp .   1 333 ~ 1342   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 6 .i 3 . pp 133 3 - 1342             1333       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   L e a r n i n g   Fa c e   S i m i l a r i t i e f o r   Fa c e   V e r i f i c a t i o n   u s i n g   Hy b r i d   C o n v o l u t i o n a l   N e u r a l   N e t w o r k s       F ad h l an   H af i z h e l m i   K am ar u   Zam an Ju l i an a   Jo h ar i A h m ad   I h s an   M o h d   Y as s i n   F a c ul t y   o f   E l e c t r i c a l   E ng i ne e r i ng ,   U ni v e r s i t i   T e kno l o g i   M A R A ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   M ar   1 9 ,   2 01 9   R e v i s e J un   2 ,   201 9   A c c e pt e J ul   28 ,   201 9       F a c e   v e r i f i c a t i o f o c us e s   o t he   t a s o f   de t e r m i n i ng   w he t he r   t w o   f a c e   i m a g e s   be l o ng   t o   t he   s a m e   i d e nt i t y   o r   no t .   F o r   un r e s t r i c t e f a c e s   i n   t h e   w i l d,   t h i s   i s   a   v e r y   c ha l l e ng i ng   t a s k .   B e s i de s   s i g ni f i c a nt   de g r a da t i o d ue   t o   i m a g e s   t h a t   ha v e   l a r g e   v a r i a t i o ns   i po s e ,   i l l um i na t i o n,   e xp r e s s i o n,   a g i ng ,   a nd   o c c l us i o ns ,   i t   a l s s uf f e r s   f r o m   l a r g e - s c a l e   e v e r - e x pa n di ng   d a t a   n e e d e t o   pe r f o r m   o ne - to - m a n y   r e c o g ni t i o t a s k .   I t h i s   pa p e r ,   w e   p r o po s e   a   f a c e   v e r i f i c a t i o m e t ho by   l e a r n i ng   f a c e   s i m i l a r i t i e s   us i ng   a   C o nv o l ut i o na l   N e u r a l   N e t w o r k s   ( C o nv N e t ) .   I ns t e a o f   e x t r a c t i ng   f e a t u r e s   f r o m   e a c f a c e   i m a g e   s e pa r a t e l y ,   o ur   C o nv N e t   m o de l   j o i nt l y   e xt r a c t s   r e l a t i o na l   v i s u a l   f e a t u r e s   f r o m   t w o   f a c e   i m a g e s   i n   c om pa r i s o n.   W e   t r a i f o ur   hy br i C o nv N e t   m o de l s   t o   l e a r n   ho w   t o   d i s t i ng ui s h   s i m i l a r i t i e s   b e t w e e n   t he   f a c e   pa i r   o f   f o ur   d i f f e r e n t   f a c e   po r t i o ns   a nd   j o i t h e m   a t   t o p - l a y e r   c l a s s i f i e r   l e v e l .   W e   us e   b i na r y - c l a s s   c l a s s i f i e r   a t   t o p - l a y e r   l e v e l   t o   i de n t i f y   t he   s i m i l a r i t y   o f   f a c e   pa i r s   w hi c h   i nc l ude s   a   c o nv e nt i o na l   M ul t i - L a y e r   P e r c e p t r o ( M L P ) ,   S uppo r t   V e c t o r   M a c hi ne s   ( S V M ) ,   N a t i v e   B a y e s ,   a n a no t he r   C o nv N e t .   T h e r e   a r e   3   f a c e   p a i r i ng   c o nf i g ur a t i o ns   di s c us s e i n   t h i s   pa pe r .   R e s u l t s   f r o m   e xp e r i m e n t s   u s i ng   L a be l e d   f a c e   i n   t he   W i l d   ( L F W )   a nd   C e l e bA   da t a s e t s   i nd i c a t e   t ha t   o ur   hy br i d   C o nv N e t   i nc r e a s e s   t h e   f a c e   v e r i f i c a t i o a c c ur a c y   b y   a s   m uc a s   27 %   w he c o m pa r e t o   i nd i v i dua l   C o nv N e t   a p pr o a c h.   W e   a l s o   f o und  t h a t   L a t e r a l   f a c e   p a i r   c o nf i g ur a t i o y i e l d s   t he   be s t   L F W   t e s t   a c c ur a c y   o a   v e r y   s t r i c t   t e s t   pr o t o c o l   w i t ho ut   a ny   f a c e   a l i g nm e nt   us i ng   M L P   a s   t o p - l a y e r   c l a s s i f i e r   a t   8 7. 89 % ,   w h i c o n - pa r   w i t t h e   s t a t e - of - t he - a r t s .   W e   s ho w e t ha t   o u r   a ppr o a c i s   m o r e   f l e xi bl e   i t e r m s   o f   i nf e r e nc i ng   t h e   l e a r ne d   m o de l s   o n   o ut - of - s a m pl e   da t a   by   t e s t i ng   L F W   a nd  C e l e bA   o e i t he r   m o de l .   Ke y w or d s :   F a c e   v e r i f i c a t i o n   F a c e   s i m i l a ri t i e s   U n r e s t r i c t e d   f a c e   F a c e   r e c o gn i t i o n   D e e l e a rni n g   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   F a d h l a n   H a f i z h e l m i   K a m a r u   Z a m a n,     F a c ul t y   of   E l e c t r i c a l   E n g i n e e ri n g,     U n i v e r s i t i   T e kn o l o gi   M A R A ,   40450   S h a A l a m ,     S e l a ngo r ,   M a l a y s i a .   E m a i l :   f a dhl a n@ s a l a m . ui t m . e du. m y       1.   I N TR O D U C TI O N   D ue   t o   t h e   a dv a n c e m e n t   o f   de e l e a rn i n g ,   t h e   qua l i t y   of   i m a ge   de t e c t i o n   a nd  r e c o gn i t i o n   ha s   b e e n   i n c r e a s i ng  f o r   t h e   pa s t   f i v e   y e a r s   [1 - 4] .   T h i s   a l s o   b e n e f i t s   t h e   f i e l o f   f a c e   r e c o gn i t i o n ,   w h e r e   t h e   pe r f o r m a n c e   of   f a c e   r e c o gn i t i o ha s   i n c r e a s e by   a   l a r ge   m a r gi [5 - 1 0] .   T h e   ke y   c h a l l e nge s   o f   f a c e   r e c o gn i t i o i un c o n s t ra i n e d   e n v i r o nm e nt   a r e   v a ri a t i o n s   i po s e s ,   i l l u m i na t i o n s ,   e xp r e s s i o n s ,   a ge s ,   m a ke ups ,   a n d   o c c l us i o n s .   F a c e   r e c o gn i t i o t a s b e c o m e s   i nh e r e nt l y   m o r e   di f f i c ul t   w h e f a c e s   t o   b e   r e c o gn i z e a r e   a c qu i r e i t h e   w i l d.   T r a d i t i o n a l l y ,   e xi s t i ng  m e t h o ds   ge n e r a l l y   a dd r e s s   t h e   f a c e   r e c o gn i t i o p r o b l e m   i n   t w o   s ubs e que n t   s t e ps   n a m e l y   (1)  f e a t u r e   e xt r a c t i o a nd   (2)   r e c o gn i t i o n.   I t h e   f e a t ur e   e xt ra c t i o s t a ge ,   a   v a ri a t i o o f   h a nd - c r a f t e f e a t u r e s   ha s   b e e n   s uc c e s s f ul l y   us e [11 - 1 4] .   A l t h o ug h   t h e s e   w o r ks   i n c l u de   l e a rni ng - b a s e f e a t u r e   e xt ra c t i o a pp r o a c h e s ,   e a c f e a t u r e   a r e   e xt ra c t e i ndi v i du a l l y   a n s e pa ra t e f r o m   e a c h   o t h e r,   t h us   s o m e   i m po rt a nt   c o rr e l a t i o n s   b e t w e e n   t h e   t w o   c o m pa r e i m a ge s   ha v e   be e n   l o s t   a t   t h e   f e a t u r e   e xt ra c t i o n   s t a ge .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   3 D e c e m be r   2 01 9   :     13 33   -   13 42   1334   A t   t h e   r e c o gn i t i o s t a ge ,   d i f fe r e nt   t y pe   of   c l a s s i f i e r s   c a b e   us e t o   e i t h e c l a s s i fy   e a c h   f a c e   t o   i t s   a c t u a l     i de nt i t y   [15,   16] ,   o r   j us t   de t e r m i n e   i t s   s i m i l a ri t y   by   s o m e   di s t a n c e   m e t r i c e s   [17 ,   18] .     Cu rr e nt   r e s e a r c h   i n   f a c e   r e c o gn i t i o n   ha s   p r o duc e a   f e w   o ut s t a n di ng  n o v e l   f r a m e w o r o D e e N e t w o r a r c hi t e c t u r e s .   D e e p F a c e   n e t w o r i n v o l ve s   m o r e   t ha n   1 20  m i l l i o pa ra m e t e r s   us i n g   s e v e r a l   l o c a l l y   c o n n e c t e l a y e r s   w i t h o ut   w e i gh t   s h a ri n g ,   ra t h e r   t h a t h e   s t a n d a r d   c o n v o l ut i o n a l   l a y e r s   [19] .   F a c e N e t   us e s   a   de e c o n v o l ut i o n a l   n e t w o r t ra i n e t o   di r e c t l y   o pt i m i z e   t h e   f a c e   e m b e ddi n i t s e l f ,   r a t h e t ha n   a n   i n t e rm e di a t e   bo t t l e n e c l a y e r   a s   i p r e v i o us   de e l e a rni n g   a p p r o a c h e s   [20] .   T h e   b e n e f i t   o f   F a c e N e t   i s   m uc g r e a t e r e p r e s e n t a t i o na l   e ff i c i e n c y .   L i e t   a l .   p r o po s e a   t w o - s t a ge   a ppr o a c h   t h a t   c o m b i n e s   a   m u l t i - pa t c de e CN N   a n de e m e t r i c   l e a rn i ng,   w h i c h   e xt ra c t s   l o w   di m e n s i o n a l   b ut   v e r y   di s c r i m i na t i v e   f e a t ur e s   f o r   f a c e   ve r i f i c a t i o n   a n d   r e c o gn i t i o [2 1] .   D e e pID 3   a r c hi t e c t u r e s   a r e   r e b ui l t   f r o m   s t a c ke c o n v o l ut i o a n d   i n c e pt i o l a y e r s   p r o po s e d   i n   V G G   n e t   a nd   G o o gL e N e t   t o   m a ke   t h e m   s u i t a b l e   t o   f a c e   r e c o gn i t i o n .   J o i nt   f a c e   i de nt i f i c a t i o n - v e r i f i c a t i o s upe r v i s o r y   s i gn a l s   a r e   a dde t o   b o t h   i nt e rm e di a t e   a nd  f i n a l   f e a t u r e   e xt ra c t i o n   l a y e r s   duri n g   t ra i ni n [22] .   M o r e   r e c e n t l y ,   L e t   a l .   p r o po s e a   m e t h o b a s e o t w o   de e p   c o n v o l ut i o n a l   n e u ra l   n e t w o r ks   (CN N )   f o r   f a c v e r i f i c a t i o a n d   m a ke   us e   o f   i de n t i f i c a t i o s i g na l s   t o   s up e r v i s e   o n e   CN N   a n d   t h e   c o m b i n a t i o o f   s e m i - v e r i f i c a t i o a n d   i de nt i f i c a t i o n   t o   t ra i t h e   o t h e o n e   [10 ] .   N e ve r t h e l e s s ,   t h e r e   a r e   o f t e n   m i s c o n c e pt i o n s   a nd  m i s u n de r s t a n d i n gs   o n   t h e   t e r m s   f a c e   r e c o gn i t i o n,   f a c e   v e r i f i c a t i o n,   a n d   f a c e   i de nt i f i c a t i o n.   F a c e   r e c o gn i t i o n   i s   a   ge n e r a l   t o pi c   i t h e   f i e l d   o f   pa t t e rn  r e c o gn i t i o n ,   w h i c i n c l u de s   b o t h   f a c e   i de n t i f i c a t i o n   a n f a c e   v e r i f i c a t i o n   ( s o m e t i m e s   a l s o   r e f e r r e t o   a s   a ut h e n t i c a t i o n ) .   O o n e   ha n d ,   f a c e   i de nt i f i c a t i o n   i s   c o n c e rn e o de t e rm i ni n g   t he   i de nt i t y   of   a   pe r s o b a s e o n   t h e   i m a ge   o f   t h e   pe r s o n   (c l i e nt a ga i n s t   a l l   k n o w n   ( l a b e l l e d)  i m a ge s   i d a t a b a s e s   (ga l l e ri e s ).   It   i s   b a s i c a l l y   a n   a n s w e r   t o   t h e   que s t i o o f   w h o   t h i s   pe r s o i s ? .   T hi s   i s   a l s o   k n o w a s   o n e - to - m a n y   m a t c hi n g .   O t h e   o t h e h a nd,   f a c e   v e r i f i c a t i o n   i s   f o c us i n o v a l i d a t i n a   c l a i m e i de nt i t y   b a s e d   o n   t h e   i m a ge   o f   a   c l i e n t ,   b y   c o m pa ri n t h e   c l i e n t   a ga i n s t   a   r e gi s t e r e i m a ge   f r o m   ga l l e r y ,   w h o s e   i de nt i t y   i s   n o t   n e c e s s a r i l y   kn o w o l a b e l l e d.   T h e   r e s ul t   o f   f a c e   v e r i f i c a t i o n   i s   e i t h e r   a c c e pt i n o r   r e j e c t i n t h e   c l a i m e i de nt i t y .   T hi s   i s   a l s o   k n o w n   a s   o n e - to - o n e   m a t c hi n g .   T h e s e   t e rm i n o l o gi e s   a r e   i l l us t r a t e i F i g u r e   1.   I n   F i g u r e   1 ,   w e   a l s o   s h o w   t ha t   f a c e   ve r i f i c a t i o n   c a b e   a ppl i e a s   f a c e   i de nt i f i c a t i o by   c o m put i n g   t h e   c o n f i de n c e   l e v e l ,   w i t c o n di t i o t ha t   t h e   l a b e l   f o r   ga l l e r i e s   a r e   k n o w n .   O n e   o f   di s a dv a n t a ge   o f   f a c e   ve r i f i c a t i o i s   go o ge n e ra l i z a t i o n   i s   h a rde t o   a c hi e v e   c o m pa r e t o   f a c e   i de nt i f i c a t i o n .   H ow e v e r ,   t h e r e   a r e   s e v e r a l   a dv a nt a ge s   of   f a c e   ve r i f i c a t i o e m pl o y i n de e n e ura l   n e t w o r ks   w h i c i n c l ude s   (1)   N o   r e t ra i ni n g   r e qui r e o n c e   t h e   n e t w o r ge n e ra l i z e   w e l l   w i t h i s c o pe   of   t ra i ni n da t a ,   (2)   S i z e   o f   n e t w o r a n t r a i n i ng  d a t a   do e s   n o t   c h a nge   m uc h   e v e w h e a dd i n g   n e w   l a b e l l e i m a ge s   i n t o   g a l l e ri e s   fo r   n e t w o r i n f e r e n c e   s t a ge ,   a n d   (3)   Ca b e   e a s i l y   e xt e n de t o   s a t i s fy   o n e - to - m a n y   f a c e   r e c o gn i t i o by   us e   of  c o n f i de n c e   v a l ue O n   t h e   o t h e r   ha n d ,   f a c e   i de n t i f i c a t i o n ’s   a d v a n t a ge   i s   i t   i s   a   r e l a t i v e l y   s i m pl e a p p r o a c h   a n d   go o ge n e ra l i z a t i o i s   a l s o   r e l a t i v e l y   e a s i e t o   a c h i e v e .   H ow e ve r ,   t h e r e   a r e   s e v e r a l   di s a dv a n t a ge s   o f   f a c e   i de nt i f i c a t i o n   de pl oy e i n   de e n e u ra l   n e t w o r e n v i r o nm e n t ,   i n c l ud i n g   (1)   S i z e   o f   n e t w o r a n t r a i n i ng  d a t a   e xpa n ds   p r o po r t i o n a l   t o   n u m b e r   o f   l a b e l l e i de n t i t i e s   a n i m a ge s   i ga l l e r i e s ,   ( 2)  A   t r a i n e n e t w o r n e e t o   be   re - t ra i n e d   w h e a d di n g   n e w   l a b e l l e i de n t i t i e s   a n d   i m a ge s ,   a nd  (3 C a n   b e   a pp l i e t o   v e r i f i c a t i o c a s e ,   h o w e ve r ,   i t   i s   hi g hl y   pr o n e   t o   F a l s e   A c c e pt a n c e   of   Im po s t o r   (pe r s o n   n o t   r e gi s t e r e d/ a ut h o r i z e d)  a n F a l s e   R e j e c t i o n   o f   Cl i e n t   ( r e gi s t e r e d/ a ut h o ri z e d   pe r s o n ) .               F i g u r e   1 .   F a c e   V e r i f i c a t i o n   a n d   F a c e   Ide n t i f i c a t i o t e rm i n o l o gi e s   i l l us t ra t e d.   S h o w n   t o ge t h e i s   t h e   i m p l e m e nt a t i o n   o f   v e r i f i c a t i o a s   pa rt   o f   F a c e   Ide n t i f i c a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       L e ar ni ng   F ac e   S i m i l ar i t i e s   f or   F ac e   V e r i f i c at i on  us i ng   H y br i d   ( F adhl an  H a f i z h e l m i   Kam ar u   Z am an )   1335   T h us ,   to   r e duc e   t h e   ha s s l e   o f   r e t r a i ni n g   t h e   w h o l e   n e t w o r k   e a c t i m e   n e w   s a m p l e s   a r e   a dde d ,   w e   us e   f a c e   v e r i f i c a t i o n   a pp r o a c h   s i n c e   i t   p r o v i de s   m o r e   f l e xi b i l i t y   t o   t h e   n e t w o r a nd  da t a b a s e   e xpa n s i o n   do e s   n o t   r e qui r e   n e t w o r r e t r a i n i ng.   I t   c a a l s o   f ur t h e f a c i l i t a t e   o n e - to - m a n y   f a c e   i de n t i f i c a t i o w h i c c a b e   pe r f o r m e s i m pl y   by   t a ki n i n t o   c o n s i de r a t i o n   t h e   m a t c h i ng  i de nt i t i e s   a n d   t h e i c o n f i de n c e   l e v e l .   T h e   m a i c o n t ri b ut i o of   t hi s   pa pe r   i s   w e   o ut l i n e   t h e   m e t h o t o   c o n s t r uc t   4   di f f e r e n t   Co n v N e t   w h i c h   i s   us e t o   l e a rn  s i m i l a r i t y   of   pa i r   of   i m a ge s .   T h e s e   h y b r i Co n v N e t   a r e   c o m b i n e a t   t o p - l a y e r   l e v e l   a nd   c l a s s i f i e us i n g   b i n a r y - c l a s s i f i e r s .   W e   s h o w   t h e   pe r f o r m a n c e   of   M L P ,   S V M ,   N a t i v e   B a y e s   a n Co n v N e t   c l a s s i f i e r   i de t e r m i n i n g   w h e t h e a   p a i of  i m a ge s   c a b e   c o n s i de r e s h a ri n t h e   s a m e   i de n t i t y   o r   n o t .   W e   t e s t e di f fe r e nt   c o n f i gu r a t i o n s   o f   h ow   t h e   i m a ge   c a n   b e   pa i r e t o ge t h e r .   T h e   p a pe r   i s   o r ga ni z e a s   f o l l o w s .   S e c t i o n   p r e s e nt s   o ur  p r o po s e m e t h o ds .   S e c t i o n   di s c us s e s   t h e   r e s ul t s   o b t a i n e d   i s e v e r a l   e xpe r i m e nt s   a nd  S e c t i o 4   c o n c l ude s   t h e   p a pe r .       2.   R ES EA R C H   M ET H O D     P r e v i o us l y ,   h y b r i Co n v N e t   a pp r o a c h a s   b e e n   us e i [5]   w h e r e   t h e y   us e 12  Co n v N e t s   w i t h   8   c o m b i na t i o n s   o f   i m a ge   pa i r s ,   a rr a nge i l a y e r e c o n f i gu ra t i o n s .   T h e   c l a s s i f i e us e d   w a s   R e s t r i c t e d   B o l t z m a nn   M a c hi n e   (R B M ).   In   t hi s   w o r k,   w e   pr o po s e   a   m uc h   m o r e   c o m pa c t   Co n v N e t   w i t h   o n l y   i m a ge   pa i r   c o m b i na t i o n s   m o de l e by   s e pa ra t e   Co n v N e t s ,   w hi l e   a s s e s s i n g   t h e   pe r f orm a n c e   o f   d i f fe r e nt   i m a ge   pa i r   c o n f i gu ra t i o n s .   T h e   e l a b o r a t i o o e a c pa i r i ng  c o n f i gu ra t i o i s   g i v e n   i f o l l ow i n g   s ub s e c t i o n .   E a c Co n v N e t   i t hi s   w o r i s   c o n s t r uc t e d   us i ng   t h e   s a m e   l a y e r   c o n f i gu r a t i o n s ,   w h e r e   t h e   m a p   n u m b e r s   a n d   di m e n s i o n s   o f   t h e   i n pu t   l a y e r   a n d   a l l   t h e   c o n v o l ut i o n a l   a n d   m a x - po o l i ng  l a y e r s   a r e   s h o w n   i T a b l e   1.   A s   s h o w n   i T a b l e   1 ,   t h e   t o t a l   l a y e r s   f o r   e a c Co n v N e t   i s   2 l a y e r s ,   w h e r e   t h e   f i r s t   l a y e r   i s   i m a ge   i n put   l a y e r ,   t a ki ng  R G B   pa i i m a ge s   ha v i n g     w i dt a nd    h e i g ht   a s   i nput s   (v a r i e s   a c c o r di n t o   t h e   s i z e   o f   pa i i m a ge ).   T h e r e   a r e   7   2D   c o n v o l ut i o n a l   l a y e r s   i t o t a l   (f o l l ow e by   m a x - po o l i n g   l a y e r s w hi c e x t r a c t   t h e   r e l a t i o n a l   f e a t u r e s   f r o m   i m a ge   p a i hi e ra r c h i c a l l y .   T h e   m a s i z e   o f   e a c c o n v o l ut i o n a l   l a y e r s   v a ri e s   f r o m   8   t o   512,   i a s c e n d i n g   o r de o f   t h e   hi e ra r c h y .   F i n a l l y ,   t h e   e xt ra c t e f e a t u r e s   p a s s   3   f ul l y   c o n n e c t e l a y e r s   a nd   a r e   f ul l y   c o nn e c t e t o   n e u r o n s   i n   s o f t m a l a y e r   w h i c w i l l   g i v e   t h e   p r o b a b i l i t y   of   w h e t h e r   t h e   pa i r   i m a ge   b e l o n t o   t h e   s a m e   pe r s o n .   I t hi s   w o r k,   w e   us e   s i m i l a s i z e   f o r   M a x - P oo l i n g   l a y e r s   w h i c i s   2 × 2   w i t s t ri de   s i z e   of  2.   F o f a s t e c o m put a t i o o f   a c t i v a t i o n ,   i n s t e a d   o f   s i g m o i da l   a c t i v a t i o f un c t i o n ,   w e   us e   a   r e l a t i v e l y   s i m p l e Re L a c t i v a t i o n   f u n c t i o n   w hi c i s   de f i n e a s   f ( x )   =     m a x   ( x ,   0) .       T a b l e   1 T h e   de t a i l e d   pa ra m e t e r s   o f   Co n v o l ut i o a n d   P o o l i n g   l a y e r s .   L a y e r   T y p e   S i z e   /   S t ri d e   L a y e r   T y p e   S i z e   /   S t ri d e   L a y e r   T y p e   S i z e   /   S t ri d e   1   Im a g e   In p u t   × × 3   8   2 D   Co n v o l u t i o n   3 × 3 × 64   15   M a x - P o o l i n g   2 × 2   /   2   2   2 D   Co n v o l u t i o n   3 × 3 × 8   Ba t c h   N o r m a l i z a t i o n   +   R e L u   D ro p o u t   Ba t c h   N o r m a l i z a t i o n   +   R e L u   9   M a x - P o o l i n g   2 × 2   /   2   16   F u l l y   C o n n e c t e d   100   3   M a x - P o o l i n g   2 × 2   /   2   10   2 D   Co n v o l u t i o n   3 × 3 × 128   Re L u   +   D ro p o u t   4   2D   Co n v o l u t i o n   3 × 3 × 16   Ba t c h   N o r m a l i z a t i o n   +   R e L u   17   F u l l y   C o n n e c t e d   50   Ba t c h   N o r m a l i z a t i o n   +   R e L u   11   M a x - P o o l i n g   2 × 2   /   2   Re L u   +   D ro p o u t   5   M a x - P o o l i n g   2 × 2   /   2   12   2 D   Co n v o l u t i o n   3 × 3 × 256   18   F u l l y   C o n n e c t e d   2   6   2 D   Co n v o l u t i o n   3 × 3 × 32   Ba t c h   N o r m a l i z a t i o n   +   R e L u   19   S o ft m a x   2   Ba t c h   N o r m a l i z a t i o n   +   R e L u   13   M a x - P o o l i n g   2 × 2   /   2   20   T o p - L a y e r   Cl a s s i fi c a t i o n   2   7   M a x - P o o l i n g   2 × 2   /   2   14   2 D   Co n v o l u t i o n   3 × 3 × 256       E a c Co n v N e t   i s   t r a i n e d   us i n g   di f f e r e n t   b oo t s t ra p   o f   t r a i n i n g   d a t a   a c c o r di n g   t o   t h e i de s i g n a t e p a i r.   W h e n   t h e   s i z e   o f   t h e   i n pu t   r e gi o n s   c h a nge s   i di f f e r e n t   Co n v N e t ,   t h e   m a p   s i z e s   i n   t h e   f o l l ow i n g   l a y e r s   o f   t h e   Co n v N e t s   w i l l   c h a n ge   a c c o r di n gl y .   T o   i m p r o v e   t h e   ge n e ra l i z a t i o n   o f   t h e   Co n v N e t ,   da t a   a ug m e n t a t i o n   i s   e m pl oy e d,   w h e r e   t h e   t ra i ni n da t a   i s   a ug m e n t e w i t h   r a ndo m   i m a ge   s c a l i n a n X Y   t ra n s l a t i o n s .   T h e   o ut put   f r o m   S of t m a l a y e r   f r o m   a l l   Co n v N e t   a r e   c o n c a t e na t e t o ge t h e r   t o   f o r m   t h e   f i na l   hi g h - l e v e l   fe a t ur e s   o f   t h e   l e a rn e f a c e   s i m i l a r i t y .   T h e s e   fe a t u r e s   a r e   f e i n t o   s e v e r a l   t y pe s   of   c l a s s i f i e r s   t o   de t e r m i n e   w h e t h e r   t h e   l e a rn e f e a t ur e s   b e l o n t h e   s a m e   i de n t i t y   o r   n o t .   T h e   p r o po s e a r c hi t e c t u r e   o f   t h i s   h y b r i d   Co n v N e t   i s   i l l us t ra t e i F i g u r e   2   w h i l e   t h e   a r c h i t e c t u r e   f o r   e a c Co n v N e t   i s   s h o w n   i F i g u r e   3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   3 D e c e m be r   2 01 9   :     13 33   -   13 42   1336       F i g u r e   2.   T h e   p r o po s e a r c hi t e c t u r e   o f   t h e   h y b r i Co n v N e t   m o de l         F i g u r e   3 .   T h e   p r o po s e a r c hi t e c t u r e   o f   t h e   e a c Co n v N e t   m o de l .   F o r   s i m pl i c i t y ,   o n l y   2D Co n v o l ut i o n ,   F ul l y   Co n n e c t e a n S o f t m a x   l a y e r s   a r e   s h o w n .       A s   b i n a r y   c l a s s i f i e r ,   w e   us e   b i na r y - c l a s s i f i e r s   na m e l y   M ul t i - L a y e r   P e r c e pt r o (M L P ),   S uppo rt   V e c t o r   M a c hi n e ,   Co n v N e t   a nd  N a ï v e   B a y e s   c l a s s i f i e r s .   T he s e   t o l a y e r   c l a s s i f i e r s   a r e   us e t o   c l a s s i f y   t h e   f e a t ur e s   f r o m   e a c Co n v N e t   c o m b i n e d.   T h e   f e a t u r e s   of   t h e   C o n v N e t   i s   8   i n   d i m e n s i o n .   E a c f e a t ur e   v e c t o r   b e l o n gs   t o   e a c o ri gi na l   f a c e   p a i i s   f urt h e c o n c a t e na t e d   i t hi s   w a y ,   a s   s h o w n   i F i g u r e   4 .   A s   a   r e s u l t   o f   t h i s   c o n c a t e n a t i o n ,   e a c h   f e a t u r e   v e c t o r   n o w   h a s   64   d i m e n s i o f o r   e a c h   o ri gi na l   f a c e   pa i r .         F i g u r e   4.   Co n c a t e n a t i o n   o f   e a c h   Co n v N e t   f e a t ur e   t o   f o r m   a   f i na l   f e a t u r e   v e c t o r   f o r   e a c h   o r i g i n a l   f a c e   pa i r       M L P   c l a s s i f i e us e i t hi s   w o r k   e m pl o y s   s c a l e c o n j uga t e   gra di e n t   l e a rni n g   a l go ri t hm   a nd  ha s   100   hi dde n   n e u r o n s   w i t 2   o ut put   n e u r o n s .   S V M   c l a s s i f i e a nd  G a us s i a i s   s pe c i f i e a s   t h e   ke rn e l .   A n o t h e Co n v N e t   i s   a l s o   us e a s   c l a s s i f i e r,   w h e r e   i t   h a s   a   l a y e r   of   2D   c o n vo l ut i o n,   M a x - P o o l i n g   l a y e r s ,   a n l a y e r s   of   f ul l y   c o nn e c t e l a y e r s   ha v i n g   50   a n d   2   n e u r o n s   r e s pe c t i v e l y .   T h e   B a y e s   c l a s s i f i e o t h e   o t h e ha n d   us e s   N a ï v e   B a y e s   w i t h   b a g - of - t o ke n s   m o de l .   W e   us e   t hr e e   di f fe r e nt   i m a ge   pa i r i n g   c o n f i gu r a t i o n s   na m e l y   t h e   L a t e r a l   c o n f i gu r a t i o n ,   L a y e r e d   c o n f i gur a t i o n ,   a nd  S t a c c o n f i gu r a t i o n .   L a y e r e c o n f i gu r a t i o n   ha s   b e e n   us e p r e v i o us l y   w h e r e   i t   p r o duc e s   go o r e s ul t   [5] .   T h e   l a t e r a l   c o n f i gu r a t i o n   i s   c o n s t r uc t e by   s i m pl y   c o m b i n i n pa i o f   i m a ge s   h o r i z o n t a l l y   s i d e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       L e ar ni ng   F ac e   S i m i l ar i t i e s   f or   F ac e   V e r i f i c at i on  us i ng   H y br i d   ( F adhl an  H a f i z h e l m i   Kam ar u   Z am an )   1337   by   s i de .   T h e   l a y e r e c o n f i gura t i o i s   m a de   by   t a ki ng  t h e   g r a y s c a l e   i n t e n s i t i e s   o f   e a c h   i m a ge ,   a n d   t h e   a v e r a ge   of   t h e   t w o   gr a y s c a l e   i n t e n s i t i e s ,   a nd  c o m b i n i ng  t h e m   i n   3D   l a y e r s .   L e t     b e   t h e   gra y s c a l e   of   t h e   f i r s t   i m a ge   a n     b e   t h e   g ra y s c a l e   o f   s e c o n i m a ge ,   t h e   R G B   l a y e r e i m a ge   pa i   i s   de n o t e a s   (1) :     ( , , ) = ( , , +   2 )   (1)     M e a n w hi l e ,   t h e   s t a c k   c o n f i gura t i o i s   b ui l t   by   c o m b i n i ng  t h e   pa i r   o f   i m a ge s   i s t a c f a s h i o n     w h e r e   f i r s t   i m a ge   i s   v e rt i c a l l y   pl a c e d   a t   t h e   t o p   o f   s e c o n i m a ge .   T h e s e   t hr e e   c o n f i gu ra t i o n s   o f   i m a ge   p a i ri n g   s c h e m e s   a r e   s h o w n   i F i g u r e   5 .         Fi g u r e   5 .   3   f a c e   pa i c o n f i gu r a t i o n s   us e i n   t h i s   pa pe r:   ( a )   L a t e ra l ,   (b L a y e r e d,   a nd  ( 3)  S t a c c o n f i gur a t i o n s       F o r   t h o s e   4   h y b r i d   Co n v N e t ,   e a c o n e   o f   t h e m   w i l l   b e   us e t o   m o de l   t h e   s i m i l a ri t y   o f   i m a ge   p a i r,   c o n s t r uc t e d   by   d i f f e r e n t   po rt i o n s   o f   f a c i a l   i m a ge s .   T h e   po r t i o n s   a r e   s h o w n   i F i g u r e   6 .   I t h e   m e a nt i m e ,   t h e r e   a r e   di f f e r e n t   c o m b i na t i o n s ,   de n o t e a s   M 1   u n t i l   M 8 ,   f o rm e f r o m   e a c h   di f f e r e n t   po r t i o n   o f   f a c e   i m a ge .     T h e   8   di f f e r e n t   a rr a nge m e nt   o f   c o m b i n a t i o n s   o f   i m a ge   p a i r s   us e d   i t h i s   w o r (M 1     M 8)   a r e   s h o w i   F i g u r e   7 .   W e   w i l l   a l s o   e xa m i n e   t h e   pe r f o r m a n c e   o f   e a c Co nv N e t   m o de l l i n g   s i m i l a ri t y   f r o m   e a c f a c e   po r t i o n s   t o   de t e rm i n e   t h e   m o s t   di s c ri m i na t i v e l y   s ui t a b l e   po r t i o o f   f a c e   fo r   f a c e   v e r i f i c a t i o n.                   F i g u r e   6 .   4   f a c e   po r t i o n s   us e f o r   e a c h   Co n v N e t   F i g u r e   7 .   8   d i f fe r e nt   a rr a nge m e nt   o f   c o m b i n a t i o n s   o f   i m a ge   pa i r s   (M   M 8)   f o r m e f r o m   s i n g l e   o ri gi na l   f a c e   pa i a r e   s h o w n   us i ng  l a t e ra l   c o n f i gura t i o n s .   I m a ge s   a r e   f l i ppe d   a nd  c o m b i n e t o   f o r m   t h e s e   c o m b i n a t i o n s       T h e   pe r f o r m a n c e   m e a s u r e s   us e i n   e v a l u a t i n g   t hi s   p r o po s e d   m e t h o i s   b y   c o m put i n g   t h e   a c c ura c y ,   T r ue   P o s i t i v e   R a t e   (T P R ),   F a l s e   P o s i t i v e   (F P R a n P r e c i s i o n.   T P R   (a l s o   c a l l e t h e   s e n s i t i v i t y ,   t h e   r e c a l l ,   o pr o b a b i l i t y   o f   d e t e c t i o n   i n   s o m e   f i e l ds m e a s ur e s   t h e   p r o po r t i o n   o f   a c t ua l   po s i t i v e s   t ha t   a r e   c o r r e c t l y   i de n t i f i e d   a s   s uc h   (e . g. ,   t h e   pe r c e n t a ge   o f   i m a ge   pa i r   ha v i ng  s i m i l a r   i d e n t i t y   w h o   a r e   c o r r e c t l y   i de n t i f i e a s   ‘m a t c h e d’) .   F P R   o n   t h e   o t h e r   ha n d   m e a s u r e s   t h e   p r o po r t i o n   o f   pa i r   o f   i m a ge s   h a v i n di f f e r e n t   i de nt i t y   i n c o rr e c t l y   c l a s s i f i e d   a s   ha v i ng  s i m i l a r   i de n t i t y .   T N   i s   t h e   n um b e o f   pa i o f   i m a ge s   h a v i n g   di f f e r e n t   i de n t i t y   c o rr e c t l y   c l a s s i f i e a s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   3 D e c e m be r   2 01 9   :     13 33   -   13 42   1338   s uc h ,   w hi l e   F N   i s   t h e   num b e r   o f   i m a ge   p a i r   ha v i n d i f fe r e nt   i de n t i t y   w h o   a r e   i n c o rr e c t l y   i de n t i f i e a s   n o n - m a t c h e d’ .   P r e c i s i o i s   ra t e   o f   c o r r e c t l y   c l a s s i f i e m a t c hi n g   i de nt i t y   f r o m   t h e   w h o l e   s e t   c l a s s i f i e d   a s   h a v i n g   m a t c hi n g   i de n t i t y .   T h e   T P R   c a b e   c o m put e f r o m   (2)   w h i l e   F P R   c a b e   c a l c ul a t e d   f r o m   (3) .   P r e c i s i o a nd   t h e   ov e r a l l   a c c u r a c y   c a n   b e   de f i n e a s   (4 a n d   (5) .     T P R   =   T P   /   ( T P   + F N)   (2)     F P R   =   F P   /   ( F P   +   T N)   (3)     P r e c i s i on   =   T P   /   ( T P   +   F P )   (4)     A c c ur ac y   =   ( T P   + T N)   /   ( T P   +   T +   F P   +   F N)   (5)       3.   R ES U LTS   A N D   A N A L Y S I S   W e   e v a l ua t e   o ur  a pp r o a c o t h e   w e l l - k n o w n   L F W   da t a s e t   c o nt a i n i n g   7 , 701   i m a ge s   o f   4, 281   s ub j e c t s   us i n t h e   s t a n d a r i m a ge   r e s t r i c t e w i t h   n o   o ut s i de   i m a ge   p ro t oc o l   [23] .   T hi s   p r o t o c o l   de f i n e s   3, 000   po s i t i v e   pa i r s   a n 3 , 00 n e ga t i v e   pa i r s   i n   t o t a l   a n f u r t h e r   s pl i t s   t h e m   i n t o   10  d i s j o i n t   s ub s e t s   fo r   c r o s s   v a l i da t i o n .   E a c s ub s e t   c o n t a i n s   30 po s i t i v e   a nd  30 n e g a t i v e   pa i r s .   W e   di n o t   pe r f o r m   a n y   f a c e   a l i g nm e n t   o t h e   L F W   da t a s e t .   W e   a l s o   us e   t h e   Ce l e b F a c e s   A t t r i b ut e s   D a t a s e t   ( Ce l e b A f a c e   da t a s e t   w hi c h   c o n t a i n s   202 , 599   f a c e   i m a ge s   o f   10, 17 i de n t i t i e s   (c e l e b r i t i e s )   c o l l e c t e f r o m   t h e   Int e rn e t   [ 24] .   F o l l o w i n g   t h e   s t a n d a r d   e v a l ua t i o pr o t o c o l ,   i m a ge s   i n   Ce l e b A   a nd  L F W   a r e   di v i de i nt o   t r a i n i n g   a n d   t e s t   s e t s .   F u rt h e r m o r e ,   pe o pl e   i Ce l e b A   a n L F W   a r e   m u t ua l l y   e xc l us i v e   w h i l e   t h e   i de n t i t i e s   i n   t r a i ni n a n d   t e s t   s e t s   a r e   a l s o   s t r i c t l y   e xc l us i v e .   F r o m   10, 177   i de n t i t i e s   i Ce l e b A ,   5 , 901   i de nt i t i e s   ha v i n g   2   o m o re   i m a ge s   i t h e   da t a s e t   a r e   s e pa r a t e i n t o   t r a i n i ng  a n d   t e s t   s e t s ,   f o l l ow i n g   t h e   o ut l i n e d   p r o t o c o l   [24] .   E a c o f   t h e   5, 901   i de n t i t i e s   i t r a i n i ng   a n d   t e s t   s e t s   o f   Ce l e b A   a r e   p a i r e d   w i t a n o t h e i m a ge   w i t m a t c h i ng   i de n t i t y   a n d   n o n - m a t c hi n g   i de nt i t y .   T h us ,   f o e a c h   i de n t i t y ,   i t   w i l l   ha v e   t w o   pa i r s   o f   i m a ge s   ( m a t c hi n a n d   n o n - m a t c h i n g ).   I n   b o t L F W   a n d   Ce l e b A   da t a s e t s ,   i m a ge   c o m b i na t i o n s   a r e   f u r t h e r   f o r m e f o r   e a c h   po s s i b l e   f a c e   pa i r s   pe r   e a c h   Co n v N e t ,   t h us   t h e   t o t a l   n u m b e r   o f   pa i r s   i n   t h e   d a t a s e t   f o r   e a c Co n v N e t   i s   t h e r e f o r e   e xpa n de s uc h   a s   de s c r i b e i n   T a b l e   2.   F u r t h e rm o r e ,   f o r   a l l   f o ur   h y b r i Co n v N e t s ,   e a c h   w i l l   b e   t r a i n e o n   d i f f e r e n t   f a c e   po r t i o n s   f o r m e d.   I n   o u r   a pp r o a c h,   t h e   t r a i n i ng  s e t   i s   f ur t h e r   ra n do m l y   s pl i t   i n t o   t ra i ni n a n d   v a l i d a t i o n   s e t   w i t 7 0: 30  p r o po rt i o n s .   W e   pe r f o r m e t w o   e xpe r i m e nt s   w h e r e   t h e   f i r s t   e xpe ri m e nt   i n v e s t i g a t e s   t h e   pe r f o r m a n c e   o f   o u p r o po s e m e t h o i n   L F W   d a t a s e t   a nd  c o m pa r e s   a ga i n s t   s o m e   o t h e m e t h o ds .   I s e c o n d   e xpe ri m e n t ,   w e   pe r f o r m   f a c e   v e r i f i c a t i o n   o Ce l e b A   da t a s e t ,   a nd  c o m pa r e   t h e   pe r f o r m a n c e   of   f a c e   ve r i f i c a t i o n   o Ce l e b A   da t a s e t   us i n g   f a c e   s i m i l a r i t y   m o de l s   t r a i n e o n   L F W   da t a s e t   a n d   v i c e   v e r s a .   A l l   e xpe r i m e nt s   a r e   c a rri e d   o ut   o a   c o m put e r u nni n g   o I n t e l   i 7 - 670 0   CP U   @   3 . 40G H z   w i t 16  G B   o f   R A M   a nd  G T X   10 60  a s   t h e   m a i G P U .       T a b l e   2 .   N u m b e r   o f   f a c e   pa i r s   us e f o r   l e a rn i ng  f a c e   s i m i l a r i t i e s   i n   e a c Co n v N e t   D a t a s e t s   #   t ra i n   p a i r s   #   t e s t   p a i r s   T o t a l   P a i r s   P o s i t i v e   P a i r s   N e g a t i v e     P a i r s   P o s i t i v e   P a i r s   N e g a t i v e     P a i r s   L F W   8 6 , 4 0 0   8 6 , 4 0 0   9600   9600   1 9 2 , 0 0 0   Ce l e b A   3 9 , 2 3 2   3 9 , 2 3 2   7 , 9 7 6   7 , 9 7 6   9 4 , 4 1 6       T a b l e   3   s h o w s   t h e   pe r f o r m a n c e   o f   f a c e   v e r i f i c a t i o o L F W   t e s t   s e t   us i n g   L a t e r a l ,   L a y e r e a nd   S t a c k   pa i ri n g   c o n f i gu r a t i o r e s pe c t i v e l y .   B e s i de s ,   pe r f o r m a n c e   o f   e a c h   Co n v N e t   m o de l s   a r e   a l s o   s h o w n   a s   s e pa r a t e   v e r i f i c a t i o pe r f o r m a n c e .   A c c o r di n g   t o   t h e   r e s ul t s ,   L a t e r a l   pa i ri n g   c o n f i gu r a t i o de l i v e r s   t h e   b e s t   a c c u ra c y ,   F P R ,   T P R   a n P r e c i s i o n   c o m pa r e t o   t h e   o t h e r   p a i ri ng  c o n f i gura t i o n s .   L a t e r a l   pa i r i ng  c o n f i gu r a t i o c o n s i s t e n t l y   o ut pe r f o r m s   L a y e r e a n S t a c c o n f i gu r a t i o n,   w h e r e   i t   y i e l ds   0. 879   a c c ura c y   us i n M L P   c l a s s i f i e r ,   o ut pe r f o r m i n g   o t h e r s .   M L P   c l a s s i f i e r   a l s o   de l i v e r s   b e s t   a c c ur a c y   w h e n   c o m pa r e a g a i n s t   o t h e c l a s s i f i e r s ,   w h e r e   i t   o ut pe r f o r m s   S V M   b e s t   a c c ura c y   a t   0. 86 3,   B a y e s ’  a t   0 . 86 a nd  Co n v N e t ’s   a t   0. 8 60.   M L P   a l s o   y i e l ds   b e s t   F P R ,   w h e r e   i t   p r o duc e s   o n l y   0. 137  F P R ,   t h e   l o w e s t   c o m pa r e a g a i n s t   o t h e r   c l a s s i f i e r s .   P e r f o r m a n c e   c o m pa ri s o i t e rm s   o f   f a c e   v e r i f i c a t i o a c c u ra c y   b e t w e e n   t h e   t o p - l a y e r   c l a s s i f i e r s   a r e   f urt h e r   s h o w n   i de t a i l   a s   b a r   p l o t   i n   F i g u r e   8( a ) .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       L e ar ni ng   F ac e   S i m i l ar i t i e s   f or   F ac e   V e r i f i c at i on  us i ng   H y br i d   ( F adhl an  H a f i z h e l m i   Kam ar u   Z am an )   1339   T a b l e   3 .   F a c e   v e r i f i c a t i o t e s t   pe r f o r m a n c e   f o r   L F W   D a t a s e t   us i n L a t e ra l   p a i ri n g   c o n f i gura t i o n   M e t h o d   T e s t   P e r fo r m a n c e   A c c u ra c y   T P R   FPR   P re c i s i o n   L a t e ra l   L a y e re d   S t a c k   L a t e ra l   L a y e re d   S t a c k   L a t e ra l   L a y e re d   S t a c k   L a t e ra l   L a y e re d   S t a c k   Co n v N e t   M o d e l s   Co n v N e t   1   0 . 7 9 9   0 . 7 6 3   0 . 7 9 0   0 . 9 0 3   0 . 7 6 7   0 . 8 2 7   0 . 2 1 0   0 . 2 3 7   0 . 2 1 3   0 . 8 0 2   0 . 7 7 5   0 . 7 9 8   Co n v N e t   2   0. 799   0 . 7 0 3   0 . 7 8 8   0 . 8 2 7   0 . 8 1 3   0 . 8 2 0   0 . 2 0 3   0 . 3 0 5   0 . 2 1 5   0 . 8 0 8   0 . 7 1 1   0 . 7 9 6   Co n v N e t   3   0 . 7 6 3   0 . 6 4 2   0 . 5 7 4   0 . 8 5 0   0 . 6 0 7   0 . 5 9 0   0 . 2 4 2   0 . 3 5 6   0 . 4 2 7   0 . 7 7 1   0 . 6 5 8   0 . 5 8 9   Co n v N e t   4   0 . 8 1 1   0 . 7 2 4   0 . 7 7 8   0 . 8 8 3   0 . 7 3 0   0 . 7 7 7   0 . 1 9 4   0 . 2 7 6   0 . 2 2 2   0 . 8 1 7   0 . 7 3 7   0 . 7 8 9   T o p - L a y e Cl a s s i f i er   M L P   0 . 8 7 9   0 . 7 9 0   0 . 8 3 7   0 . 8 7 3   0 . 7 9 0   0 . 8 4 3   0 . 1 3 7   0 . 2 1 0   0 . 1 7 0   0 . 9 2 7   0 . 8 8 3   0 . 9 0 8   S V M   0 . 8 6 3   0 . 7 7 8   0 . 8 4 3   0 . 8 7 3   0 . 7 8 7   0 . 8 4 0   0 . 1 4 7   0 . 2 3 0   0 . 1 5 3   0 . 9 2 2   0 . 8 7 1   0 . 9 1 7   Ba y e s   0 . 8 6 2   0 . 7 7 7   0 . 8 4 1   0 . 8 7 0   0 . 7 8 9   0 . 8 4 0   0 . 1 4 7   0 . 2 3 0   0 . 1 6 2   0 . 9 2 2   0 . 8 8 1   0 . 9 0 9   Co n v N e t   0 . 8 6 0   0. 773   0 . 8 2 7   0 . 9 0 0   0 . 8 0 3   0 . 8 2 0   0 . 1 8 0   0 . 2 5 7   0 . 1 6 7   0 . 9 0 5   0 . 8 5 8   0 . 9 0 8       B a s e o n   T a b l e   3 ,   i t   i s   c l e a r   t h a t   Co n v N e t   c o n s i s t e n t l y   de l i v e r s   t h e   b e s t   i n di v i du a l   Co n v N e t   pe r f o r m a n c e ,   w h i l e   Co n v N e t   i s   t h e   w o r s t .   T h e   r e s ul t s   a l s o   h i g hl i g ht   t h a t   t h e   t o p - c l a s s i f i e a pp r o a c h   o ut pe r f o r m s   i n d i v i dua l   Co n v N e t   pe r f o r m a n c e .   T h e   b e s t   i m p r ov e m e n t   i a c c ur a c y   i s   a c h i e v e w h e c o m pa ri n t h e   M L P ’s   a c c ur a c y   (0. 879)  a ga i n s t   Co n v N e t   (0. 76 3)  i L a t e ra l   p a i ri n s c h e m e ,   M L P ’s   a c c ura c y   (0. 790)  a ga i n s t   Co n v N e t   (0. 64 2)  i L a y e r e s c h e m e ,   a n S V M ’s   a c c ura c y   (0. 843)  a ga i n s t   Co n v N e t   (0. 5 74)  i S t a c S c h e m e ,   w h e r e   t h e   i m p r o v e m e n t s   a r e   a r o und  1 1%,   15 a nd  27%   r e s pe c t i v e l y .   E v e n   w h e n   c o m pa ri n g   b e t w e e n   t o c l a s s i f i e r s ’  pe r f o r m a n c e   a ga i n s t   t h e   b e s t   i n di v i d ua l   Co n v N e t ,   t h e   i m p r o v e m e n t s   a r e   6% ,   3%   a n d   5%  r e s pe c t i v e l y   w h i c h   i s   qui t e   s i g n i f i c a nt .   T h e s e   r e s ul t s   po i nt   o ut   t ha t   t h e   h y b r i Co n v N e t   s c h e m e   i s   a b l e   t o   i m p r o v e   i ndi v i dua l   Co n v N e t ’s   pe r f o r m a n c e   by   c o m b i n i n g   t he m   a t   t h e   c l a s s i f i e r   l e v e l .           (a )   (b )   F i g u r e   8 .   ( a )   F a c e   v e r i f i c a t i o a c c ur a c y   fo r   a l l   di f f e r e n t   i m a ge   pa i c o n f i gura t i o n s   a n d   (b R e c e i v e r   O pe r a t i n g   C ha ra c t e ri s t i c   c u r v e   f o r   M L P ,   S V M ,   B a y e s   a n d   C o n v N e t   T o p - L a y e r   c l a s s i f i e us e i t hi s   pa pe r       F urt h e i n v e s t i ga t i o n   o t h e   r e s ul t s   i s   s h o w n   i F i g u r e   8(b )   a s   pe r f o r m a n c e   c o m pa ri s o n   b e t w e e n   t o p - l a y e r   c l a s s i f i e r s ,   m e a s u r e by   R e c e i v e r   O pe ra t i n g   C ha r a c t e r i s t i c s   (R O C)  c u r v e .   A c c o r di n t o   F i g u r e   9 ,   a s   w e   i m p r o v e   t h e   T P R ,   S V M   e m e rge s   a s   t h e   b e t t e c l a s s i f i e c o m p a r e t o   o t h e c l a s s i f i e r s ,   a s   i t   m a n a ge s   t o   s upp r e s s   t h e   r a t e   o f   F P R   f r o m   i n c r e a s i n f u r t h e r.   T h us ,   i f   w e   l oo fo r   b e t t e r   T P R   t o   F P R   pe r f o r m a n c e ,   S V M   i s   t h e   b e s t   c h o i c e .   S V M   y i e l ds   0. 99   T P R   a t   0 . 3   F P R ,   s u r p a s s i n M L P   a t   0. 96  T P R   f o r   t h e   s a m e   F P R .   S ub s e que n t l y ,   t h e   pe r f o r m a n c e   o f   o ur  m e t h o d   i s   c o m pa r e d   a ga i n s t   s e v e r a l   s t a t e - of - t h e - a r t s   t ha t   us e s   s i m i l a r e s t r i c t e d   i m a ge   w i t n o   o ut s i de   l a b e l   p r o t o c o l   a s   a do pt e i n   o u r   w o r k .   A c c o r di n g   t o   T a b l e   4 ,   o u r   m e t h o i s   o pa w i t s t a t e   o f   t h e   a r t s   s uc a s   R ob us t   S t a t i s t i c a l   F r o nt a l i z a t i o [2 5] ,   S p a r t a n s   [ 26] ,   a n d   E i ge n - P E P   [27] .   W h e n   c o m pa r e a g a i n s t   M R F - M L B P   [28] ,   o ur   m e t h o de l i v e r s   b e t t e r   r e s ul t s ,   a pp r o xi m a t e l y   %   b e t t e r   t ha M R F - M L B P   m e t h o d.   T o   s h o w   t ha t   o ur   a pp r o a c h   i s   m o r e   f l e xi b l e   i t e rm s   o f   i n f e re n c e   of   l e a rn e d   m o de l   o e xt e rna l   d a t a   t h a t   do e s   n o t   r e qui r e   r e t ra i ni n g   w h e n   a ddi ng  n e w   o ut - of - s a m pl e   i m a ge s ,   w e   pe r f o r m   a n o t h e e xpe ri m e n t .   W e   e xa m i n e   o u r   p r o po s e m e t h o o n   Ce l e b A   da t a s e t ,   w h e r e   f a c e   v e r i f i c a t i o n   i s   pe r f o r m e b a s e o n   t h e   m o de l s   l e a rn e f r o m   L F W   da t a s e t   a n d   v i c e   v e r s a .   T h e   r e s ul t s   a r e   s how n   i T a b l e   5 .   F r o m   t h e   r e s ul t s ,   t h e   a c c ur a c y   of  f a c e   v e r i f i c a t i o n   o n   Ce l e b A   da t a s e t   i s   j us t   s l i g ht l y   a ff e c t e by   t h e   us e   o f   L F W   m o de l .   It   de c r e a s e s   f r o m   0. 78 t o   0. 750 ,   h o w e ve r ,   t h e   T P R   i s   n o t   c h a n ge d .   F P R   o n   t h e   o t h e ha n i n c r e a s e s   s l i g ht l y   t oo   f r o m   0. 244  t o   0 . 309 .   In  L F W   da t a s e t ,   t h e   a c c ura c y   de c r e a s e s   by   7%  w h e us i ng   Ce l e b A   m o de l ,   a n d   s i m i l a rl y ,   t h e   T P R   i s   n o t   a f f e c t e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   3 D e c e m be r   2 01 9   :     13 33   -   13 42   1340   w i t h   F P R   s l i g ht l y   i n c r e a s e s   f r o m   0 . 137  t o   0. 2 80.   T h e   c o m pa ri s o n   b e t w e e n   t h e s e   m o de l s ’  pe r f o r m a n c e   i s   gi v e a s   R O c u r v e   i n   F i g u r e   9 .   E v e n   t h o ug h   t h e r e   i s   s l i g ht   pe na l t y   i n   a c c u r a c y   ob s e r v e d,   t h e y   a r e   s t i l l   a c c e pt a b l e ,   a n c o n s i de r i ng  t ha t   t h i s   c a r e m o v e   t h e   ha s s l e   o f   r e t r a i n i n t h e   w h o l e   m o de l s ,   t h i s   a pp r o a c i s   m uc h   m o r e   f l e xi b l e   a n d   e a s i e t o   b e   i m p l e m e nt e d.   P r o v i de t ha t   t h e   t ra i ni n g   d a t a   i s   l a r ge   e n o ug t o   m o de l   t h e   s i m i l a ri t y   c o m m o n l y   f o un i f a c e s ,   w e   e xpe c t   t h e   pe r f o r m a n c e   w o ul c o m pa r a b l e   i t h e   c a s e   o f   o ut - of - s a m pl e   i n f e r e n c i n g .       F i g u r e   9 .   R e c e i v e r   O pe ra t i n g   C ha r a c t e r i s t i c   c u r v e   fo r   M L P   c l a s s i f i e f o r   pe r f o r m a n c e   e v a l ua t i o o i n f e r e n c i n g   (t e s t i n g)   us i n g   d i f fe r e nt   s i m i l a ri t y   m o de l s .       T a b l e   4 .   F a c e   v e r i f i c a t i o pe r f o r m a n c e   c o m pa r i s o a ga i n s t   s t a t e - of - t h e   a rt s   o L F W   da t a s e t   w i t h   R e s t ri c t e Im a ge   p r o t o c o l   M e t h o d   A c c u ra c y   M RF - M L BP     0 . 7 9 0   E i g e n - P E P   0 . 8 8 9   S p a rt a n s   0 . 8 7 5   Ro b u s t   S t a t i s t i c a l   F r o n t a l i z a t i o n   0 . 8 8 8   H y b r i d   C o n v N e t   0 . 8 7 9       T a b l e   5 .   F a c e   v e r i f i c a t i o pe r f o r m a n c e   f o r   L F W   a n d   Ce l e b A   D a t a s e t   us i n g   e a c o t h e r ’s   m o d el   (D a t a s e t   (M o d e l )   T o p - L a y e r   Cl a s s i fi e r   T e s t   P e r fo r m a n c e   A c c u ra c y   T P R   FPR   P re c i s i o n   Ce l e b A   -   C e l e b A   M L P   0 . 7 8 2   0 . 8 0 9   0 . 2 4 4   0 . 8 6 4   S V M   0 . 7 8 5   0 . 8 1 2   0 . 2 4 1   0 . 8 6 6   Ba y e s   0 . 7 8 8   0 . 8 0 4   0 . 2 2 6   0 . 8 7 4   Co n v N e t   0 . 7 8 2   0 . 8 3 2   0 . 2 6 6   0 . 8 5 4   Ce l e b A   -   L F W   M L P   0 . 7 5 0   0 . 8 1 1   0 . 3 0 9   0 . 8 2 8   S V M   0 . 7 4 9   0 . 7 9 9   0 . 3 0 0   0 . 8 3 2   Ba y e s   0 . 7 4 8   0 . 7 8 7   0 . 2 8 9   0 . 8 3 7   Co n v N e t   0 . 7 3 8   0 . 8 2 5   0 . 3 4 8   0 . 8 0 9   L F W   -   L F W   M L P   0 . 8 7 9   0 . 8 7 3   0 . 1 3 7   0 . 9 2 7   S V M   0 . 8 6 3   0 . 8 7 3   0 . 1 4 7   0 . 9 2 2   Ba y e s   0 . 8 6 2   0 . 8 7 0   0 . 1 4 7   0 . 9 2 2   Co n v N e t   0 . 8 6 0   0 . 9 0 0   0 . 1 8 0   0 . 9 0 5   L F W   -   C e l e b A   M L P   0 . 8 0 8   0 . 8 9 6   0 . 2 8 0   0 . 8 5 2   S V M   0 . 8 0 3   0 . 8 9 6   0 . 2 9 0   0 . 8 4 7   Ba y e s   0 . 8 0 0   0 . 8 9 6   0 . 2 9 6   0 . 8 4 3   Co n v N e t   0 . 7 7 0   0 . 9 1 3   0 . 3 7 3   0 . 8 0 4       4.   C O N C LU S I O N   In   t h i s   pa pe r   w e   pr o po s e   a   f r a m e w o r o f   o ur   h y b r i Co n v N e t   a pp r o a c h   t o   l e a rn   f a c e   s i m i l a ri t y   b e t w e e n   i m a ge   p a i r s   f o f a c e   v e r i f i c a t i o n.   F a c e   v e r i f i c a t i o i s   f a v o r a b l e   ra t h e t ha t ra d i t i o n a l   f a c e   i de n t i f i c a t i o s i n c e   i t   c a n   p r o v i de   us   w i t h   m o r e   f l e xi b i l i t y   i i n f e r e n c i n g   t r a i ne m o de l s   o o ut - of - s a m pl e   d a t a .   W e   t ra i f o ur   i n di v i du a l   Co n v N e t   o s pe c i f i c   f a c e   po r t i o n s   t o   l e a rn  t h e i s i m i l a ri t i e s   a n d   c o m b i n e   t h e m   i nt o   a   f e a t u r e   v e c t o r   a t   t o p - l a y e r   c l a s s i f i e r .   T h e   m o de l   l e a rn s   d i r e c t l y   a n d   j o i n t l y   e xt ra c t s   r e l a t i o n a l   v i s ua l   f e a t ur e s   f r o m   f a c e   pa i r s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       L e ar ni ng   F ac e   S i m i l ar i t i e s   f or   F ac e   V e r i f i c at i on  us i ng   H y br i d   ( F adhl an  H a f i z h e l m i   Kam ar u   Z am an )   1341   unde r   t h e   s upe r v i s i o n   o f   f a c e   i de n t i t i e s .   d i f fe r e nt   p a i ri ng  s c h e m e s   n a m e l y   L a t e r a l ,   L a y e r e a n S t a c c o n f i gur a t i o n s   a r e   d i s c us s e d,   a n 4   di f f e r e n t   c l a s s i f i e r s   a r e   us e t o   l e a rn  t h e   hi g h - l e v e l   s i m i l a r i t i e s .   W e   us e   M L P ,   S V M ,   B a y e s   a n d   Co n v N e t   f o r   t h i s   pu r po s e .   B a s e o n   r e s ul t s   o b t a i n e d,   w e   s h o w e t ha t   t h e   h y b r i Co n v N e t   a pp r o a c c a n   i m p r o v e   t h e   pe r f o rm a n c e   o f   i n d i v i dua l   Co n v N e t   a s   m uc h   a s   2 7%.   E v e t h e   b e s t   pe r f o r m i ng  i n di v i du a l   Co n v N e t   c a n   s t i l l   b e   i m p r o v e by   3%   w h e us i n g   t h e   h y b r i s c h e m e   p r o po s e i n   t h i s   w o r k.   M L P   c l a s s i f i e y i e l b e s t   pe r f o r m a n c e   o f   0 . 8789   a c c ura c y   o L F W   da t a s e t ,   o p a w i t s e v e r a l   s t a t e - of - t h e   a rt s   i m p l e m e nt i ng  s i m i l a t e s t   p r o t o c o l .   W e   fo un t h a t   L a t e r a l   p a i ri n g   s c h e m e   de l i v e r s   t h e   b e s t   pe r f o r m a n c e   c o m pa r e t o   L a y e r e a n d   S t a c s c h e m e s .   W e   s h o w   t ha t   t h e   l e a rn e m o de l   c a n   b e   a ppl i e o ut s i de   t h e   da t a s e t   w h e r e   t h e   pe r f o r m a n c e   pe n a l t y   i s   m i ni m a l   w h i l e   t h e   i m pl e m e nt a t i o w i l l   b e   m o r e   f l e xi b l e .   O u r   p r o po s e d   a pp r o a c h   c a b e   i m p r o v e f ur t h e r   by   i n c r e a s i n t h e   num b e r   of   i n d i v i dua l   Co n v N e t s   a n f a c e   po r t i o n s   w hi c c a e nha n c e   t h e   i nh e r e n t   d i s c ri m i n a t i v e   a b i l i t y   l e a rn e d   by   s i m i l a ri t y   f e a t ur e s   f u r t h e r .   O t h e c l a s s i f i e s uc a s   J o i n t   B a y e s i a n   c l a s s i f i e w h i c h   t a ke   t h e   v a r i a n c e   o f   i n t ra   a nd  i nt e r - i de n t i t y   i nt o   c o n s i de ra t i o c a n   b e   us e t o   i m p r o v e   t h e   r e s ul t s   f u r t h e r .   J o i n t l y   t r a i n i ng  f a c e   s i m i l a r i t i e s   us i n v e ri f i c a t i o a nd  i de n t i f i c a t i o s i g na l s   u n de r   h y b r i a r c hi t e c t u r e   c a a l s o   i m p r o v e   t h e   o ve r a l l   r e s ul t s .       A C K N O WL ED G E M EN TS     T h i s   r e s e a r c i s   f un de d   by   I n s t i t ut e   o f   R e s e a r c M a na ge m e nt   a nd   I nn o v a t i o (IR M I) ,   U n i v e r s i t i   T e kn o l o gi   M A R A   (U i T M ),   S ha h   A l a m ,   S e l a n go r,   M a l a y s i a   u nde t h e   R e s e a r c G r a nt   S c h e m e   N o :   600 - IR M I/ D A N A   5/ 3/ B E S T A R (055 / 201 7).   T h e   a ut h o r s   a l s o   g r a t e f ul l y   a c kn o w l e dge   F a c ul t y   of   E l e c t r i c a l   E n gi n e e r i n g   U i T M   S ha A l a m   f o r   a l l   t h e   s up po r t   g i v e n   du ri n g   t hi s   r e s e a r c h .       R EF ER EN C ES     [ 1]   R .   G i r s h i c k,   J .   D o na hue ,   T .   D a r r e l l ,   a nd  J .   M a l i k ,   " R e g i o n - B a s e C o nvo l ut i o na l   N e t w o r ks   f o r   A c c ur a t e   O bj e c t   D e t e c t i o a n S e g m e nt a t i o n, "   I E E E   T r a ns a c t i on s   o P at t e r A na l y s i s   and   M ac h i ne   I nt e l l i ge nc e ,   v o l .   38 ,   no .   1 ,   pp .   142 - 158 ,   2016 .   [ 2]   J .   R e dm o a nd   A .   F a r h a di ,   " Y O L O v 3 :   A I nc r e m e nt a l   I m pr o v e m e nt , "   A r X i v   e - pr i n t s ,   v o l .   18 04 . 027 67,   2 018 .   [ 3]   Y .   L e C un ,   Y .   B e ng i o ,   a n d   G .   H i nt o n ,   " D e e p   l e a r n i ng , "   N at ur e ,   I ns i g ht   v o l .   521 ,   no .   755 3,   pp.   436 - 444 ,   05 / 2 8/ p r i nt   2015 .   [ 4]   L .   D e ng   a nd   D .   Y u,   " D e e L e a r n i ng :   M e t ho ds   a nd   A ppl i c a t i o ns , "   F ounda t i ons   a nd   T r e nd s   i n   S i g nal   P r oc e s s i n g,   v o l .   7,   pp .   3 - 4,   201 4.   [ 5]   Y .   S u n,   X .   W a ng ,   a n X .   T a ng ,   " H y br i D e e p   L e a r n i ng   f o r   F a c e   V e r i f i c a t i o n, "   i n   201 I E E E   I n t e r na t i ona l   C onf e r e nc e   on  C om put e r   V i s i on ,   2 013 ,   pp .   1 489 - 14 96.   [ 6]   C .   S z e g e dy   e t   al . ,   " G o i ng   de e pe r   w i t h   c o nvo l ut i o ns , "   i n   201 I E E E   C on f e r e nc e   on   C om pu t e r   V i s i on   an P at t e r R e c ogni t i on  ( C V P R ) ,   2 015 ,   pp.   1 - 9.   [ 7]   D .   Y i ,   Z .   L e i ,   S .   L i a o ,   a nd   S .   Z .   L i ,   " L e a r n i ng   F a c e   R e p r e s e n t a t i o f r o m   S c r a t c h, "   A r X i v   e - pr i n t s ,   201 4.   [ 8]   J .   C .   C h e n,   V .   M .   P a t e l ,   a nd  R .   C h e l l a ppa ,   " U nc o ns t r a i n e F a c e   V e r i f i c a t i o u s i ng   D e e C N N   F e a t ur e s , "   A r X i v   e - pr i n t s ,   v o l .   1 508 . 017 22 ,   2 015 .   [ 9]   Y .   S un ,   X .   W a ng ,   a nd   X .   T a ng ,   " D e e p   L e a r n i ng   F a c e   R e pr e s e nt a t i o by   J o i nt   I de nt i f i c a t i o n - V e r i f i c a t i o n, "   A r X i v   e - pr i n t s ,   v o l .   1 406 . 477 3,   20 14 .   [ 10]   X .   L u,   Y .   Y a ng ,   W .   Z h a ng ,   Q .   W a ng ,   a nd   Y .   W a ng ,   " F a c e   V e r i f i c a t i o w i t h   M ul t i - T a s k   a nd   M u l t i - S c a l e   F e a t ur e   F us i o n , "   E n t r o py ,   v o l .   19 ,   no .   5 ,   p .   2 28 ,   2 017 .   [ 11]   H .   V .   N g uy e a nd  L .   B a i ,   " C o s i n e   s i m i l a r i t y   m e t r i c   l e a r ni ng   f o r   f a c e   v e r i f i c a t i o n, "   pr e s e nt e a t   t h e   P r o c e e di ng s   o f   t h e   10t h   A s i a n   c o nf e r e nc e   o C o m pu t e r   v i s i o -   V o l um e   P a r t   I I ,   Q ue e n s t o w n,   N e w   Z e a l a nd,   2 011 .     [ 12]   F .   K a m a r uz a m a a nd  A .   A .   S ha f i e ,   " R e c o g ni z i ng   f a c e s   w i t no r m a l i z e l o c a l   G a bo r   f e a t u r e s   a nd  S pi k i ng   N e u r o P a t t e r ns , "   P at t e r R e c o gni t i on ,   v o l .   53 ,   pp .   102 - 115 ,   201 6.   [ 13]   W .   J .   L i ,   J .   W a ng ,   Z .   H .   H ua ng ,   T .   Z ha ng ,   a nd   D .   K .   D u,   " L B P - l i ke   f e a t ur e   ba s e d   o n   G a bo r   w a v e l e t s   f o r   f a c e   r e c o g ni t i o n, "   I n t e r nat i o nal   J our nal   o f   W av e l e t s   M ul t i r e s o l ut i o and   I nf or m a t i on   P r oc e s s i ng ,   v o l .   15 ,   no .   5 ,   S e p   2 017 ,   A r t .   no .   1 7500 49.   [ 14]   W .   L i ,   Y .   W a ng ,   Z .   X u ,   Y .   J i a ng ,   Z .   L u,   a nd   Q .   L i a o ,   " W e i g ht e d   c o nt o ur l e t   bi na r y   pa t t e r n s   a n i m a g e - ba s e d   f i s he r   l i n e a r   di s c r i m i na n t   f o r   f a c e   r e c o g ni t i o n, "   N e ur oc om pu t i n g,   v o l .   2 67,   no .   S upp l e m e nt   C ,   p p.   43 6 - 446 ,   2 017 / 12 / 06 /   2017 .   [ 15]   F .   K .   Z a m a n ,   A .   A .   S ha f i e ,   a n Y .   M .   M us t a f a h ,   " R o bus t   f a c e   r e c ogni t i o a g a i ns t   e xp r e s s i o ns   a nd  pa r t i a l   o c c l us i o ns , "   I nt e r n at i on al   J o ur n al   o f   A ut om at i on   an C om pu t i n g,   j o ur na l   a r t i c l e   v o l .   13 ,   no .   4,   pp .   31 9 - 337,   2 01 6.   [ 16]   H .   L i ,   F .   S h e n ,   C .   S h e n,   Y .   Y a ng ,   a n d   Y .   G a o ,   " F a c e   r e c o g ni t i o n   us i ng   l i ne a r   r e pr e s e nt a t i o e ns e m bl e s , "   P at t e r R e c ogni t i on,   v o l .   59 ,   p p.   72 - 87 ,   11 / /   2 016 .   [ 17]   M .   G u i l l a um i n ,   J .   V e r be e k,   a n C .   S c hm i d ,   " I s   t ha t   y o u?   M e t r i c   l e a r ni ng   a pp r o a c he s   f o r   f a c e   i de n t i f i c a t i o n, "   i 2 009   I E E E   12 t I n t e r na t i o na l   C o nf e r e nc e   on   C om put e r   V i s i on ,   2 009 ,   pp .   498 - 50 5.   [ 18]   C .   H ua ng ,   S .   Z h u,   a nd   K .   Y u ,   " L a r g e   S c a l e   S t r o ng l y   S upe r v i s e d   E n s e m bl e   M e t r i c   L e a r n i ng ,   w i t h   A ppl i c a t i o ns   t o   F a c e   V e r i f i c a t i o a nd   R e t r i e v a l , "   A r X i v   e - pr i n t s ,   v o l .   121 2. 6094 ,   201 2.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   3 D e c e m be r   2 01 9   :     13 33   -   13 42   1342   [ 19]   Y .   T a i g m a n,   M .   Y a ng ,   M .   R a nz a t o ,   a nd  L .   W o l f ,   " D e e pF a c e :   C l o s i ng   t he   G a t o   H um a n - L e v e l   P e r f o r m a nc e   i F a c e   V e r i f i c a t i o n, "   i 2014   I E E E   C onf e r e nc e   o C om pu t e r   V i s i on   and   P at t e r n   R e c og ni t i on ,   2 014 ,   pp .   1 701 - 170 8.   [ 20]   F .   S c hr o f f ,   D .   K a l e ni c he nko ,   a nd   J .   P h i l b i n ,   " F a c e N e t :   A   U ni f i e d   E m be dd i ng   f o r   F a c e   R e c o g ni t i o a n C l us t e r i ng , "   A r X i v   e - p r i nt s ,   v o l .   1 503 . 03 832 ,   2015 .   [ 21]   J .   L i u ,   Y .   D e ng ,   T .   B a i ,   Z .   W e i ,   a nd   C .   H ua ng ,   " T a r g e t i ng   U l t i m a t e   A c c ur a c y :   F a c e   R e c o g ni t i o n   v i a   D e e p   E m be dd i ng , "   A r X i v   e - p r i nt s ,   v o l .   1 506 . 07 310 ,   2015 .   [ 22]   Y .   S un ,   D .   L i a ng ,   X .   W a ng ,   a nd   X .   T a ng ,   " D e e pI D 3:   F a c e   R e c o g ni t i o n   w i t h   V e r y   D e e p   N e ur a l   N e t w o r ks , "   A r X i v   e - pr i n t s ,   v o l .   1 502 . 008 73 ,   2 015 .   [ 23]   G .   B .   H ua ng ,   M .   R a m e s h ,   T .   B e r g ,   a nd   E .   L e a r ne d - M i l l e r . ,   " L a be l e d   F a c e s   i n   t h e   W i l d:   A   D a t a ba s e   f o r   S t udy i ng   F a c e   R e c og ni t i o i U nc o ns t r a i ne d   E nv i r o nm e n t s , "   i " T e c hn i c a l   R e po r t   0 7 - 49, "   U n i v e r s i t y   of   M a s s a c hu s e t t s ,   A m he r s t 20 07 .   [ 24]   Y .   S u n,   X .   W a ng ,   a nd   X .   T a ng ,   " D e e L e a r ni ng   F a c e   R e pr e s e nt a t i o f r o m   P r e d i c t i ng   10 , 00 C l a s s e s , "   i n   20 14   I E E E   C onf e r e nc e   on   C om p ut e r   V i s i on  and   P at t e r n   R e c og ni t i on ,   2 014 ,   pp.   189 1 - 1898 .   [ 25]   C .   S a g o na s ,   Y .   P a n a g a ki s ,   S .   Z a f e i r i o u,   a nd   M .   P a nt i c ,   " R o bus t   S t a t i s t i c a l   F r o nt a l i z a t i o o f   H um a a nd  A ni m a l   F a c e s , "   I n t e r na t i ona l   J ou r na l   of   C om pu t e r   V i s i o n,   v o l .   1 22 ,   no .   2 ,   p p.   270 - 29 1,   20 17/ 04/ 01   201 7.   [ 26]   F .   J ue f e i - X u ,   K .   L uu ,   a n M .   S a v v i de s ,   " < i t a l i c > S pa r t a ns < / i t a l i c > :   S i ng l e - S a m pl e   P e r i o c ul a r - B a s e A l i g nm e nt - R o bus t   R e c o g ni t i o T e c hn i qu e   A ppl i e t o   N o n - F r o nt a l   S c e na r i o s , "   I E E E   T r an s ac t i ons   on  I m age   P r oc e s s i ng ,   v o l .   2 4,   no .   12 ,   pp .   4780 - 47 95,   2 015 .   [ 27]   H .   L i ,   G .   H u a ,   X .   S he n,   Z .   L i n,   a nd   J .   B r a nd t ,   " E i g e n - P E P   f o r   V i de o   F a c e   R e c o g ni t i o n, "   i n   s i a C onf e r e nc e   on   C om put e r   V i s i on  ( A C C V ) ,   20 14 .   [ 28]   S .   R .   A r a s h l o o   a nd  J .   K i t t l e r ,   " E f f i c i e n t   p r o c e s s i ng   o f   M R F s   f o r   un c o ns t r a i ne d - po s e   f a c e   r e c o g ni t i o n, "   i 2013   I E E E   Si x t h   I n t e r na t i ona l   C onf e r e nc e   o B i om e t r i c s :   T he or y ,   A p pl i c a t i on s   and   S y s t e m s   ( B T A S) ,   20 13,   p p.   1 - 8.       B I O G R A P H I ES   O F   A U T H O R S       F a d h l a n   H a f i z h e l m i   K a m a r Z a m a n   r e c e i v e t h e   B . S c   (H o n s . a nd  P . h D .   de g r e e s   f r o m   Int e rna t i o na l   Is l a m i c   U n i v e r s i t y   M a l a y s i a   i 2008   a n d   20 1 5 ,   re s pe c t i v e l y .   H e   i s   c u rr e nt l y   a   S e n i o L e c t ur e a t   D e pa r t m e nt   o f   Co m put e r   E n g i n e e ri n g,   U n i v e r s i t y   of   T e c hn o l o g y   M A R A ,   M a l a y s i a .   H i s   r e s e a r c i nt e r e s t s   a r e   i s u r v e i l l a n c e   s y s t e m ,   p a t t e rn  r e c o gni t i o n,   s i g n a l   a nd  i m a ge   p r o c e s s i n g,   a rt i f i c i a l   i n t e l l i ge n c e   a n d   c o m put e v i s i o n .   F a d hl a n   i s   a l s o   a   m e m b e r   o f   IE E E ,   M a l a y s i a n   B o a r o f   T e c h n o l o gi s t   ( M B O T ),   a n a   C ha r t e r e d   E n gi n e e r   f r o m   t h e   I n s t i t ut i o o f   E ngi n e e ri n g   a nd  T e c hn o l o gy ,   U K .         J ul i a na   B i n t i   J o h a ri   i s   a A s s o c i a t e   P r o f e s s o r   i I n s t r u m e n t a t i o a nd   Co nt r o l   S y s t e m   E n gi n e e r i n g   a t   t h e   F a c ul t y   o f   E l e c t ri c a l   E n gi n e e r i n g   (F K E ) ,   U n i v e r s i t i   T e k n o l o gi   M a r a   (U i T M ).     S h e   r e c e i v e h e r   P h. D .   i M i c r o e n g i n e e r i ng  a n d   N a n o e l e c t r o n i c s   f r o m   U n i v e r s i t i   K e b a ngs a a M a l a y s i a ,   M S c   i B i o m e di c a l   E ngi ne e r i n g   f r o m   U ni v e r s i t y   o S urr e y ,   U n i t e d   K i n gdo m   a nd  B . E n g .   (H o n s . i E l e c t r i c a l   a n d   E l e c t r o n i c s   E n g i n e e r i ng   f r o m   U n i v e r s i t y   of   S t r a t h c l y de ,   U n i t e K i ngdo m .   H e r   r e s e a r c i nt e r e s t s   a r e   i M i c r o e l e c t r o m e c h a ni c a l   S y s t e m s   (M E M S ),   M i c r o f l ui di c s ,   B i o m e di c a l   E n gi n e e r i n g ,   A r t i f i c i a l   I n t e l l i ge n c e   a n E n gi n e e r i ng  E d uc a t i o n .   J ul i a na   i s   a l s o   a   S e n i o r   M e m b e r   o f   In s t i t ut e   o f   E l e c t r i c a l   a n d   E l e c t r o ni c s   E ngi n e e r s   (I E E E )   a nd  a   C h a rt e r e d   E ngi n e e r   f r o m   t h e   I n s t i t u t i o o f   E n gi n e e r i n g   a nd  T e c hn o l o g y   (IE T ) ,   U n i t e d   K i n gdo m .         A hm a I hs a n   M o hd   Y a s s i n   r e c e i v e d   h i s   B . E ng .   d e g r e e   i n   E l e c t r i c a l   E ng i ne e r i ng   f r o m   t h e   U ni v e r s i t i   T un  H u s s e i n   O nn  M a l a y s i a .   H e   o bt a i n e hi s   M E ng   a nd  P hD   f r o m   t he   U n i v e r s i t i   T e kno l o g i   M A R A ,   M a l a y s i a .   H e   i s   c ur r e n t l y   a   S e ni o r   L e c t u r e r   i n   t h e   F a c ul t y   o f   E l e c t r i c a l   E ng i ne e r i ng ,   U n i v e r s i t i   T e kno l o g i   M A R A .   H i s   r e s e a r c i nt e r e s t   i nc l ude s   n e u r a l   ne t w o r k ,   de e p   l e a r n i ng ,   s y s t e m   i de nt i f i c a t i o n,   o pt i m i z a t i o a nd  bl o c kc ha i t e c hno l o gy .   D r   I hs a i s   a l s o   a   s e ni o r   m e m be r   o f   I E E E ,   a   P r o f e s s i o na l   E ng i n e e r   o f   t h e   B o a r d   o f   E ng i ne e r s   M a l a y s i a   a nd   a   C ha r t e r e d   E ng i ne e r   f r o m   t he   I ns t i t u t i o o f   E ng i n e e r i ng   a nd   T e c hno l o gy .           Evaluation Warning : The document was created with Spire.PDF for Python.