I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   18 ,   N o .   1 A p r i l   20 20 ,   p p.   1562 ~ 157 0   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 8 .i 1 . pp 156 2 - 1570             1562       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   m u l t i m o d a l   b i o m e t r i c   i d e n t i f i c a t i o n   s y st e m   b a sed  o n   c a s c a d e   a d v a n c e d   o f   f i n g e r p r i n t ,   f i n g e r v e i n   a n d   f a c e   i m a g e s       El   m e h d i   C h e r r at 1 ,   R ac h i d   A l ao u i 2 ,   H as s an e   B o u z ah i r 3   1 ,3 I S T I   L a bo r a t o r y ,   N a t i o na l   S c ho o l   o f   A ppl i e d   S c i e nc e s   ( E N S A ) ,   I bn  Z o hr   U n i v e r s i t y ,   M o r o c c o   2 L R I T   L a bo r a t o r y ,   F a c ul t y   of   S c i e nc e s ,   M o ha m m e d   V   U n i v e r s i t y ,   M o r o c c o   2 M U S I C S   T E A M ,   N a t i o na l   I ns t i t u t e   o f   P o s t s   a nd   T e l e c o m m uni c a t i o ( I N P T ) ,   M o r o c c o       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e M a 11 ,   2 019   R e v i s e J ul   21,   201 9   A c c e pt e S e 25,   201 9       I t hi s   pa p e r ,   w e   pr e s e nt   a   m ul t i m o da l   bi o m e t r i c   r e c og ni t i o s y s t e m   t ha t   c om bi ne s   f i ng e r pr i nt ,   f i ng e r v e i n   a nd  f a c e   i m a g e s   ba s e o c a s c a de   a dv a nc e a nd  d e c i s i o l e v e l   f us i o n.   F i r s t ,   i n   f i ng e r p r i nt   r e c og ni t i o s y s t e m ,   t he   i m a g e s   a r e   e nha nc e us i ng   g a bo r   f i l t e r ,   b i na r i z e a nd  pa s s e t o   t h i nn i n g   m e t ho d.   T he n ,   t he   m i nu t i a e   po i nt s   a r e   e x t r a c t e t o   i de nt i f y   t ha t   a n   i nd i v i dua l   i s   g e nui ne   o r   i m po s t o r .   I f i ng e r v e i r e c o g ni t i o s y s t e m ,   i m a g e   p r o c e s s i ng   i s   r e qu i r e us i ng   L i ne a r   R e g r e s s i o L i ne ,   C a nny   a nd  l o c a l   hi s t o g r a m   e qua l i z a t i o t e c hn i qu e   t o   i m pr o v e   be t t e r   t h e   qua l i t y   o f   i m a g e s .   N e xt ,   t h e   f e a t u r e s   a r e   o bt a i ne us i ng   H i s t o g r a m   o f   O r i e nt e G r a d i e n t   ( H O G ) .   M o r e o v e r ,   t he   C o nv o l ut i o na l   N e ur a l   N e t w o r ks   ( C N N )   a nd  t he   L oc a l   B i na r y   P a t t e r ( L B P )   a r e   a pp l i e t o   de t e c t   a n e x t r a c t   t he   f e a t u r e s   o f   t he   f a c e   i m a g e s ,   r e s pe c t i v e l y .   I a ddi t i o n,   w e   p r o po s e t hr e e   di f f e r e n t   m ode s   i o ur   w o r k.   A t   t he   f i r s t ,   t he   pe r s o i s   i de n t i f i e w he n   t he   r e c o g ni t i o s y s t e m   o f   o ne   s i ng l e   b i o m e t r i c   m o da l i t y   i s   m a t c he d.   A t   t h e   s e c o nd,   t he   f u s i o i s   a c hi e v e a t   c a s c a de   de c i s i o l e v e l   m e t ho ba s e o A N D   r ul e   w he t he   r e c og ni t i o s y s t e m   o f   b o t bi o m e t r i c   t r a i t s   i s   v a l i da t e d.   A t   t he   l a s t   m o de ,   t he   f us i o i s   a c c o m pl i s h e a t   d e c i s i o l e v e l   m e t ho ba s e o A N D   r ul e   us i ng   t hr e e   t y pe s   o f   bi o m e t r i c .   T he   s i m u l a t i o r e s u l t s   ha v e   de m o ns t r a t e t ha t   t he   pr o po s e f us i o a l g o r i t hm   i nc r e a s e s   t he   a c c ur a c y   t o   99, 43%   t ha t he   o t h e r   s y s t e m   ba s e o uni m o da l   o r   b i m o da l   c ha r a c t e r i s t i c s .   Ke y w or ds :   B i o m e t r i c   i de nt i f i c a t i o n   F a c e   r e c o gn i t i o n   F i nge r p ri nt   r e c o gn i t i o n   F i nge r v e i n   r e c o gn i t i o n   F us i o n   H O G   L B P   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   E l   m e h di   C h e rra t ,   IS T L a b o r a t o r y ,   N a t i o n a l   S c h o o l   o f   A ppl i e S c i e n c e s ,   Ib n   Z o hr  U n i v e r s i t y ,   A ga di r,   M o r o c c o .   E m a i l :   e l . c h e rra t @ g m a i l . c o m       1.   I N TR O D U C TI O N     In   r e c e nt   y e a r s ,   t h e   n e c e s s i t y   fo r   t h e   b i o m e t r i c   s y s t e m   h a s   b e e n   r a p i dl y   i n c r e a s e d.   T h e   b i o m e t r i c   r e c o gn i t i o i s   r e qu i r e t o   d i s t i ngui s o n e   i ndi v i du a l   f r o m   a n o t h e r   us i ng  m e a s u r a b l e   m o r p h o l o gi c a l   (s uc a s   f i n ge r p r i nt ,   f a c e ,   i ri s ,   e t c . o r   b e h a v i o r a l   (f o r   e xa m p l e   vo i c e ,   s i gn a t u r e ,   e t c . f e a t u r e s .   W i t h   t h e s e   c h a ra c t e ri s t i c s   i n c l udi n g   b e i n l e s s   s us c e pt i b l e   t o   ve r i f i c a t i o n   b e i n s t o l e n   o r   f o r go t t e n.   It   i s   us e f o r   c r i m i na l   i de nt i f i c a t i o n ,   i m m i g ra t i o n   a nd  na t u ra l i z a t i o n   s e r v i c e ,   s e c uri n a c c e s s   t o   b ui l di n gs   o r   pe r s o na l   o b j e c t s ,   s uppo r t i ng  a n o n y m o us   t ra n s a c t i o n s ,   e t c   [1 ] .   T h e   m o s t   c o m m o n   b i o m e t r i c   s y s t e m   i s   f i n ge r p r i nt   r e c o gni t i o n.   It   i s   c o n s i de r e a n   e xc e l l e nt   b i o m e t r i c   m o da l i t y   f o r   i de n t i f i c a t i o n   o r   v e r i f i c a t i o n   t h e   pe r s o n,   e s pe c i a l l y   i n   t h e   l a t e s t   s m a r t   p h o n e s   a n d   c o n s um e de v i c e s   [2,   3] .   Co m pa r e t o   o t h e r   b i o m e t r i c   t ra i t s ,   t h e   f i n ge r   v e i n   m o da l i t y   h a s   a c hi e v e p o pul a r i t y   i n   b i o m e t r i c   r e c o gn i t i o n   b e c a us e   of   t h e   v a r i e t y   a dv a n t a ge s   gi v e n   by   t h e s e   s y s t e m s   fo r   e xa m pl e ,   1)  t h e   v e i n   o f   e a c h   pe r s o a r e   c o m pl e t e l y   un i q ue   a n d i f f e r e n t   2)  i t   i s   i de nt i f i e a s   b e i n l e s s   pr o n e   t o   m o di fy   w i t h   a ge   a n d   g r o w t h     (3  t h e   f i n ge r   v e i n s   b i o m e t r i c   i s   e a s i l y   a c qui r e us i n s e n s o r   c a pa b l e   of  c a pt ur i ng  o r   t h e   N IR   (N e a r - I n f ra r e d)  Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   m u l t i m odal   b i om e t r i c   i d e n t i f i c at i on  s y s t e m   bas e o c as c a de   a dv an c e o f   f i n ge r p r i n t   ( E l   m e hdi   Ch e r r at )   1563   l i g ht   s o ur c e   4)  t h e   v e i n   s t r uc t u r e   i s   h i dde n   i n s i de   t h e   s k i n .   T h us ,   t h e   po s s i b i l i t y   of   s p oo t h e   hum a n   r e c o gn i t i o s y s t e m   i s   v e r y   c o m pl e [4] .   F a c e   r e c o gn i t i o n   i s   a   b i o m e t r i c   r e c o gn i t i o t e c hn o l o g y   b a s e o n   h um a n   f a c i a l   f e a t u r e   i n f o r m a t i o fo r   i de n t i f i c a t i o n   o r   v e r i f i c a t i o n.   T h e   a l go r i t hm s   us i n f a c i a l   r e c o gn i t i o n   a r e   s e n s i t i v e   t o   v a r i a n c e   i n   f a c i a l   e xpr e s s i o n s   a n a c c e s s o r i e s ,   u n c o n t r o l l e d   i l l um i n a t i o n,   po s e s .   In   t h i s   r e ga rd,   hum a n   a nd  c o m put e pe r f o r m a n c e   o n   f a c i a l   i de n t i f i c a t i o n   i s   a   r e s e a r c h   t o pi c   w i t h   b o t h   s c i e n t i f i c   r e s e a r c h   v a l ue   a nd  w i de l y   a ppl i c a t i o n   p r o s pe c t s   [5] .   T h e   ge n e r a l   s t r uc t u r e   o f   b i o m e t r i c   r e c o gn i t i o n   s y s t e m   c o n s i s t s   of   fo ur   m a i n   s t e ps .   I n   t h e   f i r s t   o n e ,   t h e   a c qui s i t i o o f   b i o m e t r i c   i m a ge   i s   p r o c e s s   of   ge t t i n a   di g i t a l i z e i m a ge   o f   a   pe r s o n   us i n s pe c i f i c   c a pt u r i ng  de v i c e .   In  t h e   s e c o n s t e p,   t h e   p r e - p r o c e s s i n i s   a l l o w e t o   i m p r o ve   ov e r a l l   q ua l i t y   of   t h e   c a pt u r e i m a ge   a n t o   c o r r e c t   i t s   o r i e n t a t i o n .   A f t e r   t h a t ,   t h e   r e gi o o f   i nt e r e s t   i s   l o c a l i z e d.   I t   i s   t h e   p r o c e s s   of   o b t a i ni n a l l   i m po r t a nt   da t a   n e e de f o r   r e c o gn i t i o n.   I t h e   n e xt   s t e p,   t h e   f e a t u r e s   i n f o r m a t i o n   a r e   e xt ra c t e us i n g   di f fe r e nt   a l go r i t hm s .   In   t h e   l a s t   s t e p,   ge n e r a l l y ,   t h e   m a t c hi n o f   t h e   e xt r a c t e c h a ra c t e r i s t i c s   i s   a ppl i e i n   o r de t o   pe r f o r m   t h e   r e c o gn i t i o o f   t h e   pe r s o n.   T h e   m u l t i m o da l   b i o m e t ri c s   c o m b i n e s   t w o   o r   m o r e   d i f fe r e nt   b i o m e t r i c   m o da l i t i e s   a n d   r e duc e s   c e r t a i l i m i t a t i o n s   o s y s t e m s   b a s e d   o n   o n e   m o da l i t y   s uc h   a s   s p oof   a t t a c ks , n o n - u ni v e r s a l i t y ,   n o i s e   i n   s e n s e da t a ,   i n t e r - c l a s s   s i m i l a ri t i e s   a n d   i nt r a - c l a s s   v a r i a t i o n s .   T hus ,   t h e   r e c o gn i t i o s y s t e m   b a s e o n   f us i o n   o m ul t i b i o m e t ri c   i s   m o s t   r e c o m m e n de f o r   s i gni f i c a nt l y   i m prov i n t h e   s y s t e m   pe r fo r m a n c e   a n r e duc i ng  t h e   e rr o r   r a t e   t h e   i de n t i f i c a t i o n   o r   v e r i f i c a t i o n   of   t h e   i n d i v i dua l .   T h i s   f us i o n   c a n   b e   a ppl i e a t   t h e   s e n s o r   l e v e l ,     t h e   f e a t ur e   e xt r a c t i o n   l e v e l ,   t h e   m a t c hi n g - s c o r e   l e v e l ,   ra n l e v e l   a n a t   t h e   de c i s i o n   l e v e l .   T h e   m u l t i m o da l   b i o m e t r i c   s y s t e m s   a r e   c l a s s i f i e a s   m ul t i - i n s t a n c e ,   m ul t i - s e n s o r ,   m u l t i - a l go r i t hm ,   m ul t i - m o da l   a n h y b r i s y s t e m s   [6] .   M a n y   t e c h n i que s   h a v e   b e e n   p r o po s e of   t h e   m u l t i m o da l   b i o m e t ri c s   s y s t e m .   R o s s   e t   a l   p r e s e nt e di f fe r e nt   l e v e l s   of   f us i o n   a n s c o r e   l e v e l   f us i o n   o n   t h e   m ul t i m o da l   b i o m e t r i c   s y s t e m   [6] .   S i n g h. a l   p r o po s e d   b i o m e t r i c   r e c o gn i t i o n   s y s t e m   b a s e o n   f a c e   c o m b i n i n v i s i b l e   a n t h e rm a l   I n f ra r e (IR i m a ge s   a t   s e n s o l e v e l   [7] .   C o nn a u g h t o n   e t   a l .   h a v e   be e n   s ubj e c t e a   f us i o n   of  f a c e   a n i r i s   [8] .   R o s s   e t   a l .   pr e s e nt e h a nd  a n d   f a c e   c o m b i n e a t   f e a t u r e   l e v e l .   M o r e ove r ,   t h e   e xpe ri m e n t s   w e r e   a ppl i e i n   t hr e e   di f fe r e n t   s c e na r i o s   [9] .   D i f fe r e n t   f us i o n   t e c hni que s   a nd  n o r m a l i z a t i o n   m e t h o ds   o f i n ge r p r i n t ,   ha n ge o m e t r y   a n d   f a c e   b i o m e t r i c   s o ur c e s   a r e   a c h i e v e by   J a i n . a l   [10] .   A n o t h e r   m u l t i m o da l   b i o m e t r i c   s y s t e m   b a s e o n   m u l t i - i n s t a n c e   i r i s   r e c o gn i t i o n   s y s t e m   us i n a   f us i o n   o f   r i g h t   i r i s   a nd  l e f t   i ri s   f o r   t h e   s a m e   i n d i v i dua l   i s   s t udi e by   W a n e t   a l .   [11] .   J a i e t   a l .   i nt r o duc e a   m u l t i m o da l   b i o m e t ri c   s y s t e m   us i ng  f a c e ,   f i n ge r p ri n t ,   a n v o i c e   [12] .   Y a n g   e t   a l .   pr e s e nt e a   m ul t i - b i o m e t r i c   s y s t e m   c a n c e l a b l e   us i n f i nge r p r i n t   a nd  f i n ge r - v e i n,   w h i c h   c o m b i n e s   t h e   m i n u t i a   po i n t s   o f   f i n ge r p ri nt   a nd  f i nge r - v e i n   i m a ge   f e a t ur e   b a s e on   a   f e a t u r e - l e v e l   of   t hr e e   f us i o n   t e c hn i q ue s   [13] T h e   f us i o n   m ul t i m o da l   b i o m e t r i c   s y s t e m   b a s e o n   f i n ge r p ri nt   a n f i n ge r - v e i a t   s c o r e   l e v e l   us i n g   f o ur   s c o r e   f us i o n   a pp r o a c h e s   (m i n   s c o r e ,   m a s c o r e ,   s i m p l e   s um ,   us e r   w e i gh t i ng)  a nd  t hr e e   s c o r e   n o rm a l i z a t i o t e c hn i q ue s   (m i n - m a x ,   z - s c o r e ,   h y pe r b o l i c   t a n ge n t )   i s   de v e l o p e by   V i s h i   e t   a l .   [1 4] .   T h e   r e s t   o f   t h e   pa pe r   i s   s e pa ra t e i n t o   f o ur   s e c t i o n s .   S e c t i o n   d i s c us s e s   t h e   p r o po s e a l go r i t hm .   E xpe r i m e nt a l   r e s ul t s   ha v e   b e e n   a na l y s e a n d i s c us s e i S e c t i o n   3.   F i n a l l y ,   t h e   c o n c l us i o n   i s   p r e s e nt e i t h e   l a s t   s e c t i o n.       2.   P R O P O S ED   M ETH O D     In  f i r s t   l e v e l   o f   o ur   a l go ri t hm ,   f i n ge rp r i nt   i m a ge   i s   e nha n c e us i n g   ga b o r   f i l t e t e c hni que ,   b i na r i z e a n p a s s e t o   t hi nni n a l go r i t hm   [ 15] .   T h e n,   t h e   f e a t u r e s   po i n t s   a r e   e xt r a c t e us i ng  r i dge   e n d i n a n d   b i f ur c a t i o n   u n i f o r m l y   n a m e l y   m i n ut i a e .   I n   t h e   f i na l   s t e p ,   t h e   c o m pa r i s o o f   m i n u t i a e   i n f o r m a t i o n   p r o v i de d   f r o m   t h e   r e gi s t e r e da t a b a s e ,   a n t h e   que r y   f i n ge r p r i nt   i s   pr e s e nt e t o   t h e   m a t c hi n g.   I n   t h e   s e c o n l e v e l ,     t h e   L i n e a r   R e gr e s s i o n   L i n e   ha v e   b e e n   ut i l i z e t o   s o l v e   t h e   o r i e n t a t i o n   o m i s a l i g nm e n t s   o f i n ge r   v e i n   i m a ge s .   N e xt ,   t h e   r e gi o n   o f   i nt e r e s t   o f   i m a ge   i s   ob t a i n e us i n C a nn y   m e t h o [16] .   A f t e r   t h a t ,   t h e   hi s t o gra m   e qua l i z a t i o [17]   i s   a pp l i e t o   e nha n c e   t h e   c r o ppe f i n ge r   v e i i m a ge .   F u r t h e rm o r e ,   t h e   f e a t u r e s   e xt ra c t e i s   b a s e o n   H i s t o gr a m   of   O r i e nt e G r a d i e n t   a l go r i t h m   [1 8] .   I n   t h e   s y s t e m   b a s e d   o n   f a c e   r e c o gn i t i o n ,     t h e   Co n v o l ut i o na l   N e u r a l   N e t w o r ks   (CN N [19]   i s   a ppl i e t o   de t e r m i n e   t h e   s i z e   a nd  po s i t i o n   o f   t h e   f a c e   i t h e   i m a ge   i n   o r de r   t o   e xt r a c t   i n f o rm a t i o n s   due   t o   L o c a l   B i n a ry   P a t t e rn   (L B P m e t h o [20] .   F i na l l y ,   t h e   s c o r e s   pr o v i de a r e   c o m pa r e a n m a t c h e w i t h   s t o r e t e m pl a t e s   i n   t h e   da t a b a s e .   T h e   f us i o n   i s   a ppl i e a t   c a s c a d e   a dv a n c e de c i s i o n   l e v el .   T h e r f o r e ,   t h e   s e c o n l e ve l   w o r ks   o n l y   i t h e   f i r s t   l e v e l   i s   n o t   pa s s e d.   M o r e ove r ,     t h e   t h i r l e v e l   i s   e m pl oy e w h e n   t h e   pe r s o n   i s   n o t   i de n t i f i e us i n t h e   f i r s t   a n t h e   s e c o n l e v e l .   T h e   f i na l   f us i o n   i s   a c c o m pl i s h e a t   de c i s i o n   l e v e l   m e t h o b a s e o n   A N D   r ul e   us i n t hr e e   b i o m e t r i c s   s i g na t u r e s .   I n   t hi s   s e c t i o n ,   w e   de t a i l   t h e   pr o po s e t e c h ni que   w h i c h   i s   i l l us t ra t e i n   F i gu r e   1.   T h e   de t a i l s   o e a c h   ph a s e   a r e   r e p r e s e n t e d   i t h e   f o l l o w i n g.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     1562   -   1570   1564       F i gu r e   1 .   E f fe c t s   of   s e l e c t i ng  d i f f e r e n t   s w i t c h i n g   u n de dy n a m i c   c o n d i t i o n       2 . 1 .      F i n g e r p r i n t   R e c o gn i ti o n   S ys te m   2 . 1 . 1.     I m age   En h an c e m e n t   T o   ov e r c o m e   t h e   b a c kgr o u n n o i s e ,   n o n - u n i f o r m   i l l um i n a t i o n   a nd  l o w   c o n t r a s t   o f   t h e   f i n ge rp r i nt   i m a ge   c a pt u r e d,   t h e   p r e p r o c e s s i n i s   i m po r t a nt   s t e f o r   c ha r a c t e r i s t i c   e xt ra c t i o n   a n d   t h e n   t h e   m a t c h i ng.     T h e   m e a n   a n v a r i a n c e   a r e   us e t o   n o r m a l i z e   a n e s t i m a t e   t h e   o r i e nt a t i o n   o i n pu t   i m a ge .   A f t e r   t ha t ,     t h e   f r e que n c y   i m a ge   i s   c o m put e f r o m   w h i c h   t h e   r e gi o m a s k   i s   p r o v i de us i n g   b l o c c l a s s i f i c a t i o n   o r e s ul t e d   i m a ge .   T h e n,   ga b o r   f i l t e r s   a p pl i e t o   b i n a ri z e d   i m a g e .     2 . 1 . 2.     M i n u ti ae   F e atu r e   Ex tr a c ti o n   T h e   f e a t ur e s   po i n t s   a r e   e xt ra c t e f r o m   f i n ge rp r i nt   i m a ge   s uc h   a s   r i dge   e n di ng  a n b i f ur c a t i o n   uni f o r m l y   n a m e l y   m i n ut i a e .   B e fo r e   e xt r a c t i n g   t h e   m i n u t i a e ,   t h e   b i n a ri z a t i o n   m e t h o i s   a pp l i e d   us i ng  b l o c k   w i t h   s i z e   3 × 3.   T hi s   p r o c e s s   i s   t r a n s f o r m e t h e   b i t s   g r a y   i m a ge   t o   b i t   w i t h   v a l ue   f o r   t h e   v a l l e y s   a n 0   v a l ue   fo r   r i dge s   b a s e o n   a   g i v e n   t hr e s h o l d.   N e xt ,   m o r p h o l o gi c a l   t e c hn i que   p r o c e s s i n ( di l a t a t i o n   a n d   e r o s i o n i s   us e a s   po s t - p r o c e s s i n t o   a c hi e v e   m o r e   c o m pa c t   b l o c ks   fo r   r e duc i n g   t h e   n o i s e   r e gi o n.   M o r e o v e r ,   t h e   t h i nni n o pe ra t i o n   i s   a ppl i e t o   r e m o v e   b a s i c a l l y   t h e   r e du n da nt   pi xe l s   u n t i l   h a v i n a   s i n g l e   pi xe l   w i dt \ c i t e { Y a n g18} .   F i na l l y ,   t h e   b i f ur c a t i o n   a n e n di ng  po i nt s   a r e   de t e c t e by   c o m put i n b l a c pi xe l s   o f   8 - di r e c t i o n a l   n e a r e s t   f o r   e a c pi xe l   po i n t   i f i n ge rp r i nt   i m a g e .   If   t h e   c e n t ra l   p i xe l   i s   b l a c a nd  ha s   3   b l a c v a l ue s   n e a r e s t ,   t h e n   t h i s   p i xe l   i s   a   b i f ur c a t i o n.   W h e n   t h e   n u m b e r   o f   b l a c n e a r e s t   i s   j us t   1,   t h e   f e a t u r e   po i nt   i s   r e p r e s e n t e e n di ng.   T h e   c o n n e c t i o n   n um b e r   ( CN f o r   a   gi v e n   r i dge   c a n   b e   r e p r e s e n t e i n   5.   H e n c e ,   t h e   m i n u t e a   c ha r a c t e r i s t i c   e xt r a c t i o n   o f   f i n ge r p ri nt   pa t t e rn   i s   r e pr e s e nt e by   t h e   fo l l ow i n p a r a m e t e r s ,   1)  T y pe   of  t h e   r i d ge ,   2 x - c o o r di na t e ,   3)   y - c oo r di n a t e   4)   θ - o ri e nt a t i o n.                                            (1)     w h e r e   P i   i s   t h e   p i xe l   v a l ue   a t   i n de i   a n d   P 8 =P 0     2 . 1 . 3.    F e atu r e s   M ath c h i n g   T h e   m i n u t i a e   fe a t u r e   e xt ra c t i o n   o f   f i n ge rp r i nt   pa t t e rn   i s   r e p re s e n t e by   t h e   t y pe   of  r i dge ,   t h e   s pa t i a l   c oo r di n a t e s   x,   y   a nd  o ri e nt a t i o n   o f   m i n u t i a e   po i n t s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   m u l t i m odal   b i om e t r i c   i d e n t i f i c at i on  s y s t e m   bas e o c as c a de   a dv an c e o f   f i n ge r p r i n t   ( E l   m e hdi   Ch e r r at )   1565   T h e   E uc l i d i a n   di s t a n c e   i s   us e t o   f i n t h e   n u m b e r   o f   m a t c h e t w m i n ut i a e   pa i r s .   T h i s   d i s t a n c e   E i s   de s c r i b e a s   f o l l ow s   :         (           )                                       (2)     w h e r e   M i   a n M j   a r e   t h e   e xt ra c t e m i n ut i a e   p o i n t s   pa i r s   f r o m   t h e   t e m pl a t e   i n   t h e   e nr o l l e d a t a b a s e   a n t h e   i n put   que r y   f i n ge r p ri nt   i m a ge   r e s pe c t i v e l y .   T h e   s i m i l a ri t y   s c o r e   S Fs co re   b a s e o n   m i n u t i a e   po i n t s   b e t w e e n   t h e   que r i e a n s t o r e f i n ge r p r i nt   i m a ge s   i s   c a l c ul a t e us i n ( 3 ).                                     (3)     w h e r e   N m   i s   t h e   t o t a l   m a t c hi n o f   M i   a n d   M j N i   a n d   N j   a r e   t o t a l   n u m b e r   o f   M i   a n d   M j   r e s pe c t i v e l y .                                             (4)       (           )   {                                      (           )                            (           )                                                                                                                                                                                              (5)         (           )        (             |                     | )   (6)     w h e r e   r 0   i s   t h e   t o l e ra n c e   di s t a n c e   b e t w e e n   M i   a n M j .   A d   i s   t h e   s m a l l e r   d i r e c t i o n   d i f fe r e n c e   b e t w e e n   M i   a n d   M j   t h a a a n gu l a t o l e ra n c e   θ 0 .     2 . 2    F i n g e r v e i n   R e c o gn i ti o n   S ys te m   2 . 2 . 1.     O r i e n t ati o n   C o r r e c ti o n   In   t h i s   s e c t i o n ,   t h e   o b t a i n e r e gi o n   o f   f i n ge r   v e i n   i m a ge s   u s i ng  Ca nn y   m e t h o de   [16]   i s   n e e de t de t e r m i n e   t ha t   i m a ge s   a r e   o ri e nt e c o rr e c t l y   o r   n o t .   T h e   o r i e n t a t i o n   c o rr e c t e a ngl e   c a a f f e c t   t o   a c c ura t e l y   e xt ra c t   f e a t u r e   e xt ra c t i o n   a nd  m a t c h i ng.   T h e r e f o r e t h e   L i ne a r   R e gr e s s i o n   L i n e   i s   a pp l i e t o   c o m put e   t h e   e s t i m a t e o r i e nt a t i o n   a n gl e   θ   r e p r e s e n t e i n   t h e   F i gu r e   2.   F i r s t ,   a l l   m i ddl e   po i n t s   a r e   r e p r e s e n t e t h e   l i n e   f un c t i o n   o f   t h e   f i n ge r   v e i n   i m a ge ,   w hi c h   i s   de f i n e i n   (7) .   N e xt ,   t h e   o r i e n t a t i o n   a n g l e   v a l ue   θ   i s   c a l c ul a t e by   us i n g   (10) .   F i na l l y ,   t h e s e   i m a ge s   a r e   c o n s i de r e n o r m a l ,   i f   o ri e nt a t i o n   a n gl e   v a l ue   i s   e qua l   t o   0,   o t h e r w i s e   t h e   f i n ge r   v e i n   i m a ge   i s   n o t   c o r r e c t l y   o r i e nt e d.   T h e   F i gu r e   r e pr e s e nt s   t h e   r e s ul t s   o t h e   o r i e n t a t i o n     c o r r e c t e a n g l e .                  (7)                                                                     (8)                                                 (9)         {                                                                                                                                                      (10)     w h e r e   M   r e p r e s e nt   num b e o f   a n d   y .   T h e   a   p a r a m e t e i s   c om put e d   us i n g   (8) .           F i gu r e   2 O ri e nt a t i o a n gl e   de t e c t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     1562   -   1570   1566   (a )   (b )     F i gu r e   3 O ri e nt a t i o c o rr e c t i o o f   f i n ge v e i i m a ge   :   (a )   f i nge r   v e i n   i m a ge   d i s t o rt i o o ri e nt e d ,     (b f i n ge r   v e i i m a ge   o r i e nt e c o rr e c t l y       2 . 2 . 2.    R O I   D e te c ti o n   A f t e r   c o n t o u r   de t e c t i o n   a n o r i e n t a t i o n   c o rr e c t i o n,   e xt ra c t i o n   of   t h e   r e t a ngul a r   r e gi o n   o f   i n t e r e s t   (R O I)  i s   t h e   n e xt   s t e i n   t h e   p r e t r e a t m e nt   p r o c e s s   fo r   f i n ge r   v e i n   i m a ge s .   T h i s   o pe ra t i o n   a l l o w s   t o   l o c a t e   a n d   i s o l a t e   t h e   f i n ge r   a r e a   o f   t h e   i m a ge   a n d   r e m o v e   t h e   b a c kg ro un o f   t h e   i m a ge   ( u n de s i r e r e gi o n s ) .   I n de e d,     t h e   w i dt h   a n t h e   h e i g h t   o f   t hi s   r e gi o n   a r e   o b t a i n e by   t h e   v a l ue s   o f   m a xi m u m   a nd  m i n i m u m   a b s c i s s a   o f   t h e   pr o f i l e   o f   t h e   f i n ge r .   T h e   r e s ul t   o f   Ca nn y   e dge   de t e c t o r   a nd  R O o f   f i n ge v e i n   i m a ge   a r e   s h o w n   i F i g u r e   4 .         (a )     (b )       (c )     (d)     F i gu r e   4 .   I l l us t r a t i o o f   R O e xt r a c t i o a nd  p r e - p r o c e s s i n o f   f i n ge v e i i m a ge   :   ( a )   O r i g i n a l   i m a ge ,     (b Ca nn y   m e t h o d ,   (c R O de t e c t e d ,   (d)   R O p r e - p r o c e s s i n g       2 . 2 . 3.     Pre - P r o c e s s i n g   T o   ov e r c o m e   t h e   p r o b l e m s   of   l i gh t   d i s t u r b a n c e   a n n o i s e   i n   R O I,   i n   o r de r   t o   o b t a i n   a   u n i f o r m   i n t e n s i t y   di s t r i b ut i o n,   w e   us e   t h e   m e t h o o t h e   l o c a l   e qua l i z a t i o n   o f   t h e   h i s t o g r a m   [17] .   I n   f a c t ,   i t   m a ke s   i t   po s s i b l e   t o   i n c r e a s e   t h e   qua l i t y   of   t h e   i m a ge   a n t o   i m p r o v e   t h e   v i s i b i l i t y   of   t h e   ve i n s   i n   t h e   s e n s e   t h a t   t h e   pe r f o r m a n c e s   o f   t h e   f o l l o w i n p ha s e   a r e   m a xi m i z e d.   T h e   F i g ur e   4( d )   p r e s e n t s   R O c o n t r a s t   e nha n c e m e n t .     2 . 2 . 4.     H O G   F e atu r e   Ex tr ac t i o n   M e th o d   H O G   ( H i s t o gr a m   o f   O r i e n t e G ra di e n t s )   de s c r i p t o r   ha s   s h ow n   o ut s t a n d i n g   s uc c e s s   i n   r e c o gn i t i o s y s t e m .   H O G   h a s   b e e n   po pul a r   us e a s   o n e   o t h e   b e t t e r   fe a t u r e s   t o   a c qui r e   l o c a l   s ha pe   po i n t s   o r   t h e   e dge   [21 ] .   F o r   t h i s   a dv a n t a ge ,   t h i s   t e c hn i q ue   i s   a pp l i e i o ur   a l go ri t hm   f o r   f e a t ur e   e xt ra c t i o n   i n   o r de r   t o   r e c o gn i z e   t h e   pe r s o n.   T h e   H O G   o r i e n t a t i o n   o f   e a c h   c e l l ,   s m a l l   c o nn e c t e a r e a s ,   i s   s e pa ra t e d.   F o r   b e t t e r   c o m pe n s a t i n g   t h e   i l l u m i na t i o n ,   t h e   n o r m a l i z e hi s t o g ra m   i s   o b t a i n e b y   a c c um ul a t i ng  a   m e a s u r e   o f   t h e   l o c a l   hi s t o gra m   gra di e nt   o ri e nt a t i o o v e r   b l o c ks   b a s e o n   t h e   r e s ul t s   t o   n o rm a l i z e   e a c h   c e l l   i n   t h e   b l o c k.   T h e s e   hi s t o gra m s   a r e   c o m b i n e t o   r e p r e s e n t   t h e   H O G   fe a t u r e   [18] .   T h e   p r o c e s s   o f   e xt ra c t i n t h e   H O G   d e s c r i pt o r   i s   i l l us t r a t e   i n   F i gu r e   5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   m u l t i m odal   b i om e t r i c   i d e n t i f i c at i on  s y s t e m   bas e o c as c a de   a dv an c e o f   f i n ge r p r i n t   ( E l   m e hdi   Ch e r r at )   1567       F i gu r e   5 .   I l l us t r a t i o o f   H O G   de s c r i pt o r   e xt ra c t i o n       2 . 2 . 5.   F e atu r e s   C o m p ar i s o n   B e fo r e   t o   c o m put e   t h e   ge n e r a t e s i m i l a ri t y   s c o r e   b a s e o n   H O G   fe a t u r e s ,   H a m m i n d i s t a n c e s   D H   i s   c o m put e t o   m a t c s c o r e s   b e t w e e n   t h e   f i n ge r   v e i n   t e m pl a t e   s t o r e i da t a b a s e   a nd  t h e   i n p ut   t e s t   t e m pl a t e   a s   c a l c ul a t e d   us i n g   (1 1).   T h e   s i m i l a r i t y   s c o r e   o f   H O G   S H s co re   i s   gi v e n   by   (12).                                       (11)     w h e r e   F Ei   a nd  F Ti   a r e   t h e   e xt r a c t e d   H O G   f r o m   t h e   t e m pl a t e   i t h e   e nr o l l e d   d a t a b a s e   a n d   t h e   i n pu t   que r y   f i n ge v e i n   i m a ge   r e s pe c t i v e l y .                                    (12)     2 . 3    F ac e   R e c o gn i ti o n   S ys te m   2 . 3 . 1.     F a c e   D e t e c t i o n   T h e   f i r s t   t a s i n   f a c e   r e c o gn i t i o n   s y s t e m   i s   f a c e   de t e c t i o n .   T hi s   p r o c e s s   i s   us e t o   de t e c t   a n l o c a t e   f a c e s   i n   i m a ge s .   I o ur  r e s e a r c h ,   t h e   m a i nl y   r e a s o n   t o   us e   CN N   [19]  i s   o b t a i n e t h e   h i g h e pe r f o rm a n c e   a c c ur a c y   of   de t e c t i o n   [22] .   T a b l e   s h o w s   t h e   pe r f o r m a nc e   of   CN N   m e t h o a n o t h e r   t ra di t i o na l   f a c e   de t e c t i o n   t e c hni que s   s uc h   H a a r   [2 3] ,   L B P   [24]   a nd  H O G   b a s e o n   S V M   [25]   i n   t e rm   o f   f a c e   d e t e c t i o n   a c c ur a c y   r a t e   f o r   di f f e r e n t   f a c e s   da t a b a s e s .       T a b l e   1 .   Co m p a r i s o o f   F a c e   D e t e c t i o n   A c c ur a c y   R a t e   fo r   f or  D i f f e r e n t   F a c e s   D a t a b a s e s   D a t a Ba s e s   H a a r   L BP   HOG   CN N   D 1 [2 6 ]   7 8 , 5 6 %   7 2 , 6 3 %   9 2 , 1 2 %   100%   D 2 [2 7 ]   9 8 , 6 4 %   8 9 . 8 0 %   9 3 , 9 0 %   9 9 , 9 0 %       2 . 3 . 2.     L B P   F e atu r e   Ex tr ac ti o n   M e th o d   L B P   ( L oc a l   B i n a r y   P a t t e rn s m e t h o i s   o n e   o f   t h e   b e s t   pe r fo r m i ng  t e xt u r e   de s c r i pt o r s   a n w i de l y   us e i v a ri o us   a ppl i c a t i o n s .   It   i s   p r o po s e by   T .   O j a l a   e t   a l .   [28] .   By   de f i n i t i o n ,   t h e   L B P   o pe r a t o r   i s   r o b us t   a ga i n s t   m o n o t o n i c   (l i g h t i n c h a n ge s g r a y   s c a l e   t r a n s f o r m a t i o n s .   F o r   e a c h   p i xe l   o f   a n   i m a ge ,   a   b i n a r y   c o de   i s   pr o duc e t o   m a ke   a   n e w   m a t r i w i t t h e   n e w   v a l ue   (b i n a r y   t o   de c i m a l   v a l ue ).                                 (           )                     (13)     w h e r e   i s   s a m pl i n po i nt s   (e . g. ,   =   0 ,   1,   …,   f o r   a   w i n do w   s i z e   3x3) ,   r   i s   ra di us   f o r   w i n do w   s i z e   3x3,   N p   i s   n e i g h b o rh o o pi xe l s   v a l ue   a n d   N c   i s   c e nt e r   pi xe l   v a l ue .   T h e   b i n a r y   t hr e s h o l f u n c t i o g(x)  i s   r e p r e s e n t e a s   fo l l ow s :               {                                     (14)     In   L B P   m e t h o d,   t h e   f a c i a l   i m a ge   i s   d i v i de i n t o   l o c a l   r e gi o n s   a nd  L B P   t e xt ur e   de s c r i p t o r s   a r e   e xt ra c t e f r o m   e a c h   r e gi o n   i n de pe n de nt l y .   T h e   de s c r i pt o r s   a re   t h e n   c o n c a t e na t e t o   fo r m   a   gl o b a l   de s c r i pt i o n   of   t h e   f a c e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     1562   -   1570   1568   2 . 3 . 3.     F e atu r e s   M atc h i n g   T h e   s c o r e s   S L s co re   b a s e o n   L B P   m e t h o i s   o b t a i nt e us i ng  S V M   c l a s s i f i e r   i n   o r de t o   i de nt i fy   t h e   f a c e   i m a ge .   T hi s   t e c hni que   o m a c hi n e   l e a rn i n i s   us e t o   s e pa r a t e   t h e   gr o ups   w i t h   t h e   pl a n e   w h i c h   w i l l   ha v e   t h e   m a xi m u m   m a rgi (o pt i m a l   h y pe r pl a n e [26 ].     2 . 3 . 4.     F u s i o n   T h e   de c i s i o n - l e v e l   f us i o n   t ha t   i n t e g ra t e s   b i o m e t r i c   s i g na t u re s   i n   a   s i m pl e   a nd  s t r a i g ht f o r w a r w a y   c o m pa r e t o   o t h e r   t e c hn i que s .   W i t h   t h e s e   r e a s o n s ,   t h i s   s t ra t e gy   i s   e m pl oy e i n   t h e   p r o po s e m e t h o t s um m a r i z e   t h e   m ul t i p l e   r e s ul t s   o f   t h e   l o c a l   de c i s i o n s   c o m e   f r o m   t h e   t hr e e   p r e v i o us l y   m e n t i o n e s y s t e m s   i nt a   s i n g l e   ov e r a l l   r e s ul t .   I n   t h e   u ni m o da l   c a s c a de   m o de   CD   Mu l t i m o d al ,   t h e   us e r   i s   a u t h e n t i c   o n c e   t h e   de c i s i o n   o a n   i de n t i f i c a t i o n   s y s t e m   b a s e o n   a   s i n g l e   b i o m e t r i c   m o de   i s   v a l i da t e a c c o r di ng  t o   a   gi v e n   t hr e s h o l d.   I n   t h e   CD b i m o d al + ar   b i o m o da l   a n A n R ul e   c a s c a de   m o d e ,   t h e   de c i s i o n   i s   a c c e pt e a s   l o n a s   t h e   pe r s o n   i s   i de nt i f i e by   t w o   b i o m e t r i c   s y s t e m s   a c c o r di n t o   a   c o n d i t i o n .   I n   m ul t i m o da l   a n d   A n d   R ul e   c a s c a de   m o de   C D m u l t i m o d al + ar ,   t h e   i n d i v i dua l   i s   a i m po s t o r   i f   t h e   de c i s i o n   o f   a   s i n gl e   s y s t e m   i s   r e j e c t e d.   T h e s e   t hr e e   de c i s i o n s   a r e   p r e s e n t e b y   t h e   f o l l ow i n g:                              {                                                                           (15)                            {                                                                                                (16)                                 {                                                                           (17 )     w h e r e   D FP ,   D FV ,   D F   c o rr e s po n t o   t h e   de c i s i o n   t a ke r e ga r d i n g   t h e   pe r s o n   t o   b e   r e c o gn i z e i t h e   s y s t e m   o f i n ge r p r i nt s ,   f i n ge r v e i n s   a nd  f a c e s   r e s pe c t i v e l y .       3.   R ES U LTS   A N D   A N A L Y S I S     T h e   e xpe ri m e n t a l   o pe r a t i o pl a t f o r m   i t hi s   s t udy   i s   de s c r i b e a s   fo l l ow s :   t h e   h o s t   c o n f i gura t i o n:   CP U   In t e l   Co r e D uo   a t   2. 00  G H z ,   R A M   3. 0 G B ,   r u n t i m e   e n v i r o n m e n t :   M i c r o s of t   V i s ua l   S t udi o   C+ +   20 13  w i t h   O pe n CV   a n D l i b   l i b r a r y .   I n   o r de r   t o   v a l i da t e   t h e   p r o po s e a l go r i t hm ,   t h e   r e s ul t s   h a v e   b e e n   t e s t e o t h e   pub l i c   F i n ge r p r i nt   V e ri f i c a t i o n   Co m pe t i t i o n   2004  d a t a s e t   [29] ,   t h e   V E R A   F i n ge r v e i n   D a t a b a s e   [30]  a nd  T h e   A R   f a c e   da t a b a s e   [27 ] .   T h e   pe r f o r m a n c e   m e a s u r e   i s   a c c ura c y   ra t e   a s   de f i n e by   (15).                                                   (18 )     w h e r e   T N   (T r ue   N e ga t i v e   R a t e i s   t h e   pr o b a b i l i t y   of  a ut h o ri z e us e r s   t h a t   a r e   r e c o gn i z e c o r r e c t l y   ov e r   t h e   t o t a l   n u m b e r   t e s t e d,   T P   ( T r ue   P o s t i v e   R a t e de s c r i b e s   t he   pr o b a b i l i t y   of   a ut h o ri z e us e r s   t h a t   a r e   n o t   r e c o gn i z e o v e r   t h e   t o t a l   n u m b e r   t e s t e a n d   T o t a l N u m A cc  i s   t h e   t o t a l   n u m b e r   a c c e s s .   T a b l e   2   s h o w s   t h e   pe r f o r m a n c e   o f   a c c ur a c y   r a t e   b a s e o n   s i n g l e   b i o m e t r i c   s y s t e m   us i n f i n ge r p r i nt ,   f i n ge r v e i n ,   f a c e   i m a ge s   a n t h e   c a s c a de m u l t i m o da l   r e c o gn i t i o n   b i o m e t r i c   s y s t e m   us i ng  t w o   a n t hr e e   b i o m e t r i c   t ra i t s .   I n   c o m pa r i s o n   w i t h   s i n gl e   b i o m e t r i c   s y s t e m ,   o ur   p r o po s e a l go r i t hm   e s pe c i a l l y   w i t h   t h e   c a s c a de m ul t i m o da l   b i o m e t ri c   s y s t e m   us i n f i n ge r p r i nt ,   f i n ge r v e i n   a nd  f a c e   i m a ge s   s h o w s   s upe r i o r   pe r f o r m a n c e   i n   t e rm s   o a c c ur a c y   r a t e   w i t h   99, 4 3 w i t h   w he r e   f i n ge r p ri nt   us i n m i nut i a e   po i nt s ,   f i n ge r v e i us i n H O G ,   F a c e   us i n L B P ,   b i m o da l ,   m ul t i m o da l   c a s c a d e m o de   a n A n R ul e   gi v e   96, 40 % ,   97 , 34 90, 86 % , 99 , 03   a nd  96, 2 8%  r e s pe c t i v e l y .   W e   c a n   c o n c l ude   fr o m   t h e s e   r e s ul t s   t h a t   t h e   c a s c a de m ul t i m o da l   r e c o gn i t i o b i o m e t r i c   s y s t e m   us i ng  f i n ge rp r i nt ,   f i n ge r v e i a n f a c e   i m a ge s   l e a ds   t o   a n   i m p r o v e m e n t   i r e c o gn i t i o b i o m e t ri c   s y s t e m   pe r f o r m a n c e .       T a b l e   2 .   T h e   A c c ura c y   R a t e   fo r   D i f fe r e n t   R e c o gn i t i o B i o m e t r i c   S y s t e m   R e s ul t s   A l g o ri t h m s   A c c u ra c y   Ra t e   F i n g e r p ri n t   u s i n g   M i n u t i a e   9 6 , 4 0 %   F i n g e r v e i n   u s i n g   H O G   9 7 , 3 4 %   F a c e   u s i n g   L B P   9 0 , 8 6 %   Ca s c a d e d   M u l t i m o d a l   9 9 , 4 3 %   Ca s c a d e d   b i m o d a l   a n d   A n d   Ru l e   9 9 . 0 3 %   Ca s c a d e d   M u l t i m o d a l   a n d   A n d   Ru l e   9 6 , 2 8 %   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   m u l t i m odal   b i om e t r i c   i d e n t i f i c at i on  s y s t e m   bas e o c as c a de   a dv an c e o f   f i n ge r p r i n t   ( E l   m e hdi   Ch e r r at )   1569   4.   C O N C LU S I O N     T h i s   a r t i c l e   f oc us e o n   t h e   p r o po s i t i o n   o f   t h e   c a s c a d i n m e rge   i de nt i f i c a t i o n   s y s t e m   a t   t h e   de c i s i o l e v e l   b a s e o n   t hr e e   b i o m e t r i c   s i g na t u r e s ,   f i n ge r p r i nt s ,   f i n ge v e i n s   a n f a c e s ,   t o   pr o v i de   a c c ur a t e   r e c o gn i t i o n   of   t h e   pe r s o n.   A t   t h e   f i n ge r p r i nt   i de n t i f i c a t i o n   l e v e l ,   t h e   i m a ge   i s   i m p r o v e a c c o r di n t o   t h e   G a b o r   f i l t e a l go ri t hm ,   b i n a ri z a t i o n   a nd  t h i ni n g   t e c hni que   i n   o r de r   t o   e xt ra c t   a n c o m pa r e   t h e   m i nut i a   po i nt s .   A t   t h e   f i n ge r   v e i n   i de nt i f i c a t i o n   l e v e l ,   s e gm e n t a t i o n   b a s e o n   t h e   Ca nn y   m e t h o d,   o r i e n t a t i o n   c o r r e c t i o n ,   R O de t e c t i o n   a nd  l o c a l   h i s t o gra m   e qua l i z a t i o n   a r e   a pp l i e t o   i m p r o v e   t h e   qua l i t y   o t h e   i m a ge s .   I n   o r de r   t o   b e t t e r   i de n t i f y   t h e   r e l e v a nt   i n f o r m a t i o n ,   t h e   H O G   a ppr o a c h   i s   a pp l i e i n   t h e   e xt r a c t i o n   m o dul e .   A t   t h e   f a c e   i de n t i f i c a t i o n   l e v e l ,   t h e   L B P   m e t h o i s   us e t o   c o n s t r uc t   t h e   f e a t ur e   v e c t o r   f r o m   f a c e s   de t e c t e by   CN N   fo r   m a t c h i n p u r po s e s .   T h e   i de n t i f i c a t i o n   p r o c e s s   fo r   e a c h   s y s t e m   i s   a c c e pt e i v i e w   o f   t h e   s c o r e s   b e i n h i g h e t ha n   a   gi v e t hr e s h o l d .   T h e   u ni m o da l   c a s c a de   m o de   i s   us e w h e n   t h e   de c i s i o n   o f   a   s i n g l e   s y s t e m   i s   a c c e pt e d.   H ow e v e r t h e   b i m o da l   c a s c a de   m o de   c o n s i s t s   o f   h a v i ng  a t   l e a s t   t h e   f a v o r a b l e   de c i s i o n   o f   t w o   s y s t e m s .   In  t h e   m ul t i m o da l   c a s c a de   m o de ,   t h e   pe r s o n   w i l l   b e   c o n s i de r e a n   i m po s t o r   o n c e   t h e   de c i s i o n   o f   a   s i n gl e   s y s t e m   i s   r e j e c t e d.   O ur   e xpe r i m e n t a l   r e s ul t s   s h o w   t h a t   t hi s   p r o po s e w o r e n s u r e s   pr o m i s i ng  i de n t i f i c a t i o pe r f o r m a n c e ,   e s pe c i a l l y   o n   t h e   c a s c a de   de c i s i o n   f us i o n   o f   t h e s e   t h r e e   m o da l i t i e s .       R EF ER EN C ES     [ 1]   E M .   C h e r r a t ,   e t   a l . ,   " H i g de n s i t y   s a l t - a nd - pe p pe r   no i s e   s upp r e s s i o us i ng   a da p t i v e   dua l   t hr e s ho l d e c i s i o ba s e d   a l g o r i t hm   i f i ng e r p r i n t   i m a g e s ; "   I E E E   I n t e l l i ge n t   Sy s t e m s   a nd   C om put e r   V i s i o ( I SC V ) ,   pp .   1 - 4 ,   2017 .     [ 2]   E . M .   C he r r a t ,   e t   a l . ,   " I m pr o v i ng   o f   f i ng e r pr i n t   s e g m e nt a t i o i m a g e s   ba s e d   o K - m e a ns   a nd  D B S C A N   c l us t e r i ng , "   I nt e r n at i on al   J o ur n al   o f   E l e c t r i c al   a nd  C om pu t e r   E n gi ne e r i n ( I J E C E ) ,   v o l .   9 ,   p .   2 088 - 870 8,   2 019 .     [ 3]   S .   R .   B o r r a ,   e t   a l . ,   " A E f f i c i e nt   F i ng e r p r i n t   I de nt i f i c a t i o us i ng   N e u r a l   N e t w o r a nd  B A T   A l go r i t hm ,   " I nt e r na t i ona l   J ou r na l   of   E l e c t r i c a l   and   C om p ut e r   E ng i ne e r i ng   ( I J E C E ) ,   v o l .   8,   no   2 ,   p.   20 88 - 8708 ,   201 8.     [ 4]   C .   H .   H s i a ,   " N e w   V e r i f i c a t i o S t r a t e g y   f o r   F i ng e r - V e i R e c o g ni t i o S y s t e m ,   I E E E   Se ns or s   J o ur n al ,   v o l .   18 ,   no   2,   pp.   79 0 - 797,   2 018 .     [ 5]   D .   N .   Z .   A .   J e s e m i ,   e t   a l . ,   " T he   a na l y s i s   o f   f a c i a l   f e a t ur e   d e f o r m a t i o us i ng   o pt i c a l   f l o w   a l go r i t hm ,   I n done s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e   ( I J E E C S) ,   v o l .   15 ,   no   2 ,   p.   75 8 - 768 ,   2 019 .     [ 6]   A .   R o s s ,   a n J .   A ni l ,   " B i o m e t r i c   s e ns o r   i n t e r o pe r a bi l i t y :   A   c a s e   s t u dy   i f i ng e r pr i n t s , "   In   E C C V   W or k s hop   B i oA W pp.   13 4 - 145.   2 004 .     [ 7]   R .   S i ng e t   a l . ,   " I nt e g r a t e m u l t i l e v e l   i m a g e   f us i o a nd   m a t c s c o r e   f us i o o f   v i s i bl e   a nd   i nf r a r e f a c e   i m a g e s   f o r   r o bus t   f a c e   r e c o g n i t i o n, "   P at t e r R e c ogn i t i on ,   v o l .   41 ,   no   3 ,   p.   88 0 - 893,   2 008 .     [ 8]   R .   C o nna ug ht o n,   e t   a l . , " F u s i o o f   f a c e   a nd  i r i s   b i o m e t r i c s , "   H andboo k   of   I r i s   R e c ogn i t i on  S pr i nge r   pp.   21 9 - 237,   2 013 .     [ 9]   A .   R o s s   a n R . G o v i nda r a j a n , " F e a t ur e   l e v e l   f us i o o f   ha n a nd   f a c e   bi o m e t r i c s , "   B i om e t r i c   T e c hno l og y   f or   H um a I de nt i f i c a t i on   I I .   I nt e r n at i ona l   So c i e t y   f or   O p t i c s   and   P hot o ni c s ,   p.   196 - 205 ,   2005 .     [ 10]   A .   J a i e t   a l . ,   " S c o r e   no r m a l i z a t i o i m ul t i m o da l   bi o m e t r i c   s y s t e m s , "   P at t e r r e c o gni t i on ,   v o l .   38,   no   12,   pp .     2270 - 228 5,   20 05.     [ 11]   P .   W a ng ,   " P a t t e r r e c o g ni t i o n,   m a c hi n e   i n t e l l i g e nc e   a nd   bi o m e t r i c s , "   Spr i nge r   B e r l i n   H e i de l be r g ,   2 011 .     [ 12]   A .   J a i e t   a l . ,   " A   m u l t i m od al   bi om e t r i c   s y s t e m   us i n f i n ge r pr i n t ,   f a c e   and  s pe e c h , "   2nd  I nt ' l   C o nf .   A V B P A   v o l .   10,   1 999 .     [ 13]   W .   Y a ng ,   e t   a l . ,   " A   f i ng e r pr i nt   a nd  f i ng e r - v e i b a s e c a nc e l a b l e   m ul t i - bi o m e t r i c   s y s t e m , "   P at t e r R e c og ni t i on ,   v o l .   78,   pp .   242 - 25 1,   20 18.     [ 14]   K .   V i s h i   a nd  S .   Y .   Y a y i l g a n,   " M ul t i m oda l   bi om e t r i c   aut he n t i c at i o us i n f i nge r pr i n t   and  i r i s   r e c ogn i t i on  i i de nt i t y   m anage m e nt , "   N i n t I nt e r na t i o na l   C o nf e r e nc e   o I nt e l l i g e n t   I nf o r m a t i o H i di ng   a nd  M u l t i m e d i a   S i g na l   P r o c e s s i ng .   I E E E ,   p.   334 - 34 1,   20 13.     [ 15]   L .   H o n g   e t   a l . ,   " F i ng e r p r i nt   i m a g e   e n ha nc e m e n t :   a l g o r i t hm   a n pe r f o r m a nc e   e v a l u a t i o n, "   I E E E   t r ans ac t i o ns   o n   pat t e r ana l y s i s   a nd  m ac h i ne   i nt e l l i ge n ce ,   v o l .   20 ,   no   8 ,   p .   777 - 78 9 ,   1998 .     [ 16]   J .   C a n ny ,   " A   c om put a t i o na l   a pp r o a c t o   e dg e   de t e c t i o n. "   R e adi n gs   i c om pu t e r   v i s i on .   M o r ga K au f m ann ,   pp .     184 - 203 ,   1987 .     [ 17]   J .   Y .   K i m ,   e t   a l . ,   " A a dv a nc e c o nt r a s t   e nha nc e m e nt   us i ng   pa r t i a l l y   ov e r l a pp e s ub - b l o c hi s t o g r a m   e qua l i z a t i o n, "   I E E E   t r ans ac t i o ns   on   c i r c ui t s   an s y s t e m s   f o r   v i de o   t e c h nol ogy ,   v o l .   11,   no   4 ,   pp .   475 - 484 ,   200 1.     [ 18]   D .   N a v ne e t ,   a nd  B .   T r i g g s ,   " H i s t og r am s   o f   o r i e nt e g r ad i e nt s   f or   hum a de t e c t i on , "   I E E E   C om put e r   S o c i e t y   I nt e r na t i o na l   C o nf e r e nc e   o c o m p ut e r   v i s i o a nd   P a t t e r n   R e c o g ni t i o n ,   pp .   886 - 89 3,   20 05.     [ 19]   D .   E .   K i ng ,   " D l i b - m l : A   m a c hi ne   l e a r n i ng   t o o l ki t , "   J our n al   of   M ac hi ne   L e ar ni n R e s e ar c h ,   v o l .   10 ,   no   J ul ,   pp .   1755 - 175 8,   20 09.     [ 20]   X .   W a ng   e t   a l . ,   " A H O G - L B P   hum an  de t e c t or   w i t par t i al   oc c l us i on  h and l i ng , "   I E E E   12t i n t e r na t i o na l   c o n f e r e nc e   o c o m put e r   v i s i o n ,   p .   32 - 39 ,   2 009 .     [ 21]   E nr i que   V .   C a r r e r a ,   e t   a l . ,   " A   F i ng e r - v e i B i o m e t r i c   S y s t e m   B a s e d   o T e xt u r a l   F e a t ur e s , "   J our nal   o f   P ow e r   E l e c t r oni c s ,   pp .   367 - 375 ,   201 8.     [ 22]   K .   Z ha ng ,   e t   a l . ,   " J o i n t   f a c e   de t e c t i o a nd  a l i g nm e nt   us i ng   m ul t i t a s c a s c a de c o nvo l ut i o na l   ne t w o r ks , "   I E E E   Si gn al   P r oc e s s i ng   L e t t e r s ,   v o l .   23,   no   1 0,   p .   1499 - 15 03 ,   2 016 .     [ 23]   P .   V i o l a ,   M .   J o ne s ,   " R a pi d   o bj e c t   d e t e c t i o u s i ng   a   bo o s t e d   c a s c a de   o f   s i m p l e   f e a t ur e s , "   nu l l .   I E E E ,   pp .   511 ,   200 1.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     1562   -   1570   1570   [ 24]   L .   Z ha ng ,   e t   a l . ,   " F ac e   de t e c t i o bas e on  m u l t i - b l oc k   l b r e pr e s e nt at i o n , "   I nt e r n a t i o na l   C o nf e r e nc e   o B i o m e t r i c s .   S pr i ng e r ,   B e r l i n ,   H e i de l be r g ,   pp.   1 1 - 18,   20 07 .     [ 25]   D .   E .   K i ng ,   " M a x - m a r g i n   o bj e c t   de t e c t i o n, "   a r X i v   pr e pr i n t ,   a r X i v : 1 502. 0004 6,   20 15 .     [ 26]   P . J .   P h i l l i ps   e t   a l . ,   " T he   F E R E T   d a t a ba s e   a n e v a l u a t i o pr o c e dur e   f o r   f a c e - r e c o g ni t i o a l g o r i t hm s , "   I m a ge   and   v i s i on   c om pu t i ng ,   v o l .   16 ,   no   5,   p .   295 - 306 ,   199 8.     [ 27]   A . M .   M a r t i n e z ,   " T h e   A R   f a c e   d a t a ba s e , "   C V C   T e c hn i c a l   R e por t 24 ,   1998 .     [ 28]   T .   O j a l a   e t   a l . ,   " M u l t i r e s o l u t i o g r a y - s c a l e   a nd  r o t a t i o i nv a r i a n t   t e xt u r e   c l a s s i f i c a t i o w i t l o c a l   b i na r y   pa t t e r ns , "   I E E E   T r an s a c t i on s   o P at t e r n   A na l y s i s   a nd  M a c h i ne   I nt e l l i ge nc e ,   n o   7,   p.   97 1 - 987 ,   2 002 .     [ 29]   D .   M a i o   e t   a l . ,   " T h i r f i nge r pr i n t   v e r i f i c a t i o c om pe t i t i on , "   I nt e r na t i o na l   C o nf e r e nc e   o B i o m e t r i c   A ut he nt i c a t i o n .   S pr i ng e r ,   B e r l i n ,   H e i de l be r g ,   p.   1 - 7 ,   2 004 .     [ 30]   P .   T o m e   e t   a l . ,   " O t he   v u l ne r ab i l i t y   o f   f i nge r   v e i r e c ogn i t i on   t s po of i ng , "   I nt e r na t i o na l   C o nf e r e nc e   o f   t he   B i o m e t r i c s   S p e c i a l   I nt e r e s t   G r o up  ( B I O S I G ) ,   p .   1 - 10 ,   201 4.       Evaluation Warning : The document was created with Spire.PDF for Python.