I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   22 ,   N o .   1 A p r i l   202 1 p p.   187 ~ 195   IS S N :   25 0 2 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 22 .i 1 . pp 187 - 195       187       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   M u l t i m o d a l   b i o m e t r i c s   o f   f i n g e r p r i n t   a n d   si g n a t u r e   r e c o g n i t i o n   u si n g   m u l t i - l e v e l   f e a t u r e   f u si o n   a n d   d e e p   l e a r n i n g   t e c h n i q u e s       A r ju n   Be n agatt e   C h an n e go w d a 1 H   N   P r a k as h 2   1 D e pa r t m e n t   o f   I nf o r m a t i o S c i e nc e   a nd   E ng i ne e r i ng ,   R a j e e v   I ns t i t ut e   o f   T e c hno l o gy   ( R I T ) ,   A f f i l i a t e d   t o   V i s v e s v a r a y a   T e c hno l o g i c a l   U ni v e r s i t y   ( V T U ) ,   K a r na t a k a ,   I ndi a     2 D e pa r t m e n t   o f   C o m put e r   S c i e nc e   a nd   E ng i n e e r i ng ,   R a j e e v   I ns t i t u t e   o f   T e c hno l o gy   ( R I T ) ,   V i s v e s v a r a y a   T e c hno l o g i c a l   U ni v e r s i t y   ( V T U ) ,   K a r na t a k a ,   I ndi a         A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   D e c   1 0 ,   2020   R e v i s e M a r   1 ,   202 1   A c c e pt e M a r   12 ,   202 1       P r o v i di ng   s e c ur i t y   i n   bi o m e t r i c s   i s   t he   m a j o r   c ha l l e ng i ng   t a s i t he   c ur r e n t   s i t ua t i o n.   A   l o t   o f   r e s e a r c w o r i s   g o i ng   o i t h i s   a r e a .   S e c u r i t y   c a be   m o r e   t i g ht e n e by   us i ng   c o m pl e s e c ur i t y   s y s t e m s ,   l i k e   by   us i ng   m o r e   t h a n   o ne   bi o m e t r i c   t r a i t   f o r   r e c o g ni t i o n.   I t hi s   pa pe r   m u l t i m o da l   bi o m e t r i c   m o de l s   a r e   de v e l o pe t o   i m p r o v e   th r e c o g ni t i o r a t e   o f   a   pe r s o n.   T he   c om bi na t i o o f   ph y s i o l og i c a l   a nd  be ha v i o r a l   bi o m e t r i c s   c ha r a c t e r i s t i c s   i s   us e i n   t h i s   w o r k.   F i ng e r pr i n t   a n S i g na t u r e   bi o m e t r i c s   c ha r a c t e r i s t i c s   a r e   us e t o   de v e l o m ul t i m o da l   r e c o g ni t i o s y s t e m .   H i s t o g r a m s   of   o r i e n t e g r a di e nt s   ( H O G )   f e a t ur e s   a r e   e x t r a c t e f r o m   bi o m e t r i c   t r a i t s   a nd   f o r   t he s e   f e a t u r e   f u s i o ns   a r e   a pp l i e a t   t w o   l e v e l s .   F e a t ur e s   o f   F i ng e r pr i nt   a nd   S i g na t u r e s   a r e   f us e us i ng   c o n c a t e na t i o n,   s um ,   m a x ,   m i n ,   a nd  p r o duc t   r ul e   a t   m ul t i l e v e l   s t a g e s ,   t h e s e   f e a t ur e s   a r e   u s e t o   t r a i n   d e e p   l e a r ni ng   ne ur a l   ne t w o r m o de l .   I t he   pr o po s e w o r k,   M ul t i - l e v e l   f e a t ur e   f us i o f o r   m ul t i m o da l   b i o m e t r i c s   w i t h   d e e l e a r n i ng   c l a s s i f i e r   i s   us e a nd  r e s u l t s   a r e   a na l y z e b y   v a r y i ng   num be r   o f   hi dde ne ur o ns   a n hi dd e l a y e r s .   Ex pe r i m e nt s   a r e   c a r r i e o ut   o S D U M L A - H M T ,   m a c hi ne   l e a r ni n g   a nd  da t a   m i ni ng   l a b,   S ha ndo ng   U ni v e r s i t y   f i ng e r pr i nt   da t a s e t s ,   a nd  M C Y T   s i g na t u r e   bi o m e t r i c   r e c o g ni t i o g r o up  d a t a s e t s ,   a nd   e nc o ur a g i ng   r e s ul t s   w e r e   o bt a i n e d .   Ke y w or d s :   D e e N e ur a l   N e t w o r k   F e a t u r e   F us i o n   F i nge r p ri nt   M ul t i m o da l   B i o m e t ri c s     S i g n a t u r e   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   A r j u n   B   C     D e pa rt m e n t   o f   In f o r m a t i o n   S c i e n c e   a n d   E ngi n e e r i n g   V i s v e s v a r a y a   T e c hn o l o gi c a l   U n i v e r s i t y   (V T U )   R a j e e v   In s t i t u t e   o f   T e c hn o l o g y ,   B   M   By pa s s   r o a d,   I n dus t r i a l   a r e a ,   H a s s a n - 57320 1,   K a rna t a k a ,   I n d i a   E m a i l :   b c . a r j u n@ g m a i l . c o m       1.   I N TR O D U C TI O N     In   t o da y ’s   w o r l d ,   a l m o s t   a l l   s e c ur i t y   s y s t e m s   a r e   us i n b i o m e t r i c   r e c o gn i t i o n   t e c hn i que s .   B i o m e t ri c   r e c o gn i t i o h a s   b e c o m e   t h e   da y - to - da y   a c t i v i t y   fo r   b i gge po pul a t i o n.   D a i l y   us a ge   l i ke   m o b i l e   p h o n e   t o   b a n l o c ke r   a l l   t h e   s y s t e m s   a r e   i nt e gra t e w i t h   b i o m e t ri c   s e c ur i t y .   In   t h e   c o m i n d a y s ,   t h e s e   b i o m e t r i c   r e c o gn i t i o n   s y s t e m s   w i l l   b e   i n   a l m o s t   a l l   t h e   a r e a s   o f   o ur   da y - to - da y   a c t i v i t y .   By   i n c r e a s i n us a ge   of   s uc h   a   s y s t e m   w i t h   a n   i n c r e a s e   i po pul a t i o n ,   r e c o gn i t i o w i l l   b e c om e   m o r e   c o m pl e d a y   by   da y .   L o t   of   r e s e a r c is   go i n o m ul t i m o da l   b i o m e t r i c   r e c o gn i t i o n.   S i n c e   by   us i ng  m ul t i m o da l   b i o m e t r i c   t ra i t s   m o r e   s e c ur e s y s t e m   c a n   b e   de ve l o pe ov e r   u ni m o da l   b i o m e t r i c   s y s t e m   [1].   W h e n   i t   c o m e s   t o   b i o m e t r i c   t ra i t s   t w o   f a c t o r s   a r e   c o n s i de r e d ,   o n e   i s   a e xt r i n s i c   f e a t ur e   a n d   a n o t h e r   o n e   i n t ri n s i c   f e a t u r e .   T h e   E xt ri n s i c   f e a t u r e s   c a n   b e   v i s i b l e   f r o m   t h e   o ut s i de   a nd  t h e s e   fe a t u r e s   c a b e   h a rm e by   e xt e r na l   f a c t o r s   [2] .   E xa m pl e   f i n ge r p r i nt ,   f a c e ,   e t c .   c a n   b e   ha rm e i t h e   a c c i de n t .   T h e   I nt r i n s i c   f e a t u r e s   c a nn o t   b e   v i s i b l e   f r o m   t h e   o ut s i de   a nd  t h e s e   f e a t u r e s   c a nn o t   b e   h a rm e by   e xt e rn a l   f a c t o r s .   E xa m pl e   f i nge r   v e i n,   pa l m   v e i n ,   e t c .   A n b i o m e t r i c   t ra i t s   a r e   b r o a dl y   Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   1 A p r i l   20 21   :   187   -   195   188   c l a s s i f i e a s   p h y s i o l o gi c a l   a n b e h a v i o ra l   b i o m e t r i c s   c ha r a c t e r i s t i c s ,   w h e r e   t h e   f a c e ,   f i nge r p ri n t ,   i r i s ,   e t c .   f a l l   unde r   p h y s i o l o gi c a l   c h a ra c t e ri s t i c s   a n s i g n a t u r e ,   v o i c e   a n g a i t .   f a l l   u n de r   b e h a v i o r a l   b i o m e t ri c s   c h a ra c t e ri s t i c s .   T h e   B i o m e t ri c   r e c o gn i t i o n   s y s t e m   i s   de s i gn e us i n f o ur   c o m po n e n t s   t h e y   a r e ,   s e n s o m o dul e ,   f e a t u r e   e xt r a c t i o n   m o dul e ,   m a t c hi n m o dul e ,   a n de c i s i o n - m a ki n g   m o dul e .   B i o m e t r i c   r e c o gn i t i o s y s t e m s   a r e   c a t e go r i z e i nt o   t w o   s y s t e m s   o n e   i s   uni m o da l   a n a n o t h e r   i s   m u l t i m o da l   b i o m e t r i c   r e c o gn i t i o s y s t e m .   U n i m o da l   us e s   s i n g l e   b i o m e t r i c   t r a i t s   w h e r e   m ul t i m o da l   us e s   m o r e   t h a o n e   b i o m e t r i c   t ra i t .   S o m e   of  t h e   un i m o da l   b i o m e t ri c   s y s t e m s   a r e   e xpl o r e i n   p r e v i o us   w or o n   f a c e   a n s i g n a t u r e s   b i o m e t r i c   t ra i t s   [3,   4].   In   m u l t i m o da l   s y s t e m ,   f us i o n   o f   m o r e   t h a n   o n e   b i o m e t r i c   t ra i t   c o ul b e   e xpl o r e d.   F us i o n   c o ul b e   e xpl o r e at  di f f e r e n t   l e v e l s .   F us i o n   f a l l   un de r   f o ur   di f fe r e n t   l e v e l s   t h e y   a r e   s e n s o r ,   f e a t ur e ,   s c o r e ,   a n d   de c i s i o n .   R e c e n t   r e s e a r c h   i s   m o r e   a t t r a c t i v e   t ow a r ds   t h e   us e   o f   t h e   de e l e a rni n m e t h o s i n c e   i t   c a n   ha n dl e   l i m i t a t i o n s   t ha t   a r e   f a c i n b y   m a c h i n e   l e a rni n t e c hn i q ue s   [ 5 - 7 ].   I n   t h e   p r o p o s e w o r k ,   a   n e w   m ul t i m o da l   b i o m e t r i c   r e c o gn i t i o n   m o da l   i s   e xpl o r e d,   w h i c h   us e s   m ul t i - l e v e l   H O G   f e a t ur e   f us i o n   of  s i gn a t u r e   a n d   f i n ge r p r i nt   w i t h   de e l e a rn i ng  a l go r i t h m   f o r   r e c o gn i t i o n.   Co n v o l ut i o n   n e u r a l   n e t w o r ks   (CN N s )   [8]   a r e   de s i gn e a n s o f t m a c l a s s i f i e r   i s   us e f o r   i m a ge   c l a s s i f i c a t i o n .   A da m   o pt i m i z a t i o n   a n c a t e go r i c a l   c r o s s - e n t r o py   w e r e   us e a s   o pt i m i z e a n l o s s   f un c t i o r e s pe c t i v e l y .       2.   LI TER A TU R S U R V E Y   A   L o t   of  r e s e a r c h   i s   go i n o n   f or   de c a de s   o n   uni m o da l   a n d   m ul t i m o da l   b i o m e t r i c s   r e c o gn i t i o n.   I t h e   pa s t   f e w   y e a r s   due   t t h e   a dv a n c e m e nt   o t e c h n o l o g y   i c o m put e r   ha r dw a r e ,   de e p   l e a rni n c o n c e pt s   a r e   ga i ni n m o r e   i nt e r e s t   in   r e s e a r c h.   U s i n t h e   de e p   l e a rn i ng  t e c h ni que   b i o m e t r i c   r e c o gn i t i o n   a n v e r i f i c a t i o n   s h o w e b e t t e r   r e s ul t s   [ 9 s h o w n   i n   T a b l e   1 .   I n   t h i s   p a pe f i n ge r p r i nt   a n s i g n a t u r e ,   b i o m e t r i c   t ra i t s   a r e   c o n s i de r e d,   s o   p r e v i o us   w o r ks   o n   f i nge r p ri nt   a nd  s i g na t ur e   b i o m e t r i c   r e c o gn i t i o n   a n d   v e r i f i c a t i o n   a r e   c o m pa r e i b o t h   u ni m o da l   a n d   m u l t i m o da l   s y s t e m s .       T a b l e   1 .   P r e v i o us   w o r o M ul t i m o da l   B i o m e t ri c s   i de n t i f i c a t i o n   us i n g   de e l e a rni n g   Ti tl e   D e e p   Le a r n i n g   A r c h i te c tu r e   D a ta s e t   R e s u l ts   M u l t i m o d a l   F a c e   Bi o m e t ri c s   b y   U s i n g   Co n v o l u t i o n a l   N e u ra l   N e t w o rk s   [ 10 ]     S e l f - d e s i g n e d   CN N     M u l t i - P IE     9 8 . 3 5 %   a c c u ra c y     A u d i o - V i s u a l S p e a k e r   R e c o g n i t i o n   v i a   M u l t i - m o d a l   C o rr e l a t e d   N e u ra l   N e t w o rk s   [ 11 ]   S e l f - d e s i g n e d   CN N     V i d e o s   f r o m   T v   s e ri e s   n a m i n g   " F ri e n d s . "     9 7 . 8 5 %   a c c u ra c y     A   N o v e l   M u l t i - M o d e l   Bi o m e t ri c F u s i o n   A p p ro a c h   U s i n g   P a l m - P ri n t   &   F a c e   B i o m e t r i c    [ 12 ]   N N   a n d   S V M     S a m p l e   I m a g e s   Cu m u l a t i v e   m a t c h   s c o re   g o o d   r e s u l t s .     M u l t i m o d a l   Bi o m e t ri c A u t h e n t i c a t i o n   U s i n g   Ba c k   P ro p a g a t i o n   A rt i f i c i a l   N e u ra l   N e t w o rk   [1 3 ]   A N N   c l a s s i f i c a t i o n     S a m p l e   I m a g e s   9 8 . 3 4 %   a c c u ra c y     M u l t i m o d a l   F e a t u r e   L e v e l   F u s i o n   b a s e d   o n   P a rt i c l e   S w a r m   O p t i m i z a t i o n   w i t h   D e e p   T ra n s fe r   L e a r n i n g   [1 4 ]   M o d i fi e d   V G G     N ICE . II   d a t a b a s e     Co m p e t i t i o n     5 . 5 5 %   E E R     F K P   a n d   Iri s   Ba s e d M u l t i m o d a l   Bi o m e t ri c   S y s t e m   U s i n g   P C A   w i t h   N F N N   [1 5 ]   N e u ro - F u z z y   N e u ra l   N e t w o rk s   (N F N N   P o l y U   F K P   a n d   CA S I A     Iri s   d a t a b a s e     E E o f   0 . 2 3 %     S c o r e   f u s i o n   o ff i n g e r   v e i n   a n d   f a c e   f o r   h u m a n   re c o g n i t i o n   b a s e d   o n c o n v o l u t i o n a l   n e u ra l   n e t w o rk   m o d e l   [1 6 ]   T ra d i t i o n a l   CN N   fe a t u r e   e x t ra c t i o n     V E R A   F i n g e r v e i n ,     Co l o F e re t   a n d   A R   f a c e   d a t a b a s e     9 9 . 8 9 %   a c c u ra c y     P e r i o c u l a b i o m e t ri c s   fo n o n - i d e a l   i m a g e s :   w i t h   o ff - t h e - s h e l D e e p   CN N   &   T ra n s fe r   L e a r n i n g a p p ro a c h   [1 7 ]   P re - t ra i n e d   A l e x   n e t ,   G o o g l e n e t ,   Re s n e t 1 8 ,   R e s n e t 5 0 ,   Re s n e t 1 0 1 ,   V G G 1 6   a n d   V G G 1 9     U BI P d a t a b a s e     M a x .   t e s t i n g   a c c u ra c y   o 9 6 %   w i t h   V G G 1 9         F r o m   t h e   a b ov e   l i t e ra t u r e   s u r v e y ,   i t   h a s   b e e n   obs e r v e t h a t   de e l e a r ni n t e c hni que s   w i l l   i m p r o v e   m ul t i m o da l   b i o m e t r i c   r e c o gn i t i o n.   A n d   n o t   m o r e   w o r i s   do n e   o n   f i n ge r p r i n t   a n d   s i g na t u r e   b i o m e t r i c   c o m b i na t i o n s   f o r   l a r ge r   d a t a   s e t s .   I n   t hi s   pa pe r   n e w   m o da l   i s   p r o po s e w h e r e   M ul t i - l e v e l   f e a t ur e   f us i o n   i s   do n e   o m u l t i m o da l   b i o m e t ri c s   [18]   of  f i n ge rp r i nt   a n d   s i g na t ur e   t r a i t s   us i n g   de e l e a rni n g   a r c hi t e c t u r e .       3.   D A TA B A S E   U S ED   F O R   EX P ER I M EN TA TI O N   3. 1 .      F i n g e r p r i n t   d atab as e   S D U M L A - H M T   f i n ge r p r i nt   da t a b a s e   f r o m   t h e   m a c h i n e   l e a rn i ng  a n da t a   m i n i ng  l a b ,   S h a n do n g   U n i v e r s i t y   (S D U M L A [1 9 i s   us e fo r   e xpe r i m e n t a t i o n ,   40  us e r s   w i t h   f i n ge r p ri n t   s a m pl e s   o f   t h e   l e f t   t h um b   o f   e a c h   pe r s o a r e   c o n s i de r e d   f o r   e xpe ri m e n t a t i o n.   F i n ge r p ri n t   s a m pl e s   a r e   s h o w n   i F i g u r e   1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i m oda l   b i om e t r i c s   of   f i ng e r pr i n t   an s i gnat ur e   r e c o gni t i o. . .   ( A r j un  B e nagat t e   Ch anne gow da )   189           F i gu r e   1 .   S D U M L A   F i n ge r p ri n t   I m a ge   S a m pl e s       F i gu r e   2 .   M CY T   da t a   b a s e   s i g n a t u r e   s a m p l e s     3. 2 .   O ffl i n e   s i gn atu r e   d atab as e   M CY T   B i o m e t r i c   R e c o gn i t i o n   G r o up - A T V S   da t a b a s e   [ 20 ]   i s   us e fo r   e xpe r i m e n t a t i o n,   o ut   of   7 5   us e r s ,   40   us e r s   w i t h   a l l   ge nui n e   s i g n a t u r e s   a r e   c o n s i de re fo r   e xpe r i m e n t a t i o n .   S i g n a t u r e   s a m pl e s   a r e   s h o w n   i F i g u r e   2 .       4.   P R O P O S ED   A R C H I TEC TU R E   In   t h e   p r o po s e w o r a   n o v e l   M ul t i - l e v e l   f e a t ur e   f us i o n   m o d a l   f o r   m u l t i m o da l   b i o m e t r i c s   f i nge r p ri nt   a n s i g na t u r e   t r a i t s   de v e l o p e a s   s h ow n   i n   F i gu r e   3.   F r o m   a   s t a n d a r da t a b a s e   ups a m p l e da t a b a s e   is   c r e a t e us i n t h e   b i l i n e a r   i nt e rpo l a t i o n   t e c hni que   [ 21 ] .   A f t e r   c r e a t i ng  a   n e w   ups a m pl e da t a b a s e ,   H O G   f e a t ur e s   [22]   a r e   e x tr a c t e f r o m   b o t h   s t a n d a r a n ups a m p l e d   da t a b a s e s   s e pa ra t e l y ,   t h e s e   s e pa r a t e   H O G   f e a t ur e s   a r e   f us e d   t o ge t h e r   us i n S U M ,   M A X ,   M IN ,   P R O D U CT ,   a nd  c o n c a t e na t i o n   m e t h o i n   f e a t u r e   f us i o n   l e v e l   1.   F i nge r p ri nt   a nd  S i g na t u r e   f us e H O G   fe a t ur e   v e c t o r s   a r e   s t o r e s e pa r a t e l y   s h o w n   i n   F i gu r e   4 .   I n   l e v e l   2   f e a t ur e   f us i o n ,   H O G   fe a t u r e s   of   f i n ge r p ri n t   a n s i g n a t u re s   a r e   f us e us i n t h e   c o n c a t e na t i o n   m e t h o r e s pe c t i v e l y   fo r   e a c h   f us e s a m p l e   f r o m   l e v e l   1   [23] T h e   F i na l   H O G   f e a t ur e   v e c t o r   o b t a i n e a f t e l e v e l   a n d   l e v e l   f us i o n   i s   s e t   a s   a i nput   t o   n e u ra l   n e t w o r k.             F i gu r e   3 .   M u l t i - l e v e l   m u l t i m o da l   b i o m e t ri c   f us i o n   o f   f i n ge r p ri n t   a nd  s i g n a t u r e   b i o m e t ri c   t ra i t s       Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   1 A p r i l   20 21   :   187   -   195   190       F i gu r e   4.   S i g n a t u r e   f e a t u r e   s a m p l e s   o f   pe r s o n   1       L e v e l   f us i o n   i s   c a rri e o ut   w i t h   S U M ,   M A X ,   M IN ,   P R O D U CT   a nd  c o n c a t e n a t i o m e t h o a nd  i l e v e l   c o n c a t e n a t i o n   m e t h o i s   a p pl i e d .     S U M   o pe r a t i o n :   C i j   =   A i j   +   B i j     M A X   o pe r a t i o n :   C i j   =   M A X   (A i j ,   B i j )   M IN   o pe r a t i o n:   C i j   =   M IN   (A i j ,   B i j )   P r o duc t   o pe r a t i o n :   Ci j   =   A i j . *   B i j   Co n c a t e n a t i o n:   Ci j   =   [A i j   B i j ]     (1)     W h e r e   A i j   i s   H O G   fe a t u r e   v e c t o r   of   s t a n d a r s i g n a t u r e   a n B i j   i s   H O G   f e a t ur e   v e c t o r   of   ups a m pl e d   s i g n a t u r e .   S i m i l a r   s t e ps   c a rr i e d   o ut   f o r   f i n ge r p r i nt   da t a   s e t s .       5.   TH E   N EU R A N E TW O R K   M O D EL   In   t hi s   pa pe r   us i n P y t h o n   w i t h   K e r a s   L i b ra r y   D e e l e a rni n n e u r a l   n e t w o r ks   a r e   c r e a t e d.   by   fo l l ow i n t h e   m o de l   l i f e - c y c l e   s t e ps   de e l e a rni n n e u r a l   n e t w o r ks   a r e   c r e a t e [2 4 ].   S t e ps   a s   f o l l ow s   de f i n e   n e t w o r k,   c o m pi l e   n e t w o r k ,   F i t   n e t w o r k,   e v a l ua t e   n e t w o r a nd  m a ke   p r e d i c t i o n s .   N e t w o r ks   a r e   d e f i n e i s e que n c e   o rde r         Co n s i de r   t h e   e x a m p l e   I n pu t   d i m   a r e   s e v e r a l   i n pu t   n e u r o n s ,   v a l ue   i s   num b e r   o f   hi dde n   n e u r o n s ,   a nd  a n   o ut put   n e u r o n   i s   1.   I n   t h i s   p a pe r   m o r e   t ha n   100   i n p ut   n e u r o ns ,   m o r e   t h a 500  hi dde n   n e u r o n s ,   a n 4 n e u r o n s   a s   o ut put   n e u r o n s ,   s i n c e   4 d i f f e r e n t   m u l t i c l a s s   c l a s s i f i c a t i o ns   a r e   e xpe c t e a s   o ut put .         S i n c e   t h e   p r o po s e w o r i s   e xp l o r e o n   m ul t i c l a s s   c l a s s i f i c a t i o n   s o f t m a a c t i v a t i o n   f un c t i o n   i s   us e a t   t h e   o ut put   l a y e r .   Co m pl e de e l e a rni n m o de l s   a r e   a l s o   de f i n e a n e xpl o r e i n   t hi s   w o r u s i ng  m o r e   t ha n   o n e   hi dde n   l a y e r .         In   t h i s   p a pe r ,   2 52  i n p ut   n e u r o n s   w i t h   7 56  h i d de n   n e u r o n s   i n   t h e   f i r s t   hi dde n   l a y e r   a n 252  hi dde n   n e u r o n s   i n   t h e   s e c o n h i d de l a y e r ,   a n d   an   o ut put   l a y e r   w i t 40  n e u r o n s   a r e   us e i n   o n e   o f   t h e   c a s e   s t udi e s .   C o m pi l e   n e t w o r k:   M ul t i c l a s s   l o ga r i t hm i c   l o s s   o r   c a t e go r i c a l   c r o s s - e n t r o py   i s   us e w i t h   t h e   a da m   o pt i m i z a t i o n   a l go r i t hm .   F i t   n e t w o r k:   M o de l   b a t c h   s i z e   a n e poc h s   a r e   a s s i g n e t o   f i t   t h e   m o de l   i n   t h i s   s t e p.   A f t e r   t h i s   s t e e v a l ua t i o o f   t h e   m o de l   i s   do n e   by   c h e c ki n g   c l a s s i f i c a t i o n   a c c ur a c y   a n d   f i na l l y ,   pr e di c t i o n s   f o r   n e w   da t a   s e t s   a r e   e xe c ut e d.       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i m oda l   b i om e t r i c s   of   f i ng e r pr i n t   an s i gnat ur e   r e c o gni t i o. . .   ( A r j un  B e nagat t e   Ch anne gow da )   191   6.   EX P ER I M EN TS   In   t hi s   p a pe r,   t h e   m a i n   a i m   i s   t o   i m p r o v e   t h e   r e c o gn i t i o r a t e   of   f i n ge r p ri nt   a nd  s i g n a t u r e   b i o m e t ri c   t r a i t s   f o r   l a r ge r   d a t a   s e t s .   S D U M L A - H M T   f i n ge r p r i nt   d a t a b a s e   a n M CY T   b i o m e t ri c   r e c o gn i t i o n   g r o up  s i g n a t u r e   da t a b a s e   a r e   us e fo r   e xpe r i m e n t a t i o n .   F us e f e a t ur e s   a r e   us e t o   t r a i n   a nd  t e s t   t h e   de e l e a rni n g   n e u r a l   n e t w o r k.   A e xa m pl e   o f   t h e   f us e f e a t ur e   [2 5,   26]   us i n g   c o n c a t e n a t i o n   t e c hn i que   i s :   F e at ur e s   f us i on:   Co n s i de r   a   e x a m p l e   o f   f us e fe a t ur e ,   X i s   a   H O G   f e a t ur e   o f   f i n ge r p r i nt   a n Y i s   a   H O G   fe a t u r e   of   s i gn a t u r e ,   a f t e r   c o n c a t e n a t i o n   o ut put   i s   Z ,   t h e r e f o r e ,   f i r s t   t hr e e   s a m p l e s   of   e a c h   pe r s o n   gi v e   Z t o   Z 40,   fo r t y   r o w s   w i t c o l um n   ( n u m b e r   o f   c o l um n s   de p e n ds   o n   f us i o n   t e c hn i que   us e d)  a n l a s t   c o l um n   w i t h   t h e   c l a s s   l a b e l   n a m e   da t a   m a t ri a r e   c r e a t e d ,   t h i s   da t a   m a t ri i s   us e t o   t r a i n   t h e   de e l e a rn i ng  n e u ra l   n e t w o r k.   S i m i l a r l y ,   fo r   t h e   t e s t i n p ha s e ,   t h e   s a m e   pr o c e dure   fo r   t h e   r e m a i ni n t hr e e   da t a   s a m p l e s   w i t h o ut   a   c l a s s   l a b e l   c o l um i s   us e f o r   e xpe ri m e n t a t i o n.       Co n c a t e n a t i o n   T e c hn i q ue - X 1 =   [ X 1 X 2 …. X 36 Y 1 =   [ Y 1 Y 2 …. Y 36   Z =   [ X 1 X 2 …. X 36 Y 1 Y 2 …. . Y 36   Z 1 =   [X 1 ,   X 2 . X 36 ,   Y 37 ,   Y 38 . . Y 7 2 + 1 ]     a.   U n i m o da l   b i o m e t r i c s :   I n i t i a l   e xpe ri m e n t s   w e r e   e xpl o r e o n   un i m o da l   s y s t e m s ,   w h e r e   H O G   fe a t u r e s   a r e   e xt ra c t e f r o m   t h e   s t a n d a r d a t a b a s e   a n ups a m pl e d a t a b a s e   of   f i n ge r p ri nt   a nd  s i g na t u r e   s e pa ra t e l y .   U n i m o da l   H O G   f e a t ur e s   [27]   a r e   f us e us i n g   S U M ,   M A X ,   M IN ,   P R O D U CT ,   a n d   c o n c a t e n a t i o n   m e t h o d,   a n f us e f e a t u r e   v e c t o r   f r o m   (1)   (2)   o f   e a c h   m e t h o i s   s e t   a s   i n p ut   t o   t h e   n e u ra l   n e t w o r k.     b.   M ul t i m o da l   b i o m e t r i c s :   E xpe r i m e n t s   a r e   c a rr i e o ut   o m u l t i m o da l   b i o m e t r i c   r e c o gn i t i o w h e r e   f e a t u r e s   f us e w h i l e   e xe c ut i n u ni m o da l   e xp e ri m e n t s   a r e   c o n s i de r e f r o m   f i n ge r p r i nt   a n s i g na t u r e   b i o m e t r i c s ,   t h e s e   fe a t ur e s   a r e   f us e o n c e   a ga i n   us i ng  t h e   c o n c a t e na t i o n   m e t h o d,   a nd  r e s ul t s   a r e   pl o t t e d .   T h e s e   m ul t i l e v e l   F i n ge r p ri n t   a n S i g na t u r e s   a r e   f us e us i n c o n c a t e na t i o n ,   s u m ,   m a x ,   m i n,   a nd  p r o duc t   r u l e   a t   m ul t i l e v e l   s t a ge s   a s   s h o w n   i n   F i gu r e   4,   t h e s e   f e a t ur e s   a r e   us e t o   t r a i n   de e l e a rn i ng  n e ura l   n e t w o r m o de l .   E x a m p l e ,   A f t e r   f us i o n   f r o m   (1 (2)  o f   H O G   f i n ge r p ri n t   f e a t u r e s   o f   t r a i ni n s a m p l e s   a n H O G   s i g n a t u r e   f e a t ur e s   o f   t r a i ni n g   s a m pl e s ,   da t a   w i t h   c l a s s   l a b e l   na m e   i n   t h e   l a s t   c o l um n   i s   us e t o   t ra i n   de e p   l e a rn i ng  n e u r a l   n e t w o r k,   r e m a i ni n g   s a m p l e s   o f   f i n ge r p ri nt   a nd  s i g na t u r e s   a r e   f us e a nd  da t a   w i t h o ut   l a b e l   na m e   i s   us e f o r   t e s t i n t h e   de e l e a rni n n e t w o r gi v e s   t h e   o ut put   c l a s s   n a m e   a nd  c l a s s i f i c a t i o n   a c c ur a c y   i s   a na l y z e d.     c.   D e e l e a r ni n m o de l :   I n   t h e   pr o po s e w o r k,   by   v a r y i n i npu t   n e u r o n s ,   hi dde n   n e ur o n s ,   a nd  hi dde n   l a y e r s   di f fe r e nt   de e l e a rn i ng  m o de l s   a r e   de s i gn e a nd  e xpl o r e d.   D e e p   l e a rn i ng  m o de l s   w e r e   de s i gn e us i ng  K e r a s   l i b r a ri e s   us i n g   py t h o n.   d.   E xpe r i m e nt s   o f   un i m o da l   s y s t e m :   T h e   M CY T   s i g na t u r e   da t a   s e t s   c o n s i s t   o f   75  us e r s   w i t h   1 ge n ui n e   a n d   15  fo r ge r y   s i gn a t u r e s .   F o r   t h i s   e xpe r i m e n t ,   40  pe o pl e   w i t h   da t a   s a m pl e s   o e a c h   pe r s o n   a r e   us e d.   H O G   f e a t ur e s   of   t h e   f i r s t   s a m p l e s   o f   e a c h   pe r s o n ’s   S t a nda r s i g n a t u r e   da t a   s e t s   a n 1 : r a t i o   ups a m p l e s i g n a t u r e   da t a   s e t s   a r e   f us e us i n S U M ,   M A X ,   M IN ,   P R O D U CT ,   a n c o n c a t e na t i o n   t e c hn i q ue s .   T h e   n e u r a l   n e t w o r m o de l   i s   de s i gn e fo r   t h e   r e qui r e i n pu t .   T h e   r e m a i n i ng  s a m pl e s   of   e a c h   pe r s o n   a r e   us e d   fo r   t e s t i n g.   T h e   s a m e   pr o c e dur e   i s   e xe c ut e fo r   t h e   f i n ge r p ri nt   da t a b a s e ,   h e r e   40  us e r ’s   l e f t   t h um b   da t a   s a m pl e s   o f   e a c us e a r e   c o n s i de r e d .     e.   E xpe r i m e nt s   o m ul t i m o da l   s y s t e m :   T h e   f e a t u r e   v e c t o r   ob t a i n e i n   l e v e l   a f t e r   S U M ,   M A X ,   M IN ,   P R O D U CT ,   a n d   c o n c a t e n a t i o t e c hni que   o f   U n i m o da l   s y s t e m   i s   us e f o r   t h e   s e c o n l e v e l   of   f us i o n .   F e a t u r e   ve c t o r   ob t a i n e f r o m   e a c h   t e c hni que   i n   l e v e l   of   bo t h   s i g na t u r e   H O G   f e a t u r e s   a n F i n ge r p r i nt   H O G   f e a t ur e s   a r e   f us e us i n Co n c a t e na t i o n   m e t h o i n   l e v e l   a n t h e s e   m ul t i - l e v e l   f us e ve c t o r   da t a   i s   s e t   a s   a n   i nput   f o r   n e u ra l   n e t w o r a nd  r e s ul t s   a r e   pl o t t e d.   N e ura l   n e t w o r m o de l   c o n c e r ni n g   i nput   n e ur o n   1: 2,   1 : 3 ,   a nd  1: r a t i o   hi d de n   n e u r o n s   m o de l s   a r e   i m p l e m e n t e d.   E xt e n di ng  t h e   e xpe r i m e nt a t i o n   n e u r a l   n e t w o r m o de l   w i t h   m u l t i pl e   hi dde n   l a y e r s   of   756  h i dde n e u r o n s   i n   t h e   f i r s t   l a y e r   a n 2 56  h i dde n   n e u r o n s   i t h e   s e c o n l a y e r   i s   i m pl e m e n t e d   a nd  r e s ul t s   a r e   pl o t t e d.       7.   R ES U LTS   T h e   r e s ul t s   a r e   b a s e o n   L e v e l   f e a t ur e   f us i o n :   T h e   e xpe r i m e n t   i s   c o n duc t e o n   u n i m o da l   b i o m e t r i c s .   O r i g i na l   d a t a b a s e   a nd  ups a m pl e d a t a b a s e   a r e   fus e us i n g   t h e   c o n c a t e n a t i o n   t e c hni que ,   a n t h e   c o n c a t e n a t e f e a t ur e   v e c t o r   i s   s e t   a s   a n   i n p ut   f o r   t h e   n e u r a l   n e t w o r k.   T h e   c l a s s i f i c a t i o n   a c c ur a c y   i s   gi ve n   i n   T a b l e   2.   T h e   r e s ul t s   a r e   b a s e o n   l e v e l   f e a t ur e   f us i o n :   s i g n a t u r e   a n f i n ge r p ri n t   f e a t u r e   v e c t o r   o b t a i n e d   f r o m   l e ve l   S U M ,   M A X ,   M IN ,   P R O D U CT ,   a n c o n c a t e na t i o n   t e c hni que   f us i o n   i s   f us e i n   l e v e l   us i n c o n c a t e n a t i o n   t e c hni que .   F e a t u r e   v e c t o r   ob t a i n e a f t e r   b o t h   l e v e l   a n l e v e l   f us i o n s   i s   s e t   a s   a n   i nput   f o r   n e u r a l   n e t w o r a n r e s ul t s   a r e   pl o t t e d.   T h e   c l a s s i f i c a t i o n   a c c ur a c y   of   t h e   n e u r a l   n e t w o r m o de l   i s   gi v e n   i n   T a b l e   3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   1 A p r i l   20 21   :   187   -   195   192   T a b l e   2 .   U ni m o da l   s y s t e m :   s i n gl e   l e v e l   f e a t ur e   f us i o n   Bi o m e tr i c   tr a i ts   F u s i o n   te c h n i q u e   N e u r a l   N e t w o r k   M o d e l   C l a s s i f i c a ti o n   a c c u r a c y   M CY T   S t a n d a rd   S i g n a t u re   d a t a   s a m p l e   a n d   1 : 2   ra t i o   u p   s a m p l e d   d a t a .   Co n c a t e n a t i o n   85%   S D U M L A   S t a n d a r d   f i n g e r p ri n t   d a t a   s a m p l e   a n d   1 : 2   ra t i o   u p   s a m p l e d   d a t a     Co n c a t e n a t i o n   60%       T a b l e   3 .   M u l t i m o da l   S y s t e m :   m ul t i - l e v e l   f e a t ur e   f us i o n   Bi o m e tr i c   tr a i ts   M u l ti - Le v e l   F u s i o n   te c h n i q u e   N e u r a l   N e t w o r k   M o d e l   C l a s s i f i c a ti o n   a c c u r a c y   M CY T   S t a n d a rd   S i g n a t u re   d a t a   s a m p l e   a n d   1 : 2   ra t i o   u p   s a m p l e d   d a t a .   S D U M L A   S t a n d a r d   f i n g e r p ri n t   d a t a   s a m p l e   a n d   1 : 2   ra t i o   u p   s a m p l e d   d a t a   L e v e l 1 :   U n i m o d a l   b i o m e t r i c s   L e v e l 2 :   M u l t i m o d a l   Bi o m e t ri c s   L e v e l   1 :   Co n c a t e n a t i o n   L e v e l   2 :   Co n c a t e n a t i o n   9 1 . 6 6 %   L e v e l   1 :   S U M   L e v e l   2 :   Co n c a t e n a t i o n   9 2 . 5 %   L e v e l   1 :   M A X   L e v e l   2 :   Co n c a t e n a t i o n   9 1 . 6 6 %   L e v e l   1 :   M IN   L e v e l   2 :   Co n c a t e n a t i o n   9 2 . 0 %   L e v e l   1 :   P r o d u c t   L e v e l   2 :   Co n c a t e n a t i o n   9 3 . 3 3 %       F i gu r e   s h o w s   t h e   c l a s s i f i c a t i o a c c ura c y   of   e a c h   n e t w o r m o de l   w i t di f f e r e n t   f us i o n   t e c hni que s   us e i n   b o t h   l e ve l   a n l e v e l   f us i o n s .   F i gur e   s h o w s   t h e   pl o t   fo r   da t a   a v a i l a b l e   i n   T a b l e   3,   t h e   x - a x i s   s h o w s   f us i o n   t e c hni que s   a t   b o t h   l e v e l   a n d   l e v e l   r e s pe c t i ve l y   a n d ,   t h e   y - a xi s   s h o w s   c l a s s i f i c a t i o n   a c c ura c y .   R e s ul t s   b a s e o n   v a r y i n h i d de n   n e u r o n s :   F r o m   T a b l e   i t   ha s   b e e n   ob s e r v e t h a t   t h e   l e v e l   pr o duc t   m e t h o a n l e v e l   c o n c a t e n a t i o n   m e t h o ds   s h o w e g o o d   r e s ul t s ,   t ha t   r e s ul t s   a r e   ob t a i n e by   de v e l o pi n f o ur   n e u r a l   n e t w o r m o de l s   by   v a r y i n g   h i dde n e u r o n s .   T h e   r e s ul t s   o f   a l l   f o ur   m o de l s   a r e   g i v e n   i n   T a b l e   4 .           F i gu r e   5.   M u l t i - l e v e l   f e a t ur e   f us i o t e c hni que s   v s   n e u r a l   n e t w o r m o de l   c l a s s i f i c a t i o n   a c c ura c y       T a b l e   4 .   M u l t i m o da l   S y s t e m :   M ul t i - l e v e l   f e a t ur e   f us i o f o r   d i f fe r e n t   hi dde n   n e u r o n   Bi o m e tr i c   tr a i ts   H i d d e n   N e u r o n s   N e u r a l   N e t w o r k   M o d e l   C l a s s i f i c a ti o n   a c c u r a c y     M CY T   S t a n d a rd   S i g n a t u re   d a t a   s a m p l e   a n d   1 : 2   ra t i o   u p   s a m p l e d   d a t a .   S D U M L A   S t a n d a r d   f i n g e r p ri n t   d a t a   s a m p l e   a n d   1 : 2   ra t i o   u p   s a m p l e d   d a t a   L e v e l 1 :   U n i m o d a l   b i o m e t r i c s   (P ro d u c t )   L e v e l 2 :   M u l t i m o d a l   Bi o m e t ri c s   (Co n c a t e n a t i o n )   2 5 2   N e u ro n s   9 2 . 0 0 %   5 0 4   N e u ro n s   9 2 . 5 0 %   7 5 6   N e u ro n s   9 3 . 3 3 %   1 0 0 8   N e u ro n s   9 2 . 5 0 %       F i gu r e   s h o w s   t h e   c l a s s i f i c a t i o n   a c c u r a c y   of   t h e   n e t w o r m o de l   by   v a r y i n h i d de n   n e u r o n s   us e i n   t h e   h i d de l a y e r ’s   x - a xi s   s h o w s   v a r i o us   n e u r o n s   us e i n   t he   hi dde n   l a y e r s ,   t h e   y - a xi s   s h o w s   c l a s s i f i c a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i m oda l   b i om e t r i c s   of   f i ng e r pr i n t   an s i gnat ur e   r e c o gni t i o. . .   ( A r j un  B e nagat t e   Ch anne gow da )   193   a c c ur a c y .   Re s ul t s   b a s e o n   v a r y i n hi dde n   l a y e r s :   F r o m   T a b l e   i t   ha s   b e e n   ob s e r ve 756  hi dde n   n e u r o n s   s h o w e d   goo r e s ul t s ,   t h e   s a m e   n e u ra l   n e t w o r m o de l   i s   e xt e n d ed   by   a ddi n m ul t i p l e   hi dde n   l a y e r s .   T h e   r e s ul t s   o f   t h e   s i ngl e   hi dde n   l a y e r   w i t 756   h i d de n e u r o ns   a n d   m u l t i pl e   hi dde n   l a y e r s   w i t 756   h i d de n e u r o n s   a r e   g i v e n   i T a b l e   5.   I n   t h e   l i t e r a t u r e   s u r v e y   m a n y   w o r ks   s h o w   m o r e   t h a 95%   c l a s s i f i c a t i o n   a c c ur a c y ,   b ut   fo r   v e r y   l i m i t e da t a   s e t s .   I n   t h e   p r o po s e w o r 93. 33 a c c ura c y   w a s   a c h i e v e fo r   l a r ge r   da t a   s e t s .   F r o m   t h e   l i t e ra t u r e   i t   ha s   b e e n   ob s e r ve t h a t ,   n o   o t h e w o r i s   p r o po s e w i t h   t h e   f us i o n   o f   f i n ge rp r i nt   a n s i g n a t u r e   b i o m e t ri c   t r a i t s   a t   m u l t i - l e v e l   w i t h   de e pl e a rni ng  m o de l   f o r   c l a s s i f i c a t i o n .   W h e n   c o m pa r e w i t uni m o da l   f r i n ge r p ri n t ,   i n   p r o po s e m o de l   r e c o gn i t i o n   r a t e   i s   i n c r e a s e by   8. 33%  a n f o r   s i g n a t u r e   s a m p l e s   pr o po s e m o de l   r e c o gn i t i o n   ra t e   i s   i n c r e a s e b y   33. 33%.           F i gu r e   6.   H i dde n   n e u r o n s   v s   n e ura l   n e t w o r m o de l   c l a s s i f i c a t i o a c c u r a c y       T a b l e   5 M u l t i m o da l   S y s t e m :   M ul t i - l e v e l   f e a t ur e   f us i o f o r   d i f fe r e n t   hi dde n   l a y e r s   Bi o m e tr i c   tr a i ts   H i d d e n   L a y e r   N e u r a l   N e t w o r k   M o d e l   C l a s s i f i c a ti o n   a c c u r a c y   M CY T   S t a n d a rd   S i g n a t u re   d a t a   s a m p l e   a n d   1 : 2   ra t i o   u p   s a m p l e d   d a t a .   S D U M L A   S t a n d a r d   f i n g e r p ri n t   d a t a   s a m p l e   a n d   1 : 2   ra t i o   u p   s a m p l e d   d a t a   L e v e l 1 :   U n i m o d a l   b i o m e t r i c s   ( c o n c a t e n a t i o n )   L e v e l 2 :   M u l t i m o d a l   Bi o m e t ri c s   (P r o d u c t )   7 5 6   N e u ro n s   (s i n g l e   l a y e r)   9 3 . 3 3 %   7 5 6   N e u ro n s     (f i r s t   l a y e r)   2 5 2   N e u ro n s   (s e c o n d   l a y e r)   8 5 . 5 0 %       8.   C O N C LU S I O N   In  t hi s   pa pe r ,   s e v e r a l   e xpe r i m e n t s   a r e   c a rr i e o ut   b y   v a r y i n hi dde n   n e u r o n s   a n d   h i dde n   l a y e r s   o f   t h e   n e u r a l   n e t w o r m o de l .   B y   e xa m i n i n g   t h e   e n t i r e   n e u ra l   n e t w or k   m o de l   b e s t   m o de l s   a r e   s e l e c t e a n d   r e s ul t s   a r e   e xpl o r e d.   I n   t h e   p r o po s e m e t h o m u l t i l e v e l   fe a t u r e   f us i o n   fo r   a n   u ps a m pl e da t a b a s e   i s   i m pl e m e n t e by   us i n de e n e u ra l   n e t w o r m o de l .   T h e   m a i i de a   o f   t h i s   w o r i s   t o   o b t a i n   b e t t e r   c l a s s i f i c a t i o a c c ura c y   i n   m ul t i m o da l   s i g na t u r e   a nd  f i n ge r p ri n t   b i o m e t r i c .   H ow e v e r ,   t h e r e   w i l l   b e   n o   f i xe m e t h o t o   de s i gn   de e p   l e a rn i ng  n e t w o r ks   l i ke   h o w   t o   c h oo s e   h i dde n   n e u r o n s ,   h i dde n   l a y e r s ,   a c t i v a t i o n   f un c t i o n ,   e t c .   F r o m   t h e   ex pe r i m e nt ,   i t   h a s   b e e n   ob s e r v e t h a t   t h e   p r o po s e m o d e l   i nc r e a s e s   t h e   c l a s s i f i c a t i o n   a c c ura c y   o m ul t i m o da l   b i o m e t r i c s   ov e r   un i m o da l   b i o m e t r i c s   r e c o gn i t i o n   f o r   l a r ge r   da t a   s e t s .   I n   M ul t i l e v e l   f e a t ur e   f us i o n   c o m b i na t i o n   o f   c o n c a t e na t i o n   a n p r o duc t   o pe ra t i o n s   s h o w e b e t t e r   r e s ul t   o f   93. 33 o f   c l a s s i f i c a t i o n   a c c ur a c y   w h e n   e xpe ri m e nt e o n   a   s i n g l e   l a y e r   w i t 756   h i dd e n   n e u r o n s .         R EF ER EN C ES     [ 1]   M .   O l o y e de ,   G .   P .   H a nc ke ,   U n i m o da l   a n m ul t i m o da l   b i o m e t r i c   s e ns i ng   s y s t e m s :   A   R e v i e w ,   I E E E   A c c e s s   201 6 ,   v o l .   4,   pp .   753 2 75 55 ,   S e p . 201 6 ,   do i :   10. 1 109 / A C C E S S . 201 6. 2614 720 .   [ 2]   S ha he e d ,   e t   al . ,   A   s y s t e m a t i c   r e v i e w   o f   f i ng e r   v e i r e c o g ni t i o t e c hni q ue s .   I n f or m at i c s ,   v o l . 9 ,   pp .   21 3 ,   A ug .   2018 ,   do i :   10. 3390 / i nf o 9090213 .   [ 3]   P o o j a   B S   a nd   A r j un  B C ,   F a c e   r e c o g ni t i o u s i ng   a r t i f i c i a l   ne u r a l   n e t w o r ks   ( A N N )   N a t i ona l   C o nf e r e nc e   on   R e c e nt   A dv an c e s   i I n f or m at i on   &   C om m un i c a t i on  E ng i ne e r i ng ,   F e b .   2016 ,   do i :   10. 110 9/ S P I N 48934. 20 20 . 907 1378 .   [ 4]   C ha nda R a n i   a n A r j un  B C   A e f f i c i e nt   s i g na t ur e   ba s e b i o m e t r i c   s y s t e m   us i ng   B P N N ,”   I nt e r n at i on al   J our nal   of   I nno v at i v e   R e s e ar c h   and   A d v anc e d   S t ud i e s   ( I J I R A S ) ,   v o l .   3 ,   no .   6,   M a y   2016 .     [ 5]   D i ng ,   e t   al . ,   R o bu s t   f a c e   r e c o g ni t i o v i a   m ul t i m o da l   d e e f a c e   r e pr e s e n t a t i o n .   I E E E   T r an s .   M u l t i m e d ,   v o l . 17 ,   pp.   2049 - 205 8 ,   20 15.   [ 6]     A l a a   S .   A l - W a i s y ,   R .   Q a hw a j i ,   S .   S .   I ps o n,   S .   Al - F a hda w i ,   A   m ul t i - bi o m e t r i c   i r i s   r e c o g ni t i o s y s t e m   ba s e o a   de e p   l e a r ni ng   a pp r o a c h , ”  P at t e r n   A n al .   A pp l .   v o l .   2 1,   pp .   78 3 - 802 ,   O c t .   2 018 .   Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   1 A p r i l   20 21   :   187   -   195   194   [ 7]     W .   L i u,   L .   S un,   L .   Z ha ng ,   L Z ha ng ,   F i ng e r   v e i r e c o g ni t i o ba s e o de e l e a r n i ng ,”   P r o c e e di ng s   o f   t he   2017  12t h   I E E E   C onf e r e nc e   o I nd us t r i al   E l e c t r on i c s   an A ppl i c at i on s ,   Si e m   R e ap,   C am b odi a pp .   205 21 0 J u n .   20 17 .   [ 8]   K .   S o um i a ,   B M o ha m m e d,   H .   A y m e n,   K .   I br a hi m B i o m e t r i c   a ut he nt i c a t i o us i ng   c ur v e l e t   t r a ns f o r m , ”  I nd one s i an  J our nal   of   E l e c t r i c al   E n gi ne e r i ng  and  C om pu t e r   Sc i e nc e   ( I J E E C S ) ,   v o l .   20,   n o .   3 ,   pp .   133 2 - 1341 ,   D e c .   20 20 do i :   10. 1 1591 / i j e e c s . v 20 i 3.     [ 9]   H a i de r ,   e t   a l . ,   A   S ur v e y   o f   B i o m e t r i c   R e c o g ni t i o U s i ng   D e e L e a r n i ng   E A I   E ndor s e T r ans a c t i on s   o E ne r g y   W e O nl i ne   F i r s t   pub l i s he d ,   O c t 2 0 20.   [ 10]   T i o ng ,   e t   al . ,   M u l t i m o da l   f a c e   bi o m e t r i c s   by   us i ng   c o nvo l ut i o na l   ne ur a l   ne t w o r k , ”  J our na l   of   K or e M u l t i m e di a   Soc i e t y ,   v o l .   20,   no .   2 ,   pp.   1 70 - 8,   20 17 ,   do i :   10 . 971 7/ km m s . 2 017 . 20 . 2 . 170 .   [ 11]   J i a j i a   G e ng ,   J i a j i a   G e ng ,   Y i u - m i ng   C he ung ,   A udi o - v i s ua l   s p e a k e r   r e c o g ni t i o v i a   m ul t i - m o da l   c o r r e l a t e ne u r a l   ne t w o r k ,   2016   I E E E / W I C / A C M   I nt e r n at i on al   C onf e r e nc e   onW e I n t e l l i ge nc e   W or k s ho ps   ( W I W ) O c t .   201 6 ,   do i :   10. 1 109 / W I W . 2016 . 043 .   [ 12]   N a v de e p,   e t   a l . ,   nov e l   m ul t i - m o de l   bi o m e t r i c f us i o a pp r o a c us i ng   pa l m - pr i nt   &   f a c e   bi o m e t r i c ,   I n t e r nat i o nal   J our nal   o f   L a t e s t   T r e nd s   i E ng i ne e r i ng   andT e c h nol ogy ,   v o l .   8,   no . 3 ,   pp .   24 0 - 247 ,   2 017 ,   do i :   10. 1 109 / A R T C o m . 2009. 2 24 .   [ 13]   P r i y a   e t   al . ,   M ul t i m o da l   b i o m e t r i c   a u t he n t i c a t i o us i ng   ba c pr o pa g a t i o a r t i f i c i a l   ne u r a l   ne t w o r k .   I nt e r n at i on al   J our nal   o f   S i m u l a t i on:   S y s t e m s ,   S c i e nc e and   T e c hno l og y ,   v o l .   1 9,   no .   6,   pp . 1 - 8,   2 018 .   [ 14]   P .   S i l v a ,   E .   J . da   S i l v a   L uz , L .   A .   Z a nl o r e n s i ,     D .   M e no t t i ,”   M u l t i m o da l   f e a t ur e   l e v e l   f us i o ba s e o p a r t i c l e s w a r m   o pt i m i z a t i o w i t h   d e e p   t r a ns f e r   l e a r n i ng ,”   20 18  I E E E C ongr e s s   o E v ol ut i ona r y   C om p ut a t i on   ( C E C ) ,   J ul .   201 8 .   [ 15]   S ukhd e v   S i ng h   a nd  C ha nde r   K a nt ,   F K P   a n i r i s   ba s e m ul t i m o da l   b i o m e t r i c   s y s t e m   us i ng   P C A   w i t N F N N ,”   I nt e r n at i on al   C on f e r e nc e   on  Su s t ai n ab l e   C om put i n i S c i e nc e ,   T e c hnol o gy   and   M anage m e nt   ( S U S C O M ) ,   F e b.   2019 .   [ 16]   E l   M e hd i   C he r r a t v ,   R a c h i A l a o ui ,   H a s s a ne   B o uz a hi r S c o r e   f us i o of f i ng e r   v e i a nd  f a c e   f o r   hum a r e c o g ni t i o ba s e o nc o n v o l ut i o na l   ne u r a l   n e t w o r m o de l .   I nt e r na t i ona l   J our n al   o f   C om put i ng ,   v o l .   19,   no .   1 ,   p p.   11 - 19 ,   M a r .   2020 .   [ 17]   P .   Ku m a r i ,   K .   R .   S e e j a ,   P e r i o c ul a r   b i o m e t r i c s   f o r   no n - i de a l   i m a g e s :   w i t o f f - t he - s he l f   D e e C N N   &   T r a n s f e r   L e a r ni ng a p pr o a c h” .   P r oc e di a   C om p ut e r   Sc i e nc e ,   v o l .   16 7,   pp .   344 - 352,   2 020 .   [ 18]   A r un  A .   R o s s ,   K .   N a nda kum a r ,   A ,   K ,   J a i n,   H a ndbo o o f   M u l t i b i o m e t r i c s ,   Spr i nge r   I n t e r na t i ona l   E di t i on ,   2016 .   [ 19]   Y i l o ng ,   e t   al . ,   m ul t i m o da l   bi o m e t r i c   da t a b a s e .   T he   6t C hi ne s e   C onf e r e nc e   on  B i om e t r i c   R e c ogn i t i on   ( C C B R   2011 ) ,   L N C S   709 8,   20 11,   p p.   26 0 - 268 ,   do i :   10 . 100 7/ s 100 44 - 009 - 0 151 - 4 .   [ 20]   J .   O r t e g a - G a r c i a ,   M C Y T   ba s e   l i ne   c o r pus :   a   bi m o da l   bi o m e t r i c   da t a ba s e   I E E   p r oc . - V i s   i m age   s i gna l   pr o c e s s ,   v o l   150,   n o .   6 ,   D e c 2 103 ,   do i :   10. 10 49/ i p - v i s : 2003107 8 .   [ 21]   A r j un  B   C ,   H   N .   P r a k a s h ,   F e a t ur e   l e v e l   f us i o o f   s e v e ne i g hbo r   bi l i n e a r   i n t e r po l a t i o d a t a   s e t s   o f   f i ng e r   v e i a nd  i r i s   f o r   m ul t i m o da l   b i o m e t r i c   r e c o g ni t i o n , ”  I nt e r n at i ona l   J ou r na l   of   A dv an c e T r e nds   i n   C om pu t e r   Sc i e nc e   and  E ngi ne e r i n g v ol .   9 ,   n o . 2 ,   2020 ,   do i :   10. 3 0534 / i j a t c s e / 20 20/ 9592 20 20.   [ 22]   E l   m e h di   C he r r a t ,   R a c hi A l a o ui ,   H a s s a n e   B o uz a hi r A   m ul t i m o da l   bi o m e t r i c   i de nt i f i c a t i o s y s t e m   ba s e o c a s c a de   a dv a nc e o f   f i ng e r pr i n t ,   f i ng e r v e i a n f a c e   i m a g e s , ”  I n done s i a J o ur n al   of   E l e c t r i c a l   E ng i ne e r i ng   and   C om put e r   Sc i e nc e ,   v o l .   18 ,   n o 1,   pp .   156 2 - 1570   A pr .   202 0 ,   do i :   10. 11591 / i j e e c s . v 18 . i 1 .   [ 23]   A r j un  B   C ,   H   N   P r a k a s h M u l t i m o da l   b i o m e t r i c   r e c o g ni t i o n:   f us i o o f   m o di f i e a da p t i v e   bi l i n e a r   i n t e r po l a t i o da t a   s a m pl e s   o f   f a c e   a nd  s i g na t u r e   us i ng   l o c a l   b i n a r y   pa t t e r n   f e a t u r e s ”  I nt e r n at i on al   J ou r na l   o f   E ngi ne e r i ng  a nd  A dv an c e T e c hno l o gy   ( I J E A T ) ,   V o l 9 ,   no .   3 ,   pp .   2249 - 89 58 F e b .   2 020 ,   do i :   10. 3594 0/ i j e a t . C 6117 . 0 2932 0 .   [ 24]   J a s o B r o w nl e e ,   D e e l e a r n i ng   w i t py t ho de v e l o de e l e a r n i ng   m o de l s   o t he a no   a nd  t e ns o r f l o w ,   M a c hi ne   L e ar ni n M a s t e r y ,   201 6.   [ 25]   A .   R o s s G o v i nda r a j a n ,   F e a t ur e   L e v e l   f us i o us i ng   ha nd   a nd   f a c e   bi o m e t r i c s ,”   P r oc e e di n gs   of   SP I E   C on f e r e nc e   on   B i om e t r i c   T e c hno l og y   f o r   H um an   I de n t i f i c at i o I v o l .   5779 ,   pp .   19 6 204 200 5 ,   do i :   10. 1 117 / 12 . 60 6093 .   [ 26]   R o s s   A ,   F us i o n,   F e a t u r e - L e v e l ,”   E nc y c l ope di of   B i om e t r i c s .   Spr i nge r ,   B os t on 200 9.   [ 27]   N .   D a l a l ,   B .   T r i g g s , “ H i s t o g r a m s   o f   o r i e nt e g r a d i e n t s   f o r   hum a d e t e c t i o n ,”   I E E E   C om pu t e r   Soc i e t y   C on f e r e nc e   on  C om put e r   V i s i on  and   P at t e r n   R e c og ni t i on v o l .   1 pp .   886 893 ,   J u n .   2015 ,   do i :   10. 11 09 / C V P R . 2 005 . 17 7 .       B I O G R A P H I ES   O F   A U T H O R S         A r j u n   B   C   r e c e i v e d e g r e e   i B a c he l o r   o f   C o m put e r   S c i e nc e   a nd  E ng i n e e r i ng   f r o m   V i s v e s v a r a y a   T e c hno l og i c a l   U ni v e r s i t y ,   B e l g a um ,   K a r n a t a ka ,   I ndi a ,   a nd  M .   T e c i I ndus t r i a l   A ut o m a t i o a nd  R o bo t i c s   f r o m   V i s v e s v a r a y a   T e c hno l og i c a l   U ni v e r s i t y   B e l g a um ,   K a r n a t a ka .   I ndi a .   C ur r e nt l y ,   he   i s   pur s u i ng   P h . D .   i C o m put e r   S c i e nc e   a nd  E ng i ne e r i ng   a t   V i s v e s v a r a y a   Te c hno l o g i c a l   U ni v e r s i t y ,   B e l g a um   K a r na t a ka I ndi a .   H e   i s   c ur r e n t l y   w o r ki ng   a s   a A s s i s t a nt   P r o f e s s o r   i t h e   D e pa r t m e n t   o f   I nf o r m a t i o S c i e nc e   &   E ng i ne e r i ng   a t   R a j e e v   I ns t i t ut e   o f   T e c hno l o gy ,   H a s s a K a r na t a k a ,   a nd  I ndi a .   H e   ha s   y e a r s   o f   i ndus t r y   e xpe r i e nc e   a nd  10   y e a r s   o f   t e a c hi ng   e xp e r i e nc e .   H i s   r e s e a r c i n t e r e s t   i nc l u de s   I m a g e   pr o c e s s i ng ,   P a t t e r n   r e c o g ni t i o n,   A r t i f i c i a l   I nt e l l i g e nc e A r t i f i c i a l   N e u r a l   N e t w o r k ,   D e e L e a r ni ng ,   a nd  M a c hi ne   L e a r n i ng .   H e   ha s   pub l i s h e pa p e r s   i n   c o nf e r e nc e s   a nd   I nt e r n a t i o na l   J o ur na l s .           Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       Mul t i m oda l   b i om e t r i c s   of   f i ng e r pr i n t   an s i gnat ur e   r e c o gni t i o. . .   ( A r j un  B e nagat t e   Ch anne gow da )   195       D r .   H   N   P r ak as h   r e c e i v e d e g r e e   i B a c he l o r   o f   E l e c t r o ni c s   a nd  C o m m uni c a t i o ns   a nd   E ng i ne e r i ng   f r o m   M y s o r e   U ni v e r s i t y ,   K a r na t a k a ,   I ndi a ,   a n d   M .   T e c i E l e c t r o ni c s   I ns t r um e n t a t i o f r o m   N a t i o na l   I ns t i t u t e   o f   T e c hno l ogy   W a r a ng a l ,   T e l a ng a na ,   I ndi a ,   a nd   P h . D   i C o m put e r   S c i e nc e   f r o m   M y s o r e   U ni v e r s i t y ,   K a r na t a ka ,   I ndi a .   H e   i s   c ur r e nt l y   w o r ki ng   a s   P r o f e s s o r   a nd  H e a i t he   D e p a r t m e n t   o f   C o m put e r   S c i e nc e   &   E n g i ne e r i ng   a t   R a j e e v   I ns t i t ut e   o f   T e c hno l ogy ,   H a s s a n,   K a r na t a k a ,   I ndi a .   H e   ha s   30   y e a r s   o f   t e a c hi ng   e xpe r i e nc e .   H i s   r e s e a r c h   i nt e r e s t   i nc l u de s   i m a g e   pr o c e s s i ng ,   pa t t e r r e c o g ni t i o n,   A r t i f i c i a l   I nt e l l i g e nc e A r t i f i c i a l   N e u r a l   N e t w o r k   a nd  M a c h i ne   L e a r n i ng .   H e   ha s   p ubl i s he d   m a ny   pa pe r s   i N a t i o na l   a n I nt e r na t i o na l   c o n f e r e nc e s   a nd  J o ur na l s .   H e   h a s   pu bl i s he I E E E   t r a ns a c t i o n s   i P a t t e r R e c o g ni t i o a n M a c hi n e   I nt e l l i g e nc e .       Evaluation Warning : The document was created with Spire.PDF for Python.