I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   4 ,   A u g u s t 2 0 2 6 ,   p p .   3 2 5 2 ~ 3 2 6 8   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 4 . p p 3 2 5 2 - 3 2 6 8           3252     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Bio metric  a uth en ticatio n using  d ua l - mo da l deep  l ea r ning     ba sed - o elec troc a rdio g ra m   a nd ear featu res       M o ha m ed  S.  K ha la f 1 Sa id F a t hy   Al - Z o g hd y 1 ,   M a ria na   B a rso um 1 ,   I bra him   O ma ra 2, 3   1 D e p a r t me n t   o f   M a t h e m a t i c s   a n d   C o mp u t e r   S c i e n c e ,   F a c u l t y   o f   S c i e n c e ,   M e n o u f i a   U n i v e r s i t y ,   S h e b i n   El - K o m ,   E g y p t   2 D e p a r t me n t   o f   C y b e r se c u r i t y ,   C o l l e g e   o f   En g i n e e r i n g   a n d   I n f o r ma t i o n   T e c h n o l o g y ,   B u r a y d a h   P r i v a t e   C o l l e g e s ,   B u r a y d a h ,   S a u d i   A r a b i a   3 D e p a r t me n t   o f   M a c h i n e   I n t e l l i g e n c e ,   F a c u l t y   o f   A r t i f i c i a l   I n t e l l i g e n c e ,   M e n o u f i a   U n i v e r s i t y ,   S h e b i n   El - K o m,   Eg y p t       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  1 1 ,   2 0 2 5   R ev is ed   J u n   1 2 ,   2 0 2 6   Acc ep ted   J u l 9 ,   2 0 2 6       Bio m e tri c   a u t h e n ti c a ti o n   s y ste m a re   e ss e n ti a fo r   se c u re   a c c e ss   c o n tr o l;   h o we v e u n imo d a sy ste m a re   v u l n e ra b le  to   sp o o fi n g   a n d   e n v i ro n m e n tal   v a riatio n s.   Th is  st u d y   p ro p o se a   d u a l - m o d a b i o m e tri c   sy ste m   c o m b in i n g   e lec tro c a rd io g ra m   (ECG sig n a ls   a n d   e a fe a tu re t o   e n h a n c e   se c u rit y   a n d   a c c u ra c y .   D e e p   lea rn i n g   a rc h it e c tu re in c lu d in g   VGG - v e ry d e e p 1 6   a n d   c o n v o lu ti o n a n e u ra n e two rk   ( CNN 5 )   a re   e v a lu a ted   fo r   fe a tu re   e x trac ti o n   a n d   fu si o n .   Ex p e rime n tal  re su lt sh o th a h y b rid   m o d e (VG G - v e ry d e e p 1 6   +   CNN 5 a c h iev e a ro u n d   9 8 %   a c c u ra c y ,   o u tp e rfo rm i n g   i n d iv i d u a m o d e ls.   Th e   sy ste m   a d a p ts  to   d a tas e siz e ,   u si n g   CNN 5   fo r   lar g e   d a tas e ts  a n d   VG G - v e ry d e e p 1 6   f o sm a ll e o n e s.  Th is  a p p ro a c h   o ffe rs  a   ro b u st,  e ffi c ien t,   a n d   sc a lab le so lu ti o n   f o re a l - wo rl d   b i o m e tri c   a u th e n t ica ti o n .   K ey w o r d s :   B io m etr ic  au th en ticatio n   C o n v o lu tio n al  n eu r al  n etwo r k   5   Dee p   lear n in g   E ar   r ec o g n itio n   E lectr o ca r d io g r am   Mu lti - m o d al  f u s io n   VGG - v er y d ee p 1 6   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   I b r ah im   Om a r a   Dep ar tm en t o f   C y b er s ec u r ity ,   C o lleg o f   E n g i n ee r in g   an d   I n f o r m atio n   T ec h n o lo g y   B u r ay d ah   Priv ate  C o lleg es   B u r ay d ah ,   Sau d i A r ab ia   E m ail:   i_ o m ar a8 4 @ ai. m en o f i a. ed u . eg       1.   I NT RO D UCT I O N   B io m etr ic  au th en ticatio n   s y s tem s   h av b ec o m ess en tial  f o r   s ec u r ac ce s s   co n tr o in   a p p licatio n s   r an g in g   f r o m   p er s o n al   d ev ice s   to   lar g e - s ca le  o r g a n izatio n al   s y s tem s   [ 1 ] .   Un im o d al   s y s tem s ,   wh ich   r el y   o n   a   s in g le  b io m etr ic  m o d ality   s u ch   as  f in g e r p r in ts   o r   f ac ial   r ec o g n itio n ,   o f f er   s im p licity   b u f ac s ig n if ica n lim itatio n s   [ 2 ] .   T h ese  in clu d e   v u ln e r ab ilit y   to   s p o o f i n g   atta ck s   ( e. g . ,   f ak e   f in g er p r i n ts   o r   p h o to s ) ,   s en s itiv ity   to   en v ir o n m en tal  f ac to r s   lik lig h tin g   o r   m o is tu r e,   an d   h ig h er   er r o r   r ates  in   s itu atio n s ,   s u ch   as  p ar tial  o cc lu s io n   o r   s en s o r   wea r   [ 3 ] .   T o   ad d r ess   th ese  lim itatio n s ,   r ec en s tu d ies  h av e   ex p l o r ed   m u ltimo d al  b i o m etr ic  s y s tem s   [ 4 ] [ 6 ] .   Sev e r al  ap p r o ac h es  co m b in e   m o d alities   s u ch   as  f ac e   an d   v o ice  r ec o g n itio n   [ 5 ] ,   ir is   an d   f in g er p r in au th en ticatio n   [ 7 ] ,   o r   g ait  an d   p alm   v ein   p atter n s   [ 8 ] .   Alth o u g h   th ese  s y s tem s   im p r o v r o b u s tn ess ,   th ey   m ay   s till   s u f f er   f r o m   s p o o f in g   u s in g   h ig h - q u ality   r ep li ca s   o r   m an ip u lated   v id eo s   [ 9 ] .   I n   ad d itio n ,   m an y   m u ltimo d al  s o lu tio n s   r e q u ir e   s u b s tan tial  co m p u tatio n al   r eso u r ce s ,   lim itin g   th eir   s u ita b ilit y   f o r   r ea l - tim e   ap p licatio n s   o r   d ev ices w ith   lim ited   p r o ce s s in g   ca p a b ilit y   [ 1 0 ] .   E lectr o ca r d io g r am   ( E C G )   s ig n als  h av e   r ec en tly   em er g ed   a s   p r o m is in g   b io m et r ic  m o d ali ty   d u e   to   th eir   in tr in s ic  lin k   to   p h y s io lo g ical  an d   b eh av io r al  tr aits ,   m a k in g   th em   d if f ic u lt  to   r e p licate  o r   s p o o f   [ 6 ] ,   [ 1 1 ] Similar ly ,   ea r   im ag es  r ep r esen s tab le  b io m etr ic  tr ait,   as  ea r   f ea tu r es  ar u n iq u an d   r elati v ely   u n a f f ec ted   b y   f ac ial  ex p r ess io n s   o r   lig h tin g   co n d itio n s   [ 3 ] ,   [ 1 2 ] ,   [ 1 3 ] .   Ho wev er ,   s tan d alo n E C G -   o r   ea r - b ased   s y s tem s   m a y   s till   ex p er ien ce   lim itatio n s   in   ac cu r ac y   an d   r eliab ilit y   u n d er   d iv er s co n d itio n s   [ 1 4 ] .   I n teg r atin g   th ese  two   m o d alities   ca n   ex p lo it th eir   co m p lem en tar y   s tr en g th s   wh ile  r ed u cin g   i n d iv id u al  wea k n ess es.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       B io metric a u th en tica tio n   u s in g   d u a l - mo d a d ee p   lea r n in g   b a s ed - o n   E C a n d   …  ( Mo h a m ed   S .   K h a la f )   3253   Mu ltimo d al  b io m etr ic  s y s tem s   co m b in in g   ea r   an d   E C ca p tu r b o th   an ato m ical  an d   p h y s io lo g ical  ch ar ac ter is tics .   T h ea r   p r o v i d es  s tr u ctu r al  s tab ilit y ,   wh ile  E C en s u r es  liv elin es s   an d   s tr o n g   r esis tan ce   to   s p o o f in g .   R ec en r esear ch   h as  u tili ze d   d ee p   lear n in g   tech n iq u es  f o r   f ea tu r ex tr a ctio n   an d   f u s io n .     Kh alaf   et  a l.   [ 6 ]   p r o p o s ed   m u ltimo d al  s y s tem   in teg r atin g   ea r   im ag in g   a n d   E C s ig n als  u s in g   s ep ar ate  co n v o l u tio n al  n e u r al  n etwo r k s   ( C NNs) ,   ac h iev in g   9 9 . 4 7 ac cu r ac y .   E l - R ah m an   an d   Allu h aid an   [ 1 5 ]   d ev elo p e d   s in g le - ea r   wea r a b le  with   in - ea r   elec tr o d es  an d   an   o p tim ized   d ee p   m atc h ed   f ilter   alg o r ith m   th a t   ac h iev ed   9 5 r ec all  an d   ap p r o x im ately   9 1 p r ec is io n   f o r   R - p ea k   d etec tio n   ac r o s s   3 6   s u b jects.    Mo h am ed   et  a l.   [ 1 6 ]   in t r o d u c ed   C NN - b ased   s y s tem   tr ain ed   o n   m ath em atica an al y s is   o f   im ag es  ( AM I )   an d   ea r   Vietn am   1 . 0   ( E ar NV1 . 0 )   d atasets ,   ac h iev in g   9 8 ea r   r ec o g n itio n   ac cu r ac y .   Su m alath et  a l.   [ 1 7 ]   p r o p o s ed   tu n ab le  f ilter   b an k   an d   d ee p   f ea tu r f u s io n   f r am ewo r k   co m b in i n g   E C an d   ea r   m o d alities   u s in g   v is u al  g eo m etr y   g r o u p   ( VGG ) - v er y d ee p 1 6   f o r   f ea t u r ex tr ac tio n ,   ac h iev in g   ab o u 9 8 . 7 5 ac cu r ac y   with   h ig h er   c o m p u tatio n al   tim e.   T o   id en tify   th m o s s u itab le  m o d el,   th is   s tu d y   ev alu ates  s ev er al  d ee p   lear n in g   ar c h itectu r es  in clu d in g   VGG - v e r y d ee p 1 6   [ 1 8 ] ,   an d   m u ltip le  C NN  m o d els  ( C NN5 C NN8 )   in   ter m s   o f   ac cu r ac y ,   p r o ce s s in g   tim e,   an d   s ca lab ilit y .   W h ile  VGG - v er y d ee p 1 6   p r o v id es  h ig h   ac c u r ac y ,   it  is   c o m p u tatio n ally   in ten s iv e   [ 1 9 ] C NN5   o f f er s   f aster   p er f o r m a n ce   with   s lig h tly   r ed u ce d   ac cu r ac y .   T h e r ef o r e ,   h y b r id   f r a m ewo r k   co m b i n in g   VGG - v er y d ee p 1 6   an d   C NN5   is   p r o p o s ed   to   b alan ce   ac cu r a cy   an d   e f f icien cy   d ep e n d in g   o n   d ataset  s ize.   T h co n tr ib u tio n s   o f   th is   wo r k   ar th r ee f o ld :     Dev elo p m en t   o f   r o b u s d u al - m o d al  b io m etr ic   au th e n ticatio n   s y s tem   c o m b in in g   E C s i g n als  an d   ea r   f ea tu r es to   o v e r co m t h lim itatio n s   o f   tr ad itio n al  u n im o d al  an d   s o m ex is tin g   m u lti - m o d a l sy s tem s .     E v alu atio n   o f   d ee p   lear n i n g   a r ch itectu r es  ( VGG - v er y d ee p 1 6   an d   o th e r   C NN  m o d els)  to   d eter m in th e   m o s t e f f ec tiv m o d el  f o r   th p r o p o s ed   d u al - m o d al  ap p r o ac h .     Pro p o s in g   h y b r id   s y s tem   th at  b alan ce s   s p ee d   an d   ac cu r ac y ,   en s u r in g   s ca lab ilit y ,   an d   ad ap tab ilit y   ac r o s s   d iv er s ap p licatio n   s ce n ar io s .   T h is   p ap er   is   o r g an ized   as  f o llo ws .   Sectio n   2   p r o v id es  an   o v er v iew  o f   r ec e n wo r k s   in   b io m etr ic  au th en ticatio n ,   h i g h lig h tin g   th eir   ad v an ce m e n ts   an d   lim itatio n s .   Sectio n   3   o u tlin es  th p r o p o s ed   d u al - m o d al  s y s tem   an d   m o d el  d esig n .   Sec tio n   4   p r o v id es  in s ig h ts   in to   p er f o r m a n ce   m etr ics  an d   co m p ar ativ ev alu atio n s .   Sectio n   5   h ig h lig h ts   th p r ac ti ca im p licatio n s   o f   th p r o p o s ed   h y b r i d   s y s tem .   Sectio n   6   co n clu d es  th p ap er   with   th f u tu r e   wo r k .       2.   RE L AT E WO RK S   B io m etr ic  au th en ticatio n   s y s tem s   h av e   ev o lv e d   s ig n if ic an tly   in   r ec en t   y ea r s   with   n u m e r o u s   ad v an ce m e n ts   aim ed   at  im p r o v in g   s ec u r ity ,   ac c u r ac y ,   an d   r o b u s tn ess   [ 2 0 ] .   T r ad itio n al   u n im o d al  s y s tem s   s u ch   as  f in g er p r in t,  f ac ial,   o r   i r is   r ec o g n itio n   h av b ee n   wid ely   s tu d ied   an d   im p lem en ted   d u to   th eir   ea s o f   u s an d   ac ce s s ib ilit y .   Ho wev er ,   th ese  s y s tem s   h av m u ch   v u ln er ab ilit y ,   s u c h   as  s u s ce p tib ilit y   to   s p o o f in g ,   en v ir o n m en tal  f ac to r s ,   a n d   li m ited   ac cu r ac y   in   ch allen g in g   co n d itio n s   ( e . g . ,   p ar tial  o cc lu s io n   an d   lo w - q u ality   s en s o r s ) .   T o   ad d r ess   th ese  s h o r tco m in g s ,   t h r esear ch er s   h av in cr ea s in g ly   t u r n ed   to   m u lti - m o d al  b io m etr i c   s y s tem s ,   wh ich   in teg r ate  m u ltip le  m o d alities   to   im p r o v e   au t h en ticatio n   r eliab ilit y .   T h e   f o l lo win g   s u b s ec tio n s   d escr ib u n im o d al  an d   m u lti - m o d al  b io m etr ic  s y s tem s   b ased   o n   E C an d   ea r   f ea t u r es.     2 . 1 .     E lect ro c a rdio g ra m - ba s ed  bio m et ric  a uthent ica t io n   E C G - b ased   b io m etr ic  au th en ti ca tio n   h as  attr ac ted   in c r ea s in g   atten tio n   d u to   th e   u n i q u en e s s   o f   E C G   p atter n s ,   wh ich   ar clo s ely   r elate d   to   an   in d iv id u al’ s   p h y s io lo g ical  an d   b e h av io r al  ch a r a cter is tics   [ 6 ] ,   [ 2 1 ] T h ese  s ig n als  p r o v id h ig h   lev el  o f   in d iv id u ality   a n d   ar d if f icu lt  to   r ep licate  o r   s p o o f ,   m ak in g   th em   a   p r o m is in g   m o d ality   f o r   s ec u r au th en ticatio n   s y s tem s   [ 2 2 ] ,   [ 2 3 ] .   R ec en s tu d ies  h av ex p lo r ed   m ac h in e   lear n in g   an d   d ee p   lear n in g   ap p r o ac h es,  p ar ticu la r ly   C NNs,  t o   class if y   E C G   s ig n als  f o r   u s e r   id en tific atio n   an d   v er if icatio n   with   h ig h   ac cu r ac y   u n d er   co n tr o lled   co n d itio n s   [ 2 2 ] ,   [ 2 3 ] .   Sev er al  s tu d ies  h av d em o n s tr ated   th ef f ec tiv en ess   o f   E C G - b ased   b io m etr ic  s y s tem s   u s in g   d if f er en s ig n al  p r o ce s s in g   an d   d ee p   lear n in g   tech n iq u es.  Fo r   ex am p le,   Me l zi  et  a l.   [ 2 2 ]   ev alu ated   E C b io m etr ics  in   b o th   v er if icatio n   an d   id en tific atio n   task s ,   ac h iev in g   v er y   lo e r r o r   r ates  in   s in g le -   an d   m u lt i - s ess io n   s ce n ar io s .   Fatim ah   et  a l.   [ 2 4 ]   u tili ze d   Fo u r ier   d ec o m p o s itio n   m eth o d   ( FDM)   an d   p h ase  tr an s f o r m   ( PT)   tech n iq u es  to   ac h iev e   h ig h   id en tific atio n   ac cu r ac y   ac r o s s   m u ltip le  E C d atasets .   T r an s f er   lear n in g   ap p r o ac h es  u s in g   p r e - tr ain e d   C NN  m o d els  wer e   also   ex p lo r e d   b y   Ku m a r   an d   Pu r u s h o ttam a   [ 2 5 ]   d em o n s tr atin g   im p r o v ed   r ec o g n itio n   p e r f o r m a n ce   th r o u g h   f ea tu r f u s io n .   Ad d itio n ally ,   f ea tu r s elec tio n   tech n iq u es  co m b in ed   with   m ac h in lear n in g   class if ier s   h av b ee n   u s ed   to   en h an ce   r ec o g n itio n   p er f o r m a n ce .   Mo r ad v a n ce d   d ee p   lear n in g   m o d els,  in clu d in g   s iam ese  n etwo r k s   an d   ca p s u le  n etwo r k s ,   h av e   f u r th er   im p r o v ed   E C G - b ased   b io m etr ic  r ec o g n itio n   ac cu r ac y   ac r o s s   s ev er al  b en ch m ar k   d atasets   [ 2 6 ] .   co m p ar is o n   o f   th ese  s tu d ies is   s u m m ar ized   in   T a b le  1 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 2 5 2 - 3 2 6 8   3254   T ab le  1 .   Su m m a r y   o f   r ec e n t d ee p   lear n in g   ap p r o ac h es  in   E C r ec o g n itio n   S t u d y   M e t h o d o l o g y   D a t a s e t ( s)   A c c u r a c y   ( %)   M e l z i   e t   a l .   [ 2 2 ]   M u l t i - sess i o n   Tr a d i t i o n a l / u ser - f r i e n d l y   9 6 . 4 6 100   F a t i m a h   e t   a l .   [ 2 4 ]   F D M   +   P T   C h e c k   y o u r   b i o si g n a l h e r e   i n i t i a t i v e   ( C Y B H i ) ,   M I T - B I H ,   a n d   E C G - ID   9 1 . 0 7 / 9 7 . 9 2 / 9 8 . 4 5   K u mar   e t   a l .   [ 2 5 ]   A l e x N e t   +   G o o g l e N e t   f u si o n   P r i v a t e   D B   9 6 . 6   P a t r o   e t   a l .   [ 2 7 ]   G e n e t i c   a l g o r i t h m ( GA )   e l a st i c   n e t   ( EN )   r a n d o m f o r e s t   ( RF )   P r i v a t e   D B   9 5 . 3 0 / 9 4 . 9 0   P r a k a s h   e t   a l .   [ 2 6 ]   M o d i f i e d   s i a m e se  n e t w o r k   EC G - ID   9 9 . 8 5   B o u j n o u n i   e t   a l .   [ 2 3 ]   C a p su l e   n e t w o r k s   P TB   d i a g n o si s   EC G   ( P TB )   P T B ,   M I T - B I H ,   M I T - B I H   S c h a n g e   ( S TD B ) a n d   M I T - B I H   n o r mal   si n u s   r h y t h m   ( N S R D B )   9 9 . 5 1 0 0       2 . 2 .     E a r ec o g nitio n   E ar   b io m etr ics  in v o lv th a n aly s is   o f   th o u ter   ea r ' s   s h ap e,   s ize,   an d   u n iq u f ea tu r es  [ 2 8 ] ,   [ 2 9 ] C o m p ar ed   with   f ac ial  r ec o g n itio n ,   ea r   f ea tu r es  r em ain   r ela tiv ely   s tab le  o v er   tim an d   a r less   af f ec ted   b y   f ac ial  ex p r ess io n s ,   ag in g ,   o r   m o d er ate  e n v ir o n m en tal  v a r ia tio n s .   R ec en s tu d ies  h av s h o wn   th at  ea r - b ased   au th en ticatio n   s y s tem s   ca n   ac h iev h ig h   ac cu r ac y ,   e s p ec ially   wh en   co m b i n ed   with   d ee p   lear n in g     ap p r o ac h es  [ 3 0 ] [ 3 2 ] .   Xu   et  a l.   [ 3 1 ]   p r o p o s ed   a n   ea r   r ec o g n itio n   ap p r o ac h   b ased   o n   th r esid u al  n etwo r k   ( R esNet ) - 1 8   d ee p   r esid u al  n etwo r k .   T h m o d el  e x p lo its   r esid u al  co n n ec tio n s   to   allev iate  th v a n is h in g   g r ad ien p r o b lem   a n d   im p r o v f ea tu r ex tr ac tio n   ca p ab ilit y .   T h p r o p o s ed   m eth o d   wa s   ev alu ated   o n   th e   Un iv er s ity   o f   Scien ce   an d   T ec h n o lo g y   B eijin g   ( USTB)   I I I   e ar   d ataset  an d   ac h iev ed   r ec o g n itio n   ac cu r ac y   o f   9 8 . 2 7 %,   o u tp e r f o r m in g   s ev er al  co n v e n tio n al  ea r   r ec o g n iti o n   an d   d ee p   lear n in g   a p p r o a ch es.  T h ese  r esu lts   d em o n s tr ate  th e   ef f ec tiv e n ess   o f   r esid u al  lear n in g   f o r   r o b u s ea r   b io m etr ic   r ec o g n itio n .   I n   s tu d ies   [ 3 3 ] ,   [ 3 4 ]   in v esti g ated   f in e - tu n ed   u s in g   cu s to m - s ized   in p u ts   d eter m i n ed   s p ec if ically   f o r   ea ch   C NN  ar ch itectu r e,   an d   d ee p   r esid u al  n etwo r k s   r esp ec tiv ely ,   s in g le  R esNeXt1 0 1   m o d el  ac h iev es  r a n k - 1   r ec o g n itio n   ac cu r ac y   o f   9 3 . 4 5 %,  an d   ac h iev es  th b e s r an k - 1   r ec o g n itio n   ac cu r ac y   o f   9 5 . 8 5 u s in g   an   en s em b le  o f   f in e - tu n ed   R esNeX t1 0 1   m o d el.   Mo r e o v er ,   th ey   o b tain ed   b y   av er ag i n g   en s em b les  o f   f in e - tu n ed   n e two r k s   r ec o g n itio n   ac cu r ac y   o f   9 9 . 6 4 %,  9 8 . 5 7 %,   8 1 . 8 9 %,  an d   6 7 . 2 5 o n   th AM I AM I   cr o p p ed   ( AM I C ) W es Po m er an ian   Un iv er s ity   o f   T ec h n o lo g y   ( W PUT) ,   an d   an n o tated   web   ea r   ( AW E )   d atab ases ,   r esp ec tiv ely .     He   e t   a l .   [ 3 5 ]   f u r t h e r   a d v a n c e d   t h e   f i e l d   b y   i n t r o d u c i n g   c o n t r a s ti v e   l o s s   l e a r n i n g ,   a c h ie v i n g   9 9 . 5 9 %   a c c u r a c y ,   a n d   P r i y a d h a r s h i n i   e t   a l .   [ 3 6 ]   d e s i g n e d   s i x - l a y e r   C N N   t o   a u t o m a ti c a ll y   l e a r n   d i s c r i m i n at i v e   e a r   f e a t u r e s   w i t h o u t   r el y i n g   o n   h a n d c r a f t e d   d e s c r i p t o r s .   T h e   m o d e l   w a s   e v a l u a te d   o n   t h I n d i a n   I n s t it u t e   o f   T e c h n o l o g y   D e l h i - I I   ( IITD - II )   a n d   A M I   e a r   d a t a s e t s ,   a c h i e v in g   r e c o g n i t i o n   a c c u r a c i e s   o f   9 7 . 3 6 %   a n d   9 6 . 9 9 % ,   r e s p e c t i v el y .   M e h t a   e t   a l .   [ 3 7 ]   p r o p o s ed   an   e n s em b le - b ased   h y b r id   tr an s f er   lear n in g   f r a m ewo r k   f o r   2 D   ea r   r ec o g n itio n   u s in g   p r e - tr ain e d   VGG1 6   an d   VGG1 9   C NN s .   Dee p   f ea tu r es  ex tr ac ted   f r o m   b o th   n etwo r k s   wer co m b in ed   t h r o u g h   an   e n s em b le  s tr ateg y   to   im p r o v t h d is cr im in ativ ca p ab ilit y   o f   t h r ec o g n itio n   s y s tem .   L ei  et  a l.   [ 3 8 ]   p r o p o s ed   li g h tweig h ea r   r ec o g n itio n   f r a m ewo r k   b ased   o n   an   atten tio n   m ec h an is m   an d   f ea tu r f u s io n   s tr ateg y .   T h p r o p o s ed   n etwo r k   e n h an ce s   d is cr im in ativ ea r   r ep r esen tat io n s   b y   in teg r atin g   ch an n el  atten tio n   m o d u les  with   m u lti - lev el  f ea tu r f u s io n .   E x p er im e n tal  r esu lts   d e m o n s tr ated   th at   th e   p r o p o s ed   lig h tweig h ar ch itect u r ac h iev ed   co m p etitiv r ec o g n itio n   p er f o r m a n ce   wh ile  s ig n if ican tly   r ed u ci n g   co m p u tatio n al   co m p le x ity ,   m ak in g   it  s u itab le  f o r   r ea l - tim b io m etr ic  ap p licatio n s .   Desp ite  th ese   ad v an ce m e n ts ,   ea r   r ec o g n itio n   s y s tem s   s ti ll  f ac ch allen g es  in   r ea l - wo r ld   s ce n ar io s   d u t o   v ar iatio n s   in   p o s e,   o cc lu s io n ,   lig h tin g   c o n d itio n s ,   an d   b ac k g r o u n d   n o is e.   I n   a d d itio n ,   m an y   ex is tin g   ap p r o a ch es  ar o p tim ized   f o r   u n im o d al  d atasets   an d   m ay   n o g en e r alize   ef f ec tiv ely   in   m u ltimo d al  b i o m etr ic   s y s tem s .   T ab le  2   s u m m ar izes  v ar io u s   d ee p   lear n in g   tech n iq u es  em p l o y ed   i n   ea r   r ec o g n itio n ,   h ig h lig h tin g   th eir   ar ch itectu r e,   d atasets ,   an d   ac h iev ed   ac c u r ac y .   T o   o v er c o m th lim itatio n s   o f   u n im o d al  ap p r o ac h es,  r ese ar ch er s   h av ex p lo r ed   h y b r id   b io m etr ic  s y s tem s   th at  co m b in E C an d   ea r   f ea tu r es.  T h ese  d u al - m o d al   s y s tem s   ex p lo it  t h co m p lem en tar y   ch ar ac ter is tics   o f   ea ch   m o d ality   to   im p r o v au th en ticatio n   ac cu r ac y   an d   s ec u r ity .   Pre v io u s   s tu d ies  h av e   s h o wn   th at  in teg r atin g   E C with   o th er   b i o m etr ic  m o d alities ,   s u ch   as f ac o r   f in g er p r in t r ec o g n itio n ,   e n h an ce s   r o b u s tn ess   an d   r ed u ce s   f alse  r ejec tio n   r ates  in   r ea l - wo r l d   en v ir o n m e n ts   [ 3 9 ] ,   [ 4 0 ] .   Dee p   l ea r n in g   tech n iq u es,   p ar ticu lar ly   C NNs,  h av s ig n if ican tly   ad v a n ce d   b i o m etr i au th en ticatio n   b y   en ab lin g   au to m ated   f ea tu r ex tr ac tio n   a n d   ef f icien t   class if icatio n .   Ar c h itectu r es  s u ch   a s   VGG - v er y d ee p 1 6 ,   R esNet,   an d   Alex ' s   n etwo r k   ( Alex Net )   h av b ee n   wid ely   ap p lied   to   b io m etr ic  d ata   p r o ce s s in g   [ 4 1 ] .   H o wev er ,   t h ese  m o d els  ar o f ten   co m p u tatio n ally   ex p e n s iv e,   lim itin g   th eir   s u itab ilit y   f o r   r ea l - tim o r   r eso u r ce - co n s tr ain ed   ap p licatio n s .   C o n s eq u en tly ,   r ec e n r esear ch   h as  f o cu s ed   o n   lig h tweig h o r   h y b r id   a r ch itectu r es  th at  b alan ce   ac cu r ac y   an d   co m p u tatio n al  e f f icien cy .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       B io metric a u th en tica tio n   u s in g   d u a l - mo d a d ee p   lea r n in g   b a s ed - o n   E C a n d   …  ( Mo h a m ed   S .   K h a la f )   3255   T ab le  2 .   Su m m a r y   o f   r ec e n t d ee p   lear n in g   ap p r o ac h es in   ea r   r ec o g n itio n   S t u d y   A p p r o a c h   D a t a s e t   A c c u r a c y   ( %)   O mara  e t   a l .   [ 3 0 ]   C N N   d i s c r i m i n a n t   c o r r e l a t i o n   a n a l y si ( D C A )   U S TB   a n d   I I TD   d a t a se t s   9 9 . 0 0   a n d   9 9 . 5 0   X u   e t   a l .   [ 3 1 ]   R e sN e t - 18 - b a se d   a p p r o a c h   U S TB   I I I   d a t a se t   9 8 . 2 7   A l sh a z l y   e t   a l .   [ 3 3 ]   F i n e - t u n e d   R e sN e X t 1 0 1   e n sem b l e   Ea r V N 1 . 0   d a t a s e t   9 5 . 8 5   A l sh a z l y   e t   a l .   [ 3 4 ]   En se mb l e   o f   f i n e - t u n e d   C N N s   A M I   a n d   A W d a t a s e t s   9 9 . 6 4   a n d   6 7 . 2 5   He   e t   a l .   [ 3 5 ]   C o n t r a st i v e   l o ss   l e a r n i n g   N o t   s p e c i f i e d   9 9 . 5 9   P r i y a d h a r s h i n i   e t   a l .   [ 3 6 ]   C N N s   I I TD - I I   a n d   A M I   d a t a s e t s   9 7 . 3 6   M e h t a   e t   a l .   [ 3 7 ]   H y b r i d   t r a n sf e r   l e a r n i n g   ( V G G 1 6   +   V G G 1 9   e n s e mb l e )   I I TD   d a t a se t   9 9 . 3 5   Le i   e t   a l .   [ 3 8 ]   A t t e n t i o n   mec h a n i sm  a n d   f e a t u r e   f u s i o n   U S TB   a n d   E a r V N 1 . 0   d a t a s e t s   1 0 0   a n d   8 8 . 3 0       2 . 3 .     M ulti - m o da bio m et ric  s y s t em s   ba s ed  o elec t ro ca rdio g ra m   a nd   ea r   R ec en s tu d ies  h av ex p lo r ed   co m b in in g   d if f er e n b io m etr ic   m o d alities   to   o v er co m th lim itatio n s   o f   in d iv id u al  s y s tem s .   Fo r   ex am p le,   f ac an d   ea r   r ec o g n itio n   s y s tem s   h av b ee n   r esear ch ed   to   im p r o v e   ac cu r ac y   an d   r o b u s tn ess ,   esp ec ially   in   s ce n ar io s   wh er f ac ial  r ec o g n itio n   alo n is   n o s u f f icien ( e. g . ,   u n d er   lo lig h tin g   o r   with   a g in g   f ac es)  [ 4 2 ] ,   [ 4 3 ] p r in cip al   co m p o n en t   an aly s is   ( PC A) ,   an d   in d ep en d en t   co m p o n en an al y s is   ( I C A)   alg o r ith m s   to   en h a n ce   f ea t u r r ep r esen tatio n   an d   s elec tio n .   Similar ly ,   E C G,   ir is ,   an d   f in g er p r in t - b ased   s y s tem s   h av b ee n   p r o p o s ed   f o r   h ig h e r   s ec u r ity   an d   r eliab ilit y ,   as  th ese  two   m o d alities   p r o v id e   co m p le m en tar y   f ea tu r es  [ 4 4 ] ,   [ 4 5 ] .   R ec en tly ,   ea r   an d   E C s ig n als  h av e m e r g ed   as  p r o m is in g   co m p lem en tar y   b io m etr ic  m o d alities .   Sev er al  s tu d ies  h av e   in v esti g ated   th in teg r atio n   o f   th ese  m o d alities   u s in g   d if f e r en f ea tu r ex tr ac t io n   an d   f u s io n   tech n iq u es.  Dee p   lear n in g   ap p r o ac h es,  p ar tic u lar ly   C NNs,  h av e   b ee n   wid ely   u s ed   to   ex tr ac d is cr im in ativ f ea tu r es  f r o m   b o th   ea r   im ag es  an d   E C s ig n als  [ 4 4 ] ,   [ 4 5 ] .   Oth er   s tu d ies  h av in c o r p o r ated   s ig n al  p r o ce s s in g   m eth o d s   as  v ar i o u s   lo ca b in ar y   p atter n   ( L B P)  to   en h an ce   f ea tu r e   r ep r esen tatio n   a n d   s elec tio n   [ 4 6 ] .   Dif f er en t   f u s io n   s tr ateg ie s ,   in clu d in g   f ea tu r e - lev el  a n d   s co r e - lev el  f u s io n ,   h av also   b ee n   a p p lied   to   in teg r ate  th i n f o r m atio n   f r o m   b o th   m o d alities ,   r esu ltin g   i n   h ig h   r ec o g n itio n   ac cu r ac y   ac r o s s   s ev er al  d atasets   [ 4 3 ] [ 4 7 ] .   co m p a r is o n   o f   th ese  ap p r o ac h es  is   s u m m ar ized   in   T ab le   3 .   Desp ite  th ese  p r o m is in g   r esu lts ,   m an y   ex is tin g   m u ltimo d al  s y s tem s   s u f f er   f r o m   lim ited   d at aset  d iv er s ity ,   an d   r ed u ce d   a d ap tab ilit y   to   d i f f er en d ataset  s izes  a s   s h o wn   in   T ab le  3 .   T o   a d d r ess   th ese  lim itatio n s ,   th is   s tu d y   p r o p o s es  h y b r id   d u al - m o d al   au th en ticatio n   s y s tem   th at  d y n am ically   s elec ts   b etwe en   VGG - v er y d ee p 1 6   a n d   C NN5   b ased   o n   d ataset  s ca l e,   b alan cin g   ac cu r ac y   an d   co m p u tatio n al  ef f icien cy .   T h e   p r o p o s ed   m o d el  is   ev alu ated   u s in g   p u b licly   av ai lab le  d atasets   ( E C G - I an d   AM I )   an d   em p lo y s   ef f icien f u s io n   tech n iq u es  to   p r o v id e   s ca lab le  s o lu tio n   f o r   r ea l - wo r ld   b io m etr ic  au t h en ti ca tio n .       T ab le  3 .   Su m m a r y   o f   r ec e n t m u lti - m o d al  b io m etr ic  s y s tem s   co m b in in g   ea r   an d   E C si g n a ls   S t u d y   M o d a l i t i e s   F e a t u r e   e x t r a c t i o n   F u si o n   me t h o d   D a t a s e t   s i z e   A c c u r a c y   ( %)   K h a l a f   e t   a l .   [ 6 ]   Ea r   +   EC G   V G G 1 6   F e a t u r e - l e v e l   f u s i o n   9 0   su b j e c t s   9 9 . 4 7   Th a r e w a l   e t   a l .   [ 4 3 ]   3 D   ( f a c e   +   e a r )   P C A   +   I C P   S c o r e - l e v e l   f u s i o n   F a c e   r e c o g n i t i o n   g r a n d   c h a l l e n g e   ( F R G C )   U n i v e r si t y   o f   N o t r e   D a me  ( UND )   c o l l e c t i o n   F   9 9 . 2 5   K a i l a e t   a l .   [ 4 4 ]   EC G   +   i r i s   h e a r t   r a t e   v a r i a b i l i t y   ( H R V )   +   C N N   +   d e e p   r e si d u a l   n e t w o r k ( D e e p R e sN e t )     F e a t u r e - l e v e l   f u s i o n   N o t   s p e c i f i e d   9 7 . 0 0   G a r g   e t   a l .   [ 4 5 ]   F i n g e r p r i n t   +   i r i +   E C G   S w i n   t r a n sf o r mer   C N N   F e a t u r e - l e v e l   f u s i o n   C o m b i n e d   mu l t i m o d a l   d a t a se t   9 9 . 0 0   R e g o u i d   e t   a l .   [ 4 6 ]   EC G   +   e a r   +   i r i s   1D - LB P ,   S h i f t e d   1 D - LB P ,   1 D - MR - L B P   F e a t u r e - l e v e l   f u s i o n   M u l t i p l e   p u b l i c   d a t a s e t s   1 0 0   G u v e n   e t   a l .   [ 4 7 ]   EC G   +   sp e e c h   1D - C N N   V o t i n g - b a se d   f u si o n   9 0   su b j e c t s   1 0 0   S u ma l a t h a   e t   a l .   [ 1 7 ]   EC G   +   f i n g e r p r i n t   F K P   S i a mes e   n e u r a l   n e t w o r k s   W e i g h t e d   s c o r e - l e v e l   f u s i o n   9 0   su b j e c t s   9 9 . 8 0   A sh w i n i   e t   a l .   [ 4 8 ]   EC G   +   i r i s   En se mb l e   f e a t u r e   e x t r a c t i o n   F e a t u r e - l e v e l   f u s i o n   N o t   s p e c i f i e d   9 5 . 6 5       2 . 4 .     L im it a t io ns   a nd   re s ea rc h g a ps   Desp ite   t h e   p r o g r ess   m a d i n   m u lti - m o d a an d   d ee p   le ar n i n g - b ase d   b io m e tr ic   a u t h e n ti ca ti o n   s y s t em s ,   s ev er al  c h al le n g es  r em ai n .   T h ese  in cl u d e   t h h i g h   c o m p u ta ti o n al   d em a n d s   f o r   d ee p   le ar n i n g   m o d els   t h at   n ee d   lar g a n d   d i v e r s e   d atas ets  to   t r ai n   ac cu r a te  m o d els ,   s o m o f   p r e v i o u s   p u b lis h e d   p ap er s   [ 4 5 ] [ 4 8 ] ,   b ased   o n   u n k n o wn   a n d   p r iv ate   d atasets .   Ad d itio n ally ,   r ea l - wo r ld   f ac to r s   s u ch   as   n o is e,   s en s o r   ca lib r atio n ,   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 2 5 2 - 3 2 6 8   3256   en v ir o n m en tal  v ar iatio n s   co n t in u to   af f ec th p er f o r m an c o f   b i o m etr ic  s y s tem s .   T h er e   is   n ee d   f o r   m o r e   ef f icien m o d els  th at  b ala n ce   ac cu r ac y   with   s p ee d   a n d   s ca la b ilit y ,   p ar ticu lar l y   f o r   lar g e - s c ale  ap p licatio n s   o r   s y s tem s   with   lim ited   r eso u r ce s .   T h is   p ap er   p r o p o s es  h y b r id   d u al - m o d al  au t h en ticatio n   s y s tem   th at  c o m b in es  E C s ig n a ls   an d   ea r   f ea tu r es  to   e n h an ce   s ec u r ity   wh ile  ad d r ess in g   th lim it atio n s   o f   e x is tin g   ap p r o ac h es.  B y   lev er ag in g     d ee p   lear n in g   m o d els,  in clu d i n g   VGG - v er y d ee p 1 6   a n d   C NN5 ,   th is   s tu d y   aim s   to   en h an ce   b o th   ac cu r ac y   a n d   p r o ce s s in g   tim e,   o f f er i n g   an   ad ap tab le  s o lu tio n   f o r   r ea l - w o r ld   ap p licatio n s .   k ey   s tr e n g th   o f   m u ltimo d al  co m p lex ity   lies   in   co m b in in g   m u ltip le  m o d alities   in   way   th at  m ax im izes  th ad v an tag es  o f   ea ch     m o d ality   wh ile  m in im izin g   co m p u tatio n al  o v er h ea d .   Fu r th er m o r e,   t h p r o p o s ed   ap p r o ac h   s ee k s   to   b r id g th e   g ap   b etwe en   p er f o r m an ce   an d   co m p u tatio n al  e f f icie n cy ,   en a b lin g   s ca lab le  an d   r o b u s b io m etr ic  au th en ticatio n   s y s tem s .       3.   M E T H O DS A ND  M A T E R I AL S   T h m eth o d o lo g ical  m o d el  o f   th is   r esear ch   is   d esig n ed   to   ad d r ess   th co m p lex   ch allen g es  o f     m u lti - m o d al  b io m etr ic  au t h en ticatio n   th r o u g h   r ig o r o u s   an d   s y s tem atic  ex p er im en tal  s y s tem .   B y   i n t e g r a t i n g   E C G   s i g n a ls   a n d   e a r   f e a t u r e   an a l y s is ,   t h is   s t u d y   a i m s   t o   d ev e l o p   a   r o b u s t   a u t h e n t i c at i o n   s y s te m   a s   s h o w n   i n   F i g u r e   1 .   T h m eth o d o l o g y   en co m p ass es  co m p r e h en s iv d ata  co llectio n ,   s o p h is ticated   p r ep r o ce s s in g   tech n iq u es,  ad v an ce d   d ee p   lear n in g   a r ch itectu r e,   an d   c o m p r eh en s iv p e r f o r m an ce   ev al u a tio n   s tr ateg ies.  T h e   f o llo win g   s u b - s ec tio n s   d escr ib ea ch   p h ase  o f   th p r o p o s ed   a p p r o ac h .           Fig u r 1 .   Pro p o s ed   d u al - m o d a l b io m etr ic  au th e n ticatio n   s y s tem       3 . 1 .     Da t a s et   p re pa ra t io n   3 . 1 . 1 Da t a   a cquis it io n   T h is   s tu d y   em p lo y ed   p u b licl y   av ailab le  d ata  s ets  f o r   b o th   E C s ig n als  an d   ea r   im ag es  to   en s u r r ep r o d u cib ilit y   an d   en ab le  b en ch m ar k in g   ag ain s estab lis h ed   d ata  s o u r ce s .   Sp ec if ically ,   th E C G - I D     d ataset  [ 4 9 ] ,   [ 5 0 ]   was  u s ed   f o r   E C s ig n als,  an d   t h AM I   d ataset  [ 5 1 ] ,   [ 5 2 ]   was  u s ed   f o r   ea r   im ag es.  T h ese   d atasets   p r o v id d iv er s a n d   h ig h - q u ality   s am p les  th at  a r wid ely   u s ed   in   b io m et r ic  au th en ticatio n   r esear ch .   T h E C G - I d ataset  in clu d es   r ec o r d i n g s   f r o m   9 0   p ar ticip a n ts ,   ea ch   co n t r ib u tin g   m u ltip l E C r ec o r d in g s .   T h s ig n als  wer e   co llected   u s in g   a   s in g le - lead   E C s y s tem   at  a   5 0 0   Hz   s am p lin g   r ate,   w ith   ea ch   r ec o r d in g   s ess io n   las tin g   ap p r o x i m ately   2 0   s ec o n d s p r o v id in g   s u f f icien tem p o r al  r eso lu tio n   f o r   r eliab le  f ea tu r e   ex tr ac tio n   an d   m o d elin g .     T h AM I   d ataset  co n tain s   h ig h - r eso lu tio n   ea r   im a g es  f r o m   1 0 0   p a r ticip an ts ,   ca p tu r e d   u s in g   a   co n tr o lled   s etu p   th at  in clu d es  b o th   f r o n tal  an d   an g led   v iew s .   T h im ag es  o f f er   co n s is ten q u ality ,   s to r ed   in   R GB   f o r m at  with   r eso lu tio n   o f   1 0 2 4 ×7 6 8   p ix els.  T h k e y   p ar am eter s   o f   b o t h   d atasets   ar s u m m ar ized   in   T ab le  4 ,   in clu d in g   s am p le  s ize,   r ec o r d in g   e q u ip m e n t,  s ig n al  d u r atio n ,   an d   s am p lin g   ch a r ac ter is tics .       T ab le  4 .   Data   ch a r ac ter is tics   P a r a me t e r   EC G   s i g n a l s (E C G - I D   d a t a s e t )   Ea r   i m a g e s (A M I   d a t a se t )   S a mp l e   s i z e   9 0   p a r t i c i p a n t s   1 0 0   p a r t i c i p a n t s   R e c o r d i n g   d e v i c e   S i n g l e - l e a d   EC G   sy s t e m   D i g i t a l   c a m e r a   S i g n a l   d u r a t i o n   2 0   se c o n d s   M u l t i p l e   a n g l e s   S a mp l i n g   r a t e   5 0 0   H z   1 0 2 4 × 7 6 8   p i x e l s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       B io metric a u th en tica tio n   u s in g   d u a l - mo d a d ee p   lea r n in g   b a s ed - o n   E C a n d   …  ( Mo h a m ed   S .   K h a la f )   3257   3 . 1 . 2 Da t a   p re pro ce s s ing   Sig n al  an d   im ag p r e p r o ce s s in g   in v o l v ed   s o p h is ticated   tech n iq u es  to   im p r o v f ea tu r q u ality   an d   en h an ce   d ata  r eliab ilit y ,   as  illu s tr ated   in   Fig u r 2 .   E C s ig n als  u n d er wen b a n d p ass   f i lter in g   to   r em o v   n o is e,   u tili zin g   tr an s f er   f u n ctio n   th at  ef f ec tiv ely   atten u ates  u n wan ted   f r eq u en cies.  T h Pan - T o m p k in s     alg o r ith m   [ 5 3 ]   a d o p ts   f o r   p r ec is R - p ea k   d etec tio n ,   en s u r in g   ac cu r ate  ca r d iac  c y cle  id en tifi ca tio n .   E ar   im a g es  u s in g   ad v a n ce d   im ag n o r m aliza tio n   tech n iq u es  f o r   r ep r o ce s s in g ,   in clu d in g   h is to g r a m   eq u aliza tio n   an d   co n tr ast  lim ited   ad ap tiv e   h is to g r am   eq u aliza tio n   ( C L AHE )   [ 5 4 ] .   A   cu s to m   s eg m e n tatio n   a lg o r ith m   e x tr ac ted   th r eg io n   o f   i n ter est  ( R OI ) ,   f o cu s in g   o n   u n iq u ea r   c h ar ac ter is tics .           Fig u r 2 .   C o m p r eh en s iv p r ep r o ce s s in g   wo r k f l o f o r   E C an d   ea r   im a g d ata       3 . 2 .     Dee lea rning   a rc hite ct ures   T h p r o p o s ed   s y s tem   em p lo y s   d ee p   lear n in g   ar ch itectu r es  to   ex tr ac d is cr im in ativ f ea t u r es  f r o m   E C s ig n als  an d   ea r   im ag es  wh ile  b alan cin g   co m p u tatio n al  ef f icien cy   an d   class if icat io n   ac cu r ac y .   T h e   f r am ewo r k   f o llo ws  m u lti - s tag f ea tu r ex t r ac tio n   an d   f u s io n   s tr ateg y   to   g en er ate  r ep r esen tativ f ea tu r e   em b ed d in g s .   T h e   f ir s ar ch ite ctu r is   in s p ir ed   b y   VGG - v e r y d ee p 1 6 ,   u s in g   s eq u en tial  c o n v o lu ti o n al  lay e r s   with   r ec tifie d   lin ea r   u n it  ( R e L U )   ac tiv atio n   an d   m ax - p o o l in g   to   ex tr ac h ier ar ch ical  f e atu r es,  alo n g   with   d r o p o u to   r ed u ce   o v e r f itti n g .   T h s ec o n d   ar c h itectu r e,   C NN5 ,   ex ten d s   th is   s tr u ctu r with   an   ad d itio n al  co n v o l u tio n al  lay er   to   ca p tu r e   m o r co m p lex   s p atial  p atter n s .   Featu r m ap s   f r o m   b o th   m o d els  ar f latten ed   an d   p r o ce s s ed   t h r o u g h   f u lly   c o n n ec ted   lay er s   to   g en er ate   e m b ed d in g s .   A   tr ip let  n etwo r k   f r am ewo r k   is   u s ed   d u r in g   tr ain in g ,   wh er e   an ch o r ,   p o s itiv e,   an d   n eg ativ e   s am p le s   p ass   th r o u g h   s h ar ed   f ea tu r ex tr ac to r   t o   lear n   em b ed d in g s   th at  m in im ize  in tr a - class   d is tan ce   an d   m ax im ize   in ter - class   s ep ar atio n .   T h tr ip let  lo s s   is   ap p lied   s ep ar ately   f o r   ea ch   m o d ality .   Fo r   E C s ig n als,  th an ch o r   is   r ef er en ce   E C s eg m en f r o m   an   en r o l led   s u b ject,   th e   p o s itiv is   a n o th er   s eg m en f r o m   th e   s am s u b ject,   a n d   t h n eg ativ is   a   s eg m en t   f r o m   a   d if f er en t   s u b ject.   Similar ly ,   f o r   ea r   im ag es,  th e   an c h o r   is   r ef er en ce   ea r   im a g e,   th p o s itiv is   an o th er   im ag e   o f   th s am ea r ,   an d   th n e g ativ is   an   im ag f r o m   d if f er en s u b ject.   T h is   en s u r es  th at  th lear n ed   em b e d d in g s   m in im ize  in t r a - class   d is tan ce   an d   m ax im ize  in te r - cla s s   d is tan ce   f o r   b o th   b io m etr ic  tr aits .   T h is   ar ch itectu r is   im p lem en ted   u s in g   Ker as  an d   T en s o r Flo lib r ar ies,  en s u r in g   m o d u lar ity   an d   s ca lab ilit y   f o r   i n teg r atio n   with   o th er   s y s tem s .   T h tr ain in g   co n f ig u r atio n   f o r   b o t h   V GG - v er y d ee p 1 6   a n d   C NN5   m o d els  is   d etai led   in   T ab le  5 ,   wh ich   s p ec if ies  th h y p er p ar am eter s   u s ed   d u r in g   m o d el  o p tim izatio n .   T h ese  p ar am eter s   wer s elec ted   th r o u g h   em p ir ical  v a lid atio n   to   en s u r o p tim al   co n v er g en ce   an d   g en er aliza tio n .   T h s h ar e d   n e two r k   is   tr ain ed   with   a   co m b i n atio n   o f   E C an d   ea r   b io m e tr ic  d ata,   allo win g   th m o d el  to   lear n   c o m p lem en tar y   f ea tu r es  f o r   r o b u s m u ltimo d al  au t h en ticatio n .   T h e   ar ch itectu r e   o f   th e   p r o p o s ed   d u al  m o d el  is   s h o wn   in   Fig u r 3 .       T ab le  5 .   T r ai n in g   h y p e r p ar am eter s   f o r   th p r o p o s ed   d u al - m o d al  s y s tem   H y p e r p a r a me t e r   V a l u e   D e scri p t i o n   O p t i mi z e r   A d a m   A d a p t i v e   m o me n t   e s t i m a t i o n   Le a r n i n g   r a t e   0 . 0 0 1   I n i t i a l   l e a r n i n g   r a t e   B a t c h   si z e   32   N u mb e r   o f   sam p l e p e r   b a t c h   Ep o c h s   50   To t a l   n u m b e r   o f   t r a i n i n g   e p o c h s   D r o p o u t   r a t e   0 . 3   R e g u l a r i z a t i o n   t o   r e d u c e   o v e r f i t t i n g   Tr i p l e t   l o ss  marg i n   ( α)   0 . 5   M a r g i n   p a r a m e t e r   u se d   i n   t r i p l e t   l o ss   W e i g h t   i n i t i a l i z a t i o n   H e   n o r ma l   I n i t i a l i z a t i o n   sc h e m e   s u i t a b l e   f o r   R e L U   A c t i v a t i o n   f u n c t i o n   R e LU   ( h i d d e n ) ,   s o f t m a x   ( o u t p u t )   N o n - l i n e a r   t r a n sf o r m a t i o n s   Lo ss f u n c t i o n   Tr i p l e t   l o ss  +   c r o ss - e n t r o p y   Jo i n t   e m b e d d i n g   l e a r n i n g   a n d   c l a ss i f i c a t i o n   Ea r l y   st o p p i n g   p a t i e n c e   1 0   e p o c h s   Tr a i n i n g   st o p s i f   v a l i d a t i o n   l o ss  d o e n o t   i mp r o v e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 2 5 2 - 3 2 6 8   3258       Fig u r 3 .   Ar c h itectu r o f   th p r o p o s ed   d ee p   d u al - m o d al  b io m etr ic       Fig u r 4   illu s tr ates  p r o p o s ed   h y b r id   f u s io n   ar c h itectu r e.   T h is   f ig u r illu s tr atin g   d y n a m ic  m o d el  s elec tio n   b etwe en   VGG - v e r y d ee p 1 6   an d   C NN5   b ased   o n   d ataset  s ize,   f o llo wed   b y   f ea t u r e x tr ac tio n   an d   f u s io n .   T h s y s tem   d y n am ica lly   s elec ts   b etwe en   VGG - v er y d ee p 1 6   an d   C NN5   b ased   o n   d ataset  s ize  an d   co m p u tatio n al   co n s tr ain ts .   F o r   lar g d atasets ,   C NN5   is   em p lo y ed   f o r   f aster   f ea t u r ex tr ac tio n ,   wh ile     VGG - v er y d ee p 1 6   is   u s ed   f o r   s m aller   d atasets   r eq u ir in g   h i g h er   ac cu r ac y .   Featu r es  f r o m   b o th   E C an d   ea r   m o d alities   ar ex tr ac ted   v ia  th s elec ted   m o d el,   th en   f u s ed   u s in g   co m b in atio n   o f   weig h ted   s u m   an d     m in - m ax   f u s io n   tech n iq u es.   T h f u s ed   f ea tu r v ec to r   is   p ass ed   to   th f in al  class if icatio n   lay er   f o r   au th en ticatio n   d ec is io n .           Fig u r 4 .   Hy b r id   f u s io n   ar c h itectu r o f   t h p r o p o s ed   s y s tem       3 . 3 .     F e a t ure  f us io n t ec hn iqu e   I n   m u ltimo d al  b io m etr ic  s y s tem s ,   co m b in in g   in f o r m atio n   f r o m   d if f er en t   s o u r ce s ,   s u c h   as  E C s ig n als  an d   ea r   im ag es  im p r o v es  p r ed ictio n   ac c u r ac y   an d   s y s tem   r eliab ilit y .   Fu s io n   te ch n iq u es  in teg r ate   co m p lem en tar y   in f o r m atio n   f r o m   b o t h   m o d alities   to   p r o d u ce   m o r r o b u s r ep r esen tatio n   f o r   ap p licatio n s   s u ch   as  b io m etr ic   id en tific atio n   an d   h ea lth ca r e   an aly s is .   T w o   co m m o n   f u s io n   m eth o d s   a r e   u s ed   in   t h is   wo r k weig h ted   s u m   f u s io n   a n d   m in m ax   f u s io n .   W eig h ted   s u m   f u s io n   co m b in es  f ea tu r es  f r o m   m u ltip le  m o d alities   b y   ass ig n in g   weig h t to   ea ch   in p u t f ea tu r e,   allo win g   m o r r eliab le  s o u r ce s   to   co n tr ib u te  m o r s ig n if ican tly   to   th f in al  r ep r esen tatio n   as in   ( 6 ) .            = ( 1 , 2 , ,  ) = 1 1 + 2 2 +   +     ( 6 )     Min m ax   f u s io n   ca p tu r es  th m in im u m   an d   m ax im u m   v alu es  b etwe en   m o d alities   to   p r eser v f ea t u r e   v ar iab ilit y   an d   h ig h lig h t d is tin ctiv ch ar ac ter is tics   as in   ( 7 ) .         =   ( 1 , 2 ) = [ ( 1 , 2 ) ,  ( 1 , 2 ) ]   ( 7 )     T h ese  f u s io n   s tr ateg ies  im p r o v s y s tem   ac cu r ac y   an d   r o b u s tn ess   b y   lev er ag in g   co m p lem en tar y   in f o r m atio n   f r o m   E C an d   ea r   m o d alities   wh ile  r em ain in g   co m p u t atio n ally   ef f icien t   an d   ad a p tab le  to   d i f f er en t   ap p licatio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       B io metric a u th en tica tio n   u s in g   d u a l - mo d a d ee p   lea r n in g   b a s ed - o n   E C a n d   …  ( Mo h a m ed   S .   K h a la f )   3259   3 . 4 .   F o ld  cr o s s   v a lid a t io n a n d per f o rm a nce  m e t rics   T o   en s u r e   r o b u s e v alu atio n   a n d   r e d u ce   d ata  p ar titi o n in g   b i as,  5 - f o ld   cr o s s - v alid atio n   s tr ateg y   was   em p lo y ed .   T h co m b in ed   d a taset  ( E C G - I an d   AM I )   w as  r an d o m ly   d iv i d ed   in to   f i v s tr atif ied   f o ld s ,   p r eser v in g   t h class   d is tr ib u tio n   in   ea c h   f o l d .   Fo r   ea c h   iter atio n ,   f o u r   f o ld s   wer u s ed   f o r   tr ain in g   an d   th e   r em ain in g   f o ld   f o r   test in g .   T h i s   p r o ce s s   was r ep ea ted   f iv ti m es so   th at  ea ch   f o ld   s er v ed   o n ce   as th test   s et.   T h m o d el  p er f o r m an ce   was  ev alu ated   u s in g   s tan d ar d   cla s s if icatio n   m etr ics,  in clu d in g   ac cu r ac y ,   p r ec is io n ,   r ec all,   a n d   F1 - s co r e ,   wh ich   m ea s u r o v er all  c o r r e ctn ess ,   p r ed ictio n   r eliab ilit y ,   d etec tio n   ca p ab ilit y ,   an d   th b alan ce   b etwe en   p r ec is io n   an d   r ec all.   T h ese  m etr ics  wer ca lcu lated   o n   th test   d ata  in   ea ch   f o ld ,   an d   th r esu lts   wer o b tain ed   b y   a v er ag in g   th e   p er f o r m a n ce   ac r o s s   all  f iv f o ld s .   T h a v er ag ev alu atio n   r esu lts   ar p r esen ted   in   s ec tio n   4   to   p r o v id r eliab le  ass ess m en t o f   th p r o p o s ed   d u al - m o d al  au th en ticatio n   s y s tem .     3 . 5 .   Co m pu t a t io na c o m plex it y   a na ly s is   T h co m p u tatio n al   co m p lex it y   o f   th p r o p o s ed   m o d els  is   an aly ze d   in   ter m s   o f   p ar a m eter   co u n ts   an d   f lo atin g - p o in o p er atio n s   ( FL OPs ) .   T h co m p lex ity   was  ca lcu lated   f o r   a   s in g le  f o r war d   p ass   with   s tan d ar d   in p u d im en s io n s   ( E C G:  5 0 0 0   s am p les,  e ar 2 2 4 ×2 2 4 ×3 ) .   T ab le  6   p r esen ts   th co m p u tatio n al  co m p lex ity   m etr ics  f o r   all  ev alu ated   ar c h itectu r es,  in clu d in g   p ar am et er   co u n ts ,   FLOPs,  m em o r y   r eq u ir em e n ts ,   an d   in f er en ce   tim es.  As  s h o wn ,   C NN5   o f f er s   th m o s f av o r ab l b alan ce   b etwe en   co m p lex it y   an d   p er f o r m an ce   with   o n ly   4 . 2 p ar am eter s   c o m p ar ed   to   VGG - v er y d ee p 1 6 ' s   1 3 8 p ar am eter s .   As  ev id en f r o m   T ab le  6 ,   C NN5   p r o v id es  t h o p tim al  b alan ce   b etwe en   co m p u tatio n al  ef f icien cy   an d   p e r f o r m an c e,   with   o n ly   4 . 2   p ar am eter s   an d   0 . 8   g ig f lo atin g - p o in t   o p e r atio n s   ( GFL OPs )   co m p ar ed   to   VGG - v e r y d ee p 1 6 ' s   1 3 8   p ar am eter s   an d   1 5 . 5   GFLO Ps .   T h is   m a k es  C NN5   p ar ticu la r ly   s u itab le  f o r   r eso u r ce - co n s tr ain ed   en v ir o n m en ts   with o u t sig n if ican tly   co m p r o m is in g   ac cu r ac y .       T ab le  6 .   C o m p u tatio n al  co m p l ex ity   o f   e v alu ated   ar c h itectu r e s   M o d e l   P a r a me t e r s   F LO P s   M e m o r y   ( M B )   I n f e r e n c e   t i me   ( ms)   VGG - v e r y d e e p 1 6   1 3 8   M   1 5 . 5   G   5 4 8   4 5 . 2   C N N 5   4 . 2   M   0 . 8   G   42   8 . 7   C N N 6   8 . 1   M   1 . 9   G   78   1 4 . 3   C N N 7   1 2 . 3   M   3 . 2   G   1 1 2   2 1 . 8   C N N 8   1 8 . 7   M   5 . 1   G   1 6 5   3 2 . 5   * F LO P s:   i n f e r e n c e   t i me   me a su r e d   o n   N V I D I A   R TX   3 0 9 0 *       4.   E XP E R I M E N T A L   RE SUL T S   T o   ass ess   th ef f ec tiv e n ess   an d   r o b u s tn ess   o f   t h p r o p o s ed   d u al - m o d al   b io m etr ic   ar ch itectu r in teg r atin g   E C an d   ea r   f ea t u r es,  th d ataset  was  p ar titi o n ed   u s in g   an   8 0 :2 0   r atio   f o r   t r ain in g   an d   test in g ,   r esp ec tiv ely .   f ix ed   r an d o m   s ee d   was  a p p lied   d u r i n g   th d ata  s p lit  to   m ain tain   co n s is ten cy   a n d   r ep r o d u cib ilit y   ac r o s s   ex p er i m en ts .   T h ev alu atio n   f o c u s ed   o n   k ey   p er f o r m an ce   in d icat o r s   s u ch   as  ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e,   wh ich   wer ca lcu lated   to   p r o v id co m p r eh en s iv an al y s is   o f   th m o d el’ s   p r ed ictiv ca p ab ilit ies.  T h e   E C G - I d ataset  u s ed   f o r   E C s ig n als,  wh ile  th AM I   d ataset  p r o v i d ed   ea r   im ag es.  B o th   d atasets   o f f er ed   d iv er s an d   h ig h - q u ality   s am p les,  m ak in g   th em   s u itab le  f o r   r o b u s b io m etr ic   au th en ticatio n   s tu d ies.   T o   en s u r e   o p tim al  p er f o r m an ce   ac r o s s   v ar y in g   d ataset  s izes,  th is   s tu d y   ad o p ts   an   ad ap tiv e   ar ch itectu r s tr ateg y   th at   d y n am ically   s elec ts   b etwe en   C NN5   an d   VGG - v er y d ee p 1 6   b ased   o n   d ataset  s ca le.   E x ten s iv ex p er im e n ts   d em o n s tr ated   th at  C NN5 ,   with   it s   li g h ter   ar ch itectu r a n d   lo wer   c o m p u tatio n al  lo a d ,   s ig n if ican tly   r e d u ce d   tr ain in g   tim an d   m em o r y   u s ag o n   lar g e - s ca le  d atasets   with o u t   s u b s tan tial  lo s s   in   ac cu r ac y .   C o n v er s ely ,   f o r   s m a ller   d atasets   wh er tr ain i n g   s p ee d   is   less   cr itical,   VGG - v er y d ee p 1 6   co n s is ten tly   o u tp er f o r m ed   o th er   m o d els  in   ac cu r ac y   d u to   its   d ee p er   la y er s   an d   en h a n ce d   f ea tu r ex t r ac tio n   ca p ab ilit ies.  T h is   ad ap tiv s elec tio n   en s u r es  th s y s tem   r e m ain s   s ca lab le  an d   p r ac tical  f o r   d ep lo y m en t   in   b o th     r eso u r ce - co n s tr ain ed   en v ir o n m en ts   an d   h ig h - ac cu r ac y   u s ca s es,  r ein f o r cin g   th s y s t em ' s   v er s ati lity   an d     r ea l - wo r ld   a p p licab ilit y .   All  ex p er im en ts   wer im p lem en t ed   in   Py th o n   u s in g   Ker as  an d   T en s o r Flo w.   T h m o d els  wer tr ain ed   an d   ev al u ated   o n   wo r k s tatio n   eq u i p p ed   with   an   I n tel  C o r i7   C PU,  1 6   GB   R AM ,   an d   an   NVI DI R T 3 0 9 0   GPU.   T h s am h ar d war co n f ig u r atio n   was  u s ed   f o r   all  u n im o d al  ( E C G - o n ly   an d   ear - o n ly )   an d   m u ltimo d al  ( E C G ea r   f u s io n )   ex p e r im en ts   to   en s u r f air   c o m p ar is o n .     4 . 1 .     E a bio m et ric  re s ults   T h tr ain in g   an d   v alid atio n   a cc u r ac y   a n d   lo s s   cu r v es  f o r   t h ea r   b io m etr ic  m o d el,   tr ai n ed   o n   th AM I   d ataset,   ar s h o wn   in   Fig u r 5 ,   wh er th m o d el  ac h i ev ed   tr ain in g   ac c u r ac y   o f   9 3 an d   v alid atio n   ac cu r ac y   o f   9 0 af ter   1 0   e p o ch s ,   d em o n s tr atin g   s tr o n g   g en er aliza tio n   with   clo s ely   co n v e r g in g   c u r v es  an d   n o   s ig n if ican o v er f itti n g ,   as  s h o wn   in   Fig u r 5 ( a) .   T h lo s s   c u r v es  ex h i b ited   co n s is ten d ec lin e,   s tab ilizin g   at  ap p r o x im ately   0 . 2   f o r   tr ain in g   an d   0 . 3   f o r   v alid atio n ,   co n f i r m in g   ef f ec tiv lear n in g   an d   r o b u s tn ess ,   as  s h o wn   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   4 ,   Au g u s t 2 0 2 6 :   3 2 5 2 - 3 2 6 8   3260   in   Fig u r 5 ( b ) .   T h ese  r esu lt s   h ig h lig h th m o d el' s   r elia b ilit y   f o r   ea r - b ased   au th e n ticatio n ,   as  th h ig h   ac cu r ac y   a n d   lo w   lo s s   v alu es  in d icate   m in im al  m is class if icatio n   r is k ,   m a k in g   it  v iab le   s o lu tio n   f o r   s ec u r b io m etr ic  s y s tem s ,   with   p o ten tial  f o r   f u r th er   e n h an ce m en th r o u g h   f in e - t u n in g   o r   d ata  au g m en tatio n .   Fig u r 6   p r esen ts   th p r ed ictio n   s co r es  f o r   ea r   im ag e   class if icatio n ,   d e m o n s tr atin g   th m o d el's  d is cr im in ativ ca p ab ilit y   b etwe en   g e n u in a n d   im p o s ter   s am p les.           ( a)   ( b )     Fig u r 5 .   T r ain in g   a n d   v alid atio n   p er f o r m a n ce   f o r   th AM I   e ar   b io m etr ic  m o d el:  ( a)   ac cu r a cy   an d   ( b )   l o s s       T h h is to g r am   o f   p r ed ictio n   p r o b a b ilit ies  in   Fig u r 6   s h o ws  clea r   b im o d al   d is tr ib u tio n ,   with   g en u in m atch es  co n s is ten tly   r ec eiv in g   h ig h   co n f id en ce   s co r es  ( ty p ically   ab o v 0 . 8 5 )   wh ile  im p o s ter   co m p ar is o n s   y ield   s ig n if ican tl y   lo wer   p r o b a b ilit ies  ( g en er al ly   u n d er   0 . 1 5 ) .   T h is   d is tin ct  s ep ar atio n   b etwe en   th two   d is tr ib u tio n s   in d icate s   r o b u s class   d is cr im in atio n ,   with   m in im al  o v er lap p in g   r e g io n   s u g g esti n g   f ew   f alse  ac ce p tan ce   o r   r ejec tio n   ca s es.  T h s h ar p   p ea k   n ea r   p r o b ab ilit y   o f   1 . 0   f o r   g en u in s am p les  p ar ticu lar ly   u n d er s co r es  th e   m o d el' s   co n f id en ce   in   c o r r ec i d en tific atio n s ,   wh ile  th im p o s ter   d is tr ib u t io n ' s   co n ce n tr atio n   n ea r   ze r o   r e f lects  ef f ec tiv r ejec tio n   o f   u n a u th o r ize d   atte m p ts .   T h ese  r esu lts   q u a n titativ ely   v alid ate  t h e   m o d el' s   s tr o n g   au th en ticatio n   p er f o r m a n ce ,   with   th clea r   s co r s ep ar atio n   ex ce ed in g   th ty p ical  d ec is io n   th r esh o ld   o f   0 . 5   b y   c o n s id er ab le  m a r g in .   Su ch   r eliab le  p r o b ab ilis tic  o u tp u ts   co n f ir m   t h s y s tem ' s   o p er atio n al  r ea d in ess   f o r   r ea l - wo r ld   b io m etr ic  d ep lo y m en t,  wh er m ain tain in g   b o th   h ig h   ac cu r ac y   a n d   s ec u r ity   is   p ar am o u n t.           Fig u r 6 .   E x am p les f o r   th r es u lts   af ter   p r ed ictin g   th ea r   im ag e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       B io metric a u th en tica tio n   u s in g   d u a l - mo d a d ee p   lea r n in g   b a s ed - o n   E C a n d   …  ( Mo h a m ed   S .   K h a la f )   3261   4 .2 .   E lect ro c a rdio g ra m   a ut hentic a t io r esu lt s   T h p er f o r m an ce   o f   th E C G - b ased   au th en ticatio n   m o d el  was  ev alu ated   ac r o s s   1 0   tr ain in g   ep o c h s ,   as  s h o wn   in   Fig u r 7 .   Fig u r 7 ( a)   illu s tr ates  th tr ain in g   an d   v alid atio n   ac cu r ac y   cu r v es,   wh ile  Fig u r e   7 ( b )   p r esen ts   th co r r esp o n d in g   l o s s   cu r v es.  I n   Fig u r 7 ( a) ,   t h m o d el  ex h ib its   co n s is ten in cr ea s in   b o th   tr ain in g   an d   v alid atio n   ac cu r a cy   o v er   th e p o ch .   T r ain in g   ac cu r ac y   b e g in s   at  ap p r o x im ately   9 1 an d   s tead ily   r is es  to   ar o u n d   9 8 . 2 b y   ep o c h   1 0 ,   in d icatin g   th at  th m o d e ef f ec tiv ely   lear n s   th u n d er l y in g   p atter n s   in   th e   E C d ata.   Similar ly ,   th v al id atio n   ac cu r ac y   im p r o v es  f r o m   r o u g h ly   9 0 to   9 6 . 3 %,  with   s tab le  tr en d   em er g in g   af ter   e p o ch   8 .   T h e   n ar r o win g   g ap   b etwe en   th e   tr ain in g   an d   v alid atio n   cu r v es  s u g g ests   s tr o n g   g en er aliza tio n   p er f o r m a n ce   an d   m in im al  o v er f itti n g .   Fig u r 5 ( b )   p r o v id es  f u r th er   in s ig h i n to   m o d el  lear n in g   b y   d ep ictin g   th tr ain in g   an d   v alid atio n   lo s s .   T h tr ain in g   lo s s   d r o p s   s h ar p ly   f r o m   ab o v 0 . 7   to   u n d er   0 . 1 ,   d em o n s tr atin g   e f f icien co n v e r g en ce .   T h v alid atio n   lo s s ,   al th o u g h   s lig h tly   h ig h er   t h an   th tr ain in g   l o s s ,   also   f o llo ws  d o wn war d   tr en d   f r o m   0 . 4 8   to   ap p r o x im ately   0 . 2 7 ,   co n f ir m in g   th at  th m o d el  is   n o o n ly   f itti n g   th e   tr ain in g   d ata  b u also   ad ap tin g   well  to   u n s ee n   s am p les.   T h co m b in atio n   o f   h ig h   v alid atio n   ac cu r ac y   a n d   lo w   v alid atio n   lo s s   u n d e r s co r es th r o b u s tn ess   o f   th E C G - b ased   au th en ticatio n   m o d el.   T h ese   r esu lts   h ig h lig h t th m o d el’ s   ab ilit y   to   e x tr ac d is cr im in ativ f ea tu r es  f r o m   p h y s io lo g ical  s ig n als  an d   s u g g e s its   s u itab ili ty   f o r   r ea l - wo r ld   b i o m etr ic  s y s tem s   wh er r eliab ilit y   an d   g en e r aliza b ilit y   ar cr itical.           ( a)   ( b )     Fig u r 7 .   Per f o r m an c cu r v es o f   th E C G - b ased   u n im o d al  a u th en ticatio n   m o d el:  ( a)   ac c u r ac y   an d   ( b )   l o s s       T o   f u r th er   v alid ate  th E C au th en ticatio n   p r o ce s s ,   r aw   E C s ig n als  wer an aly ze d   f r o m   th   E C G - I d ataset  an d   m ar k ed   th v en tr icu la r   d ep o lar izatio n   ( QR S)  p o in ts   in   ea ch   p er io d ,   as sh o wn   in   Fig u r 8 .   T h d ee p   m o d el  alg o r ith m   s u cc ess f u lly   id en tifie d   th co r r e ct  p ea k s ,   wh ich   ar cr itical  f o r   f ea tu r ex tr ac tio n .   T h d is s im ilar ity   s co r es  co m p u ted   d u r in g   au th e n ticatio n   r an g e d   b etwe en   0 . 3 7   an d   1 . 2 8 ,   co n f ir m in g   s u cc ess f u au th en ticatio n   f o r   a ll  test   ca s e s .   T h ese  s co r es  in d icate   h ig h   lev el  o f   co n f id en c in   th E C G - b ased   au th en ticatio n   s y s tem ,   as  lo wer   d is s im ilar ity   s co r es  co r r esp o n d   t o   h ig h er   s im ilar ity   b et wee n   th in p u a n d   en r o lled   tem p lates.           Fig u r 8 .   C o r r ec te d   QR S p ea k   d etec tio n   Evaluation Warning : The document was created with Spire.PDF for Python.