I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   4 A u g u s t   20 2 6 ,   p p .   2 1 3 4 ~ 2 1 5 7   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 4 . pp 2 1 3 4 - 2 1 5 7           2134       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Lig htweight  face  recog nition ba sed  on  PC A coupled     with  PS O - ba sed  f ea ture  o ptim iza ti o n in r eso urce - co nstra ined  env iro nments       Cha im a a   K ho ud da ,   Z ineb G o t t i,  Sa lma   Azz o uzi ,   M o ula y   E l H a s s a n Cha ra f   La b o r a t o r y   o f   R e se a r c h   i n   C o mp u t e r   S c i e n c e ,   F a c u l t y   o f   S c i e n c e s ,   I b n   To f a i l   U n i v e r si t y ,   K e n i t r a ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   2 3 ,   2 0 2 5   R ev is ed   Ma y   7 ,   2 0 2 6   Acc ep ted   J u l 2 2 ,   2 0 2 6       We p re se n a   stre a m li n e d   P CA - P S O stru c tu re   o l ig h twe ig h fa c e   re c o g n it i o n   in   t h is  p a p e r,   wh ich   c o m b in e p ri n c ip a c o m p o n e n a n a ly sis  ( P CA)   to   re d u c e   d ime n sio n s   with   p a rti c le  sw a rm   o p ti m iza ti o n   (P S O)   to   a d a p t iv e ly   se lec t   fe a tu re s.  In   c o n tras to   trad i ti o n a P CA - b a se d   m o d e ls,  o u m o d e d y n a m ica ll y   c h o o se th e   m o st  i n fo rm a ti v e   su b se o th e   4 4   fe a tu re a n d   re su lt in   a   sm a ll   b u i n fo rm a ti v e   re p re se n tatio n .   T h e   a p p r o a c h   h a a   h ig h   re c o g n it i o n   a c c u ra c y   o 9 9 . 9 9   o n   ORL  a n d   9 8 . 4 5   o n   L F W,   wit h   l o late n c y   (a p p ro x ima tely   3   se c o n d s   p e e p o c h a n d   l o m e m o ry   fo o t p rin t ,   a n d   wit h o u t   th e   n e e d   t o   u se   a   g ra p h ic ca rd   to   r u n   i t.   E x ten si v e   c o m p u tat io n a stu d ies   h a v e   sh o wn   th a t h e   p r o p o se d   p ip e li n e   is  m u c h   fa ste a n d   c o n su m e les m e m o ry   th a n   P CA - ACO   a n d   li g h twe ig h c o n v o lu ti o n a n e u ra n e two r k   ( CNN )   m o d e ls  li k e   M o b i leN e tV2   a n d   S q u e e z e   Ne a n d   is  b e st   su it e d   t o   r u n   i n   re a l - ti m e   in   CP U - li m it e d   e n v iro n m e n t s.  Th e   sta ti stica tes ts  p ro v e   t h e   b e tt e rm e n o o u m e th o d   c o m p a re d   to   th e   p a st  m e th o d s,   wh e re   th e   c h a n g e a re   sta ti stica ll y   sig n if ica n t.   Th is  re se a rc h   o ffe rs  a n   e fficie n t,   sim p le,  y e sc a lab le   a lt e rn a ti v e   t o   d e e p   lea rn in g - b a se d   re c o g n it i o n   s y ste m s,  e sp e c ially   w h e n   e m b e d d e d   i n teg ra ti o n   is  a   k e y   re q u irem e n t,   b y   o ffe rin g   ra p i d   c o n v e rg e n c e ,   a d a p ti v e   fe a tu re   se lec ti o n ,   a n d   c o m p a c re p re se n tatio n .   K ey w o r d s :   Face   r ec o g n itio n   Featu r s elec tio n   Op tim izatio n   Par ticle  s war m   o p tim izatio n   Prin cip al  co m p o n en t a n al y s is     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   C h aim aa   Kh o u d d a   L ab o r ato r y   o f   R esear ch   in   C o m p u ter   Scien ce ,   Facu lty   o f   Sc ien ce s ,   I b n   T o f ail  Un iv er s ity   Ken itra ,   Mo r o cc o   E m ail: k h o u d d a. c@ g m ail. co m       1.   I NT RO D UCT I O N   Au to m atic  f ac r ec o g n itio n   h as  b ec o m e   c r itical  co m p o n en i n   a   wid r a n g o f   r ea l - wo r ld   ap p licatio n s   o f ten   im p er ce p tib le  to   u s er s   s u ch   as  v i d eo   s u r v eillan ce ,   ac ce s s   c o n tr o ( en tr y /ex it) ,   au th en ticatio n   s y s tem s ,   an d   h u m an co m p u ter   in ter ac tio n .   Ho wev er ,   m o d elin g   th h u m an   f ac r em ain s   ch allen g in g   task   d u e   to   v ar iat io n s   in   lig h tin g   co n d itio n s ,   h ea d   p o s es,  an d   f ac ial  e x p r ess io n s .   T h ese  f ac t o r s   m ak it d if f icu lt to   d esig n   f ac e   r ec o g n itio n   alg o r ith m s   th at  ar b o th   ac c u r ate  an d   co m p u tatio n ally   ef f icien t.   Am o n g   t h m o s wid ely   u s ed   m eth o d s   f o r   f ac ial  r ep r esen tatio n ,   p r in cip al   co m p o n en t   an aly s is   ( PC A)   s tan d s   o u f o r   its   ab ilit y   to   r ed u ce   d ata  d im en s io n ality   w h ile  p r eser v in g   th m o s s ig n if ican v ar iatio n s   i n   f ac ial  im ag es.  Ap p ly in g   PC to   th r ec o g n itio n   task   tr an s f o r m s   th o r ig in al  h ig h - d im en s io n al  im ag s p ac e   in to   lo wer - d im en s io n al  s u b s p ac co m m o n ly   r ef er r ed   to   as   th eig en f ac s p ac e,   wh ich   s ig n if ican tly   r ed u ce s   th co m p u tatio n al  lo ad   w h ile  r etain in g   d is cr im in ativ f ac ial  f ea tu r es.   Nev er th eless ,   n o all  p r in cip al   co m p o n en ts   ex tr ac ted   v ia  PC co n tr ib u te  eq u ally   to   th cla s s if icatio n   task .   Me tah eu r is tic  alg o r ith m s   s u ch   as  p ar ticle  s war m   o p t im izatio n   ( PS O)   ar p ar ticu la r ly   well - s u ited   f o r   h ig h - d im e n s io n al  f ea tu r s elec tio n   d u t o   th eir   a b ilit y   to   ef f icien tly   ex p l o r lar g e   s ea r ch   s p ac es  with o u t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Lig h tw eig h t fa ce   r ec o g n itio n   b a s ed   o n   P C A   co u p le d   w ith   P S O - b a s ed   fea tu r   ( C h a ima a   K h o u d d a )   2135   r ely in g   o n   g r ad ie n in f o r m atio n .   I n s p ir ed   b y   th co llectiv b eh av io r   o f   b ir d s   f lo c k in g   o r   f i s h   s ch o o lin g ,   PS O   is   p o p u latio n - b ased   o p tim iz atio n   alg o r ith m   ca p ab le  o f   ef f i cien tly   s ea r ch in g   th f ea tu r s p ac to   id en tif y   th e   o p tim al  o r   n ea r - o p tim al  co m b in atio n   o f   co m p o n e n ts   th at  lead   to   ac cu r ate  class if icatio n .   W h en   f ea tu r e   ex tr ac tio n   u s in g   PC is   f o llo wed   b y   f ea t u r o p tim izatio n   u s in g   PS O,   th o v er all  f ac r ec o g n itio n   p r o ce s s   ca n   b s ig n if ican tly   en h an ce d   in   te r m s   o f   b o th   ac cu r ac y   an d   co m p u tatio n al  p er f o r m a n ce .   I n   th is   p ap er ,   we  p r o p o s e   c o m p lete  f ac r ec o g n iti o n   p ip elin t h at  co m b in es   PC f o r   d im en s io n ality   r e d u ctio n   with   PS f o r   o p tim al  f ea tu r e   s elec tio n ,   ev al u ated   o n   t h OR L   f ac ial  d ataset.   T h e   p r o p o s ed   m eth o d   aim s   to   im p r o v b o th   r ec o g n itio n   ac c u r ac y   an d   co m p u tatio n al  e f f icien c y   b y   r etain in g   o n l y   th m o s d is cr im in ativ p r in ci p al  co m p o n en ts .   T o   v alid ate   o u r   ap p r o ac h ,   we  p r esen in   s e ctio n   2   a   r ev iew  o f   r elate d   wo r k ,   p r elim in ar ies  in   s ec tio n   3 ,   f o llo wed   b y   o u r   m eth o d o l o g y   in   s ec tio n   4 ,   th e   ex p er im en tal  s etu p   an d   r esu lts   in   s ec tio n   5 ,   co m p ar ativ d is cu s s io n   in   s ec tio n   6 ,   an d   co n clu d in g   r em ar k s   in   s ec tio n   7 .   Face   r ec o g n itio n   is   d if f ic u lt  task   b ec au s o f   th p o s e,   lig h t,  f ac e   ex p r ess io n   a n d   o cc lu s io n   v ar iatio n s ,   wh ich   f r e q u en tly   r en d er   th e   r aw  p ix el - b ased   r ep r esen tatio n s   in ad e q u ate   to   p r o v id s tr o n g   class if icatio n .   Alth o u g h   m o d e r n   d ee p   lear n in g - b ased   a p p r o a ch es  lik co n v o lu tio n al  n e u r al   n etwo r k s   ( C NN s h av d em o n s tr ated   r em ar k a b le   r esu lts ,   th ey   d em an d   lar g e - s c ale,   an n o tated   d atasets ,   s u b s tan tial c o m p u tatio n al  r eso u r ce s ,   an d   im p lem e n tatio n   o n   g r ap h ics  p r o ce s s in g   u n it   ( GPU ) ,   m ak in g   th em   p o ten t ially   in f ea s ib le  in   lim ited   en v ir o n m en lik e   an   e m b ed d e d   s y s tem ,   m o b ile  d ev i ce ,   o r   e d g c o m p u tin g   p latf o r m .   T h is   d r aw b ac k   is   d r iv in g   th s ea r ch   o f   lig h tweig h an d   ef f icien s o lu tio n s   th at  ca n   d eliv er   h ig h   r ec o g n itio n   ac cu r ac y   with o u t   th b u r d en   o f   d ee p   n etwo r k s .   Ou r   r esear ch   tak es  a d v an tag o f   PC A,   wh ich   ca n   b ef f ec ti v ely   u s ed   as  d im e n s io n ality   r e d u ctio n   to   ex tr ac th m o s im p o r tan f ac elem en ts ,   an d   s h ed   th u n n e ce s s ar y   o n es,  an d   PS O,   wh ich   ca n   b ef f ec tiv ely   u s ed   as  f ea tu r s elec tio n   to   i d en tify   th e   b est  a n d   o p tim al   s u b s et  o f   co m p o n en ts   t o   u s e   in   class if icatio n .   T h e   r esu lt  o f   th is   co m b in atio n   is   co m p u tatio n ally   ef f icien b u d is cr im in ativ f r am ewo r k ,   w h ich   ca n   r ea c h   n ea r - p er f ec ac c u r ac y   ( ~9 9 . 9 9 o n   OR L ,   ~9 8 . 4 5 o n   L FW )   with   o n ly   s m all  am o u n t   o f   tr ain in g   tim a n d   r eso u r ce s .   W ith   in ter p r etab ili ty ,   lo laten cy ,   an d   p r ac tica d ep lo y m e n t,  PC A+ PS s ta n d s   as  p o ten tial  s o lu tio n   wh er C NNs c an   b e x ce s s iv o r   in f ea s ib le  an d   p r o v id tr ad e o f f   b etwe en   ac cu r a cy .       2.   RE L AT E WO RK S   Face   r ec o g n itio n   h as  b ee n   s t u d ied   f o r   d ec ad es,  s tar tin g   w ith   class ical  ap p ea r an ce - b ase d   m eth o d s .   T h wo r k   in   [ 1 ]   in tr o d u ce d   th E ig en f ac es  ap p r o ac h   b ased   o n   PC A,   wh ich   b ec am o n o f   th f ir s ef f ec tiv e   tech n iq u es  f o r   r ep r esen tin g   f a cial  im ag es  in   r e d u ce d   s u b s p ac e.   T h s tu d y   in   [ 2 ]   later   p r o p o s ed   d y n a m ic  tex tu r m o d el  u s in g   lo ca b in a r y   p atter n s   f o r   f ac ial  e x p r ess io n   r ec o g n itio n .   W ith   th r is o f   d ee p   lear n in g ,   s ev er al  m o d els  h av e   ac h iev ed   h i g h   ac cu r ac y   i n   co m p lex   en v ir o n m en ts .   T h m eth o d   in   [ 3 ]   d esig n e d   a n   illu m in atio n - in v ar ian t   g en e r ativ a d v er s ar ial  n etwo r k   m o d el  (IL - GAN)   th at  im p r o v es  p e r f o r m an ce   u n d e r   v ar y in g   lig h ti n g   co n d itio n s ,   wh ile  th e   wo r k   in   [ 4 ]   p r esen ted   Ar cFac e,   in tr o d u cin g   an   an g u lar   m ar g in   l o s s   to   en h an ce   f ea tu r d is cr im in atio n   i n   d ee p   em b ed d in g s .   T h e   ap p r o ac h   in   [ 5 ]   co m b in ed   wa v elet  an d   PC f ea tu r es  t h r o u g h   d ee p   W T PC A - L 1   m o d e l,  o b tain in g   r o b u s t   r ec o g n itio n   u n d er   n o is an d   o cc lu s io n .   I n   p ar allel,   o p tim izatio n   alg o r ith m s   h av e   g ain ed   atten tio n   f o r   im p r o v in g   f ea tu r s elec tio n   an d   class if icatio n .   T h s tu d y   in   [ 6 ]   p r o p o s ed   PS O - b ased   b lo c k   f ea tu r s elec tio n   f o r   r o b u s r ec o g n itio n ,   wh ile   th wo r k   in   [ 7 ]   ap p lied   PS in   tr an s f er   lear n in g   to   en h a n ce   ad ap tab ilit y .   T h a p p r o ac h   i n   [ 8 ]   in tr o d u ce d   an   en h an ce d   PS v ar ia n f o r   b et ter   co n v er g e n ce   i n   class if icatio n   task s .   T h e   r esear ch   in   [ 9 ]   u tili ze d   f r ac tio n al - o r d er   m u lti - ch an n el  m o m e n ts   f o r   co l o r   f ac r ec o g n itio n ,   im p r o v in g   ac cu r ac y   with   co m p ac t f ea tu r es.   Hy b r id   s y s tem s   co m b in in g   PS an d   d ee p   m o d els  h av al s o   b ee n   in v esti g ated .   T h s tu d y   in   [ 1 0 ]   ap p lied   PS with   Gab o r   a n d   d ee p   lear n in g   to   s elec o p tim a f ea tu r es.  T h wo r k   i n   [ 1 1 ]   in teg r ated   PS with   d ee p   b elief   n etwo r k   to   e n h an ce   f ea tu r o p tim izatio n ,   an d   [ 1 2 ]   u s ed   PS to   o p tim ize  Ga b o r   f ilter   b a n k s   f o r   co m p ac t a n d   d is cr im in ativ r e p r esen tatio n .   Oth er   s tu d ies  ex p lo r ed   a d ap t iv o r   im p r o v ed   PS v ar ian ts .   T h r esear ch   in   [ 1 3 ]   p r o p o s ed   an   im p r o v e d   PS f o r   im ag f ea tu r co m p en s atio n ,   ac h ie v in g   h ig h   p e r f o r m an ce   with   lo co m p lex ity .   T h w o r k   in   [ 1 4 ]   in tr o d u ce d   g u i d ed   b in ar y   PS f o r   f ea tu r e - lev el  f u s io n ,   an d   [ 1 5 ]   d ev el o p ed   a   n etwo r k - s tr u ctu r e d   PS f o r   s tab le  co n v er g e n ce .   T h s tu d y   in   [ 1 6 ]   d em o n s tr ated   th b en ef its   o f   o p tim iza tio n   alg o r ith m s   f o r   class if icatio n   in   en g in ee r in g   a p p licatio n s .   C o m p r eh en s iv s u r v e y s ,   s u ch   as  [ 1 7 ] ,   r ev iewe d   th e v o lu t io n   o f   f ea tu r ex tr ac tio n   a n d   s elec tio n   m eth o d s   in   f ac r ec o g n itio n .   T h f r a m ewo r k   in   [ 1 8 ]   p r esen ted   n o is e - r o b u s d ictio n a r y   lear n in g   ap p r o ac h ,   wh ile  [ 1 9 ]   a n d   [ 2 0 ]   s h o we d   th ef f icien cy   o f   s war m - b ased   lear n in g   f o r   r ea l - tim e   an d   s u r v eillan ce   ap p licatio n s .   Ov er all,   th ese  s t u d ies  co n f ir m   t h at  in teg r atin g   s u b s p ac lear n in g   with   PS O - b ased   o p tim izatio n   im p r o v es r ec o g n itio n   ac cu r ac y   an d   c o m p u tatio n al  ef f icien c y .   T h r esear ch   in   [ 2 1 ]   d ev elo p ed   a   b lu r - in v ar ian t   b in a r y   d e s cr ip to r   to   im p r o v e   r o b u s tn e s s   ag ain s t   d eg r ad e d   im ag es,  a n d   [ 2 2 ]   p r o v id ed   a   co m p r eh e n s iv o v er v iew  o f   f o u n d atio n al  f ac r ec o g n itio n   m eth o d s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   2 1 3 4 - 2 1 5 7   2136   T h wo r k   i n   [ 2 3 ]   co m b in ed   PS with   Ad aBo o s to   h an d le  ad v e r s ar ial  s am p les  ef f ec tiv ely ,   wh ile  [ 1 2 ]   o p tim ized   Gab o r   f ilter   b a n k s   u s in g   PS f o r   ef f icien t a n d   d is cr im in ativ f ea tu r e   s elec tio n .   I n   m o r r ec en c o n tr ib u tio n ,   [ 2 4 ]   p r o p o s ed   h y b r id   o p tim izatio n   m eth o d   c o m b in i n g   q u an tu m - in s p ir ed   f ir e f ly   a n d   ar tific ial  b ee   c o lo n y   alg o r ith m s   f o r   m u lti - p o s f ac ial   ex p r ess io n   r ec o g n itio n ,   f u r th er   co n f ir m in g   th ef f ec tiv en ess   o f   s war m - b ased   o p tim izatio n   in   f ac ial  an aly s is   task s .   I n   s u m m a r y ,   p r e v io u s   s tu d ies  h ig h lig h t   th at   in teg r atin g   f ea tu r e   ex tr ac tio n   with   s war m - b ased   o p tim izatio n   tech n iq u es  s ig n if ican tly   im p r o v es  r ec o g n itio n   ac cu r ac y   wh ile  m ai n tain in g   co m p u tatio n al   ef f icien cy .   B u ild in g   o n   th ese   in s ig h ts ,   th p r esen wo r k   i n tr o d u ce s   an   e n er g y - ef f icien t   f ac r ec o g n itio n   f r am ewo r k   th at  co m b in es  PC f o r   d im en s io n ality   r ed u cti o n   with   PS f o r   o p tim al  f ea tu r s elec tio n .   T h is   in teg r atio n   aim s   to   ac h iev b alan ce d   tr ad e - o f f   b etwe en   ac cu r ac y ,   s tab ilit y ,   an d   co m p u ta tio n al  co s t,  m ak in g   it su itab le  f o r   r ea l - wo r ld   b io m etr ic  ap p licatio n s .       3.   P RE L I M I NAR I E S   3 . 1 .     P rincipa co m po nent  a na ly s is   PC A   is   wid ely   u s ed   d im en s i o n ality   r e d u ctio n   tech n iq u e   in   m ac h in e   lear n i n g   a n d   d ata   an aly s is .   I ts   o b jectiv is   to   r etain   th e   m o s in f o r m ativ p atter n s   in   th e   d at wh ile  r ed u cin g   th n u m b e r   o f   f ea tu r es,  t h er eb y   s im p lify in g   th d ataset  with o u t sig n if ican t lo s s   o f   v ar ian ce .   PC tr an s f o r m s   th o r ig in al  co r r elate d   v a r iab les  in to   n e s et  o f   u n c o r r elate d   v ar iab l es  ca lled   p r in cip al  co m p o n en ts .   T h ese  co m p o n en ts   ar o b tain ed   b y   p er f o r m in g   a n   eig e n v alu e   d e co m p o s itio n   o f   th e   d ata' s   co v ar ian ce   m atr ix .   T h eig en v ec to r s   r e p r esen th d ir ec tio n s   o f   m ax im u m   v ar ian ce ,   an d   th ei r   ass o ciate d   eig en v alu es  in d ica te  th am o u n o f   v ar ia n ce   ca p tu r ed   b y   ea ch   d ir ec tio n .   B y   s elec tin g   th to p   co m p o n en ts   with   th h ig h est  eig en v alu es,  PC p r o jects  t h d ata  in to   lo wer - d im en s i o n al  s u b s p ac th at  p r eser v es  th ess en tial  s tr u ctu r o f   th o r ig in al  d ataset.   PC i s   p ar ticu lar ly   ef f ec tiv f o r   v is u alizin g   an d   an aly zin g   h ig h - d im en s io n al   d ata,   r ed u cin g   r ed u n d a n cy ,   an d   im p r o v i n g   t h co m p u tat io n al  ef f icien c y   o f   d o wn s tr ea m   m ac h i n lear n in g   alg o r ith m s .   T h b lack   a x es  in   Fig u r e   1   r e p r esen th o r i g in al  f ea tu r es  " R ad iu s an d   "Ar ea o f   th e   d at aset.  PC A   id en tifie s   two   n ew  o r th o g o n al   ax es,  PC ₁  an d   PC ₂,   th at  r ep r esen th d ir ec tio n s   o f   m ax im u m   v ar ian ce   in   th e   d ata.   T h ese  n ew  ax es r esu lt f r o m   r o tatio n   o f   th o r i g in al  f e atu r s p ac e.           Fig u r 1 .   PC alg o r ith m   f ea tu r es e x tr ac tio n   wo r k f lo w       PC ₁  ca p tu r es  th g r ea test   am o u n o f   v ar iatio n ,   wh ile  PC ₂,   b ein g   o r th o g o n al  to   PC ₁,   ca p tu r es  th r em ain in g   v ar ia n ce .   Sin ce   th d ata  p o in ts   ar m o r s p r ea d   o u alo n g   PC ₁  th an   PC ₂,   p r o je ctin g   th d ata  o n to   PC ₁  allo ws  r ed u ctio n   f r o m   two   d im en s io n s   to   o n e,   wh i le  p r eser v in g   m o s o f   th r el ev an s tr u ctu r an d   in f o r m atio n .     3 . 2 .     P CA  f o f a cia l f ea t ures e x t ra ct io n   k ey   s tep   in   t h p r o p o s ed   p ip elin is   th u s o f   PC A   as  d im en s io n ality   r ed u ctio n   te ch n iq u e   t o   ex tr ac th m o s r elev an f ac ial  f ea tu r es  f r o m   th tr ain in g   i m ag es.  E ac h   f ac im ag is   f ir s r esh ap ed   in to   a   v ec to r   an d   s tack ed   co l u m n - wi s to   f o r m   d ata  m atr ix ,   wh er ea ch   co lu m n   co r r esp o n d s   to   o n tr ain in g   im ag e.   T h m ea n   f ac v ec to r   is   th en   co m p u ted   an d   s u b tr ac ted   f r o m   all  im ag v ec to r s ,   ce n ter in g   th d ata   ar o u n d   th o r ig in .   T h is   s tep   en s u r es th at  th p r in cip al  co m p o n en ts   r ef lect  th d ir ec tio n s   o f   m ax im u m   v ar ia n ce   in   th d ataset,   co r r esp o n d i n g   t o   th m o s t in f o r m ativ d if f er e n ce s   in   f ac ial  s tr u ctu r an d   ap p ea r an ce .   T h co v ar ian ce   m at r ix   o f   th ce n ter ed   d ata  is   ca lcu lated   to   ca p tu r h o p ix el  in ten s ities   v ar y   to g eth er   ac r o s s   th tr ain in g   s et .   Du to   th h ig h   d im en s io n ali ty   o f   f ac ial  im a g es,  co m p u ta tio n al  tr ick   is   u s ed   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Lig h tw eig h t fa ce   r ec o g n itio n   b a s ed   o n   P C A   co u p le d   w ith   P S O - b a s ed   fea tu r   ( C h a ima a   K h o u d d a )   2137   b y   f o r m in g   s m aller   co v a r ia n ce   m atr ix   =      ,   wh er   is   th m ea n - ce n ter ed   d ata  m atr ix .   E ig en v alu e   d ec o m p o s itio n   is   th en   a p p lie d   to   o b tain   th eig en v alu es  an d   eig e n v ec to r s ,   w h ich   r e p r esen th p r in ci p al  d ir ec tio n s   o f   v ar iatio n .   T h ese  eig en v ec to r s ,   o f ten   r ef er r ed   to   as  eig e n f ac es,  d ef i n n ew  o r th o n o r m al  b asis   s p an n in g   s u b s p ac th at  ca p t u r es  th m o s s alien f ac ial  ch ar ac ter is tics .   T h ei g en v al u es  ar s o r te d   i n   d escen d i n g   o r d er ,   an d   th to p   co m p o n e n ts   ar r etain ed .   E ac h   f ac im ag is   th en   p r o jecte d   in to   th is   r ed u ce d - d im en s io n al  s p ac e   b y   co m p u tin g   its   d o p r o d u ct  with   th s elec ted   eig en f ac es,  p r o d u cin g   a   co m p ac f ea tu r e   v ec to r   th at  p r eser v es   th m o s t d is cr im in ativ in f o r m atio n ,   as illu s tr ated   in   Fig u r e   2 .           Fig u r 2 .   PC wo r k f lo f o r   e ig en f ac g e n er atio n       3 . 3 .     P a rt icle  s wa rm   o ptim iz a t io n   PSO   i s   p o p u latio n - b ased   m e tah eu r is tic  in s p ir ed   b y   th co ll ec tiv b eh av io r   o f   s war m s   in   n atu r e.   I n   th is   m eth o d ,   ea ch   i n d iv id u al  s o lu tio n   ca lled   p ar ticle  r e p r esen ts   p o te n tial  s o lu tio n   to   an   o p tim izatio n   p r o b lem .   T h ese  p ar ticles  "m o v e"   th r o u g h   th s ea r c h   s p ac b y   u p d atin g   th eir   p o s itio n s   an d   v elo cities  at  ea ch   iter atio n   b ased   o n   b o th   th ei r   o wn   b est - k n o wn   p o s itio n s   ( p er s o n al  b est,  o r   p b est )   an d   th g lo b al  b est - k n o wn   p o s itio n   f o u n d   b y   th s war m   ( g lo b al  b est,  o r   g b est).   At  ea ch   iter atio n ,   t h f itn ess   o f   ev e r y   p ar ticle  is   ev alu ated   ac co r d in g   to   p r e d ef in ed   o b jectiv f u n ctio n .   B ased   o n   th c o m p ar is o n   b etwe en   its   cu r r en s tate  an d   th b est - k n o w n   s o lu tio n s ,   ea ch   p ar ticle   ad ju s ts   its   v elo city   ac co r d in g l y .   T h e   u p d ated   v elo city   is   t h e n   u s ed   t o   co m p u te   n ew   p o s it io n ,   an d   th e   p r o ce s s   co n tin u es u n til co n v er g en ce   is   ac h iev ed   o r   s to p p in g   cr iter i o n   is   m et,   as d ep icted   i n   Fig u r 3 .           Fig u r 3 .   PS wo r k f l o to   f in d   b est p ath       PSO   i s   in s p ir ed   b y   th co llectiv b eh av io r   o f   n atu r al  s war m s   s u ch   as  f lo ck s   o f   b ir d s   o r   s ch o o ls   o f   f is h .   E ac h   in d iv i d u al  in   th s war m ,   k n o w n   as  p ar ticle,   ex p lo r es  th s o lu tio n   s p ac b y   a d ju s tin g   its   p o s itio n   b ased   o n   b o th   its   p er s o n al  ex p er ien ce   an d   t h at  o f   t h g r o u p .   At  iter atio n   n ,   th v elo city   = ( + 1 )   o f   p ar ticle  is   u p d ated   ac c o r d i n g   to   ( 1 ) :     ( + 1 ) =   · ( ) +   1 · 1 · (   ( ) ) +   2 · 2 · (    ( ) )           ( 1 )     w h er e     is   th in er tia  weig h t c o n tr o llin g   m o m en tu m ,   1 2   ar c o g n itiv an d   s o cial  ac ce ler atio n   co ef f icien ts ,   1 2   ar r an d o m   v alu es  in   [ 0 ,   1 ] ,     is   th b est  p o s itio n   f o u n d   b y   th p ar ticle,      is   th e   b est  p o s itio n   f o u n d   b y   th s war m .   T h n ew  p o s itio n   is   th en   co m p u ted   as ( 2 ) .       ( + 1 ) = ( ) + ( + 1 )                 ( 2 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   2 1 3 4 - 2 1 5 7   2138   E ac h   p ar ticle  m ain tain s   r ec o r d   o f   its   o wn   b est - k n o wn   s o lu tio n   ( p ers o n a b est )   an d   i s   in f lu en ce d   b y   t h g lo b ally   b est - k n o wn   p o s itio n   am o n g   all  p a r ticles  ( g lo b a b e s t ) .   T h s war m   co n v er g es  wh e n   p ar ticles  s tab ilize   ar o u n d   th o p tim u m .     3 . 4 .     P SO   f o f e a t ure  s elec t io n   I n   th is   s tu d y ,   PSO   was  em p lo y ed   as  a   f ea tu r e   s elec tio n   tech n iq u t o   im p r o v e   f ac r ec o g n itio n   p er f o r m an ce   af ter   d im en s io n a lity   r ed u ctio n   b y   PC A .   W h ile  PC ef f ec tiv ely   r ed u ce s   th n u m b er   o f   f ea tu r es,   n o all  r etain ed   co m p o n en ts   co n tr ib u te  eq u ally   to   class if icatio n   ac cu r ac y .   T h er ef o r e,   PS wa s   u s ed   as  a   g lo b al  o p tim izatio n   alg o r ith m   to   id en tify   th e   m o s in f o r m ativ s u b s et  o f   PC co m p o n en ts .   PS is   we ll - s u ited   f o r   b in ar y   f ea tu r s elec tio n   p r o b lem s   d u to   its   ab ilit y   to   ef f icien tly   ex p lo r h ig h - d im en s io n al  d is cr ete  s p ac es with o u t r eq u ir in g   g r a d i en t in f o r m atio n .   T ec h n ically ,   ea ch   p ar ticle  in   t h PS s war m   r ep r esen ts   b in ar y   v ec to r   o f   le n g th   DDD,   w h er DDD   is   th n u m b er   o f   p r i n cip al  co m p o n e n ts .   b it  v alu o f   1   i n d icate s   th in clu s io n   o f   c o m p o n en t,  wh ile  0   in d icate s   ex clu s io n .   T h p a r ticles  ar in itialized   r an d o m ly   an d   ev alu ated   u s in g   f itn ess   f u n ctio n   b ased   o n   class if icatio n   ac cu r ac y .   Fo r   ea ch   p ar ticle i)   th s elec ted   co m p o n e n ts   ar u s ed   to   p r o ject  tr ain in g   an d   test   f ac im ag es,  ii)  n ea r est - n eig h b o r   class if ier   with   E u clid ea n   d is tan ce   is   ap p lied ,   an d   iii)  th r e co g n itio n   ac c u r ac y   is   m ea s u r ed   an d   ass ig n ed   as th p ar ticle' s   f itn es s   s co r e.   Du r in g   iter atio n s ,   p a r ticles  u p d ate  th eir   v elo city   an d   p o s itio n   b ased   o n   th eir   p er s o n al  b es s o lu tio n   (  )   an d   th e   g l o b al  b est  f o u n d   b y   th e   s war m   (  ) .   T h e   v elo cit y   u p d ate  in cl u d es  th r ee   ter m s in er tia  ( m o m en tu m ) ,   co g n itiv attr ac tio n   ( to war d    ) ,   a n d   s o cial  attr ac tio n   ( to war d    ) .   A   s ig m o id   f u n ctio n   is   ap p lied   to   m a p   th u p d ated   v e lo city   to   p r o b ab ilit y   f o r   s ele ctin g   ea ch   f ea tu r e.   T h is   iter ativ p r o ce s s   co n tin u es  u n til  co n v er g en ce ,   lead in g   to   t h s elec tio n   o f   an   o p tim al  o r   n ea r - o p tim al  f ea tu r e   s u b s et.   T h r esu lts   s h o th at  PS ef f ec ti v ely   r ed u ce s   th d im e n s io n ality   o f   PC v ec to r s ,   r etain s   o n ly   th m o s d is cr im in ativ f ea tu r es,  an d   s ig n if ican tly   im p r o v es  r ec o g n itio n   ac cu r ac y   ac h iev in g   r ates   o v er   9 9 . 9 9 %.  Ad d itio n ally ,   t h r ed u ce d   f ea tu r s et  en h an ce s   co m p u tatio n al  ef f icien c y ,   m ak in g   th s y s tem   f aster   an d   m o r s u itab le  f o r   d e p lo y m en t.     3 . 5 .     O RL   da t a ba s e   T h OR L   d atab ase  o f   f ac es  c o n s is ts   o f   4 0 0   g r ay s ca le  im ag es  f r o m   4 0   d is tin ct  in d iv id u al s ,   with   1 0   im ag es  p er   s u b ject.   T h e   p h o to g r ap h s   wer tak e n   u n d er   v ar y in g   co n d itio n s ,   in clu d i n g   d if f er en ce s   in   lig h tin g ,   f ac ial  ex p r ess io n s   ( e. g . ,   s m ilin g   o r   n eu tr al,   o p e n   o r   clo s ed   ey es),   an d   f ac ial  d etails  ( s u ch   as  p r esen ce   o r   ab s en ce   o f   g lass es).   All  s u b jects  wer p o s itio n ed   f r o n tally ,   with   s lig h v ar iatio n s   in   h ea d   o r ien tatio n ,   an d   ca p tu r ed   a g ain s t a   u n if o r m   d ar k   b ac k g r o u n d ,   as illu s tr ate d   in   Fig u r 4 .             Fig u r 4 .   OR L   d atab ase  s am p l im ag es       E ac h   im ag h as  r eso lu tio n   o f   9 2 ×1 1 2   p ix els  an d   is   en co d e d   in   8 - b it  g r ay s ca le  ( 2 5 6   g r e y   lev els  p er   p ix el) .   T h d ataset  is   o r g an iz ed   in to   4 0   f o ld er s ,   n am e d   s 1   to   s 4 0 ,   ea ch   c o r r esp o n d in g   to   s u b ject.   W ith in   ea ch   f o ld e r ,   1 0   im ag es a r n a m ed   f r o m   1 . p g m   t o   1 0 . p g m .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Lig h tw eig h t fa ce   r ec o g n itio n   b a s ed   o n   P C A   co u p le d   w ith   P S O - b a s ed   fea tu r   ( C h a ima a   K h o u d d a )   2139   W h ile  OR L   i s   well - e s tab lis h ed   b en ch m ar k   f o r   f ac r ec o g n itio n   r esear ch ,   it  h as  ce r tain   lim itatio n s .   I is   r elativ ely   s m all  in   s ize,   co n tain s   well - alig n ed   im a g es  with   u n if o r m   b ac k g r o u n d s ,   a n d   ex h ib its   lim ited   v ar iab ilit y   in   p o s e,   illu m in atio n ,   an d   e x p r ess io n   c o m p a r ed   t o   r ea l - wo r ld   s ce n a r io s .   T h ese   co n s tr ain ts   m ak e   it  ea s ier   to   ac h iev h ig h   ac c u r a cy   b u lim it  th g en e r aliza b ilit y   o f   r esu lts   to   m o r ch alle n g in g ,   u n c o n s tr ain ed   en v ir o n m en ts .   T h is   d ataset  s er v es  a s   th b en ch m ar k   f o r   o u r   e x p er im e n ts .   W ap p ly   PC A   to   ex tr ac f ac ial  f ea tu r es   an d   s u b s eq u e n tly   u s an   o p tim izatio n   alg o r ith m   ( e. g . ,   PS o r   AC O)   to   en h an ce   f ea tu r s elec tio n   an d   im p r o v e   r ec o g n itio n   p er f o r m an ce .   B ased   o n   th ese  p r i n cip les,  we  d e s cr ib in   th n ex s ec tio n   h o w   PC an d   PS ar e   in teg r ated   in to   o u r   co m p lete  f ac r ec o g n itio n   p ip elin e .     3 . 6 .     Co m pu t a t io na c o m plex it y   T h d ec is io n   to   u s PC A   an d   PS in   o u r   p ap er   is   b ased   o n   th co m p u tatio n al  ef f icien c y ,   esp ec ially   in   co m p ar is o n   with   th cu r r e n d ee p   lear n in g   m eth o d s .   PC is   lin ea r   s u b s p ac lear n in g   m eth o d ,   with   th e   b u lk   o f   t h co m p u tatio n   b e in g   th e   co m p u tatio n   o f   th e   co v ar ia n ce   m atr i x   o f   th e   d ata  an d   th e   eig en   d ec o m p o s itio n .   T o   c o m p u te   th eig en   d ec o m p o s itio n   o f   d ataset  o f   s ize  N   im ag es,  o f   d i m en s io n ality   D,   th e   co m p lex ity   o f   th e   co m p u tatio n   is   o f   o r d er   O( 3 )   in   t h e x tr em ca s e,   wh ich   is   co m p u ted   d ir ec tly ,   b u in   p r ac tice,   th s o - ca lled   s m all   co v ar ia n ce   tr ick   ca n   r ed u ce   th co m p u tatio n   to   O( N   3 )   wh en   N   is   s m all  co m p ar ed   to   D,   wh ich   h ap p e n s   in   o u r   OR L   d ataset.   Af ter   c o m p u tin g   th ei g en f ac es,  it  o n ly   tak es  O( k )   to   p r o ject  ea ch   n ew  im ag in t o   th r ed u ce d   s u b s p ac e,   wh ich   is   m u ch   less   th an   p er - s am p le  p r o ce s s in g   tim e,   o n c e   th eig en f ac es h a v b ee n   ca lcu lated .   B y   co n tr ast,  d ee p   lear n in g   m o d els  lik C NNs  h av L - H - W - C - K - co m p u tatio n ally   co m p lex ity   o f   O( L   W   C   2   F),   wh er L   is   th n u m b er   o f   lay er s ,   W   d im en s io n s   o f   f ea tu r m ap s ,   C   is   th n u m b er   o f   in p u ch an n els,  is   th k er n e s ize,   an d   is   th n u m b er   o f   f ilter s   p er   lay er .   T h is   co m p le x ity   s ca les  g r ea tly   with   n etwo r k   d e p th   an d   im ag e   r eso lu tio n ,   an d   m u s t c o n s u m e   lar g am o u n ts   o f   GPU  ac ce ler atio n   an d   m em o r y   b an d wid th ,   w h ich   ar u s u ally   n o t a v ailab le  in   e d g o r   em b e d d ed   d ev ices.   Usi n g   PC t o   r ed u ce   d i m en s io n s   an d   PS to   s e lec f e at u r es  ad a p ti v e ly ,   o u r   f r am ew o r k   h as  a   co m p u tati o n a ll y   li g h twe i g h f o o t p r in t,   an d   h i g h   r e c o g n i ti o n   a cc u r ac y .   T h e   PC A + PS O   te c h n iq u e   h as   b e en   u s e d   to   d o wn   s am p le   t h e   o r i g i n al   1 0 , 3 0 4 - d i m e n s i o n al   im ag e   v e ct o r s   to   a   s m all er   s iz e   o f   4 4   f ea t u r es   h e n c e   s las h i n g   th e   s to r a g as   we ll   as   p e r - s am p le   class if ica ti o n   co m p l ex it y   t o   O ( k   N   t r ai n )   n e ar est   n ei g h b o r   cl ass i f ic ati o n .   T h is   s h o ws  d ef i n i te   c o m p u t ati o n al  b e n ef it  o v e r   d ee p   n etw o r k s ,   o f f er in g   a   h i g h - s p e ed ,   r es o u r ce - e f f ici e n a n d   s ca l ab le   s o lu ti o n   t h a ca n   b d ep l o y e d   t o   lo w - p o we r   a n d   co n s tr a in e d   s y s t em s   i n   r e al - ti m e .   T h PS im p lem en tatio n   in   o u r   s tu d y   is   m o d if ied   to   b in ar y   f ea tu r s elec tio n ,   u n lik th t r ad itio n al  co n tin u o u s   im p lem en tatio n   o f   PS O.   T h co n v e n tio n al  PS u p d ate  eq u atio n   is   u s ed   t o   f ir s u p d ate  th e   p ar ticle   v elo cities:     + 1 = + 1 1 (  ) + 2 2 (   )   ( 3 )     w h er w= 0 . 9   is   th in er tia  we ig h t,  1 = 2 . 0   an d   2 = 2 . 0   ar th co g n itiv a n d   s o cial  p ar am eter s   an d   1 ,   2   U( 0 , 1 )   a r r an d o m   f ac to r s .   I n   o r d er   t o   co n v er co n tin u o u s   v elo cities  to   b in ar y   s elec tio n s   o f   f ea tu r es,  we  u s a   s ig m o id   tr an s f er   f u n ctio n :     ( + 1 ) = 1 1 + + 1     ( 4 )     T h n ew  lo ca tio n   o f   ea ch   p a r t icle  is   th en   d eter m in ed   p r o b ab ilis tically th f ea tu r is   ch o s en   ( ( + 1 ) =   1 )   wh en   r a n d o m   n u m b er   i n   [ 0   - 1 ]   is   s m aller   th an     (   ( + 1 ) o th er wis e,   th is   f ea tu r is   s et  to   0 .   Al s o ,   to   m ak s u r th at  th p ar ticle  v el o cities d o   n o t g et  to o   lar g an d   d o m in ate  th s ig m o id ,   cla m p in g   r a n g o f   - 6 , 6 ]   is   u s ed   s o   th at  th o u tp u t o f   th s ig m o id   is   in   u s ef u r an g o f   p r o b ab ilit ies.   T h is   is   an   ef f ec tiv e   m eth o d   t o   co n v er th e   co n tin u o u s   PS in to   b in ar y   PS th at  ca n   b u s ed   in   f ea tu r s elec tio n   an d   en s u r t h co n v er g en ce   s tab ilit y ,   as  w ell  as,  ad ap tiv e   s elec tio n   o f   th m o s in f o r m ativ e   p r in cip al  co m p o n en ts .   Ou r   ap p r o ac h   o f   d ef in in g   th e   clam p i n g   an d   b in a r y   m ap p in g   b y   ex p licitly   d ef in in g   th e   clam p in g ,   an d   o f f er in g   ac cu r a te  co n tr o o v er   f ea tu r e   s u b s et  ex p lo r atio n   wh ich   is   v ital  to   a ttain in g   s u ch   h ig h   r ec o g n itio n   ac cu r ac y   ( ~9 9 . 9 9 % )   as seen   in   o u r   e x p er im e n ts .       4.   M E T H O DO L O G Y   I n   th is   s tu d y ,   we  p r o p o s f ac r ec o g n itio n   a n d   f ea tu r o p t im izatio n   s y s tem   th at  co m b in es  PC A   f o r   f ea tu r ex tr ac tio n   a n d   PSO   f o r   o p tim al  f ea tu r s elec tio n .   T h s y s tem   is   ev alu ated   o n   th b en ch m a r k   OR L   f ac d atab ase,   wh ich   co n tain s   g r ay s ca le  im ag es  o f   4 0   in d iv i d u als  ca p tu r ed   u n d er   v ar y in g   l ig h tin g   co n d itio n s ,   f ac ial  ex p r ess io n s ,   an d   p o s o r ien tatio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   2 1 3 4 - 2 1 5 7   2140   T h m eth o d o lo g y   f o llo ws  s tr u ctu r ed   s eq u en ce   o f   s ix   k ey   s tag es,  as  illu s tr ated   in   Fi g u r 5 .   I n   s u m m ar y ,   all  im ag es  ar r esized   to   f ix ed   r eso l u tio n ,   th e ir   co n tr ast  is   en h an ce d ,   an d   p ix el  in ten s ities   ar n o r m alize d   b ef o r e   b ein g   v ec to r ized   in to   co l u m n   f o r m   f o r   s u b s eq u en t p r o ce s s in g .             Fig u r 5 .   Sch em atic  d iag r am   o f   th PC A PS f ac r ec o g n it io n   ar ch itectu r e       4 . 1 .    P re pro ce s s ing   a nd   da t a s et   prepa ra t io n   T h OR L   f ac d atab ase  co n tai n s   4 0 0   g r ay s ca le  f ac ial  im ag es   d is tr ib u ted   ac r o s s   4 0   s u b d ir ec to r ies  ( s 1   to   s 4 0 ) ,   ea ch   co r r esp o n d in g   to   s in g le   s u b ject  an d   co n t ain in g   1 0   im a g es  in   ( . p g m )   f o r m at.   T o   e n s u r e   u n if o r m ity   in   th i n p u d ata,   e ac h   im ag u n d er g o es th f o llo win g   p r ep r o ce s s in g   s tep s :   a.   R esizin g All  im ag es  ar r esized   to   co m m o n   r eso lu tio n   o f   1 1 2 × 9 2   p ix els  to   s ta n d ar d ize  i n p u t   d im en s io n s   ac r o s s   th d ataset.   b.   His to g r am   eq u aliza tio n Glo b al  h is to g r am   eq u aliza tio n   i s   ap p lied   to   en h an ce   co n tr a s an d   m itig ate   v ar iatio n s   ca u s ed   b y   lig h tin g   o r   b ac k g r o u n d   in c o n s is ten cies.   c.   No r m aliza tio n Pix el  in ten s iti es  ar s ca led   to   th [ 0 ,   1 ]   r an g to   en s u r co n s is ten b r ig h tn e s s   an d   f ac ilit ate  n u m er ical  s tab ilit y   in   s u b s eq u en t step s .   d.   Flatten in g E ac h   p r ep r o ce s s ed   im ag is   r esh ap ed   in to   c o lu m n   v ec to r   an d   s to r ed   in   d ata  m atr ix   o f   d im en s io n s   ( Nu m   p ix els ×  Nu m   im ag es),   wh ich   s er v es a s   in p u t to   th f ea tu r e x tr ac tio n   p ip elin e.   E ac h   im ag v ec t o r   is   ass o ciate d   with   co r r esp o n d i n g   lab el  i n d icatin g   th s u b ject  id en tity   ( f r o m   1   to   4 0 ) .     4 . 2 .     T ra ini ng v a lid a t io n - t est  pa rt it io nin g   T h d ataset  is   d iv id ed   in to   t r ain in g ,   v alid atio n ,   a n d   test in g   s u b s ets  u s in g   s tr atif ied   s a m p lin g   p er   s u b ject  to   en s u r p r o p o r tio n al   r ep r esen tatio n .   T h v alid atio n   s u b s et,   r ep r esen tin g   f i x ed   p r o p o r tio n   o f   th tr ain in g   d ata,   is   s p ec if ically   r eser v ed   f o r   PS f itn ess   ev alu atio n .   T h is   c o n f ig u r atio n   p r e v en ts   o v er f itti n g   b y   en s u r in g   t h at  th o p tim izatio n   p r o ce s s   d o es  n o d ir ec tly   ass ess   p er f o r m an ce   o n   th d ata  u s ed   f o r   PC m o d el   co n s tr u ctio n .   Stra tific atio n   h e lp s   p r eser v class   d iv e r s ity   i n   b o t h   p a r titi o n s   an d   p r e v en t s   class   im b alan ce ,   wh ich   co u ld   o th er wis d is to r r ec o g n itio n   ac cu r ac y   an d   b ias th ev alu atio n   r esu lts .     4 . 3 .     P CA - ba s ed  f ea t ure  e x t r a ct io n   PC A   i s   ap p lied   to   r ed u ce   t h e   d im en s io n ality   o f   h ig h - r eso lu tio n   f ac ial  im ag es  wh ile  p r e s er v in g   th e   m o s s ig n if ican v a r ian ce .   T h s elec tio n   o f   p r in ci p al  co m p o n en ts   ca p tu r in g   9 5 o f   t h to tal  v ar ian c is   m o tiv ated   b y   th n ee d   to   b alan ce   d im en s io n ality   r e d u ctio n   with   th p r eser v atio n   o f   d is cr im in ativ e   in f o r m atio n     cr iter io n   f r eq u en tly   ad o p ted   in   PC A - b ased   f ac r ec o g n itio n   s tu d ies.   T h p r o ce s s   in v o lv es th f o llo win g   s tep s :   a.   Me an   ce n ter in g T h e   m ea n   f a ce   v ec to r   is   co m p u ted   ac r o s s   all  tr ain in g   s am p les  an d   s u b tr ac ted   f r o m   ea c h   im ag v ec to r .   T h is   en s u r es th a t th d ata  is   ce n ter ed   a r o u n d   th o r ig in   in   f ea tu r s p ac e .   b.   C o v ar ian ce   m atr ix   ca lcu latio n R ath er   th an   c o m p u tin g   t h f u ll  co v ar ia n ce   m atr ix   o f   ( s ize  Nu m   p i x els  ×   Nu m   p ix els),   m o r ef f icie n ap p r o a ch   is   u s ed   b y   c o m p u tin g   r e d u ce d   co v ar ia n ce   m atr ix   o f   ( s ize  n u m _ s am p les   ×   n u m _ s am p les ) ,   lev er ag i n g   th tr a n s p o s tr ic k .   c.   E ig en f ac c o m p u tatio n E ig e n v alu d ec o m p o s itio n   is   a p p lied   to   th e   r e d u ce d   co v ar ian ce   m atr ix .   T h e   r esu ltin g   eig en v ec to r s   ar p r o jecte d   b ac k   in to   th o r ig in al  im ag s p ac to   f o r m   eig en f ac es,  wh ich   s er v as   p r in cip al  co m p o n e n ts   ca p tu r in g   th m o s t d is cr im in ativ v ar i atio n s   in   th d ata.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Lig h tw eig h t fa ce   r ec o g n itio n   b a s ed   o n   P C A   co u p le d   w ith   P S O - b a s ed   fea tu r   ( C h a ima a   K h o u d d a )   2141   d.   Dim en s io n ality   r ed u ctio n T h eig en f ac es  a r r an k e d   ac co r d in g   to   t h eir   co r r esp o n d in g   eig en v alu es  in   d escen d in g   o r d er .   cu m u lativ en er g y   p lo is   u s ed   to   d eter m in th n u m b er   o f   co m p o n en ts   r eq u ir ed   to   r etain   9 5 o f   th e   to tal  v a r ian ce .   B o th   tr ain in g   an d   test   im a g es  ar th en   p r o jecte d   o n to   t h is   r ed u ce d   PC A   s u b s p ac to   g en e r ate  co m p ac f ea tu r v ec to r s .     4 . 4 .     F e a t ure  s elec t io n us ing   P SO   W h ile  PC ef f ec tiv ely   r ed u c es  th d im en s io n ality   o f   th e   f ea tu r s p ac e,   n o all  r etain e d   p r in ci p al  co m p o n en ts   co n tr ib u te  eq u all y   to   r ec o g n itio n   p er f o r m a n ce .   T h ch o ice  o f   PS is   m o tiv ated   b y   its   ab ilit y   to   ef f icien tly   ex p lo r h ig h - d im en s io n al  d is cr ete  s p ac es  with o u r eq u ir in g   g r ad ien t   in f o r m atio n ,   m ak in g   it   p ar ticu lar ly   s u itab le   f o r   b in a r y   f ea tu r e   s elec tio n   p r o b lem s   s u ch   as  o u r s .   T o   f u r th er   r ef i n th s elec tio n   o f   r elev an t f ea tu r es,  PSO   is   em p l o y ed   as a   g l o b al  s ea r ch   alg o r it h m .   T o   im p lem en t PSO in   o u r   ca s e,   we  f o llo wed   th ese  m ai n   s tep s :   a.   Par ticle  en co d in g :   E ac h   p ar tic le  r ep r esen ts   b i n ar y   v ec to r ,   wh er v al u o f   1   in d icate s   t h in clu s io n   o f   s p ec if ic  PC co m p o n en t a n d   0   d en o tes ex cl u s io n .   b.   Swar m   in itializatio n A   p o p u l atio n   o f   p a r ticles  is   r an d o m ly   in itialized .   T h s ea r c h   d y n am i cs  ar g o v er n e d   b y   th in e r tia  weig h w,   th e   co g n itiv f ac to r   c1 ,   an d   th e   s o cial  f ac to r   c2 ,   wh ich   co n t r o th b ala n ce   b etwe en   ex p lo r atio n   a n d   ex p lo itatio n .   T h PS h y p er p ar a m eter s   ( p o p u latio n   s ize,   in er t ia  weig h t,  an d   ac ce ler atio n   co ef f icien ts )   ar e   s et  ac co r d in g   to   em p ir ical  g u id elin es  f r o m   th e   liter atu r to   en s u r e   an   ef f ec tiv tr ad e - o f f   b etwe en   s ea r ch   s p ac ex p lo r atio n   a n d   c o n v er g e n ce   s p ee d .   c.   Fit n ess   ev alu atio n T h f itn ess   o f   ea ch   p ar ticle  is   ev alu ate d   u s in g   r ec o g n itio n   ac c u r ac y   o n   v alid atio n   s u b s et,   r ep r esen tin g   a   f ix ed   p r o p o r tio n   o f   th tr ain i n g   d ata,   t o   av o id   o v e r f itti n g .   T h is   is   co m p u ted   u s in g   a   k - n ea r est  n eig h b o r   ( k - NN)   class if ier   with   E u clid ea n   d is tan ce ,   ch o s en   f o r   its   s im p licity ,   in ter p r etab ilit y ,   an d   s tr o n g   p e r f o r m an ce   in   lo w - d im en s io n al  PC s u b s p ac e s ,   an d   r estricte d   to   th co m p o n en ts   s elec ted   b y   th p ar ticle' s   b in ar y   m ask .   d.   Up d ate  r u les  an d   co n v e r g en ce Du r in g   ea ch   iter atio n ,   p ar ticl es  u p d ate  th eir   v elo cities  an d   p o s itio n s   b ased   o n   th eir   p e r s o n al  b est  an d   th g lo b al  b est  s o lu tio n s .   co n s tr ain is   en f o r ce d   to   av o id   o v er ly   m in im al   s u b s ets.  T h alg o r ith m   co n tin u es  u n til  co n v er g en ce   is   ac h i ev ed ,   at  wh ich   p o in th g lo b al  b est  p ar ticle   m ask   is   s elec ted   as th o p tim al  f ea tu r s u b s et  f o r   class if icati o n .     4 . 5 .     Cla s s if ica t io us ing   E uc lid ea n   dis t a nce   On ce   th o p tim al  s u b s et  o f   p r i n cip al  co m p o n en ts   h as b ee n   s elec ted ,   b o th   tr ain i n g   an d   test   im ag es a r p r o jecte d   o n to   th e   r esu ltin g   P C s u b s p ac e.   n ea r est - n eig h b o r   class if ier   b ased   o n   E u clid ea n   d is tan ce   is   th en   u s ed   f o r   f in al  r ec o g n itio n .   F o r   ea ch   test   im ag e,   its   f ea tu r v ec to r   is   co m p ar ed   to   all  tr ain in g   v ec to r s   b y   co m p u tin g   th E u clid ea n   d is tan ce .   T h test   im ag is   ass ig n ed   th e   lab el  o f   th tr ain in g   s am p le  with   th e   s m allest d is tan ce .     4 . 6 .     E v a lua t i o m et rics a nd   perf o rm a nce  a na ly s is   T h p r ed ictiv e   p er f o r m an ce   o f   th p r o p o s ed   s y s tem   is   ass es s ed   u s in g   th f o llo win g   ev alu atio n   m etr ics:   a.   Acc u r ac y T h p r o p o r tio n   o f   c o r r ec tly   class if ied   test   im ag es o u t o f   t h to tal.   b.   C o n f u s io n   m atr ix A   m atr ix   ( o f ten   v is u alize d   as  h ea tm ap )   th at  illu s tr ates   th d is tr ib u ti o n   o f   p r e d icted   lab els v er s u s   tr u lab els ac r o s s   all  class es.   c.   Pre cisi o n ,   r ec all ,   an d   F1 - s co r e:  C las s - s p ec if ic  p er f o r m an ce   m ea s u r es  th at  h ig h lig h h o w   well  th m o d el   d is tin g u is h es  b etwe en   d if f er en id en titi es.  T h ese  ar es p ec ially   r elev an in   m u lticlas s   cla s s if icatio n   p r o b lem s   s u ch   as f ac e   r ec o g n i tio n .   I n   ad d itio n ,   PS co n v er g en ce   cu r v e   is   p lo tted   to   d e m o n s tr ate  th s tab ilit y   an d   ef f icien cy   o f   th e   o p tim izatio n   p r o ce s s   o v er   s u c ce s s iv iter atio n s .   Ov er all,   th p r o p o s ed   p i p elin e   in teg r ates  d im en s io n ality   r ed u ctio n   ( PC A) ,   ev o lu tio n ar y   o p tim izatio n   ( PS O) ,   an d   s im p le  y et  ef f ec tiv d is tan ce - b ased   class if ier   ( E u clid ea n   n ea r est  n eig h b o r ) .   PC en s u r es  ef f icien ex tr ac tio n   o f   k ey   f ac ial  f ea tu r es,  wh ile   PS o p tim ally   s elec ts   th m o s d is cr im i n ativ s u b s et.   T h n ea r est - n eig h b o r   r u le  p r o v id es   lig h tweig h t a n d   in ter p r etab l class if icatio n   m eth o d .   E x p er im en tal  r esu lts   o n   th e   OR L   f ac d ataset  s h o h ig h   r ec o g n itio n   p er f o r m a n ce ,   ac h iev in g   o v er   9 9 . 9 9 ac c u r ac y   with   r ap id   PS co n v er g en ce .   T h ese  o u t co m es  v alid ate  th e f f ec tiv en ess ,   ef f icien cy ,   an d   p r ac tical  ap p licab ilit y   o f   th p r o p o s ed   a p p r o ac h   f o r   r ea l - w o r ld   f ac r ec o g n itio n   s ce n a r io s .       5.   E XP E R I M E N T   R E SU L T S   I n   th is   s tu d y ,   s er ies  o f   ex p e r im en ts   wer co n d u cted   u s in g   th OR L   f ac d atab ase  to   ev alu ate  th p er f o r m an ce   o f   th e   p r o p o s ed   f ac r ec o g n itio n   p i p elin e,   wh ic h   in teg r ates  PC A   f o r   f e atu r e x tr ac tio n   an d   PSO   f o r   f ea tu r s elec tio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   2 1 3 4 - 2 1 5 7   2142   T h OR L   d ataset  c o n s is ts   o f   4 0 0   g r ay s ca le  f ac ial  im ag es   f r o m   4 0   in d iv id u als,  with   e ac h   s u b ject  r ep r esen ted   b y   1 0   v ar iatio n s   u n d er   d if f er e n lig h tin g   c o n d it io n s ,   f ac ial  ex p r ess io n s ,   an d   s lig h p o s ch an g es.   Fig u r 6   p r o v id es  ex am p les  o f   s u b jects  f r o m   th d ataset,   illu s tr atin g   th v is u al  d iv er s ity   ac r o s s   in d iv id u als.  All  im ag es  wer p r ep r o ce s s ed   an d   s tan d ar d ized   to   a   r eso l u tio n   o f   1 1 2 × 9 2   p ix els,  r esu l tin g   in   1 0 , 3 0 4   r aw   p ix el  f ea tu r es p e r   im ag e.           Fig u r 6 .   Dif f e r en t su b jects f r o m   OR L   d atab ase       Prio r   to   f ea tu r e   ex tr ac tio n ,   ea ch   f ac ial  im a g u n d er g o es  a   s tan d ar d ized   p r e p r o ce s s in g   p r o ce d u r t o   en h an ce   q u ality   an d   en s u r c o n s is ten cy   ac r o s s   th d ataset.   First,  all  im ag es a r r esized   to   u n if o r m   r eso lu tio n   o f   1 1 2 × 9 2   p ix els.  His to g r am   eq u aliza tio n   is   th en   a p p lied   to   m itig ate  lig h tin g   in c o n s is ten cies  an d   im p r o v e   co n tr ast.  Fin ally ,   p ix el  in te n s ities   ar n o r m alize d   to   th [ 0 , 1 ]   r an g to   estab lis h   co n s is ten in ten s ity   s ca le   ac r o s s   all  im ag es.  E ac h   p r ep r o ce s s ed   im ag is   th en   f latten e d   in to   co lu m n   v ec t o r   wh ile  p r eser v in g   its   p ix el - wis s tr u ctu r f o r   s u b s eq u e n t f ea tu r ex tr ac tio n   s tag es.   T o   ass ess   th im p ac o f   tr ain i n g   d ata   av ailab ilit y   o n   r ec o g n itio n   p e r f o r m an ce ,   th r ee   tr ai n - test   s p lit   co n f ig u r atio n s   wer ev al u ated 9 0 tr ain in g   with   1 0 test in g ,   8 0 %/2 0 %,  an d   7 0 %/3 0 %.  Stra tifie d   s am p lin g   was  em p lo y ed   to   en s u r th at   ea ch   s u b ject  was  p r o p o r tio n ally   r ep r esen ted   ac r o s s   all  s p lits .   T h is   ap p r o ac h   p r eser v ed   class   d is tr ib u tio n s   a n d   m ain tain ed   b alan ce d   d at aset  f o r   b o th   tr ain in g   an d   test in g   p h ases .   W ith in   ea ch   co n f ig u r atio n ,   th e   tr ain i n g   an d   test in g   im a g es  wer r an d o m ly   s elec ted   to   in t r o d u c v ar iab ilit y   a n d   to   s im u late  r ea lis tic  an d   d iv er s r ec o g n itio n   s ce n a r io s .   I n   th e   tr ain in g   p h ase,   PC A   i s   ap p lied   t o   c o m p u te   s et  o f   o r t h o n o r m al  b asis   v ec to r s   co m m o n l y   r ef er r ed   to   as  eig en f ac es  wh ich   r ep r esen th d ir ec tio n s   o f   g r ea test   v ar ian ce   with in   th f ac ial  im ag d ata.   T h e   m ea n   f ac is   f ir s co m p u ted   b y   av er ag in g   th p ix el  in ten s iti es  ac r o s s   all  tr ain in g   im ag es.  E ac h   tr ain in g   im ag e   is   th en   ce n ter ed   b y   s u b tr ac tin g   th is   m ea n   f ac e,   r esu ltin g   in   ze r o - m ea n   d ata  m atr ix .   T o   r ed u ce   co m p u tatio n al   co m p lex ity ,   th e   s o - ca lled   "c o v ar ia n ce   m atr ix   t r ick is   em p lo y ed :   in s tead   o f   ca lcu latin g   th e   co v a r ian ce   m atr ix   in   th h ig h - d im en s io n al  p ix el   s p ac e,   it  is   c o m p u ted   in   th l o wer - d im en s io n al  im ag s p ac e.   T h e   eig en v ec to r s   o f   th is   s m aller   co v ar ian ce   m atr i x   ar th en   b ac k - p r o jecte d   in to   th e   o r ig in al  p i x el  s p ac to   f o r m   t h ac tu al  eig e n f ac es  u s ed   in   s u b s eq u en f ea tu r e x tr ac tio n .   Fig u r 7   illu s tr ates  th m ea n   f ac a n d   th e   to p   eig en f ac es  o b tain e d   th r o u g h   th is   p r o ce s s ,   h ig h lig h tin g   t h m o s s ig n if ican t   v ar iatio n s   in   th d ataset.   E ac h   eig en v ec to r   is   ass o ciate d   with   an   eig en v al u th at  i n d icate s   th am o u n t   o f   v ar ian ce   ex p lain ed   b y   th c o r r esp o n d in g   eig e n f a ce .   T o   d eter m in t h d im e n s io n ality   r eq u ir ed   to   ca p t u r m o s o f   th v ar iab ilit y   in   th tr ain in g   s et,   th cu m u l ativ s u m   o f   eig en v alu es  is   co m p u ted   a n d   p lo tted .   B ased   o n   th is   cu m u lativ e   v ar ian ce   cu r v e,   it  was  o b s er v ed   th at  ap p r o x im ately   th to p   1 0 0   p r in cip al   co m p o n en ts   ac co u n f o r   o v er   9 5 o f   th to tal  v ar ian ce .   C o n s eq u en tly ,   b o th   tr ain in g   an d   t esti n g   im ag es  ar p r o jecte d   o n to   th is   r ed u ce d   s u b s p ac e,   r esu ltin g   in   c o m p ac t   f ea tu r v ec t o r s   th at  s er v as i n p u t to   s u b s eq u en t p r o ce s s in g   s tag es.   Fig u r 8   illu s tr ates  th d is tr ib u tio n   o f   eig en v alu es  f o r   th f i r s 1 0 0   p r i n cip al  co m p o n e n ts .   Sin ce   PC A   eig en v alu es  r e p r esen t h am o u n o f   v ar ian ce   ca p tu r ed   b y   e ac h   co m p o n e n t,  t h ey   ar a r r a n g ed   in   d escen d in g   o r d er .   As  s h o wn   in   th g r ap h ,   th f ir s f ew  co m p o n en ts ,   p ar ticu lar ly   th to p   1 0 ,   ac c o u n f o r   th lar g est  p r o p o r tio n   o f   v ar ian ce ,   wh ile  th eig en v alu es  o f   th r em ain i n g   co m p o n en ts   ap p r o ac h   ze r o .   T h is   v is u aliza tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Lig h tw eig h t fa ce   r ec o g n itio n   b a s ed   o n   P C A   co u p le d   w ith   P S O - b a s ed   fea tu r   ( C h a ima a   K h o u d d a )   2143   clea r ly   h ig h lig h ts   h o th v ar ian ce   is   co n ce n tr ated   i n   th i n itial  co m p o n e n ts   an d   b ec o m es  n eg lig ib le  in   th e   later   o n es,  h elp in g   u s   d eter m in an   o p tim al  n u m b er   o f   co m p o n en ts   to   r etain .           Fig u r 7 .   Me an   f ac es a n d   t o p   9   eig en f ac es           Fig u r 8 .   PC eig en v alu d is tr ib u tio n       Fo llo win g   th eig en v alu d is tr ib u tio n ,   it  b ec o m es  ess en tial  to   ass es s   h o well   th r ed u ce d   f ea tu r es   r ep r esen b o th   tr ain in g   an d   te s tin g   s ets.  T h i s   is   ac h iev ed   th r o u g h   v is u al  in s p ec tio n   o f   th eir   d is tr ib u tio n   in   th PC A - tr an s f o r m ed   s p ac e.   Fig u r e   9   is   p ar ticu lar l y   s ig n i f ican as  it  v is u alize s   th d is tr ib u tio n   o f   f ea tu r s p ac b et wee n   th tr ain in g   a n d   test in g   d ata   wh e n   p r o jecte d   o n to   th e   f ir s two   p r in cip al  c o m p o n en ts .   I f   t h ese  d is tr ib u tio n s   wer e   f ar   ap ar t,  it  c o u ld   in d icate   p o o r   g en e r aliza tio n   an d   r ed u ce d   r o b u s tn ess   o f   th m o d el.   H o wev er ,   th o v er lap   o b s er v ed   b etwe en   t h two   s e ts   s u g g ests   th at  th ex tr ac ted   f ea tu r es  ar e   s im ilar ly   d is tr ib u ted .   T h is   s p atial  p r o x im ity   im p lies   th at  th m o d el  g en er alize s   well  an d   is   c ap ab le  o f   ac h iev in g   h i g h   p r e d ictio n   ac cu r ac y   o n   b o th   tr ain in g   an d   u n s ee n   test   d ata,   as su p p o r ted   b y   th e   q u a n titativ r esu lts .   T h is   n u m b er   is   u s ed   to   g r ap h ically   d ep ict  th f ea tu r s p ac e,   h av in g   u n d e r g o n th P C o f   th o r ig in al  h ig h   d im en s io n al  f ac i al  d ata  to   th f ir s two   p r in cip al  co m p o n e n ts .   T h tr ain in g   a n d   test   s am p le  ar p lo tted   to   d e m o n s tr ate  h o t h ey   ar e   d is tr ib u ted   h i g h lig h tin g   th d is tr ib u tio n   an d   co n ce n tr a tio n   o f   d ata  p o in ts .   I is   o b v io u s   th at  s o m o v er la p   is   p r esen t,  b u m o s clu s ter s   o f   p o in ts   th at  r ep r esen v ar io u s   s u b jects  ar f ar   ap ar t,  wh ich   m ea n s   th at  th P C tr an s f o r m atio n   r ep r esen ts   s ig n if ican p ar o f   th v a r ia n ce   in   th d ata  an d   r etain s   d is cr im in ativ d ata.   T h is   v is u aliza tio n   is   u s ef u l   to   esti m ate  q u alitativ ely   th s ep a r ab ilit y   o f   class es  an d   s u itab ilit y   o f   th r ed u ce d   f ea tu r s p ac to   d o wn s tr ea m   PS O - b ased   s elec tio n   an d   class if icatio n .     Mo r eo v er ,   th n u m b er   also   g iv es  s o m im p licit  in f o r m atio n   o n   th in tr icac y   o f   th f ea tu r d is tr ib u tio n .   T h d im en s io n ali ty   r ed u ctio n   i n   b o th   m aj o r   co m p o n e n ts   in d icate s   th at  PC A   d o es  n o d ec r ea s e   d im en s io n ality   b u r at h er   t h f ea tu r s p ac is   d elica te  an d   v a r ied   an d   th is   is   wh y   a   s elec tio n   m ec h a n is m   s u c h   as  PS is   n ee d ed   to   s elec t h m o s in f o r m ativ e   s u b s et  o f   f ea tu r es.  T h e   r elativ ely   s p r ea d   o u t   test   d ata   Evaluation Warning : The document was created with Spire.PDF for Python.