I nte rna t io na l J o urna l o f   Adv a nces in Applie d Science s   ( I J AAS)   Vo l.   9 ,   No .   4 ,   Dec em b e r   2 0 2 0 ,   p p .   326 ~ 332   I SS N:  2 2 5 2 - 8 8 1 4 ,   DOI : 1 0 . 1 1 5 9 1 /ijaas.v 9 . i4 . p p 3 2 6 - 332       326       J o ur na l ho m ep a g e :   h ttp : //ij a a s . ia esco r e. co m   Powerful  proces si ng  t o  t hr ee - dim en sio na l f a cia l recog nition  using  t riple  inf o r ma tion       M o ha m m a d K a ri m i Mo rida ni 1 ,   Aha d K a rim i Mo rida ni 2 ,   M a hin   G ho lip o ur 3   1, 3 D e p a rtme n o B io m e d ica E n g i n e e rin g ,   F a c u lt y   o f   He a lt h ,   Te h ra n   M e d ica S c ien c e s,  Isla m ic Az a d   Un iv e rsit y ,   Ira n   2 Tec h n o l o g ies   d e   L' in fo rm a ti o n   C o ll è g e   CDI ,   Ca n a d a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   2 ,   2 0 20   R ev is ed   J u n   11 ,   2 0 20   Acc ep ted   J u l   9 ,   2 0 20       F a c e   De tec ti o n   p lay a   c ru c ial  ro l e   in   id e n t ify i n g   i n d iv i d u a ls  a n d   c rimin a ls  in   S e c u rit y ,   s u rv e il la n c e ,   a n d   f o o t wo rk   c o n tro l   sy ste m s.  F a c e   Re c o g n it io n   i n     th e   h u m a n   is  su p e r b ,   a n d   p ict u re c a n   b e   e a sily   id e n ti fied   e v e n   a fter  y e a rs  o f   se p a ra ti o n .   T h e se   a b il it ies   a lso   a p p l y   to   c h a n g e i n   a   fa c ial  e x p re ss io n   su c h   a a g e ,   g las se s,  b e a rd ,   o r   li tt le   c h a n g e   in   th e   fa c e .   Th is   m e th o d   i b a se d   o n   1 5 0   t h re e - d ime n sio n a l   ima g e u s in g   th e   B o sp h o r u d a tab a se   o f   a   h ig h   ra n g e   las e sc a n n e in   a   Bo g a z içi  Un iv e rsit y   in   Tu r k e y .   Th is  p a p e p re se n ts   p o we rfu p ro c e ss in g   f o fa c e   re c o g n it i o n   b a se d   o n   a   c o m b i n a ti o n   o f     th e   sa li e n t   in f o rm a ti o n   a n d   fe a t u re o f   th e   fa c e ,   su c h   a e y e a n d   n o se ,     fo th e   d e tec ti o n   o f   th re e - d ime n s io n a fi g u re i d e n ti f ied   t h ro u g h   a n a ly sis  o f   su rfa c e   c u rv a tu re .   T h e   Tri n it y   o th e   n o se   a n d   two   e y e we re   se lec ted   fo r   a p p ly in g   p ri n c ip a c o m p o n e n a n a ly sis  a lg o rit h m   a n d   su p p o r v e c t o m a c h in e   to   re v e a li n g   a n d   c las sifica ti o n   t h e   d iffere n c e   b e twe e n   fa c e   a n d   n o n - fa c e .     Th e   re su lt with   d iffere n fa c ial  e x p re ss io n a n d   e x trac ted   fro m   d iffere n t   a n g les   h a v e   i n d ica ted   th e   e fficie n c y   o o u p o we rf u p r o c e ss in g .   K ey w o r d s :   3D   im ag e   Facial  in f o r m atio n   I n f o r m atio n   p r o ce s s in g ,   Me an   an d   g au s s ian   cu r v atu r SVM   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo h am m ad   Kar i m i M o r id a n i   Dep ar tm en t o f   B io m ed ical  E n g in ee r in g ,   Facu lty   o f   Hea lth ,   T eh r an   Me d ical  Scien ce s ,   I s lam ic  Aza d   Un iv er s ity ,   T eh r an   Pro v in ce ,   T e h r an ,   Dan esh   R d ,   I r an .   E m ail:  k ar im i.m @ iau tm u . ac . ir       1.   I NT RO D UCT I O N     Face   d etec tio n   h as  g r ea im p o r tan ce   f o r   m a n y   as  g r o u p s .   T h cr u cial  ap p licatio n s   o f   Face   Dete ctio n   in   ar ea s   s u ch   as  h u m an - c o m p u ter   in ter f ac e ,   h u m an   au th e n ticatio n ,   cr im in als  f ac d etec tio n ,   f ac e   m o n ito r in g   s y s tem s   is   u n d en iab le.   I n   al m eth o d s   p r o p o s ed   to   d eter m in th p o s itio n   o f   s p ec if i p o in ts   in   t h r ee - d im en s io n al  im ag es,  th e   n o s is   r eg ar d ed   as  ty p ical  p o in t,  an d   th r est  o f   th p o i n ts   ca n   b lo ca te d .     T o   d eter m in th e   lo ca tio n   o f   t h n o s e,   s ev er al  m eth o d s   we r e   p r o p o s ed .   I n   s o m m eth o d s ,   t h n ea r est  p o s itio n   o f   th ca m er is   r eg ar d ed   as  th n o s e,   an d   th en   th o th e r   p o in ts   ar ex tr ac ted   b a s ed   o n   th n o s p o s itio n .     T h is   ass u m p tio n   is   tr u i n   th ca s o f   n o   r o tatio n   a r o u n d   th x   a n d   y - ax is in   f ac t,  th e   im ag m u s b o n     th f r o n t sid e.     Xu   et  al.   [ 1 ]   i n tr o d u ce d   f ea t u r ex tr ac tio n   h ier ar c h ical  p la n   to   id en tif y   th p o s itio n s   o f   t h n o s tip   an d   n o s r i d g e.     T h ey   p r esen ted   an   ef f ec tiv en er g y   id ea   to   s h o th lo ca d is tr ib u tio n   o f   n eig h b o r in g   p o in ts   an d   d etec t th ca n d id ate  n o s tip s .   I n   th en d ,   s u p p o r v ec to r   m ac h in ( SVM)   class if ier   was u s ed   to   ch o o s th e   r ig h n o s tip s .     Dib ek lio ˘ g lu   e t a l.  [ 2 ,   3 ]   d is p l ay ed   s tr ateg ies f o r   r ec o g n izin g   f ac ial  in f o r m atio n   o n   3D   f ac ial  d atasets   to   em p o wer   p o s tu r am e n d m e n t u n d e r   im p o r tan t p o s tu r v ar ieties.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci   I SS N:  2 2 5 2 - 8 8 1 4       P o w erfu l p r o ce s s in g   to   th r ee - d imen s io n a l fa cia l reco g n itio n   u s in g   …  ( Mo h a mma d   K a r imi Mo r id a n i )   327   T h ey   p r esen te d   s tatis tical  s t r ateg y   to   d is tin g u is h   f ac ial  elem en ts   u s in g   th g r ad ien o f   th d ep th   m ap   b ased   o n   p r ep ar in g   a   m o d el  o f   lo ca l   elem en ts .   T h tech n iq u was  tr ied   ag ain s th FR GC   v 1   an d     th B o s p h o r u s   d atab ases ; h o w ev er ,   in f o r m atio n   with   p o s tu r e   v ar ieties wa s   n o t ta k en   in to   t h in v esti g atio n .   T h ey   lik ewise  p r esen ted   n o s tip   lo ca lizatio n   an d   s eg m en tatio n   tech n iq u u tili zin g   cu r v atu r e - b ased   h eu r is tic  in v esti g atio n .   Als o ,   ev en   th o u g h   th B o s p h o r u s   d atab ase  u tili ze d   co m p r i s es  o f   3 , 3 9 6   f ac ial  s ca n s ,   th ey   a r ac q u ir ed   f r o m   8 1   s u b jects.  At  last ,   n o   c o r r ec t   lo ca lizatio n   d is tan ce   er r o r   r esu lts     wer d is p lay ed .   I n   o t h er   r esear ch ,   R o m e r o - H u er tas  et  al.   [ 4 ]   in tr o d u ce d   a   g r ap h   m atc h in g   m eth o d   to   d eter m in   th p lace s   o f   th e   n o s tip   an d   in ter n al  ey e   co r n e r s .   T h ey   p r e s en ted   th d is tan ce   to   lo ca l   p l an id ea   t o   p o r tr ay   th lo ca d is tr ib u tio n   o f   n ei g h b o r in g   p o in ts   an d   id e n tify   co n v ex   a n d   co n ca v r eg io n s   o f   th f ac e.   At  lo n g   last ,   af ter   th g r a p h   m atch in g   m et h o d   h as  wip ed   o u f alse  lan d m ar k s ,   ac co r d i n g   to   th e   m in i m u m   Ma h alan o b is   d is tan ce ,   th e   b est  co m b in ati o n   o f   lan d m ar k s   p o in ts   is   c h o s en   to   th e   tr ain ed   lan d m a r k   d iag r am   m o d el.     T h tech n iq u e   was  tr ied   a g ai n s FR GC   v 1   an d   FR GC   v 2   d atab ases ,   in clu d in g   5 0 9   s ca n s   an d   3 2 7 1   s ca n s ,   r esp ec tiv ely .   T h ey   d etailed   co n s id e r ab le    r ate  o f   9 0 wit h   th r esh o ld s   f o r   th n o s tip   at  1 5   m m ,   a n d   f o r     th in ter n al  ey co r n e r s   at  1 2   m m .   At  last ,   Per ak is   et  al.   [ 5 ,   6 ]   d is p lay ed   tech n iq u es  f o r   d is tin g u is h in g   im p o r tan f ac ial  p o i n ts   s u ch   as   ey in n er   an d   o u ter   co r n er s ,   m o u th   co r n er s ,   an d   n o s an d   ch in   tip s )   b ased   o n   2 . 5 s ca n s .   Neig h b o r h o o d   s h ap an d   cu r v atu r p r o ce s s in g   u s in g   s h ap in d ex ,   e x p u ls io n   m ap s ,   an d   tu r n   p ictu r es  wer u tili ze d   to   f in d   ca n d id ate  lan d m ar k   p o in ts .   T h ese  ar d eter m i n ed   a n d   m a r k ed   b y   co o r d in atin g   th em   with   s tatis tic al  f ac ial  lan d m ar k   m o d el   [7 8]   T h g o al   o f   th is   p ap e r   is   to   f i n d   o u t   an   ef f icien f ac r e g is tr atio n   m eth o d   b ased   o n   t r ip le . T h en   we   will in tr o d u ce   th p r o b lem s   r e lated   to   th ex is tin g   s y s tem s   in   f ac r ec o g n itio n   a n d   p o s s ib le  r esear ch   way s   th at   h elp   to   s o lv th ese   is s u es.  T h r ee   d im en s io n al   m eth o d s   co u l d   p r o v id b etter   r o b u s tn ess   to   c r ea te  d iv er s ity   th an   2D - b ased   m eth o d s .   Au to m ati f ac r ec o g n itio n   d etec tio n   h as  b ec o m o n o f   th e   m o s t   im p o r tan t   r esear ch   to p ics  in   im ag p r o ce s s in g   d u to   its   ap p licatio n   in   h u m a n - r o b o in ter ac tio n s ,   p ai n   d et ec tio n ,   lie  d etec tio n ,   an d   o th e r   p s y ch o lo g ical  an d   m ed ical  ap p licatio n s .       2.   M AT E R I AL   A ND  M E T H O D   I n   th is   m eth o d ,   it  is   ass u m ed   th at  tr u e   d is p lay   o f   a   th r ee - d im en s io n al  im ag e   as  p iece   o f   th im ag e   f o r   ea c h   lo ca tio n   ( j,   i)   c o o r d i n ates  ( X,   Y,   Z )   th th r ee - d im e n s io n al  s ce n e.   So m e   o f   th im ag es  r ec eiv ed   f r o m   th d ev ice   illu s tr ate  th e   d ata  o n   a   f o r m   o f   p o ly g o n   m o d els,  u s u ally   ca lle d   th e   tr ian g u lar   m o d el.   I n   th is   ca s e,   th r an g o f   t h im ag e   ca n   b e   d etec ted   u s in g   th e   Z - b u f f er   al g o r ith m   [ 1 ] .   As  a   r esu lt,  th e   r esu ltin g   im ag e   m ay   in clu d a n y   n u m b er   o f   f ac es;  in   th at   ca s e,   it  d ep en d s   o n   t h n ee d   an d   also   th im a g in g   d e v ice.   T o   av o id     th less   co m p u tatio n al  p r o b le m ,   we  f ir s t seek   f ac ial  f ea tu r es su ch   as e y es a n d   n o s e.   As a  r esu lt,  th is   is   th f ir s t   s tep   in   im ag s eg m en tatio n   in   r elate d   ar ea s   o f   th e   f ac f ea tu r es.   C u r r en tly ,   o u r   g o al  is   to   d is tin g u is h   th e   f ac t r ia n g le  o n   r ea f ac es.  T h is   m eth o d   is   r e g is ter ed   f o r     th p o s itio n   an d   s tan d ar d   o r i en tatio n   o f   th f ac an d   r ed u ctio n   o f   th v ar iab ilit y   o f   th e   d ep th   o f   th f ac e.     T h tr ian g le  d is tan ce   o f   th n o s an d   ey es in   th im a g is   also   ca lcu lated .     2 . 1 .   No s a nd   ey es ident if ica t io n   T h HK  s eg m en tatio n   m eth o d   is   u s ed   to   f i n d   t h n o s an d   th in n er   c o r n e r s   o f   th ey es .     Fo r   s u r f ac e,   with   c u r v atu r m ea n   an d   Gau s s ian   cu r v atu r e ,   th f ac ial  ex p r ess io n   ca n   b i d en tifie d .     I n   th is   ca s e,   th n o s is   th e   m ax im u m   p o i n t,  an d   th c o r n er s   o f   th ey es  ar th m in im u m .   B ased   o n     t h av er a g c u r v atu r o f   t h f ac e,   an d   b ec a u s o f   th e   lead in g   p o s itio n   an d   h illy   o f   th e   n o s e,   it  h as  t h h ig h est   cu r v atu r e   in   th s u r r o u n d i n g   a r ea ,   s o   r eg ar d in g   th f ac e,   th p o in ts   with   th m ax im u m   cu r v atu r ar s ea r ch ed .   Fo r   th is   p u r p o s e,   th m ea n   s u r f ac e   cu r v atu r e   is   ca lcu lated .   Af ter war d ,   th e   ar ea s   with   a   g r ea ter   cu r v atu r e   s p ec if ied   an d   th e   ar ea   with   th g r ea test   cu r v atu r e   will  b t h tip   o f   t h n o s e.   I f   th e   cu r v atu r o f   an   ar ea   is   g r ea ter ,   th er ef o r t h to tal   am o u n o f   cu r v atu r e   in   t h a r ea   will  b m o r e   o b v i o u s .   I n   a d d it io n   to   th at,   b ec au s e   o f   th n o is e,   C u r v atu r en h a n ce s   in   o n o r   s ev er al  p ix els,  b u th h ig h   cu r v atu r o f   t h s ea r ch ed   ar ea   is   cu r v ed ,   th e   f ilter   r e d u ce s   th e   n o is an d   av er a g es  th e f f ec ts   o f   p r ev e n tin g   th wr o n g   lo ca tio n   b y   ca lcu latin g   t h m ea n   [ 9 ] .   T h im ag o f   th m ea n   cu r v atu r e,   b ef o r an d   af ter   th f ilter in g   is   s h o wn   in   Fig u r e   1.   T h is   m eth o d   d eter m i n es  th p o s itio n   o f   th e   n o s u n d e r   an y   d esire d   an g le   ar o u n d   th x ,   y ,   a n d   z.     T h o n ly   lim itatio n   is   m o r l ik ely   if   m o r th an   h alf   o f   th e   n o s is   h id d en   a r o u n d   th e   y - ax is .   T h is   m eth o d   u tili ze s   th m ea n   cu r v atu r o f   th f ac an d   d o es  n o tak ad v an tag o f   th e d u ca tio n al  an d   class if ied   d ata.     Fo r   th is   r ea s o n ,   th is   m et h o d   h as  h ig h er   co m p u tatio n al  s p ee d   th a n   th e   m eth o d s   th at   f in d   th e   n o s e   f r o d if f er en t a n g les.     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N : 2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   9 ,   No .   4 Dec em b e r   2 0 2 0 :   3 2 6     3 3 2   328       Fig u r 1 .   T h f r o n t p a r t o f   t h f ac ( to p   r ig h t) ,   th im ag o f   a v er ag cu r v atu r e   ( to p   lef t) ,   th e   f r o n p ar t o f     th f ac with   m o r lig h t in ten s ity   ( b o tto m   le f t) ,   th im a g o f   th av er ag c u r v at u r af ter     f ilter in g   ( b o tto m   r ig h t)       2 . 2 .   R ec o g nitio n in im a g ro t a t io n   T h co m p u tatio n al  co s o f   th e   u s o f   th r o tatin g   im ag e   is   h ig h .   I n itially ,   s er ies  o f   ar e as  th at  ar lik ely   to   lo ca te  th n o s an d   e y es  ar s p ec if ied ,   th e n   to   lo ca te  th ex ac ar ea ,   th r o tatin g   im ag is   ex tr ac ted ,   an d   u s in g   SVM  ( Su p p o r Vec to r   Ma ch in e)   class if icatio n ,   th e   ex ac lo ca ted   is   s p ec if ied   [ 1 0 1 1 ] .   T h is   m eth o d   n ee d s   p r im ar y   d ata  an d   n eu r al  n etwo r k .   T o   d eter m i n th lo ca tio n   o f   th n o s e,   th an g les  ar o u n d   th y - ax is   is   q u an tized ,   an d   th en   th im a g es  r o tate  ar o u n d   th y - ax is ,   th en   th n ea r est  p o in to   th ca m er is   co n s id er ed   as  ca n d id ate.   Af ter   f u ll  r o tatio n   ar o u n d   t h y - a x is ,   th n o s is   d iag n o s ed .   T h is   m eth o d   ca n   i d en tif y     th n o s p o s itio n   if   th r o tati o n   is   ar o u n d   t h y - ax is ,   an d   th is   m eth o d   is   n o co s t - ef f ec t iv if   th r o tatio n   h ap p en s   to   t h o th e r   an g les.     2 . 3 .   T hree - dim ens io na l f a ce   ro t a t io n   T h r ee   r o tatio n al  m atr ices  o r   th eir   m u ltip lied   s tr u ctu r ca n   b u s ed   to   r o tate  th r ee - d im en s io n al   im ag es  ar o u n d   th e   ax es  o f   r o t atio n   [ 1 2 - 1 4 ] .   I f   we  ass u m th at  alp h is   r o tatio n   ar o u n d   ax i s   X,   B eta  is   r o tatio n   ar o u n d   ax is   Y,   a n d   L am b d a   is   r o tatio n   ar o u n d   t h ax is   o f   Z ,   th en   th e   f o r m u la  a r o u n d   ea c h   ax is   will  b as  ( 1 )   to   ( 3 ) .   I n   f o r m u la  ( 4 )   th r esu l t is th b y   m u ltip ly in g   f o r m   o f   th th r ee   m atr ices:      1 ( ) = [ 1 0 0   0     0   ]     ( 1 )     2 ( ) = [  0    0 1     0  ]     ( 2 )     3 ( ) = [   0    1 0   0 0 1 ]   ( 3 )     = 1 2 3 = [  .   .  .  +  .   .  .  +  .   .   .  .  +  .   .  .  +  .    .   .  ]   ( 4 )     As  r esu lt,   v ec to r s   o n   ea ch   s p in   is   o b tain ed   with   t h co o r d in atio n   o f   th r o ta ted   im ag e.     T h in ten s ity   is   ad d ed   to   u s th is   m atr ix ,   th r ee - d im en s io n al  d ata,   an d   two - d im en s io n al  im ag r o tatio n .   So ,     th im ag r o tatio n   co o r d in ati o n   is   f o u n d .   T h d ata  m atr ix   is   ch an g ed   as  f o r m u la  ( 5 ) ,   an d   th in ten s ity   was   ad d ed   to   th last   lin o f   im a g e   d ata.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci   I SS N:  2 2 5 2 - 8 8 1 4       P o w erfu l p r o ce s s in g   to   th r ee - d imen s io n a l fa cia l reco g n itio n   u s in g   …  ( Mo h a mma d   K a r imi Mo r id a n i )   329     = [ 1 1 1 1   2 2 2 2   3 3 3 3   4 4 4 4   5 5 5 5   . . . .   . . . .   . . . .   . . . . ]   ( 5 )     T h im p o r tan t   p o in t   h er e   is   th at  two   an d   th r ee - d im e n s io n al  im ag es  o f   th s am e   s ize,   an d   b o th   m u s t   b ac cu r ate  with   c o m p lete  p ictu r o f   t h i n ter ac tio n   co m p lian ce .   T h d atab ase  u s ed ;   t h two - d im en s io n al   im ag es  ar lar g er   th an   th t h r ee - d im en s io n al  im a g es.  T h er e f o r e,   f ir s two - d im e n s io n al  im ag es  ar r esized   to   b th e   s am s ize  w ith   d im en s io n s   o f   th r ee - d im en s io n al   im a g es.  Af ter   t h at,   a   co m m o n   p o i n in   b o th   im ag es  is   m ar k ed ,   a n d   two   im ag es  ar ch ar ac ter ized   b y   y   an d   x   o v er lap ,   th e n   th d ata  is   av ailab le  f o r   ea ch     co o r d in atio n   [ 1 5 1 6 ] .   Du t o   th ch a n g o f   th e   d ata  m at r ix ,   r o tati o n   m atr i x   also   n e ed s   to   b c h an g e d .     Sin ce   th in ten s ity   d ata  d o es n o t a f f ec t th p ix el  lo ca tio n ,   th e   r o tatio n   m atr i x   will b as f o r m u la  ( 6 ) .     W h er th a v ailab le  ze r o   a n d   o n d ata  ar e   ad d ed   to   th e   r o ta tio n   m atr ix ,   s o   th lig h in te n s ity   d ata  is   tr an s m itted   with o u t a lter in g .       [       0     0     0   0 0 0 1   ]   ( 6 )     T h en   th e   co llected   d ata  in   a   t wo - d im en s io n al  m atr ix   ar e   tr a n s f o r m ed   in to   a   two - d im e n s io n al  r o tated   im ag [ 1 7 ] .     2 . 4 .   F a ce   det ec t io n   T h u s o f   in f o r m atio n   p r o ce d u r h as  s ev er al  ad v a n tag es.  First  o f   all,   th f ir s d ata  is   f o r   th d ep th ,   n o th e   in ten s ity   o f   th lig h t,  s o   in d e p en d e n o f   t h s ev er ity   o f   th e   lig h t   o r   th e   lig h r ad iati o n   a n g le  o r   th f ac s ize,   th o b tain ed   im ag is   f ix ed .   Als o ,   th ese  d ata  d o   n o u s th r ef lecte d   lig h f r o m   th f ac e.   T h er ef o r e,   it  is   n o d ep en d en o n   th s k in   co lo r   ch an g es  af f ec ted   b y   th m ak eu p   o r   s u n lig h an d   s u n b u r n .   Gen er ally ,     th th r ee - d im en s io n al  d ata  c an   b m o v ed   an d   r o tated   i n   th d esire d   a n g le  in   th r ee - d im en s io n al  s p ac e;   ac co r d in g l y ,   t h f o r m u la   is   e x tr ac ted   u n d er   th e   d esire d   an g le.   T h e r ef o r e ,   if   th e   im ag e   is   n o at   th d esire d   an g le,   it c an   b r o tated   to   ca lc u late  th im ag at  th d esire d   an g le  [ 1 8 - 2 0 ] .   T h n ee d   f o r   th r ee - d im e n s io n al  im ag in g   ca m er as,  wh ic h   ar m o r ex p en s iv th an   two - d i m en s io n al  im ag in g   ca m er as,  is   o n e   o f   t h d is ad v a n tag es  o f   th is   m et h o d .   Facial  h air   is   o n e   o f   th e   ca s es  wh ich   m ak es    th ex tr ac tio n   o f   d ep th   d ata   d if f icu lt  [ 2 0 ] .   Du e   to   th d et ec tio n   o f   f ac es   b y   th e   tr in ity   o f   ey es  a n d   n o s e,     th s y s tem   ca n   g et  alo n g   with   p r o b lem s   s u ch   as h i d in g   th e ar ,   h air ,   e y eb r o ws,  etc.   ( Fig u r e   2 ) .           Fig u r 2 .   Face   d etec tio n   u s in g   n o s an d   e y es       T h co m p lete  p r o ce d u r ca n   b ex tr ac ted   th r o u g h   p a n o r am ic  ca m er o r   m u ltip le  p h o to s   in   d if f er en d ir ec tio n s .     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N : 2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   9 ,   No .   4 Dec em b e r   2 0 2 0 :   3 2 6     3 3 2   330   2 . 5 .   E x perim ent a l t esting   T h p r o p o s ed   m eth o d   im p lem en ted   o n   th e   B o s p h o r u s   d atab ase  o n   1 5 0   f ac es  s h o ws  th at  t h is   m eth o d   is   9 9 . 7 ac cu r ate  in   th d iag n o s is   o f   th p o s itio n   o f   th n o s e,   9 9 . 3 co r r ec d iag n o s is   o f   th p o s itio n   o f     th ey es,  an d   9 6 . 7 ac cu r ate   d iag n o s is   o f   e y p o s itio n .   I n   T ab le  1 ,   th r esu lts   d eter m in th lo ca tio n   o f     th ey es,  n o s e,   a n d   in ter n al  p a r ts   o f   th ey es,  wh ich   wer s h o wn   in   th d atab ase.       T ab le  1 .   T h n u m b er   o f   n o s an d   ey es p o s itio n s   wh ich   wer d etec ted   V i e w i n g   A n g l e   N o se  D e t e c t i o n   Le f t   Ey e   D e t e c t i o n   R i g h t   E y e   D e t e c t i o n   F r o n t   P h o t o   1 4 3   1 4 1   1 3 9   R o t a t e   2 5   d e g r e e s   a r o u n d   Y   1 4 3   1 4 3   1 3 9   Lo w   r o t a t i o n   a r o u n d   t h e   z - a x i s   1 4 3   1 4 3   1 4 1   H i g h   r o t a t i o n   a r o u n d   t h e   z - a x i s   1 4 3   1 4 3   1 4 1   S mi l e   P i c t u r e   1 4 3   1 4 2   1 4 0   O p e n   M o u t h   1 4 1   1 4 1   1 4 0   Th e   r o t a t i o n   a r o u n d   t h e   x - a x i s (a b o v e )   1 4 3   1 4 3   1 4 1   Th e   r o t a t i o n   a r o u n d   t h e   x - a x i s   ( d o w n )   1 4 2   1 4 2         3.   RE SU L T S   AND  D I SCU SS I O N   T h p r o p o s ed   alg o r ith m   is   i m p lem en ted   o n   1 4   p ictu r es  o f   1 5 0   p e r s o n s   is   s h o wn   in   T ab le  2 .     I n   Fig u r e   3   th ac c u r ac y   g r ap h   is   p lo tted   f o r   d if f er e n t e r r o r s .         T ab le  2 .   E s tim atio n   ac c u r ac y   o f   an g le  f o r   v ar io u s   er r o r s   Th e   e r r o r   z - A x i s   y - A x i s   x - A x i s   1 0   °   e r r o r .   2 1   9 8 %   9 9 . 5 2 %   9 8 . 8 1 %   6   °   Er r o r   9 4 . 8 8 %   9 8 . 8 1 %   9 2 . 3 3 %   3   °   Er r o r   7 7 . 4 6 %   9 5 . 0 0 %   6 7 . 2 4 %           Fig u r 3 .   Acc u r ac y   d ia g r am   f o r   d if f e r en t e r r o r s       T h r u n n in g   tim o f   th is   Alg o r ith m ,   r eg ar d less   o f   th ti m n ee d ed   to   d ete r m in th e   lo ca tio n   o f     th n o s e,   is   less   th an   8 0 0   m illi s ec o n d s .   Mo r eo v er ,   t h is   m eth o d   r eq u ir es  n o   d ata  f o r   tr ain in g .   B ec au s o f     th h ier ar ch ical  s tr u ctu r i n   c ase  o f   th wr o n g   esti m a tio n   o f   th an g les,  th wr o n g   esti m atio n   o f   th o th er   an g les  is   also   p o s s ib le.   Du t o   th d ata  m ap p in g   o f   th Z   0 ,   th ex is ten ce   o f   an   er r o r   in   th ca lcu latio n   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci   I SS N:  2 2 5 2 - 8 8 1 4       P o w erfu l p r o ce s s in g   to   th r ee - d imen s io n a l fa cia l reco g n itio n   u s in g   …  ( Mo h a mma d   K a r imi Mo r id a n i )   331   th an g le  in   th d i r ec tio n   o f   t h z - ax is   is   p o s s ib le.   I f   we  ca n   ca lcu late  p ar a m eter s   u s in g   t h ellip s in   th r ee - d im en s io n al  s p ac e,   th en   th e   ac cu r ac y   ca n   b i n cr ea s ed .   Als o ,   if   th e   an g le   alo n g   t h x - ax is   an d   y   ca n   b e   d eter m in ed   f r o m   th o r ig in a im ag alo n g   with   th an g le  d eter m in atio n ,   th e n   th Sp ee d   an d   e r r o r   o f     th m eth o d   will b d ec r ea s ed .   On o f   th m o s im p o r tan ca p ab ilit ies  o f   th h u m a n   v i s u al  s y s tem   is   th ab ilit y   to   r ec o g n ize     th f ac e,   wh ic h   p lay s   a n   im p o r tan r o le  in   th s o cial  life   o f   e ac h   p er s o n .   Ou r   r elatio n s h ip   with   o th er   p eo p le  is   b ased   o n   o u r   a b ilit y   to   id en tify   th em .   On o f   th m o s p r o m in en asp ec ts   o f   th h u m a n   f ac r ec o g n itio n   s y s tem   is   its   h ig h   ac cu r ac y   an d   r eliab ilit y ,   b u all  h u m an   b ein g s   d o   f ac r ec o g n itio n   ea s ily   an d   with o u m u ch   ef f o r t,  wh ile  th is   is   n o an   ea s y   task   f o r   co m p u ter s .   T h m a in   p u r p o s o f   th is   s tu d y   is   to   s tu d y   th ef f ec o f   s elec tin g   th ap p r o p r iate  f ea tu r es  o f   th r ee - d im e n s io n al  im ag es  f o r   f ac r ec o g n itio n .   T h r esu lts   s h o   th s u cc ess   o f   th is   m eth o d   in   id en tify in g   f ac es  with   d if f er e n ch ar ac ter is tics .   Dif f er en a p p r o ac h es  s o   f ar   ar e   s u m m ar ized   in   T a b le 3.       T ab le  3 .   C o m p a r is o n   o f   class i f icatio n   ac cu r ac y   of   d if f er e n m eth o d s   N a me   3D   f a c e   d a t a b a s e     M a x i mu A c c u r a c y   B l a n z   e t   a l   [ 2 1 ]   F R G C   9 2 %   D i b e k l i o g l u   e t   a l   [ 2 2 ]   B o s p h o r u s   7 9 . 4 1 %   M a h m o o d   e t   a l   [ 2 3 ]   G a v a b D B   9 0 %   B e r r e t t i   e t   a l   [ 2 4 ]   U N D   F R G C   v 2 . 0   G a v a b D B   8 2 . 1 %   P e r a k i s e t   a l   [ 2 5 ]   UND     D i n g   e t   a l   [ 2 6 ]   LFW   9 2 . 9 5 %   Pr o p o sed   m e t h o d   B o sp h o r u s   9 9 . 5 2 %       Du to   th s en s itiv n atu r e   o f   f ac e   d etec tio n ,   h i g h   p r ec is io n   is   o f   th e   u tm o s i m p o r tan ce .     Ob tain ed   r esu lts   s h o th at  th o p en   m o u t h   in cr ea s es  th p o s s ib ilit y   o f   th lo s s   o f   th n o s e.   C o n s id er in g   th at  th is   m eth o d   is   n o o n l y   to   id e n tify   th n o s an d   ey es  id en ti f icatio n   ar also   co n s id er e d ,   s o   th is   wea k n ess   is   co v er ed ,   b u in   th s itu atio n   in   wh ich   b o th   ey es  ar co v er e d   o r   s o m eh o th at  p ar o f   th e   im ag is   lo s t   o r   if     th m o u th   is   o p en ; th i d en tifi ca tio n   will b less   th an   wh en   t h m o u t h   is   clo s ed .       4.   CO NCLU SI O N   Hu m an   f ac e   r ec o g n itio n   b y   m ac h in th r o u g h   3D   im ag es  h as  b ec o m e   an   ac tiv r esear c h   p h ase   in   im ag p r o ce s s in g   c o m m u n ities ,   p atter n   r ec o g n itio n ,   n eu r al  n etwo r k s ,   an d   c o m p u te r   v is io n .     T h f ac p lay s   an   ess en tial  r o le  in   id en tify in g   p eo p le  an d   s h o win g   th eir   f ee lin g s   at  th co m m u n ity   lev el.   T h h u m an   ab ilit y   to   r e co g n ize  f ac es  is   r em ar k ab le.   W c an   r ec o g n ize  th o u s an d s   o f   m em o r a b le  f ac es  in   o u r   life tim a n d ,   at  a   g lan ce ,   r ec o g n ize  f am iliar   f ac es  ev en   af te r   y ea r s   o f   s ep ar atio n .   Face   r ec o g n itio n     h as  b ec o m a n   im p o r tan i s s u in   ap p licatio n s   s u ch   as  s ec u r ity   s y s tem s ,   cr ed it  ca r d   co n tr o a n d     cr im id en tific atio n .   I n   th is   ar ticle,   a   n ew  m eth o d   t o   f ac r ec o g n itio n   a u to m atica l ly   u s in g   3D   f ac e   im ag es  was  p r esen ted T h g eo m etr ic  f ea tu r es  o f   th e   f ac wer u s ed   to   id en tify   f a ce s   with   th h elp   o f   n eu r al  n e two r k s .   T h r esu lts   s h o wed T h e   r esu lts   o f   u s in g   th p r o p o s ed   m eth o d   in   th is   p a p er   with   th e   h elp   o f   B o s p h o r u s   d atab ase  s h o wed   th h ig h est p er ce n tag o f   ac cu r ac y   co m p ar ed   t o   p r e v io u s   m e th o d s .         ACK NO WL E DG M E N T   I   wo u ld   lik to   ex p r ess   m y   d ee p est  ap p r ec iatio n   to   Pr o f ess o r   B u len E s n ik o r   f r o m   B o ğ az içi  Un iv er s ity   f o r   p r o v id in g   m w ith   s ig n if ican t d ata  th at  g r ea tly   ass is ted   th r esear ch .       RE F E R E NC E S   [1 ]   Xu   C. ,   Tan   T. ,   a n d   Wa n g   Y.,   Qu a n   L. ,   Co m b in i n g   l o c a fe a tu re fo r   ro b u st   n o se   lo c a ti o n   in   3D   fa c ial  d a ta ,”   Pa tt e rn   Rec o g n it io n   L e tt e rs ,   v o l .   2 7 ,   n o .   1 3 ,   p p .   62 - 7 3 ,   2 0 0 6 .   [2 ]   Dib e k li o g l u   H. Pa rt - b a se d   3D   fa c e   re c o g n it io n   u n d e p o se   a n d   e x p re ss io n   v a ria t io n s ,   M a ste r' th e sis,  Bo _ g a z i_ c i   Un iv e rsity ,   2 0 0 8 .   [3 ]   Dib e k li o g l u   H.,   S a lah   A . ,   Ak a r u n   L. ,   3D   fa c ial  lan d m a rk in g   u n d e e x p re ss io n ,   p o se ,   a n d   o c c lu sio n   v a riatio n s ,”   I Pro c .   2 n d   I EE I n ter n a ti o n a l   Co n fer e n c e   o n   B io me trics T h e o ry Ap p li c a ti o n a n d   S y ste ms ,   p p .   1 -   6 ,   2 0 0 8 .   [4 ]   Ro m e ro - Hu e rtas   M . ,   P e a rs  N. ,   3D   fa c ial  lan d m a rk   l o c a li z a ti o n   b y   m a tch in g   sim p le  d e sc rip to rs ,”   In   Pr o c .   2 n d   IEE In ter n a ti o n a C o n fer e n c e   o n   Bi o me trics T h e o ry A p p l ica ti o n s a n d   S y ste ms ,   2 0 0 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N : 2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   9 ,   No .   4 Dec em b e r   2 0 2 0 :   3 2 6     3 3 2   332   [5 ]   P e ra k is  P . ,   P a ss a li G . ,   Th e o h a ri T. ,   To d e rici  G . ,   Ka k a d iaris  I. ,   P a rti a m a tch in g   o in terp o se   3D   fa c ial  d a ta  fo r   fa c e   re c o g n it i o n ,”   In   Pro c .   3 rd   I EE In ter n a ti o n a C o n fer e n c e   o n   Bi o me trics :T h e o ry ,   A p p li c a ti o n a n d   S y ste ms p p .   4 3 9 - 4 4 6 ,   2 0 0 9 .   [6 ]   P e ra k is  P . ,   Th e o h a ris  T. ,   P a ss a li G . ,   Ka k a d iaris  I. ,   Au to m a ti c   3D   fa c ial  re g io n   re tri e v a fr o m   m u lt i - po se   fa c ial  d a tas e ts ,   In   Pro c .   Eu r o g ra p h ics   W o rk sh o p   o n   3D   Ob jec Retrie v a l ,   p p .   3 7 - 4 4 ,   2 0 0 9 .   [7 ]   Xie   W,   S h e n   L ,   Ya n g   M ,   Lai   Z. ,   Ac ti v e   AU   b a se d   p a tch   we ig h ti n g   f o fa c ial  e x p re ss io n   re c o g n it io n ,   S e n so rs   (Ba se l) ,   v o l.   1 7 , p p .   2 7 5 ,   2 0 1 7 .   [8 ]   S .   Be rre tt i,   A.  De Bim b o ,   P .   P a la ,   S p a rse   m a tch in g   o sa li e n t   fa c ial  c u rv e fo re c o g n it i o n   o f   3D   fa c e with   m issin g   p a rts, ”  IE EE   T r a n sa c t io n s o n   I n fo rm a ti o n   F o re n sic s a n d   S e c u rity ,   v o l .   8 ,   n o .   2 ,   p p . 3 7 4 - 3 8 9 ,   2 0 1 3 .   [9 ]   An d re J.L o g a n ,   G a e E. G o rd o n ,   G u n terLo ffler,  Co n tri b u t io n o f   in d iv i d u a l   fa c e   fe a tu re to   fa c e   d isc rimin a ti o n ,”   Vi sio n   Res e a rc h ,   v o l.   1 3 7 ,   p p .   29 - 3 9 ,   2 0 1 7 .   [1 0 ]     S .   Ra v i ,   S .   Wi ls o n ,   F a c e   d e tec ti o n   wit h   fa c ial  fe a tu re a n d   g e n d e r   c las sifica ti o n   b a se d   o n   su p p o rt   v e c to r   m a c h in e ,”   2 0 1 0   IEE I n ter n a ti o n a C o n fer e n c e   o n   C o mp u ta t io n a In telli g e n c e   a n d   c o m p u ti n g   R e se a rc h ,   IS BN:   9 7 8 8 1   8 3 7 1   3 6 2 7 2 0 1 0   [1 1 ]   T.   Ve rm a   a n d   R.   K.  S a h u ,   P CA - LDA  b a se d   fa c e   r e c o g n it io n   sy ste m   &   re su lt c o m p a riso n   b y   v a rio u s   c las sifica ti o n   tec h n i q u e s, ”  2 0 1 3   In ter n a t io n a C o n fer e n c e   o n   Gr e e n   Hig h   Per fo rm a n c e   Co mp u ti n g   (ICGH PC) Na g e rc o il ,   p p .   1 - 7 ,   2 0 1 3 .   [1 2 ]   Zh o u ,   S . ,   Xia o ,   S .   3D   fa c e   re c o g n it io n a   s u rv e y . ”  Hu m.  Ce n t.   C o mp u t.   In f.   S c i .   v o l.   8 ,   p p .   3 5 ,   2 0 1 8 .   [1 3 ]   Bo ra d e   S . N.,   De sh m u k h   R. R. ,   S h rish rima P . ,   Eff e c o d istan c e   m e a su re o n   th e   p e rf o rm a n c e   o f a c e   re c o g n it io n   u sin g   p ri n c ip a c o m p o n e n a n a ly si s ,”   In Be rre tt S . ,   T h a m p i   S . ,   S r iv a sta v a   P .   (e d s)  In tel li g e n s y ste m tec h n o l o g ies   a n d   a p p li c a ti o n s ,”   A d v a n c e s in   In telli g e n t   S y ste ms   a n d   Co m p u ti n g ,   v o l.   3 8 4 ,   2 0 1 6 .   [1 4 ]   S . M . S .   Isla m ,   R.   Da v ies ,   M .   Be n n a m o u n ,   R .   " Ow e n a n d   Ajm a l   M ian ,   M u lt ib i o m e tri c   h u m a n   re c o g n i ti o n   u sin g   3D   e a a n d   fa c e   fe a tu re s ,”   Pa tt e r n   Rec o g n it i o n ,   v o l.   4 6 ,   n o .   3 ,   p p .   6 1 3 - 6 2 7 ,   2 0 1 3 .   [1 5 ]   X.Z h a o ,   W. Zh a n g ,   G . Ev a n g e lo p o u l o s,  D.Hu a n g ,   S . S h a h ,   Y. Wan g ,   I . Ka k a d iaris  a n d   L.   C h e n ,   Be n c h m a rk in g   a sy m m e tri c   3D - 2 fa c e   re c o g n it i o n   sy ste m s, ”  Pro c .   3D   Fa c e   Bi o me trics   W o rk sh o p ,   in   c o n j u c ti o n   wit h   IEE E   In t’l   Co n f.   o n   A u to m a ti c   Fa c e   a n d   Ge stu re   Rec o g n it io n   (FG) ,   2 0 1 3 .   [1 6 ]   Yu e m in g   Wan g ,   G a n g   P a n ,   Jia n z h u a n   Li u ,   d e fo rm a ti o n   m o d e to   re d u c e   th e   e ffe c o e x p re ss io n i n   3D   fa c e   re c o g n it i o n ,   Vi su a C o mp u ter v o l.   27 ,   n o .   5 ,   p p .   3 3 3 - 3 4 5 ,   2 0 1 1 .   [1 7 ]   A.  Watt,   M .   Watt,   A d v a n c e d   A n ima ti o n ,   a n d   Ren d e rin g   T e c h n iq u e s:  T h e o ry   a n d   Pr a c ti c e ,   Ad d iso n - Wes ley ,   Re a d in g ,   M A,  1 9 9 2 .   [1 8 ]   A.  M o re n o ,   A.  S a n c h e z ,   J.  Ve lez ,   F .   Dia z ,   F a c e   re c o g n it io n   u si n g   3D   su rfa c e   e x trac ted   d e sc rip to rs,   P ro c e e d in g s   o t h e   Irish   M a c h i n e   Vi si o n   a n d   I ma g e   Pro c e ss in g ,   2 0 0 4 .   [1 9 ]   Na e e m   Iq b a Ra ty a l,   Im ti a z   Ah m a d   Taj,   M u h a m m a d   S a ji d ,   No u m a n   Ali,   An z a M a h m o o d   a n d   S o h a il   Ra z z a q ,   Th re e - d ime n sio n a fa c e   re c o g n it io n   u si n g   v a rian c e - b a se d   r e g istratio n   a n d   su b jec t - sp e c ifi c   d e sc rip to rs,   In ter n a t io n a J o u rn a o A d v a n c e d   Ro b o ti c   S y ste ms p p .   1 - 1 6 ,   2 0 1 9 .   [2 0 ]   M il ler,  P . ,   a n d   L y le,   J.  T h e   e ff e c o f   d ist a n c e   me a su re o n   th e   re c o g n it i o n   ra tes   o f   PCA   a n d   L D b a se d   fa c i a l   re c o g n it i o n   T e c h .   re p . ,   Clem so n   Un iv e rsity ,   2 0 0 8 .   [2 1 ]   Blan z   V,  S c h e r b a u m   K,   S e id e l   HP,   F it ti n g   a   m o r p h a b le  m o d e to   3D   sc a n o f   fa c e s ,”   In C o mp u ter   v isio n   p p .   1 - 8 2 0 0 7 .   [2 2 ]   Dib e k li o g l u   H,   S a lah   AA ,   A k a ru n   L . ,   3D   fa c ial  lan d m a rk i n g   u n d e e x p re ss io n ,   p o se   a n d   o c c lu si o n   v a riati o n s ,”   I n :   Bi o me trics   th e o ry ,   a p p li c a t io n s   a n d   sy ste ms p p .   1 - 6 2 0 0 8 .   [2 3 ]   M a h m o o d   S A,   G h a n RF ,   Ke ri m   AA . ,   3D   fa c e   re c o g n it i o n   u sin g   p o se   i n v a rian t   n o se   re g io n   d e tec to r ,”   In :   Co mp u ter   sc ien c e   a n d   e lec tro n ic  e n g in e e rin g   c o n fer e n c e 2 0 1 4 .   [2 4 ]   Be rre tt S ,   De Bim b o   P P A. ,   S p a rse   m a tch in g   o sa li e n t   fa c ial  c u rv e fo re c o g n it io n   o 3D   fa c e with   m issin g   p a rts ,”   Fo re n sic S e c u ,   v o l.   8 ,   p p .   3 7 4 - 3 8 9 2 0 1 3 .   [2 5 ]   P e ra k is  P ,   P a ss a li G ,   Th e o h a ris  T,   To d e rici  G ,   Ka k a d iaris  IA. ,   P a rti a m a tch in g   o in terp o se   3D   fa c ial  d a ta  fo fa c e   re c o g n it io n ,”   I n Bi o me trics th e o ry ,   a p p li c a ti o n s ,   a n d   sy ste ms ,   p p .   4 3 9 - 4 4 6 2 0 0 9 .   [2 6 ]   Hu a   WG . ,   Im p li c it   e las ti c   m a tch in g   wit h   ra n d o m   p r o jec ti o n fo r   p o se - v a rian fa c e   re c o g n it i o n ,”   I n C o mp u t.   Vi s .   Pa tt e rn   Rec o g n it ,   p p .   1 5 0 2 - 1 5 0 9 2 0 0 9 .       Evaluation Warning : The document was created with Spire.PDF for Python.