I AE S  I nte rna t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 ,   p p .   3 8 5 8 ~ 3 8 6 8   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 1 3 . i 4 . p p 3 8 5 8 - 3 8 6 8          3858     J o ur na l ho m ep a g e :   h ttp : //ij a i . ia esco r e. co m   Deep learni ng  appro a ch f o r f o re nsic facia l recons tru ction  depends o n  unide ntif ied  skull       Do a a   M .   M o ha m m ed ,  M o s t a f a   E lg endy ,  M o ha m ed  T a ha   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e ,   F a c u l t y   o f   C o m p u t e r s   a n d   A r t i f i c i a l   I n t e l l i g e n c e ,   B e n h a   U n i v e r si t y ,   B e n h a ,   E g y p t       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct   11 ,  2 0 2 3   R ev is ed   Feb   24 ,  2 0 2 4   Acc ep ted   Mar   21 ,  2 0 2 4       F a c ial  re c o n stru c ti o n ,   o r  fa c ial  a p p r o x ima ti o n ,   is  a n   e ss e n ti a l  p ro b lem   in   a   c rimin a l  in v e stig a ti o n   i n v o l v in g   r e c o n stru c ti n g   a   v ictim' s  fa c e   fro m   h is  sk u ll   to   d e term in e   t h e   v ict im' s  id e n ti fic a ti o n   a t  a   c rime   sc e n e .   F a c ial  a p p r o x ima ti o n   p lay s  a   c ru c ial   p a rt   wh e n   t h e re   is  a   lac k   o f   c lu e s  wit h   in v e stig a to rs.   In v e stig a t o rs  u ti li z e   fa c ial  a p p r o x ima ti o n   t o   g u e ss   th e   v ictims '   id e n t it ies .   Th i s   re se a rc h   a tt e m p ted   to   u se   c o m p u ter - a id e d   fa c e   re c o n stru c ti o n   ra th e r  t h a n   trad it io n a l  a p p ro a c h e s.  Trad i ti o n a l  m e th o d s  o f  fa c e   re c o n stru c ti o n   i n c lu d e   t h e   u se   o f  c lay   o r  g y p su m .   Tra d it io n a l  p r o c e d u re s  n e c e ss it a te  fo re n sic   p ro fe ss io n a ls  to   re b u il d   t h e   v icti m ' s  fa c e .   Th is  re se a rc h   u se s  th e   c o n v o l u ti o n   n e u ra l  n e tw o rk   sk u ll   p a rt  wit h   sift   (CNN S P S )   m o d e l  is  e m p lo y e d   t o   re c o n stru c t  fa c ial  fe a tu re s  fro m   a   sk u ll   ima g e   u ti li z in g   p u b l ic  d a tas e ts  Ce leb AMas k - HQ   a n d   M UG 5 0 0 + .   Th e   p ro p o se d   a l g o rit h m   wa s  tes ted   o n   u n i d e n ti fie d   sk u ll   d a tab a se s,  a n d   c e leb rit y   fa c e s  we re   u se d .   T h e   g e n u i n e   d a tas e ts are   n o t  a v a il a b le,  wh ich   i s th e   k e y   issu e   i n   th is r e se a rc h .     K ey w o r d s :   Facial  ap p r o x im atio n     Facial  r ec o n s tr u ctio n     Fo r en s ic  d ee p   lear n i n g   Un id en tifie d   s k u lls   Victim 's f ac e   Victim 's id en tific atio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Do aa   M .   Mo h am m e d   Dep ar tm en t o f   C o m p u ter   Scie n ce ,   C o lleg e  o f   C o m p u ter s   an d   Ar tific ial  I n tellig en ce ,   B en h a  Un iv er s ity   Far ee d   Nad a  Stre et,   B an h a,   Al - Qaly u b ia  Go v e r n o r ate  1 3 5 1 1 ,   E g y p t   E m ail: d o aa . ib r a h em @ f ci. b u . e d u . eg       1.   I NT RO D UCT I O N   T h e  tr ad itio n al  ap p r o ac h es  f o r   h u m a n   id en tific atio n   a r e  in e f f ec tiv e  in   s o m e  f o r en s ic  in v e s tig atio n s .   T h e  p o lice  m ay   h av e   ju s t  a  f e w  clu es  to   id e n tify   t h e  in d i v id u al,   DNA,   f in g er p r i n ts ,   an d   d e n tal  r ec o r d s   ar e  t h e  m o s t  co m m o n   id en tific atio n   t ec h n iq u es  [ 1 ] ,   [ 2 ] .   T h e  id e n tify in g   tec h n iq u es  n ee d   a  k n o wn   in d iv id u al  with   wh o m   to   co m p ar e  ev id en ce .   I t   is   ch allen g in g   to   m atch   d ata  with   r ec o r d s   f r o m   an   en tire   c o m m u n ity   if   th e r e  ar e   n o   s u s p ec ts   f o r   i d en tific atio n .   I n   o t h er   cir cu m s tan ce s ,   a u th o r ities   m ay   u s e  a   d if f er en t   t ec h n i q u e.   Fo r en s ic  f ac ial   r ec o n s tr u ctio n   tec h n o lo g y   is   u s ed   to   aid   in   id e n tify in g   h u m a n   r em ain   [ 3 ] – [ 5 ] .   Fo r en s ic  f ac e  r ec o n s tr u ctio n   o r   f o r e n s ic  f ac e  ap p r o x im ati o n   is   a  tech n iq u e  u s ed   to   r e co n s tr u ct  a  p er s o n ' s   f ac ial  f ea tu r es  f r o m   b o n e  r e m ain s .   Ph y s ical  d ata  is   u s ed   to   r ec o n s tr u ct  f ac es  f r o m   g iv en   im ag es  o r   v id eo s .   Facial  r ec o n s tr u ctio n   is   s ig n if ican t  in   a  v ar iety   o f   f ield s .   Facial  r ec o n s tr u ctio n   is   u s ed   in   f o r en s ics,   ar ch ae o lo g y ,   an d   an th r o p o lo g y   to   cr ea te  a  s cu lp ted   m o d el  o f   an   u n k n o wn   f ac e  [ 6 ] .   Un i d en ti f ied   h u m a n   r em ain s   ca n   b e   id en tifie d   th r o u g h   f ac i al  r ec o n s tr u ctio n   d u e  to   th e  la ck   o f   clu es  an d   th e   g lo b al  s p r ea d   o f   m u r d er   ca s es.  T h e  p o lice  u s e  f ac e   r ec o n s tr u c tio n   to   id en tif y   h u m an   r e m ain s   at  cr im e  s ce n es  [ 7 ] .   Acc o r d in g   t o   wo r ld   p o p u latio n   r ev iew,   th e   co m p r eh en s iv e  r ate  o f   cr im e  is   ca lcu lated   b y   t h e  o v er all  cr im es  r ep o r ted   ac r o s s   v ar i o u s   ca teg o r ies  d iv id ed   b y   th e   o v er all  p o p u latio n ,   th en   m u ltip lied   b y   1 0 0 , 0 0 0 .   T h er e   is   a  d is tin ct  a s s o ciatio n   b etwe en   cr im e  an d   ag e,   as  th e  m aj o r ity   o f   o f f en s es,  s ev er e  o n es,   ar e  p er p etr ated   b y   in d iv id u als  in   th e   ag e  r an g e   o f   2 0   to   3 0   y ea r s   o ld .   Ven ez u ela   h o ld s   th e  t o p   s p o t f o r   th e  h ig h est  in d ex   o f   cr im e   g lo b ally   at  8 3 . 7 6 ,   th e n   Pap u a  New   Gu in ea   at  8 0 . 7 9   o n   th e  cr im e  in d ex ,   an d   So u t h   Af r ica  r an k s   as  th e     th ir d - h ig h est cr im e  r ate  wo r l d wid e  [ 8 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8       Dee p   lea r n in g   a p p r o a c h   fo r   fo r en s ic  fa cia l reco n s tr u ctio n   . . .   ( Do a a   M.  Mo h a mme d )   3859   Acc o r d in g   t o   th e  r ep o r t,   h o m icid e  r ates  ca n   b e  i n f lu en ce d   b y   v ar io u s   s o cio ec o n o m ic  f ac t o r s .   T h ese   r ea s o n s   in clu d e  s o cio ec o n o m ic  in eq u ality ,   u n em p lo y m e n t,  p o liti ca l  in s tab ilit y ,   g u n   p o s s ess io n ,   an d   i n   p ar ticu lar ,   g an g s ,   o r g an ized   cr im e,   an d   th e   d r u g   tr ad e.   I n d ee d ,   "Ap p r o x im ately   6 5 , 0 0 0   k illi n g s   p er   y ea r   wer e   ass o ciate d   with   o r g a n ized   g an g s ,   an d   cr im e   b etwe en   2 0 0 0   an d   2 0 1 7 ,   c o n s titu tin g   ap p r o x im ately   1 9 %  o f   all   r ec o r d e d   h o m icid es wo r ld wid e  in   2 0 1 7 . "  As s h o wn   in   Fig u r es 1   an d   2   [ 8 ] ,   [ 9 ] .            Fig u r e  1 .   Statis tics   o f   cr im e  r a te  in   2 0 2 4   [ 8 ]           Fig u r e  2 .   Statis tics   o n   th e  n u m b er   o f   v ictim s   in   2 0 1 9   [ 9 ]       Acc o r d in g   t o   wo r ld   c r im e  r at e  an d   s tatis tics   2 0 0 0 - 2 0 2 4 ,   th e  in cr ea s e  in   2 0 2 0   was  5 . 6 1   p er   1 0 0 , 0 0 0   p o p u latio n ,   eq u iv alen t  t o   a   r is e  o f   0 . 7 4 %  in   a n n u al   ch an g e  f r o m   2 0 1 9 .   T h e  s tatis tics   in   2 0 1 9   we r e  5 . 5 6   p er   1 0 0 , 0 0 0   p o p u latio n ,   eq u al  to   a  3 . 6 5 %  d ec lin e  in   y ea r ly   ch a n g e  f r o m   2 0 1 8 .   T h e  s tatis tics   th at  ex is ted   in   2 0 1 8   wer e  5 . 7 7   p er   1 0 0 , 0 0 0   p o p u lat io n ,   eq u iv alen t  to   a   2 . 2 4 %  d ec lin e  f r o m   2 0 1 7 .   T h e  s tatis tics   t h at  ex is ted   in   2 0 1 7   wer e  5 . 9 1   p er   1 0 0 , 0 0 0   p o p u lat io n ,   eq u al  to   a  0 . 6 9 % d ec lin e  f r o m   2 0 1 6 ,   as sh o wn   in   Fig u r e  3   [ 1 0 ] .   Pre v io u s   r esear ch   u s ed   d ee p   lear n in g   tech n iq u es  an d   co m p u ter   v is io n   to   r ec o n s tr u ct  t h e  f ac e  o f   a   h u m an   f r o m   a  s k u ll,  s u ch   as  s u ch   as  o b ject  d etec tio n ,   r ec o g n itio n ,   im ag e  s eg m e n tatio n ,   m u lti - m o d al  im ag e   tr an s latio n ,   an d   3 D  r ec o n s tr u c tio n   [ 1 1 ] – [ 1 8 ] .   T h is   r esear c h   p r o p o s es  a  co n v o lu tio n   n eu r al  n etwo r k   s k u ll  p a r t   with   s if t  ( C NNSP S)  m o d el  to   r ec o n s tr u ct  h u m an   f ac es  f r o m   h u m a n   r em ai n s   o f   u n id e n tifie d   s k u lls .   T h e   s am e  p er s o n ' s   s k u ll  an d   s k in   f ac e  d atasets   h av e  an   o b s tacle   d u e  to   d atasets   b ein g   u n av ailab l e.   T o   o v er co m e  th is   is s u e,   we  u s ed   two   p u b lic  d atasets   MU G5 0 0 +  [ 1 9 ]   an d   C eleb AM ask HQ  [ 2 0 ] .   T h e  p r o p o s ed   alg o r ith m   ap p lies   s o m e  p r ep r o ce s s in g   o n   th e  s k u ll  d ataset  to   en h an ce   th e  s k u ll  im ag e.   T h en ,   th e  f ac e  d ataset  an d   s k u ll  d ataset  ar e  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N:  2 2 5 2 - 8 9 3 8   I n t J Ar tif  I n tell,  Vo l.  1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 :  3 8 5 8 - 3 8 6 8   3860   s eg m en ted   in to   p ar ts   to   b e  r ea d y   f o r   th e  C NNSPS   m o d el.   T h is   m o d el  is   u s ed   to   m ap   ea ch   p ar t  o f   th e  s k u ll  to   b e  eq u iv ale n t  to   th e  f ac e  p ar t .   T h e  r em ai n in g   s ec tio n s   o f   t h e  r esear ch   p ap er   a r e  o r g an iz ed   in   th e  f o llo win g   m an n er :  s ec tio n   2   r elate d   wo r k ,   s ec tio n   3   m eth o d o lo g y ,   s ec tio n   4   ex p e r im en tal  a n d   r e s u lt,  an d   s ec tio n   5   co n clu s io n .             Fig u r e  3 .   W o r ld   cr im e  r ate  a n d   s tatis tic s   2 0 0 0 - 2 0 2 3   [ 1 0 ]       2.   RE L AT E D  WO RK   Sh o r t o v er v iew  o f   s o m e  p r ev i o u s   s tu d ies o f   f ac ial  ap p r o x im atio n   u s in g   s o m e  tech n iq u es in   co m p u ter   v is io n   an d   d ee p   lea r n in g   to   r ec o n s tr u ct  th e  f ac e.   Kn y az   et  a l.   [ 1 2 ]   p r esen ted   d ee p   lear n in g   tech n iq u es  s h o wca s e   cu ttin g - ed g e   o u tc o m es  f r o m   c o n tem p o r ar y   d ee p   c o n v o lu tio n al  n eu r al  n etwo r k   ( C NN)   m o d els  ac r o s s   d iv er s e  co m p u ter   v is io n   task s   in clu d i n g   o b ject  d etec tio n   an d   r ec o g n itio n ,   im a g e  s eg m e n tatio n ,   m u lti - m o d al  im a g e   tr an s latio n ,   an d   3 D  r ec o n s tr u c tio n .   T h e  g e n er ativ e   ad v e r s ar ial  ap p r o ac h   in   d ee p   lear n in g   e n ab les   ex ce p tio n al   p er f o r m an ce   in   task s   s u ch   as  im ag e - to - im a g e  tr an s latio n ,   im ag e  s eg m en tatio n ,   an d   t h e   3 D  r ec o n s tr u cti o n   s tr u ctu r es  f r o m   a  s in g le  p h o to .   T h is   p ap er   p r esen ted   th e  s k u ll2 f ac e  m o d el  u s in g   g e n er ato r   G  an d   d is cr im in ato r   D  o f   th e  g an   m o d el.   T h e  ac c u r a cy   o f   th e  f ac ial  a p p r o x im atio n   was  ass ess ed   b y   m ea s u r in g   t h e  s u r f ac e - to - s u r f ac e   d ev iatio n   b etwe en   th e  r ec o n s t r u cted   an d   t h e  f ac es  r ea l.  T h e  r esu lts   in d icate   an   ac cu r ac y   o f   u n d er   2 . 5   m m   f o r   ap p r o x im ately   6 0 %  o f   th e  r ec o n s tr u cted   f ac ial  s u r f ac e  [ 1 2 ] .   Kn iaz   et  a l.   [ 1 3 ]   p r o p o s ed   a  d ee p   lear n in g   f r am ewo r k   is   u tili ze d   to   cr ea te  an d   s h o wca s e  r ea lis tic   tex tu r es  f o r   th e  3 D  r ec o n s tr u c tio n   o f   f ac es  b elo n g in g   to   p r e h is to r ic  h u m an s .   Gen er ativ e  a d v er s ar ial  n etwo r k   ( GAN)   is   a  n ew  n eu r al  n etwo r k   ty p e.   GANs  ar e  co m p r is ed   o f   two   d ee p   C NN :  d is cr im in ato r   an d   g en e r ato r .   A   C y cleG AN  is   u s ed   to   o v er c o m e  th e  d if f icu lty   o f   Ga n ' s   im ag e - to - im ag e   tr an s latio n   task s .   A  n ew  m o d el  o f   Sty leGAN   is   im p lem en ted   to   e n h an ce   th e  p er ce p tu al  r ea lis m   an d   q u ality   o f   th e  r ec o n s tr u cte d   im ag e  to   im p r o v e   th e  p er f o r m a n ce .   T h e  is s u es  p r esen t  in   th e   in itial  Sty leGAN   m o d el   wer e  p a r tially   r eso lv e d   in   t h e  s u b s eq u e n t  Sty leGAN v 2   m o d el.   Fo r   tr ai n in g   th e  d e v elo p ed   s k u ll2 p h o to   f r am ewo r k ,   a  d is tin ct  C eleb AM ask - HQ  an d   cr an ia - to - f ac ial  d ataset  ( C 2 F)  wer e  s p ec if ically   g en e r ated .   T h e  o u tc o m es  o f   th e   ex p e r im en ts   r ev ea l  th at  th e   en h an ce d   g en er at o r   G1   c o n tr i b u tes to   an   1 1 % im p r o v em en t  in   th e  q u ality   o f   3 D  r ec o n s tr u c tio n   [ 1 3 ] .   B u s h r a  an d   Ma h eswar i   [ 1 4 ]   p r esen ted   an   in n o v ativ e   ar tific ial  in tellig en ce   m eth o d   to   d ig itall y   id en tify   a  cr im in al  t h r o u g h   f ac ial  r ec o g n itio n   d ig itally ,   t h r o u g h   f o r e n s ic  s k etch   is   tr an s f o r m ed   in to   a  r ea l   p h o to   u s in g   a   d ee p   co n v o lu tio n al  g e n er ativ e  ad v er s ar ial  n etwo r k   ( DC G AN) .   Ad v an c ed   GAN  in v o l v es  im ag e  p r o ce s s in g   th r o u g h   a  C NN  k n o wn   as  th e  DC GAN.   E x ten d ed   d if f er en ce - of - g au s s ian s   ( XDo G)   alg o r ith m   s eg r e g ates   s k etch es  f r o m   th e  clip p ed   r ea l   p ictu r es.  T h e  d atasets   em p lo y ed   in clu d e  th e   ce leb r ity   f ac e  a ttrib u tes  ( C eleb A) .   T h e  cy cle - g en e r ativ e  ad v e r s ar ial  n etwo r k   ( C y cleG AN)   is   tr ain ed   o n   a  r ea l  f ac ial  r ec o g n itio n   tech n o lo g y   ( FERET )   d ataset,   co n s is tin g   o f   1 , 1 9 4   s k etch - p h o t o   p air s   o f   h a n d - d r aw n   s k etch   im ag es.  C o n d itio n al  C y cleG A N   is   ass o ciate d   with   C y cleG A N,   ac h iev in g   a n   ac cu r a cy   o f   6 1 . 3 4 % f o r   C y cleG AN  an d   6 5 . 5 3 % f o r   cc GAN  [ 1 4 ] .   Sh u i  et  a l.   [ 1 5 ]   p r esen te d   m a n u al  2 D   an d   3 D   ap p r o ac h es f o r   f o r e n s ic  p u r p o s es  an d   a r ch ae o lo g y .   T h e   r esu lt  o f   th e  co m p u ter ized   co d e  o f   f ed er al  r eg u latio n s   ( C F R )   is   co n tin g en t  o n   th e  ex ce l len ce   o f   th e  s k u ll  d ig italized ,   with   th e   ac q u is itio n   o f   a   d ig itized   r ep r esen tati o n   ac h ie v ed   t h r o u g h   th e  u tili za tio n   o f   co m p u ted   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8       Dee p   lea r n in g   a p p r o a c h   fo r   fo r en s ic  fa cia l reco n s tr u ctio n   . . .   ( Do a a   M.  Mo h a mme d )   3861   to m o g r a p h y   ( C T )   s ca n n in g   a n d   laser   s ca n n in g   tech n iq u es.   I n   a  p r e v io u s   s tu d y   th e  g eo m etr ic  d ev iatio n   o f   m o d els  o b tain ed   th r o u g h   laser   s ca n n in g   an d   C T   s ca n n in g   tech n iq u es  was  co m p ar ed ,   in d icatin g   th at  b o t h   ap p r o ac h es  ca n   g en er ate  a   d ig ital  s k u ll  o f   h i g h   q u al ity .   C lass if ier s   o r   d is cr im in an t  e q u atio n s   ar e  p r o v id e d   f o r   s ex   p r ed ictio n ,   in   ex is tin g   r esear ch   h as  ad o p ted   th is   to   r ea lize  s ex   class if icatio n .   Su p p o r t  v ec to r   m ac h in es  ( SVM)   ar e  em p lo y e d   to   b u ild   a  class if ier   f o r   p r ed ictin g   s ex   b ased   o n   PC   s co r es  an d   ce n t r o i d   s ize.   T h e  r esear ch   en lis ted   1 4 0   liv in g   in d i v id u al s ,   co m p r is in g   7 0   f em ales  an d   7 0   m ales  o f   Ha n   C h in ese  n ati o n ality   to   estab lis h   th e  d ataset  o f   th e  f ac e  an d   s k u ll d ataset  [ 1 5 ] .   T an   et  a l.   [ 1 6 ]   p r o p o s ed   th e  r e co g n itio n   o f   h u m an   r em ain s   th r o u g h   cr a n io f ac ial  s u p er im p o s itio n   ( C S)  as  a  n o tab le  f o ca l  p o in t  w ith in   th e  f ield   o f   f o r en s ic  s cien ce s .   T h e  r esear ch   in tr o d u ce d   a  ( 3 D - 3 D)   s u p er im p o s itio n   tech n i q u e  f o r   th e  m o d el  o f   a  3 D  s k u ll  an d   3 D  f ac e  to   o v e r c o m e  th e  c h allen g es  m en tio n ed   ea r lier .   T h e  a n aly tical  cu r v atu r e  B - s p lin e  ( AC   B - s p lin e)   b eg in s   b y   r ec o n s tr u ctin g   a  3 D   f ac e  m o d el  f r o m   a   p r o v id e d   2 D  f ac e   im ag e ,   b y   u s in g   th e   m ea n   s im p lifie d   g en e r i c  elastic m o d el.   T h e   f ac e   m o d el  is   alig n ed   with   a  3 D  s k u ll  o n   th e  jawlin e  th r o u g h   th e  ap p licatio n   o f   th e  AC   B - s p lin e.   T h e  z - co o r d i n ates  o f   th e  2 D  f ac e  im ag e   ar e  o b tain ed   b y   r ec o n s tr u ctin g   it  in to   a  3 D  f ac e  m o d el  u s in g   a  m ea n - s im p lifie d   g e n er ic  elastic  m o d el  ( MS - GE M) .   MS - GE M  is   an   en h an ce d   v er s io n   o f   S - GE M,   am alg am atin g   th e  f ac e  m o d els  cr ea t ed   th r o u g h   S - GE M  to   au g m en t  f ac ial  f ea t u r es  m o r e  ef f ec tiv el y .   t h e  AC   B - s p lin e  ac h iev es  a n   ac c u r ac y   is   0 . 8 0 3   an d   th e   PC A - T R   m eth o d   e x h ib its   an   ac cu r ac y   o f   8 3 . 5 %  [ 1 6 ] .   Af za l  et  a l.   [ 1 7 ]   p r o p o s ed   a   m eth o d   f o r   r ec o n s tr u ctin g   3 D   f a ce s .   I t  tak es   an   in p u t   o f   a   s in g l e  2 D  im a g e  an d   y ield s   3 D  im ag es  r ec o n s tr u cted   as  th e  o u tp u t.  T h e  b r u te  f o r ce   m atch in g   ( B FM)   in v o lv es  th r ee   p r im ar y   s tag es:  ex tr ac tin g   f ea tu r es,  d eter m in in g   d e p th ,   an d   g en er atin g   a  3 D  im ag e  f r o m   th e  p r o ce s s ed   im ag e  th r o u g h   th e  B FM.   Su b s eq u en tly ,   s ca le - in v ar ian t  f ea tu r e  tr a n s f o r m   ( SIFT )   was  em p lo y ed   i n   th e  r e co n s tr u ctio n   o f   3 D  f ac es  [ 1 7 ] .   Nav ic  et  a l.   [ 1 8 ]   p r o p o s ed   r ep r o d u cin g   a  v ir tu al  f ac e,   with   f ac ial  s o f t  ti s s u e  th ick n ess   id en tifie d   as  a  k ey   cr iter io n   f o r   en s u r i n g   r eliab ilit y   an d   ac c u r ac y   i n   3 D  c o m p u ter ized   f ac ial  r ec o n s tr u ctio n .   th e  p r im a r y   t o o ls   in   3 D  m o d elin g   s o f twar e  an d   co m p u ter   an im atio n   b len d e r ,   a u to d esk ,   an d   m a y a  wer e  em p l o y ed   to   r ec o n s tr u ct  th e  3 D  v ir tu al  f ac e.   Facial  r ec o n s tr u ctio n   in   3 D  co m p u ter iza tio n   ty p ically   r elies o n   a  s em i - au to m ated   m eth o d ,   s u ch   as  3 D   m o d elin g   s o f twar es ,   s u ch   as  B len d e r ,   Z b r u s h ,   Fre ef o r m ,   an d   3 DStu d io   Ma x .  T h is   a p p r o ac h   s till   in co r p o r ates  co n v e n tio n al  m a n u al  tech n iq u es  a n d   r e q u ir es  s tr o n g   u n d er s tan d in g   o f   an t h r o p o lo g y   an d   an ato m y ,   o r   an   au to m ated   ap p r o ac h   u s ed   to   r ec o n s tr u ctio n   in v o lv es  ad v an ce d   c o m p u te r - b ase d   tech n iq u es  an d   cr an io f ac ial  d ata  to   g en e r ate  f ac ial  r ec o n s tr u ctio n   [ 1 8 ] .       3.   M E T H O D   Face   r ec o n s tr u ctio n   is   u s ed   to   id en tify   th e   in d iv i d u al  f r o m   t h eir   s k u ll.   Face   r ec o n s tr u ctio n   is   u s ed   i n   f o r en s ics,  ar ch ae o lo g y ,   an d   a n th r o p o l o g y .   W e  p r o p o s e  a   tech n iq u e  o f   a   C NNSPS   m o d el.   T h e  m ain   p r o c ed u r es  in   th is   r esear ch   will  b e  e x p l ain ed ,   s u ch   as  p r e p r o ce s s in g ,   cr o p p in g   p h o to g r ap h s ,   a n d   th e  m o d el  lay e r s   em p lo y ed ,   f o llo wed   b y   t h e  o u t p u t im ag e.   T h e  m ain   p r o ce d u r es a r e  s h o wn   in   Fig u r e   4 .           Fig u r e  4 .   T h e  p r o p o s ed   C NNSPS   m o d el     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N:  2 2 5 2 - 8 9 3 8   I n t J Ar tif  I n tell,  Vo l.  1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 :  3 8 5 8 - 3 8 6 8   3862   3 . 1 .     P re pro ce s s ing   T h is   s tep   co n v er ts   th e  in p u t  im ag e  to   g r ay s ca le  an d   ap p lies   s o m e  n ec ess ar y   im ag e  en h an ce m en t,  s u ch   as  n o is e  r em o v al  u s in g   f astNlMea n s Den o is in g C o lo r ed   in   O p en C V .   f astNlMea n s Den o is in g C o lo r ed   u s es  th e  non - lo ca l  m ea n s   d en o is in g   alg o r ith m .   I t  co m p a r es  p ix el  n eig h b o r h o o d s   in   th e  in p u t  im ag e  to   a  tem p late   n eig h b o r h o o d ,   id e n tify in g   an d   r ed u cin g   g r a y s ca le  an d   co l o r   n o is e.   T h e  s eg m e n tatio n   te ch n iq u e  is o lates  th e  s k u ll  r eg io n   f r o m   th e  b ac k g r o u n d   u s in g   th e  Gr a b C u t  alg o r ith m   th at  ap p lies   to   iter at iv ely   u p d ate  th e  m ask   b ased   o n   co lo r   an d   s p atial  in f o r m at io n .   Featu r e  ex tr a ctio n   is   u s ed   to   id en tify   lan d m a r k s   o n   t h e  s k u ll  b o n e  af ter   d etec tin g   th e  s k u ll r e g io n   u s in g   th e  SIFT .   T h e  p r o m in e n t  lan d m ar k s   d et ec ted   o n   th e   s k u ll   im ag e.   T h e   MU G5 0 0 +   d ataset  [ 1 9 ]   f o r   t h e  s k u ll   is   u s ed   in   th e   p r ep r o ce s s in g   s te p .   ar e:   th e   an ter io r   n asal  s p in e  ( An tNS),   Po i n t  A( A ) ,   lef t   s u p r a - o r b ital  in cisu r a   ( L s u p O) ,   lef t  in f e r io r   later al  o r b ital  r im   ( L Or b i ) ,   lef t  g o n io n   ( L Go n i) ,   lef t  p o r i o n   ( L Po r i) ,   r ig h t  s u p r a - o r b ital   in cisu r a   ( R s u p O) ,   r ig h t   in f er i o r   later al  o r b ital  r im   ( R Or b i) ,   r ig h t  g o n io n   ( R Go n i) ,   r ig h t  p o r io n   ( R Po r i) ,   an d   Me n to n   ( Me n t o )   as sh o wn   in   Fig u r e  5 .           Fig u r e  5 .   T h e  p r o m in en t la n d m ar k s   o n   th e  s k u ll im ag e       3 . 2 .     F a ce   a nd   s k ull   s eg m ent a t io n   T h is   s tag e  in v o lv es  s eg m en tin g   th e  s k u ll  im ag e  in to   p ar ts   lik e  th e  r ig h t  an d   lef t  ey es,  r ig h t  an d   lef t   ch ee k ,   a n d   b r o w.   T h ese  s eg m en ted   p a r ts   ar e  th e n   f ed   i n to   t h e  C NNSPS   m o d el  f o r   f u r th e r   p r o ce s s in g .   Dete ct  th e  f ac e  lan d m ar k s   o f   th e   C ele b AM ask - Hq   d ataset  in   [ 2 0 ]   co n s is ts   o f   3 0 , 0 0 0   f ac e  im ag es o f   f am o u s   p eo p le  to   d etec t  th e  6 8   p o in ts   o f   lan d m a r k s ,   as  s h o wn   in   Fig u r e  6 ,   th at   ar e  u s ed   to   cr o p   th e  f ac e  i n to   1 0   p ar ts ,   in clu d in g   r ig h t  a n d   lef t  ey es,   r ig h t  an d   l ef t  ch ee k ,   a n d   b r o w,   as  s h o w n   in   Fig u r e s   7 ( a)   an d   7 ( b ) .   T h e n ,   tr ain i n g   m o d el   to   g et  th e  m o s t p ar t  m atch es with   th e  p ar t o f   th e  f ac e   with   th e  s k u ll.           Fig u r e  6 .   L a n d m ar k s   o f   th e   f a ce   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8       Dee p   lea r n in g   a p p r o a c h   fo r   fo r en s ic  fa cia l reco n s tr u ctio n   . . .   ( Do a a   M.  Mo h a mme d )   3863     ( a)       ( b )     Fig u r e  7 .   T h e  s eg m en tatio n   o f   th e  s k u lls   an d   f ac es ( a )   th e  s e g m en ted   p ar ts   o f   th e  f ac e  an d   ( b )   th e  s eg m e n ted   p ar ts   o f   th e  s k u ll       3 . 3 .     C o nv o lutio n neura l net wo rk   s k ull   pa rt   wit h si f t   mo del   Use  th e  o u tp u t  o f   th e  s eg m en tatio n   o f   th e  f ac e  an d   s k u ll  as  in p u t  to   th e  m o d el.   Dete ct  th e  p r im ar y   s k u ll  lan d m ar k s   o f   th e  im a g e.   C NN  ( also   C o n v Net)   is   a  d ee p   lear n in g - b ased   n eu r al  n etwo r k   with   an   in h er e n t  m ac h in e  lear n i n g   tec h n iq u e .   C NN  p r o ce s s es  d ata,   s u ch   as  im ag es,  with   a  g r i d   p atter n .   T h e  m o d el  ar c h itectu r e   co m p r is es  f iv e   co n v o lu tio n al  lay er s   with   a   k er n el   s ize  o f   3 ×3 ,   s u cc ee d e d   b y   b atch   n o r m aliza tio n ,   r ec tifie d   lin ea r   u n it  ( R eL U)   ac tiv atio n ,   an d   m ax   p o o lin g   o p er atio n s .   T h e  f ir s t  co n v o lu tio n al  lay er   co m p r is es  th r ee   in p u t  ch an n els  ( wh ich   r ep r esen t  R GB   co lo r s )   an d   1 6   o u t p u t  ch a n n els.  T h e  s u b s eq u e n t  lay er s   f o llo w  a  s im ilar   p atter n ,   with   3 2 ,   6 4 ,   1 2 8 ,   an d   2 2 4   o u tp u t  ch an n els.  B atch   n o r m al izatio n   is   u s ed   af ter   ea ch   co n v o lu tio n al  lay er   to   in cr ea s e  co n v er g e n ce   a n d   tr ai n in g   s tab ilit y .   R eL U  ac tiv atio n   f u n ctio n s   ad d   n o n lin ea r ity   to   th e  m o d el,   h elp i n g   it  d etec t  co m p licated   d ata  p att er n s .   Ma x - p o o lin g   o p er atio n s   m in im ize  s p atial  d im e n s io n s ,   allo win g   th e   m o d el  to   f o cu s   o n   ess en tial f ea tu r es wh ile  r em o v in g   d u p licate  d ata   as sh o wn   in   Fig u r e  8 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N:  2 2 5 2 - 8 9 3 8   I n t J Ar tif  I n tell,  Vo l.  1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 :  3 8 5 8 - 3 8 6 8   3864       Fig u r e  8 .   C NNSPS   ar ch itectu r e  m o d el       3 . 3 . 1 .   Co nv o lutio n la y er   A  co n v o lu tio n   lay e r   is   a  k ey   co m p o n en t  o f   th e  C NN  an d   is   r esp o n s ib le  f o r   ex tr ac tin g   f ea tu r es.  I t  is   u s ed   to   ex tr ac t  ess en tial  in f o r m atio n .   T h e  co n v o lu tio n al  lay er   co m p u tes  th e  co n v o lu tio n al  o p er atio n   o f   th e  in p u t  p ictu r es  u s in g   f ilter s .   T h e  k e r n el  f ilter s   h a v e  th e   s am e  d im e n s io n   as  th e   in p u t  im a g e  b u t  h av e  lo wer   co n s tan t  p ar am eter s   [ 1 6 ] .   T h e  co n v o lu t io n   lay er   is   ca lcu lated   in   ( 1 )   [ 2 1 ] :     w out  =(     −    + 2 ∗     ) +1     ( 1 )     wh er e  wi in   is   an   in p u t size,   k s   is   k er n el  s ize,   p d   is   p ad d in g ,   a n d   s t is st r id e.     3 . 3 . 2 .   P o o lin g   la y er   A  p o o lin g   la y er   c o n d u cts  a  s t an d ar d   d o wn s am p lin g   o p e r atio n ,   d ec r ea s in g   th e   f ea tu r e   m a p s '   s p atial   d im en s io n ality .   T h is   is   d o n e  t o   in tr o d u ce   tr an s latio n   i n v ar ia n ce ,   m ak in g   th e  n etwo r k   less   s en s itiv e  to   s lig h t  s h if ts   an d   d is to r tio n s   an d   d ec r ea s in g   th e  n u m b er   o f   lear n ab l e  p ar am eter s .   Ma x   p o o lin g   is   th e  m o s t  c o m m o n   p r o ce d u r e,   tak in g   p atch es  f r o m   th e  in p u t  f ea tu r e  m ap s .   I t  o u tp u ts   th e  m o s t  s ig n if ican t  v alu e  in   ea ch   p atch   an d   d is ca r d s   all  o th er   v alu es [ 1 6 ] .   T h e  eq u atio n   f o r   m ax   p o o lin g   is   ca lcu lated   in   ( 2 )   [ 2 2 ]   an d   ( 3 )   [ 2 3 ] :      ( )=    ( 2 )       r elate d   f ilter s   ar e  u s ed   f o r   t h e  co m p o s itio n   o f   m th   m a x   p o o l in g   b an d    =[ 1, , …. ,  , , …. ,  , ]     :      ,   = m a x( ℎ ,( − 1) + )   ( 3 )     W h er e      { 1 , …, }  is   ter m e d   as  a  p o o lin g   s h if t   th at  allo ws  e n ab lin g   o v er la p   with in   c o n ce r n in g   p o o lin g   r e g io n s   wh en   < .      3 . 3 . 3 .   F ull y   co nn ec t ed  la y er   T h e  o u tp u t  f ea tu r e  m ap s   f r o m   th e  last   co n v o l u tio n   o r   p o o li n g   lay er   ar e  u s u ally   f latten ed .   T h e  f u lly   co n n ec ted   lay er   is   co n v e r ted   in to   a  o n e - d im e n s io n al  ( 1 D)   ar r ay   o r   v ec to r   o f   v alu es.  T h en ,   it  is   lin k ed   to   o n e  o r   m o r e  f u lly   co n n ec ted   lay er s ,   o f ten   ca lled   d en s e   lay er s .   I n   th e s e  d en s e  lay e r s ,   ev e r y   in p u t   is   co n n ec ted   to   ev er y   o u tp u t  th r o u g h   ad ju s tab le  weig h ts .   Af ter   u s in g   C NN,   th e  SIFT   alg o r ith m   d etec ts   d is tin ctiv e  k ey   p o in ts   o r   f ea tu r es in   an   im a g e  [ 2 4 ] .     3 . 3 . 4 .   Sca le  inv a ria nt  f e a t ure   t ra ns f o rm   T h e  SIFT   is   u tili ze d   t o   ex t r ac t  f ea tu r es  th at   r ed u ce s   v is u al  i n f o r m atio n   to   a  s et  o f   p o in ts   t h at  ca n   b e   u s ed   to   f in d   s im ilar   p atter n s   in   o th er   im ag es.  T h is   ap p r o ac h   i s   co m m o n ly   u s ed   in   co m p u ter   v is io n   ap p licatio n s   lik e  p ictu r e  m atch in g   a n d   o b ject  d etec tio n .   SIFT   h as  m an y   ad v an tag es,  s u ch   as  lo ca lity ,   d is tin ctiv en ess ,   q u an tity ,   ef f icien cy ,   a n d   e x ten s ib len ess   [ 2 5 ] .   T h e  s tep s   o f   SIFT   ex ec u tio n   ar e   s h o wn   in   Fig u r e  9 .             Fig u r e  9 .   SIFT   alg o r ith m   s tep s     B u ild in g  t h e  sc ale - spac e   Key   p oi n t   locali z at i on   Orien t a t io n   ass ign men t   K ey  p oint  d escr i p to r   &   K ey  p oint  m atc h i n g     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8       Dee p   lea r n in g   a p p r o a c h   fo r   fo r en s ic  fa cia l reco n s tr u ctio n   . . .   ( Do a a   M.  Mo h a mme d )   3865   3 . 3 . 5 .   B uil din g   t he  s ca le - s pa ce   T h e  ' Gau s s ian   B lu r '  ap p r o ac h   d is tin g u is h es  u n iq u e  s p o ts   wh ile  d is r eg ar d in g   n o is e.   T h e  o u t p u t  im ag e   o f   s ca le - s p ac e  is   a  f u n ctio n   L ( x , y , σ )   [ 1 6 ] .   T h e   b lu r r ed   im ag e   is   ca lcu lated   in   ( 4 )   [ 2 1 ] ,   [ 2 5 ] :     L(x , y, σ) = I ( x, y) *   G( x, y, σ)   ( 4 )     Gau s s ian   b lu r   o p er at o r   is   ca lc u lated   f r o m   ( 5 )   [ 2 1 ] ,   [ 2 6 ] :     G( x , y , σ ) = 1 2 2 − ( 2 + 2 ) / 2 2   ( 5 )     W h er e  x   an d   y   ar e  t h e  lo ca tio n   co o r d i n ates,  σ   is   th e  "scale"   p ar am eter ,   an d   G  is   th e  Gau s s ian   b lu r   o p er at o r .   T h en ,   th e  d if f er e n ce   o f   Gau s s ian s   ( Do G)   is   u s ed   to   lo ca te  r el ev an t k ey   p o in ts   in   a n   im ag e   [ 2 1 ] ,   [ 2 7 ] .     D( x, y, σ) = −L( x, y, σ) + L( x, y, kσ )   ( 6 )     W h er e  σ ,   k σ   ar e   th e  s ca les o f   i m ag es.     3 . 3 . 6 .   K ey   po int  lo c a liza t io n   Key   p o in t  lo ca lizatio n   is   u s ed   to   f in d   th e   k ey   p o in ts   in   th e   im ag e.   T h e  lo w - co n tr ast  f ea tu r es  an d   th o s e   p lace d   o n   th e  e d g es  ar e   r em o v ed .   T h e  tech n iq u e   d eter m i n es  th e  p r ec is e  p o s itio n s   o f   th e  k ey   p o in ts   b y   in ter p o latin g   n eig h b o r   d ata   p o in ts   f o r   ea c h   k ey   p o i n t.   I t  ca n   b e  ac h iev e d   b y   e m p lo y i n g   t h e   T ay lo r   ex p an s io n   o f   th e  Do G  im a g e  [ 2 8 ] .     3 . 3 . 7 .   O rient a t io n a s s ig nm en t   Or ien tatio n   ass ig n m en t   is   u s e d   to   en s u r e   im ag e   r o tatio n   i n v ar ian ce .   E ac h   k ey   p o in t  is   a s s ig n ed   an   o r ien tatio n .   Dep e n d in g   o n   th e   s ize,   a  n eig h b o r h o o d   is   d r awn   ar o u n d   th e  k e y p o in t  lo ca tio n ,   an d   th e  g r ad ien t   m ag n itu d e  a n d   d ir ec tio n   ar e   d eter m in ed   th er e   [ 2 2 ] ,   ca lcu late d   in   ( 7 )   an d   ( 8 )   [ 2 9 ] .     Ma g n itu d e=  √ ( G a 2 +G b 2 )   ( 7 )     Ori en ta tio n =a r cta n ( G b /G a )   ( 8 )     W h er e  G a   an d   G b   r e p r esen t th e   g r ad ien t in   th e  a   a n d   b   d ir ec ti o n   r esp ec tiv ely   f o r   t h e  im ag e.     3 . 3 . 8 .   K ey po int  des cr ipto r  a nd   k ey po int  m a t ching   F i r s t ,   t o   b u il d   a   k e y p o i n t  d e s c r ip t o r ,   c o m p u t e   t h e   g r a d i e n t   m a g n i t u d e   a n d   d i r e c ti o n   f o r   e a c h   i m a g e   s a m p l e  p o i n t   i n   a n   a r e a  s u r r o u n d i n g   t h e   k e y p o i n t   p o s it i o n .   T h e s e   a r e   w e i g h t e d   b y   a   G a u s s i a n   w i n d o w ,   r e p r e s e n t e d   b y   t h e  o v e r l a i d   c i r c l e ,   a s   s h o w n   i n   Fi g u r e   1 0   [ 3 0 ] .   K e y   p o i n t   m a t c h i n g   i s   d e r i v e d   f r o m   t h e   k e y   p o i n t   d e s c r i p t o r .           Fig u r e  1 0 .   E x am p le  o f   th e   SIFT   d escr ip to r   [ 2 6 ]       3 . 4 .     S k ull - to - f a ce   ma pp ing   S k u l l - to - f a c e   m a p p i n g   p r o p o s e s   a   m a t c h e d   i m a g e   t h a t   e n t a i l s   s u p e r i m p o s i n g   a   p h o t o g r a p h   o f   a   p e r s o n ' s   f a c e   o n t o   a   2 D   m o d e l   o f   t h e i r   s k u l l .   T h i s   p r o c e d u r e   e n a b l e s   f o r e n s i c   a n t h r o p o l o g i s t s ,   f o r e n s i c   a r t i s t s ,   a n d   p l a s t i c   s u r g e o n s   t o   m a t c h   t h e   s k u l l ' s   f e a t u r e s   d i r e c t l y   t o   t h o s e   o f   t h e   i n d i v i d u a l   w h i l e   t h e y   a r e   a l i v e .   T h e   f i r s t   s t e p   i s   u s i n g   i m a g e s   i n   t h e   C e l e b A m a s k H q   a v a i l a b l e   d a t a s e t .   T h e   s e c o n d   s t e p   i s   u s i n g   t h e   s k u l l   i m a g e s   i n   t h e   M U G 5 0 0 +   a v a i l a b l e   d a t a s e t .   T h i r d ,   m a t c h   t h e   p h o t o s   t o   t h e   2 D   m o d e l   o f   t h e   s k u l l .   T h i s   e n t a i l s   r e s i z i n g   a n d   a l i g n i n g   t h e   p h o t o g r a p h   t o   m a t c h   t h e   s i z e   a n d   p o s i t i o n   o f   t h e   s k u l l .   T h e   f o u r t h   s t e p   i s   i d e n t i f y i n g   m a j o r   a n a t o m i c a l   l a n d m a r k s   i n   p h o t o g r a p h s   a n d   t h e   s k u l l .   T h e s e   l a n d m a r k s   m a y   i n c l u d e   t h e   e y e s ,   n o s e ,   m o u t h ,   c h i n ,   a n d   o t h e r   l o c a t i o n s   a l o n g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N:  2 2 5 2 - 8 9 3 8   I n t J Ar tif  I n tell,  Vo l.  1 3 ,   No .   4 ,  Dec em b er   2 0 2 4 :  3 8 5 8 - 3 8 6 8   3866   t h e   f a c e ' s   c o n t o u r s .   T h e   f i n a l   s t e p   i s   t o   p r o j e c t   t h e   f e a t u r e s   f r o m   t h e   i m a g e   o n t o   t h e   a p p r o p r i a t e   r e g i o n s   o n   t h e   s k u l l   ( t h e   i m a g e   o n   t h e   l e f t   d e p i c t s   t h e   s k u l l ,   w h i l e   t h e   i m a g e   o n   t h e   r i g h t   i l l u s t r a t e s   t h e   f a c e )   a s   s h o w n   i n   F i g u r e   1 1 .             Fig u r e  1 1 .   Sk u ll - to - f a ce   m ap p in g       4.   RE SU L T S AN D  D I SCU SS I O N   W e  t r ain   th e   m o d el   o n   Go o g le   C o lab .   T h e  s y s tem ' s   co m p u ta tio n al  b ac k b o n e   is   a   Go o g le  C o lab   T PU   r u n tim e.   Featu r in g   an   I n tel  X eo n   C PU,  1 3   GB   R AM ,   an d   a   p o wer f u l  clo u d   T PU.  I ts   s o f t war e  s tack   in clu d es   Py th o n   3 . 1 0 .   W e  u s ed   Op en C V  f o r   ad v a n ce d   co m p u ter   v is i o n   task s   an d   lev er ag e d   th e  ca p ab ilit ies o f   Py T o r ch   f o r   cu ttin g - ed g e   d ee p   lea r n in g   ap p licatio n s .     4 . 1 .     Da t a s et s   T h e  p r o p o s ed   r esear ch   was  te s ted   o n   th e  MU G5 0 0 +  [ 3 1 ]   an d   C eleb AM ask - HQ  d atasets .   MU G5 0 0 +  is   a  co llectio n   o f   5 0 0   h ea lth y   s k u lls ,   th at  ar e  s eg m en ted   f r o m   h ig h - r eso lu tio n   h ea d   CT   im ag es.  C eleb AM ask - HQ  h as  ar o u n d   3 0 , 0 0 0   im ag es  o f   ce leb r ity   f ac es.  T o   b u ild   an   au to m ated   d iag n o s is   to o l,  a  h u g e  d ataset   en co m p ass in g   o v er   3 0 0 , 0 0 0   h ea d   CT   im ag es  wa s   g ath er ed   r etr o s p ec tiv ely   f r o m   ar o u n d   2 0   ce n ter s   in   I n d ia  b etwe en   J an u ar y   1 ,   2 0 1 1   an d   J u n e  1 ,   2 0 1 7 .   I t  in cl u d es  th e  tr ain in g   an d   v alid atio n   s u b s ets  ( Qu r e2 5 k   an d   C Q5 0 0   d atasets ,   r esp ec tiv ely ) ,   th e  o r ig in al  clin ical  r ad io lo g y   r ep o r t,  an d   t h e  co n s e n s u s   o f   th r ee   in d ep en d en t   r ad io lo g is ts ,   wh ich   ar e   r eg a r d e d   as  th e   g o ld   s tan d ar d   f o r   th e   Q u r e2 5 k   a n d   C Q 5 0 0   d atasets .   T h is   d ataset  is   m ea n t   f o r   th e  d ev elo p m en t  an d   ass ess m en t  o f   au t o m ated   d ia g n o s tic  s y s tem s ,   n o t  f o r   f ac e  a p p r o x im atio n   lear n in g   [ 1 2 ] .  Un f o r tu n atel y ,   th e  p u b licly   ac ce s s ib le  CT   d ataset  i s   n o t  s u ita b le  f o r   th e  jo b   o f   s k u ll - b ased   f ac e  ap p r o x im atio n .   T h e  MU G5 0 0 +  [ 1 9 ]   an d   C eleb AM ask - HQ  [ 2 0 ]   d atasets   wer e  ch o s en   d u e  to   th e  d atasets   ar e  av ailab le  to   d o wn lo ad   as  p u b lic  d atasets .   I t  is   d if f icu lt  to   cr ea te  d atasets   o f   3 D  h u m an   s k u lls   an d   3 D  h u m an   f ac es  s in ce   a  f o r e n s ic  ex p e r t  is   r e q u ir ed   t o   b u ild   3 D   f ac e   d atasets   an d   3 D  s k u ll  d atasets .   Pre v io u s   r e s ea r ch   cr ea ted   3 - D  s k u ll  an d   f ac e  d atasets   u s in g   3 D  - m o d elin g   s o f twar e  s u ch   as  3 DStu d io   Ma x ,   Fre ef o r m ,   B len d er ,   Z b r u s h 1 5 ,   clay ,   o r   g y p s u m   s cu lp tu r e  t o   cr ea te  d atasets   an d   r eq u ir es  a   g o o d   k n o wled g e  o f   an ato m y ,   s p ec if ically   f ac ial  an ato m y .   I n   th is   r esear ch ,   we   attem p ted   t o   u s e  r ea l  d ata   f r o m   u n k n o wn   h u m an   s k u lls   a n d   p u b lic  2 D  f ac es.   Ho wev er ,   we  r an   in t o   an   o b s tacle   d u e  to   3 D  s k u lls   an d   3 D  f ac es  n o t  b ein g   a v ailab le.   T h e   r ec o n s tr u cted   f ac es   wer e  cr ea ted   b y   s eg m en tin g   th e  s k u ll im ag e  in to   ten   p ar ts   an d   m atch in g   th em   to   p ar ts   o f   th e  f ac e,   as sh o wn   in   Fig u r e  1 2 ( a ) .   W e  u p d ated   th e  r ec o n s tr u cted   f ac e  b y   clu s ter in g   th e  C eleb AM ask HQ  in to   m ale  an d   f em ale.   T h e   r ec o n s tr u cted   o u t p u t  f ac e  s eg m en ted   th e  s k u ll  im ag e  in to   1 8   p ar ts   an d   u s ed   a  m atch in g   m o d el  with   th e  s am e   f ac es   as th e  r ec o n s tr u cted   f ac e ,   as sh o wn   in   Fig u r e   1 2 ( b ) .       4 . 2 .     E x perim ent a l det a ils   T h e  in p u t  im ag e  s ize  is   2 2 4 ×2 2 4 ×3   to   th e  C NNSPS   m o d el,   wh ich   em p lo y s   co n v o lu tio n   2 D   with   m an y   in p u t  ch a n n els,  m an y   o u t p u t  ch an n els  with   a  k er n el  s ize  o f   3 ×3   th at   m o v es  o n e  p ix el   at  a  tim e  in   b o t h   th e   h o r izo n tal   an d   v e r tical  d ir ec tio n s   b y   1   s tr id e  a n d   1   p ix el   ad d e d   to   ea ch   s id e  o f   t h e  in p u t  i m a g e  b y   p ad d in g .   T h e   m o d el  in d icate s   th at  th e  b atc h   n o r m aliza tio n   lay er   will  n o r m alize   th e  n u m b er   o f   o u tp u t   ch an n els  f r o m   th e   p r ev io u s   co n v o lu tio n al   lay er .   T h e  m o d el  u s es  b atch   n o r m ali za tio n   to   im p r o v e  n eu r al   n etw o r k   t r ain in g   s tab ilit y   an d   p er f o r m a n ce .   I t   n o r m alize s   a  g iv en   lay e r ' s   ac tiv atio n s   b y   s u b tr ac tin g   th e  m ea n   an d   d iv i d in g   b y   th e  s tan d ar d   d ev iatio n   d eter m in e d   ac r o s s   a  m in i - b atch   o f   s am p les.  T h is   h elp s   to   r ed u ce   in ter n al  co v ar iate  s h if ts   an d   ca n   s p ee d   u p   n etwo r k   co n v er g e n c e  d u r in g   tr ain in g .   Ma x   p o o lin g   is   a   d o wn - s am p lin g   p r o ce d u r e  u s ed   to   m in im ize   th e  s p atial  d im en s io n s   o f   th e  in p u t  wh ile  m ain tain in g   th e  m o s t  im p o r tan t  ch ar ac ter is tics .   I t  s p lits   th e  in p u t  in to   non - o v er lap p in g   r ec tan g u lar   r eg io n s   an d   o u tp u ts   th e  g r ea test   v alu e  f r o m   ea ch .   T h e  m ax   p o o lin g   lay e r   u s es  a  2 ×2   k e r n el  an d   a  s tr id e  o f   2 .   T h e   m o d el   u s es  a  lin ea r   tr a n s f o r m atio n   to   th e   in p u t  d ata  with   p ar am eter s   2 2 4 × 7 ×7 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif  I n tell    I SS N:  2 2 5 2 - 8 9 3 8       Dee p   lea r n in g   a p p r o a c h   fo r   fo r en s ic  fa cia l reco n s tr u ctio n   . . .   ( Do a a   M.  Mo h a mme d )   3867       ( a)   ( b )     Fig u r e  1 2 .   Face   r ec o n s tr u ctio n   ( a)   th e  r ec o n s tr u cted   f ac e  o f   1 0   p ar ts   an d   ( b )   t h e  r ec o n s tr u ct ed   f ac e  o f   1 8   p ar ts       5.   CO NCLU SI O N   An th r o p o lo g y ,   ar c h ae o lo g y ,   a n d   f o r en s ics  h av e   is s u es  with   f ac e  a p p r o x im atio n   b ased   o n   th e  s k u ll - co m p u ter - aid ed   f ac ial  r ec o n s tr u ctio n   tech n iq u es  b ased   o n   d ig itized   s k u ll  im ag es  o f   u n k n o wn   p eo p le.   C o m p u ter - aid ed   f o r e n s ics  p r ed icted   th e  v ictim ' s   n ea r est  f a ce   b y   n o t  em p l o y i n g   s tan d a r d   p r o ce d u r es.  T h is   r esear ch   u s es  th e  C NNSP S  m o d el,   b ased   o n   b r ea k in g   u n id e n t if ied   s k u lls   in to   p ar ts   an d   d iv id in g   k n o wn   h u m a n   im ag es  in to   p ar ts   to   p r ed ict  f a ce s .   T h is   r esear ch   m ak es  u s e  o f   p u b licly   av ailab le  d atasets   s u ch   as  MU G5 0 0 +  an d   C eleb AM ask - HQ.   T h is   r esear ch   illu s tr ates  th e  an ticip at ed   o u tco m e  o f   u n i d en tifie d   s k u lls   u s in g   a  d ataset   o f   ce leb r ity   p er s o n s .   Ou r   f u n d am en tal  is s u e  is   th at  th e  co lle ctio n   o f   k n o wn   g en u in e   s k u lls   an d   k n o w n   p e o p le   d o es n o t e x is t.  T h u s ,   we   r ely   o n   p u b licly   av ailab le   d a tasets .   T h e  ch allen g e  f ac in g   u s   in   th is   r esear ch   is   th at  t h e   r ea l d ataset  is   n o t a v ailab le,   an d   it is   d if f icu lt to   h a v e  it.       RE F E R E NC E S   [ 1 ]   E.   A .   A .   El - D i n ,   “ A r t i f i c i a l   i n t e l l i g e n c e   i n   f o r e n s i c   sc i e n c e :   i n v a s i o n   o r   r e v o l u t i o n ? , ”   E g y p t i a n   S o c i e t y   o f   C l i n i c a l   T o x i c o l o g y   J o u rn a l ,   v o l .   1 0 ,   n o .   2 ,   p p .   2 0 – 3 2 ,   2 0 2 2 ,   d o i :   1 0 . 2 1 6 0 8 / e sct j . 2 0 2 2 . 1 5 8 1 7 8 . 1 0 1 2 .   [ 2 ]   C .   W i l k i n s o n ,   “ C o mp u t e r i z e d   f o r e n s i c   f a c i a l   r e c o n s t r u c t i o n :   a   r e v i e w   o f   c u r r e n t   sy s t e ms , ”   F o re n si c   S c i e n c e ,   M e d i c i n e ,   a n d   Pa t h o l o g y ,   v o l .   1 ,   n o .   3 ,   p p .   1 7 3 – 1 7 7 ,   2 0 0 5 ,   d o i :   1 0 . 1 3 8 5 / F S M P : 1 : 3 : 1 7 3 .   [ 3 ]   S .   N .   B y e r s  a n d   C .   A .   J u a r e z ,   I n t r o d u c t i o n   t o   f o r e n s i c   a n t h ro p o l o g y :   S i x t h   e d i t i o n .   R o u t l e d g e ,   2 0 2 3 ,   d o i :   1 0 . 4 3 2 4 / 9 7 8 1 0 0 3 2 8 3 9 3 5 .   [ 4 ]   C .   N .   S t e p h a n ,   “ F a c i a l   a p p r o x i m a t i o n - f r o m  f a c i a l   r e c o n st r u c t i o n   s y n o n y m  t o   f a c e   p r e d i c t i o n   p a r a d i g m, ”   J o u rn a l   o f   F o re n s i c   S c i e n c e s ,   v o l .   6 0 ,   n o .   3 ,   p p .   5 6 6 – 5 7 1 ,   2 0 1 5 ,   d o i :   1 0 . 1 1 1 1 / 1 5 5 6 - 4 0 2 9 . 1 2 7 3 2 .   [ 5 ]   S .   G u p t a ,   V .   G u p t a ,   H .   V i j ,   R .   V i j ,   a n d   N .   T y a g i ,   “ F o r e n si c   f a c i a l   r e c o n st r u c t i o n :   t h e   f i n a l   f r o n t i e r , ”   J o u rn a l   o f   C l i n i c a l   a n d   D i a g n o s t i c   Re s e a rc h ,   v o l .   9 ,   n o .   9 ,   p p .   2 6 – 2 8 ,   2 0 1 5 ,   d o i :   1 0 . 7 8 6 0 / J C D R / 2 0 1 5 / 1 4 6 2 1 . 6 5 6 8 .   [ 6 ]   M .   D.   B u h a n   a n d   C .   N a r d o n i ,   “ A   f a c i a l   r e c o n s t r u c t i o n   me t h o d   b a se d   o n   n e w   mesh   d e f o r ma t i o n   t e c h n i q u e s , ”   F o re n si c   S c i e n c e s   Re se a rc h ,   v o l .   3 ,   n o .   3 ,   p p .   2 5 6 – 2 7 3 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 8 0 / 2 0 9 6 1 7 9 0 . 2 0 1 8 . 1 4 6 9 1 8 5 .   [ 7 ]   P .   M e se j o ,   R .   M a r t o s,  Ó .   I b á ñ e z ,   J.  N o v o ,   a n d   M .   O r t e g a ,   “ A   s u r v e y   o n   a r t i f i c i a l   i n t e l l i g e n c e   t e c h n i q u e s   f o r   b i o me d i c a l   i ma g e   a n a l y si s   i n   s k e l e t o n - b a se d   f o r e n si c   h u man   i d e n t i f i c a t i o n , ”   A p p l i e d   S c i e n c e s ,   v o l .   1 0 ,   n o .   1 4 ,   2 0 2 0 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 0 1 4 4 7 0 3 .   [ 8 ]   “ C r i m e   r a t e   b y   c o u n t r y   2 0 2 4 , ”   Wo r l d   P o p u l a t i o n   Re v i e w ,   2 0 2 4 .   A c c e sse d :   A u g .   2 0 ,   2 0 2 3 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w o r l d p o p u l a t i o n r e v i e w . c o m / c o u n t r y - r a n k i n g s / c r i me - r a t e - by - c o u n t r y   [ 9 ]   U N O D C ,   “ G l o b a l   s t u d y   o n   h o mi c i d e :   U n i t e d   N a t i o n s   o f f i c e   o n   d r u g s  a n d   c r i me, ”   U n i t e d   N a t i o n s  p u b l i c a t i o n ,   S a l e s  N o .   1 4 . I V . 1 ,  2 0 1 9 .   A c c e sse d :   A u g .   2 0 ,   2 0 2 3 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / w w w . u n o d c . o r g / u n o d c / e n / d a t a - a n d - a n a l y s i s / g l o b a l - st u d y - on - h o m i c i d e - 2 0 1 9 . h t ml   [ 1 0 ]   “ W o r l d   C r i m e   R a t e   &  S t a t i s t i c s   2 0 0 0 - 2 0 2 3 , ”   Ma c r o   T re n d s ,   2 0 2 3 .   A c c e ss e d :   A u g .   2 5 ,   2 0 2 3 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w w w . ma c r o t r e n d s. n e t / c o u n t r i e s/ W LD / w o r l d / c r i me - r a t e - s t a t i st i c s   [ 1 1 ]   H .   Q .   N g u y e n ,   T.   N .   N g u y e n ,   V .   D .   Tr a n ,   a n d   T .   T.   D a o ,   “ A   d e e p   l e a r n i n g   a p p r o a c h   f o r   p r e d i c t i n g   s u b j e c t - s p e c i f i c   h u ma n   s k u l l   sh a p e   f r o m  h e a d   t o w a r d   a   d e c i s i o n   su p p o r t   s y st e m  f o r   h o me - b a se d   f a c i a l   r e h a b i l i t a t i o n , ”   I RB M ,   v o l .   4 4 ,   n o .   1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i r b m. 2 0 2 2 . 0 5 . 0 0 5 .   [ 1 2 ]   V .   A .   K n y a z ,   V .   V .   K n i a z ,   M .   M .   N o v i k o v ,   a n d   R .   M .   G a l e e v ,   “ M a c h i n e   l e a r n i n g   f o r   a p p r o x i m a t i n g   u n k n o w n   f a c e , ”   I n t e r n a t i o n a l   Arc h i v e s  o f   t h e   P h o t o g ra m m e t ry ,   Re m o t e   S e n si n g   a n d   S p a t i a l   I n f o rm a t i o n   S c i e n c e s  -   I S PR S   Ar c h i v e s ,   v o l .   4 3 ,   n o .   B 2 ,   p p .   8 5 7 – 8 6 2 ,   2 0 2 0 ,   d o i :   1 0 . 5 1 9 4 / i s p r s - a r c h i v e s - X L I I I - B2 - 2 0 2 0 - 857 - 2 0 2 0 .   [ 1 3 ]   V .   K n i a z ,   V .   K n y a z ,   a n d   V .   M i z g i n o v ,   “ S y n t h e si s  a n d   v i su a l i z a t i o n   o f   p h o t o r e a l i st i c   t e x t u r e s   f o r   3 d   f a c e   r e c o n st r u c t i o n   o f   p r e h i s t o r i c   h u ma n , ”   C EU R  Wo r k sh o p   Pro c e e d i n g s ,   v o l .   2 7 4 4 ,   p p .   1 - 9 ,   2 0 2 0 ,   d o i :   1 0 . 5 1 1 3 0 / g r a p h i c o n - 2 0 2 0 - 2 - 4 - 1 5 .   [ 1 4 ]   S .   N .   B u s h r a   a n d   K .   U .   M a h e sw a r i ,   “ C r i me  i n v e st i g a t i o n   u si n g   D C G A N   b y   f o r e n si c   s k e t c h - to - f a c e   t r a n sf o r mat i o n   ( S TF) - a   r e v i e w , ”   i n   5 t h   I n t e rn a t i o n a l   C o n f e r e n c e   o n   C o m p u t i n g   Me t h o d o l o g i e s  a n d   C o m m u n i c a t i o n ,   I C C MC   2 0 2 1 ,   I EEE,   A p r .   2 0 2 1 ,   p p .   1 3 4 3 – 1 3 4 8 ,   d o i :   1 0 . 1 1 0 9 / I C C M C 5 1 0 1 9 . 2 0 2 1 . 9 4 1 8 4 1 7 .   [ 1 5 ]   W .   S h u i   e t   a l . ,   “ A   c o mp u t e r i z e d   c r a n i o f a c i a l   r e c o n st r u c t i o n   met h o d   f o r   a n   u n i d e n t i f i e d   sk u l l   b a se d   o n   s t a t i st i c a l   sh a p e   mo d e l s, ”   Mu l t i m e d i a   T o o l s  a n d   Ap p l i c a t i o n s ,   v o l .   7 9 ,   n o .   3 5 – 3 6 ,   p p .   2 5 5 8 9 – 2 5 6 1 1 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 2 0 - 0 9 1 8 9 - 7.   [ 1 6 ]   J.  S .   T a n ,   I .   Y .   L i a o ,   I .   V e n k a t ,   B .   B e l a t o n ,   a n d   P .   T.   Ja y a p r a k a s h ,   “ C o m p u t e r - a i d e d   su p e r i m p o s i t i o n   v i a   r e c o n s t r u c t i n g   a n d   m a t c h i n g   3 D   f a c e s  t o   3 D   sk u l l s  f o r   f o r e n s i c   c r a n i o f a c i a l   i d e n t i f i c a t i o n s , ”   Vi s u a l   C o m p u t e r ,   v o l .   3 6 ,   n o .   9 ,   p p .   1 7 3 9 – 1 7 5 3 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 3 7 1 - 0 1 9 - 0 1 7 6 7 - 7.   [ 1 7 ]   H .   M .   R .   A f z a l ,   S .   Lu o ,   M .   K .   A f z a l ,   G .   C h a u d h a r y ,   M .   K h a r i ,   a n d   S .   A .   P .   K u mar,  “ 3 D   f a c e   r e c o n st r u c t i o n   f r o m  si n g l e   2 D   i ma g e   u si n g   d i s t i n c t i v e   f e a t u r e s , ”   I EEE  Ac c e ss ,   v o l .   8 ,   p p .   1 8 0 6 8 1 – 1 8 0 6 8 9 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 2 8 1 0 6 .   [ 1 8 ]   P .   N a v i c ,   P .   P a l e e ,   S .   P r a p a y a sa t o k ,   S .   P r a si t w a t t a n a sere e ,   A .   S i n t h u b u a ,   a n d   P .   M a h a k k a n u k r a u h ,   “ T h e   d e v e l o p me n t   a n d   t e s t i n g   o f   T h a i   f a c i a l   so f t   t i ss u e   t h i c k n e ss  d a t a   i n   t h r e e - d i me n si o n a l   c o m p u t e r i z e d   f o r e n s i c   f a c i a l   r e c o n s t r u c t i o n , ”   M e d i c i n e ,   S c i e n c e   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.