I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   9 ,   No .   6 ,  Dec em b er   201 9 ,   p p .   5 2 7 0 ~ 5 2 7 6   I SS N:  2088 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 9 i 6 . p p 5 2 7 0 - 5276           5270       J o ur na l  ho m ep a g e :  h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   H u m a n activ i ty r ecog nition   by  usi ng   co nv o lutiona l    neura l net w o rk       H a nk i l   K i m 1 ,   Su ng o ck   L ee 2 ,   H o ek y un g   J un g 3   1 De p a rtme n t  o f   M u sic   &   S o u n d   T e c h n o l o g y ,   Ko re a   Un iv e rsit y   o f   M e d ia A rts ,  S o u t h   Ko re a   2 G lo b a l  HRD   In c .   3 4 8 3 8 ,   S o u t h   Ko e a     3 De p a rtme n t  o f   Co m p u ter E n g in e e rin g ,   P a iCh a i  Un iv e rsit y ,   S o u t h   Ko re a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A p r   2 4 ,   2 0 1 9   R ev i s ed   J u l 9 ,   2 0 1 9   A cc ep ted   J u l 1 7 ,   2 0 1 9       In   re c e n t  y e a rs,  m a n y   re se a rc h e r s  h a v e   stu d ied   t h e   HA R  (Hu m a n   A c ti v it y   Re c o g n it io n )  sy ste m .   H A R  u sin g   s m a rt  h o m e   se n so r  is  b a se d   o n   c o m p u ti n g   in   sm a rt  e n v iro n m e n t,   a n d   in tell i g e n t  su rv e il lan c e   sy st e m   c o n d u c t s  in ten siv e   re se a rc h   o n   p e rip h e ra l  su p p o rt  l if e .   T h e   p re v io u s   sy ste m   st u d ied   i n   so m e   o f  th e   a c ti v it ies   is  a   f ix e d   m o ti o n   a n d   t h e   m e th o d o lo g y   is  les s  a c c u ra te.  In   th is  p a p e r,   v isio n - b a se d   stu d ies   u s in g   th e rm a l  i m a g in g   c a m e ra s   im p ro v e   th e   a c c u ra c y   o f   m o ti o n   re c o g n it io n   i n   in tell ig e n t  su rv e il lan c e   s y ste m s.   W e   u se   o n e   o f   th e   d e e p   lea rn in g   a rc h it e c tu re s  w id e ly   u se d   in   im a g e   re c o g n it io n   sy ste m s  c a ll e d   Co n v o l u ti o n a l   Ne u ra l  Ne tw o rk s  (CNN ).   T h e re f o re ,   w e   u se   CNN   a n d   th e r m a l  c a m e r a s  to   p r o v id e   a c c u ra c y   a n d   m a n y   f e a tu re s th ro u g h   th e   p ro p o se d   m e th o d .   K ey w o r d s :   A cti v it y   R ec o g n itio n   C o n v o lu tio n al  Ne u r al  Net w o r k   Dee p   L ea r n i n g   I n telli g en t Su r v eilla n ce   S y s te m   T h er m al  C a m er a   Co p y rig h t  ©   2 0 1 9   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Ho ek y u n g   J u n g ,    Dep ar te m en t   o f     C o m p u ter   E n g in ee r i n g ,   P aich ai  Un i v er s it y ,   155 - 4 0   B ae j ae - r o ,   Seo g u ,   Dae J eo n ,   So u th   Ko r ea .   E m ail:  h k j u n g @ p c u . ac . k r       1.   I NT RO D UCT I O N     T h e  HAR  s y s te m ,   a  w id el y   u s ed   p atter n   r ec o g n i tio n   s y s te m [1 - 3] ,   ca n   b e  d iv id ed   in to   s ev er a l   m o d u les  s u c h   as  s e n s i n g ,   f e atu r e  ex tr ac tio n   cla s s i f icatio n ,   s eg m e n tatio n   a n d   p o s t - p r o ce s s in g   [ 4 ] .  HA R   s y s te m s   ca n   b e  ca teg o r ized   in to   t w o   t y p es:  ti m e - b ased   an d   ac ce ler atio n - b ased .   A cc eler ati o n - b ased   m et h o d s   r eq u ir e  m u ltip le  ac ce ler o m et er s   to   b e  u s ed   f o r   d ata  co lle ctio n ,   b u t   ti m e - b a s ed   m et h o d s   t y p ica ll y   r eq u ir e   th e  u s e  o f   o n e  o r   m o r e  ca m e r as  to   co llect  d ata.   T h e  d is ad v an ta g e  o f   th e   ac ce ler atio n   m eth o d   is   th a t  it  ca n   ca u s e  d is co m f o r t to   th e  h u m a n   b o d y   w h e n   p er f o r m i n g   ac tiv it ies s u ch   as  w a lk i n g ,   r u n n i n g ,   an d   l y i n g   d o w n .   Ho w e v er ,   th e  v ar io u s   h u m a n   ac tiv itie s   to   b e  m o n ito r ed   in   t h is   s tu d y   in cl u d e  h a n d   w a v i n g ,   p u n ch i n g ,   k ick in g ,   l y in g   d o w n ,   w al k in g ,   r u n n i n g ,   an d   s ta n d in g .   T h e  ad v an tag e  o f   a  v is io n - b ased   s y s te m   i s   t h at   th e  s e n s o r   w o r k s   w it h o u t  s ti ck in g   to   th e  b o d y .   Ho w e v er ,   r ec o g n itio n   p er f o r m a n ce   d ep en d s   o n   lig h ti n g   co n d itio n s ,   v ie w in g   an g le,   an d   o th er   f ac to r s .   I n   th is   p ap er ,   w e  p r o p o s e  a   s y s te m   th at  u s e s   a  tim e - b ased   d ata  s et  [ 5 - 8 ]   ca p tu r ed   b y   a  th er m al  ca m er a  [ 9 , 1 0 ]   an d   a  C NN  s tr u ct u r e  [ 11 - 14 ]   to   s o lv e  th is   p r o b lem .   T h is   ca n   r ed u ce   th e  p r o ce d u r es o f   th e  h an d icr af t p r o ce s s   an d   i n cr ea s e  th e  ac cu r ac y .       2.   P RO P O SE D  M E T H O D  AND  F E AT U RE   E XT RAC T I O N     E x p lain i n g   T h is   s ec tio n   i n tr o d u ce s   th e  p r o p o s ed   m et h o d   an d   f ea t u r e  ex tr ac tio n .   Firs t,  it  ex p lain s   h o w   to   p er f o r m   th e  f u n ct io n   ex tr ac tio n   s tep - by - s tep .   T h e  f ir s t  s tep   is   to   cu t  t h e  o r ig i n al  i m ag e  b y   h a n d .     T h is   is   b ec au s e  th e  s h ap e  o f   th e  i m ag e  is   cu t  to   s o m e  s h ap e.   T h e  n ex t  s tep   is   to   p e r f o r m   b ac k g r o u n d   s u b tr ac tio n   b ased   o n   t h e  R OI   co o r d in ates  b et w ee n   th e  b ac k g r o u n d   i m a g es.  C NN  [ 1 5 ]   S ets  t h e  f in a l  b in ar y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       Hu ma n   a ctivity  r ec o g n itio n   b y   u s in g   co n v o lu tio n a l  n eu r a l  n e tw o r k   ( Ha n kil  K im )   5271   i m a g e  s ize,   2 0 0   ×  2 0 0   i m a g e,   f o r   th e  i n p u t  i m ag e,   to   a  f i x ed   s ize.   T h e  t h r esh o ld   i s   t h en   u s ed   to   o b tain   th e  b in ar y   i m ag e.   T h e  t h r esh o ld   is   d ef i n ed   as  5 0   p o in ts .   A t  t h e  en d   o f   th i s   p r o ce s s ,   a  m o r p h o lo g ical  o p er atio n   is   u s ed   an d   a  GE I   i m a g e  o f   a  b in ar y   i m ag e  is   o b tain ed .   Fi g u r e  1   also   s h o w s   th e  s y s te m   a r ch itect u r e  f o r   u s   to   u n d er s ta n d   th e  s y s te m   ea s ier .           Fig u r e  1 .   E f f ec t s   o f   s elec tin g   d if f er e n t s w i tch i n g   u n d er   d y n a m ic  co n d itio n       I n   Fi g u r e  1 ,   o u r   m ain   s y s te m   ar ch itect u r e  is   th at   w e  p r ep r o ce s s   t h e  u s er   s ec tio n   an d   c u t  s o m e   w o r k   in to   h an d icr a f ts .   T h e  ap p lica tio n   s ec t io n   i s   o u r   m ai n   p r o p o s ed   m e th o d   u s ed   b y   th e  C NN  ( VGG 16 - Net)   ar ch itect u r e  [ 1 6 - 18] ,   an d   p a r t  o f   th e  tr ain i n g   is   to   u s e  o u r   m o d el.   W e   u s e  th e  Ker as  m o d el  an d   test   it  as  a  p ar t   o f   th e  test .   Ou r   d ataset  is   b y   a  tr ain ed   m o d el.   A n d   o u r   r ec o g n itio n   s y s te m   i s   illu s tr ated   in   th e  f lo w   c h ar t  o f   Fig u r e  2 .   Ou r   f ea t u r e  i m a g e  is   s h o w n   i n   Fi g u r e  3 .           Fig u r e  1 .  Flo w   c h ar t o f   o u r   p r o p o s ed   m et h o d       I n   Fig u r e  2 ,   th e  T h   ( i)   im ag e  is   a  th er m al  i m a g e  b y   B G  an d   O  ( i)   is   a  b ac k g r o u n d   s u b tr ac tio n .   B G  i m a g e  is   a  b ac k g r o u n d   i m ag e   an d   O  ( i)   i m a g e  i s   an   o r i g in a l   i m a g e.   A s   s h o w n   i n   Fi g u r e  2 ,   it  cu ts   th e  v ar io u s   s izes  a n d   ap p ea r s   as  a  T h   ( i)   i m ag e.   Fo r   C   ( i)   i m a g es,  cr ea t e  a  2 2 4   ×  2 2 4   b lan k   i m ag e  f i x ed   s ize  an d   ce n ter   th e  cr o p p ed   im ag e  o f   t h e  b lan k   i m a g e.   I t  th en   cr ea tes  a n   Av   ( i)   av er ag e  i m ag e  o f   t h e  GE I   i m ag e.   F,  ( i)   is   th e   E GE I   ed it ed   s tate  i m a g e   an d   F  ( i)   is   a s   a n   E GE I   i m ag e.   T h e  last   t h r ee   ch a n n els  s h o w n   i n   Fi g u r e  3   co m b i n e  A v   ( i) ,   F,  ( i) ,   an d   F   ( i )   im a g es.   Fi g u r e  3   s elec ts   a  s am p le  f r o m   a  f in a l  f u n ctio n ,   s u ch   as  a)   s h ak i n g   b y   h an d ,   b )   p u n c h   c)   w al k i n g ,   d )   k ick ,   e)   lie  d o w n ,   an d   f )   r u n n i n g .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   6 ,  Dec em b er   201 9   :   5 2 7 0   -   5 2 7 6   5272       Fig u r e  2 .  E x a m p le  o f   o u r   f i n al   f ea tu r e s       3.   E XP E R I M E NT A L   RE SUL T     I n   t h is   s ec tio n ,   w e  b r ief l y   d escr ib e  o u r   d atab ases ,   co m p ar is o n   an d   ac c u r ac y .   First,   it ' s   ab o u t     d atab ase  1 ,   c o llected   in   m u lti p le  en v ir o n m en ts   w it h   o b j ec ts   th at  ar e  d if f er en t  f r o m   p eo p le  i m ag e s   tak e n   w it h   a  th er m al  ca m er a  in   a  d ar k   e n v ir o n m e n t.  So ,   as  m e n tio n e d   ea r lier ,   w e  h a v e  co m b i n ed   all  d atab ases   w it h   d atab ase  1 .   T h er e  ar e   s ix   d if f er en t  p eo p le  an d   to p ics  ca u g h t  in   d if f er e n t  en v ir o n m en ts .   T h er e  is   a  s a m p le  o f   th e  d atab ase  i m a g e  s h o w n   i n   Fig u r e  4 .   W e  ca n   v is u alize   t h e   d atab ase  d escr ip tio n   in   m o r e  d etail  in   T ab le  1 .                   Fig u r e  3 .  E x a m p le  o f   t h e  d ata b ase  o f   d if f er en t o b j ec ts   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       Hu ma n   a ctivity  r ec o g n itio n   b y   u s in g   co n v o lu tio n a l  n eu r a l  n e tw o r k   ( Ha n kil  K im )   5273   T ab le  1 .   Descr ip tio n   o f   d atab a s e   D a t a se t s   D e t a i l e d   d e scri p t i o n   F i g u r e   4a   -   o u t si d e   n e x t   t o   r o a d   -   man   i s   w a l k i n g   r i g h t   a n d   l e f t   F i g u r e   4b   -   o u t si d e   a n d   f r o n t   o f   b u i l d i n g   -   t h e   m a n   i s  k i c k i n g   F i g u r e   4c   -   o u t si d e   n e x t   t o   r o a d   -   t h e   m a n   i s r u n n i n g       T ab le   2   s h o w s   t h e  n u m b er   o f   i m ag e s   in   o u r   d atab ase.   T ab le  3   s h o w s   th e  n u m b er s   o f   i m ag e s   an d   th e  t y p es  o f   m o tio n   i n   ea ch   d ataset.   T h e  s o u r ce   d atab ase  r ep r esen ts   a  th r ee - ch a n n el  f ea tu r e   i m a g e.   T h e  au g m e n ted   d atab ase  d is p la y s   ar ti f iciall y   au g m e n ted   f e atu r e  i m a g es.  I t  th e n   d iv id e s   in to   o n e  o r   t w o   s et s   o f   d ata  an d   th e   o r ig i n al  a u g m en ted   d atab ase.   Fo r   ex a m p le,   an   a u g m e n te d   d ata  s et  w a s   u s ed   to   s tu d y   th e  VGG - 1 6 Net  [ 1 9,   20 ]   a n d   th e  o r ig i n al  d ata  s e t  w as  u s ed   to   t es t  th e  VGG - 1 6 Net.   I n   ad d itio n ,   w e  u s e   t h e  i n v er s e   to   esti m ate   d o u b le  cr o s s   v a lid atio n .   A   d e s cr ip tio n   o f   th e   H AR   s y s te m   d atab ase  s a m p le  i s   g iv e n   ab o v e.       T ab le  1 .  Nu m b er   o f   i m a g es i n   d atab ase   D a t a se t s   T o t a l   O r i g i n a l   d a t a b a se   2 101   A u g me n t e d   d a t a b a se   4 2 0 2 0   N u mb e r   o f   p e o p l e   6   D i f f e r e n t   e n v i r o n me n t   5       T ab le  2 .  Nu m b er s   o f   i m a g e s   an d   th e  t y p e s   o f   m o t io n   i n   ea ch   d ataset   A c t i v i t y   F r a me   B e h a v i o r   H a n d   w a v i n g   1 1 6 3   1 2 0   P u n c h i n g   9 5 4   3 1 7   K i c k i n g   8 0 7   99   W a l k i n g   3 6 2   1 6 5   R u n n i n g   1 4 2   63   S i t t i n g   44   21   S t a n d i n g   56   11   L a y i n g   d o w n   5 8 0   2 0 7   T o t a l   1 2 1 0 8   1 0 0 3       Seco n d ,   w e   in tr o d u ce   th e  co m p ar i s o n   a n d   ac cu r ac y .   I n   o u r   s tu d y   w e  u s e  t h e  C NN  m et h o d   in   H A R   s y s te m s   to   i m p r o v e  t h e s e  p r o b le m s .   C NN   allo w s   s o m e  f ea tu r es  th at   y o u   d o   n o t  n ee d   to   tr a ck   to   d etec t  h u m a n   leg   o r   h a n d   lo ca tio n   i n f o r m at io n .   Yo u   ca n   also   r ec o g n ize  m an y   ac ti v it ies.  B ec au s e  if   we  tr ain   t h e  d ata  s et  r ea d y   f o r   th e  i n p u t s   o f   th e  m o d u le,   m a n y   f u n ct io n s   w il l   b e  r ec o g n ize d   as  w e  e x p ec ted .   T ab le   4   s h o w s   th e  p r o s   an d   co n s   b et w ee n   th e  p r ev io u s   m et h o d   an d   o u r   m et h o d .   I n   ad d itio n ,   w e  tes te d   o u r   m et h o d   an d   co n s tr u cted   it to   est i m ate  d o u b le - cr o s s   v alid atio n   i n   Fi g u r e s   5 - 6.   I n   Fi g u r es  5   a n d   6 ,   w e  tr ai n e d   ten   ep o ch s   a n d   it  s h o w s   t h e  g o o d   ac cu r ac y   en d   o f   th e   l ast  ep o ch .   I n   NN  tr ain in g ,   a  s tr o k e  r ep r esen t s   o n e  co m p lete  s tep   th r o u g h   a  g iv e n   s et  o f   d ata.   T h e  u p p er   d ir ec tio n   o f   th e  f ig u r e  is   t h e  ac cu r ac y ,   th e  lo w er   le f t a cc u r ac y   is   0   ~  1   an d   th e  n u m b er   o f   ep o ch   is   0   ~  1 0 .   A cc u r ac y   v al u es   ar e  b et w ee n   0   an d   1 .   Me as u r e   0   m ea n s   t h at  th e  f ea t u r e  v alu es  m a tch   a n d   d o es  n o t  r ec o g n i ze   th e  i n p u t  i m ag e.   Me asu r ed   v al u e  1   in d icate s   th e  f u n c tio n   m atc h i n g   v al u e,   an d   th e  co r r esp o n d in g   co m p en s atio n   v alu e  i s   d is p la y ed   as  tr u e.   Fro m   0   to   1 0   f o r   ep o ch   w e   h a v e  tr ai n ed   1 0   s ets  o f   d ata.   Af ter   d o u b le - cr o s s i n g   tr ai n in g ,   o u r   d ata  s et  is   r ea d y   f o r   test i n g .   T ab le  5   s h o w s   th e  s u m m ar y   o f   co m p ar is o n s   a n d   ac cu r ac ie s .       T ab le  3 .  Sy s te m   o f   m et h o d   co m p ar at iv e  a n al y s i s   M e t h o d   D e scri p t i o n   P r e v i o u s me t h o d s   -   F i x e d   t a sk s   e v e n t   h a n d l i n g   -   C o mp l i c a t e   t o   e x t e n d s,   su c h   a s   a d d   mo r e   mo t i o n s   -   D r a w b a c k   o f   r e c o g n i t i o n   a b o u t   s a m e   mo v e m e n t s   O u r   me t h o d   -   Ea sy   t o   e x t e n d   a s   mo v e me n t s a s re - t r a i n   mo d u l e s   -   M i n i mal   d r a w b a c k   o f   r e c o g n i t i o n   m o r e   t h a n   p r e v i o u s  me t h o d   -   Ea sy   t o   u se   o u r   sy st e m     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   6 ,  Dec em b er   201 9   :   5 2 7 0   -   5 2 7 6   5274         Fig u r e  4 .  Mo d el  o f   f ir s t tr ain i n g     Fig u r e  5 .  Mo d el  o f   s ec o n d   tr ain in g       T ab le  4 .  Su m m ar y   o f   co m p ar i s o n s   a n d   ac cu r ac ies ( u n it : %)   M e t h o d   A c c u r a c y   F o u r i e r   d e scri p t o r   b a se d   me t h o d   5 0 . 4   G E I   b a se d   me t h o d   6 5 . 1   O u r   me t h o d   9 5 . 9       4.   CO NCLU SI O N     R ec en t l y ,   m a n y   r esear c h er s   h av e  s tu d ied   o n   th e   ac tiv it y   r ec o g n itio n [ 2 1 - 2 5 ] .   T h er e  ar e   s e v er al  t y p es   o f   HAR  s y s te m s .   Fo r   ex a m p le,   HA R   s y s te m   ca n   b e  u s ed   f o r   s p o r t  ac tiv it ies ,   d aily   l if e  ac ti v it ie s   in   th e  h o s p ital  u s e,   p atie n t  m o n ito r in g   a f ter   s u r g er y ,   ca r e  f o r   eld er   p eo p le  an d   etc .  I n tellig e n t  s u r v eilla n ce   s y s te m s   ar e  r ec o g n ized   w h en   a  p atien t f all s   w it h o u t p eo p le  ar o u n d   h i m .   I n   th i s   s tu d y ,   h o w e v er ,   w e  p r o p o s ed   th is   ap p r o ac h   to   s o lv e   th e  ab o v e  m en tio n ed   p r o b lem s .   H u m an   ac tiv it y   h as  s ev er al  u n iq u e  c h ar ac ter is tics   t h at  d o   n o t  r eq u i r e  a  s u b j ec t.  I n   th is   s tu d y ,   h u m an   m o tio n   u s i n g   C NN  is   a n al y ze d   an d   t h er m o g r ap h y   -   b ased   h u m a n   ac tiv it y   r ec o g n it io n   is   u s ed .   T h e  m ain   p r o b lem   w a s   to   r eso lv e  t h e  p e r ce p tio n   o f   d a y ti m e  a n d   n i g h tti m e  h u m a n   ac tiv itie s   i n   t h is   s t u d y   t h at  c o u ld   n o t  r ec o g n ize  p r ev io u s   s t u d ies.  Vi s io n - b ase d   a w ar e n ess   is   u s ef u l  f o r   ac ti v it y   r ec o g n itio n   s y s te m s .   Ho w e v er ,   t h e  t h er m al   ca m er a  is   o p er atin g   d u r in g   t h e  d ay   a n d   n ig h t  d escr ib ed   a b o v e .   W e   ca n   s ee   m a n y   s tu d ies  th at  h a v e  b ee n   r esear ch ed   an d   d ev elo p ed   b y   m et h o d s   u s ed   i n   H A R   s y s te m s .   Ou r   r esu lts   w er e  v er y   g o o d   an d   w o r k ed   w ell   af ter   w e  u s ed   t h e  C NN  m et h o d   in   th e  H AR   s y s te m .   T h e  r esu lt  is   s h o w n   a s   9 5 . 9 %,  an d   is   m o r e  r ec o g n izab le   th an   t h e  o th er   m et h o d s .   W e  p lan   to   in cr ea s e  th e  n u m b er   o f   ac tiv ities   f o r   th e  ex p er i m en t  in   t h e  f u t u r e.   W e  w il l  also   ad d   m o r e  ca m er a  t y p e s   th a t  w ill  al lo w   u s   to   i n cr ea s e  o u r   d ata  s ets  i n   o th er   d i m en s io n s .   W e  w ill  also   b e  p r esen ti n g   r esear ch   o n   p eo p le   w h o   o w n   p er s o n al  i te m s   s u c h   as  th eir   w a llets ,   b ag s   an d   ce ll  p h o n es.  W e  also   p lan   to   s tu d y   th e  ac cu r ac y   an d   la y o u t o f   r ea l - ti m e  H AR   s y s te m s .       ACK NO WL E D G E M E NT S     T h is   w o r k   w a s   s u p p o r ted   b y   th e  r esear ch   g r a n t o f   P aich a i U n iv er s it y   in   2 0 1 9 .       RE F E R E NC E S     [1 ]   J.  S c h m id h u b e r,   “ De e p   lea rn in g   i n   n e u ra l   n e tw o rk s: A n   o v e rv ie w , ”  Ne u ra l  n e two rk s ,   v o l.   6 1 ,   p p .   8 5 - 117 ,   2 0 1 5 .   [2 ]   M .   I.   Jo r d a n   a n d   T .   M .   M it c h e ll ,   “ M a c h i n e   lea rn i n g   :  T re n d s,   p e rsp e c ti v e s,  a n d   p ro s p e c ts , ”  S c ien c e ,   v o l.   3 4 9 ,     n o .   6 2 4 5 ,   p p .   2 5 5 - 2 6 0 ,   2 0 1 5 .   [3 ]   C.   H.  Hw a n g ,   K. C.   S in   a n d   H.   K.  Ju n g ,   “ No S QL   Da tab a se   De sig n   Us in g   UML   c o n c e p tu a l  Da ta  M o d e l   Ba se d   o n   P e ter  C h e n ’s  F ra m e w o rk , ”  In ter n a ti o n a l  J o u rn a l  o f  A p p li e d   E n g i n e e rin g   Res e a rc h ,   v o l .   1 2 ,   n o .   1 0 ,     p p .   6 3 2 - 636 ,   2 0 1 7 .   [4 ]   D.  C.   Cires a n ,   U.  M e ier  U,  a n d   L .   M .   G a m b a rd e ll a ,   “ De e p ,   b ig ,   sim p le  n e u ra l  n e ts  f o r  h a n d w rit ten   d ig it   re c o g n it io n , ”   Ne u ra l   c o mp u ta t io n ,   v o l.   2 2 ,   n o .   1 2 ,   p p .   3 2 0 7 - 3 2 2 0 ,   2 0 1 0 .   [5 ]   R.   P o p p e ,   " A   su rv e y   o n   v isio n - b a se d   h u m a n   a c ti o n   re c o g n it i o n , "  Ima g e   a n d   v isio n   c o mp u ti n g ,   v o l. 2 8 ,   n o . 6 ,     p p . 9 7 6 - 9 9 0 ,  2 0 1 0 , .   [6 ]   J.  W a n g ,   M .   S h e ,   S .   Na h a v a n d i  a n d   A .   Ko u z a n i,   " A   re v i e w   o f  v isio n - b a se d   g a it   re c o g n it io n   m e t h o d s  f o r  h u m a n   id e n ti f ica ti o n , "  Dig it a l   Ima g e   Co mp u ti n g :  T e c h n i q u e s  a n d   Ap p li c a ti o n s ( DICTA ) ,   p p .   3 2 0 - 3 2 7 ,   2 0 1 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       Hu ma n   a ctivity  r ec o g n itio n   b y   u s in g   co n v o lu tio n a l  n eu r a l  n e tw o r k   ( Ha n kil  K im )   5275   [7 ]   P .   K.   P is h a ra d y   a n d   S .   M a rti n   S a e rb e c k ,   " Re c e n t  m e th o d s  a n d   d a t a b a se s   in   v isio n - b a se d   h a n d   g e stu re   re c o g n it i o n :   A   re v ie w , "  Co mp u ter   Vi sio n   a n d   Ima g e   Un d e rs ta n d in g ,   v o l .   1 4 1 ,   p p .   1 5 2 - 1 6 5 ,  2 0 1 5 .   [8 ]   D.  W e in lan d ,   R.   Re m i  Ro n f a rd   a n d   B.   Ed m o n d ,   " A   su rv e y   o f  v isio n - b a se d   m e th o d s  f o r  a c ti o n   re p re se n tatio n ,   se g m e n tatio n   a n d   re c o g n i ti o n , "  C o mp u ter   v isi o n   a n d   im a g e   u n d e rs ta n d in g ,   v o l .   1 1 5 ,   n o .   2 ,   p p .   2 2 4 - 241 ,    2 0 1 1 .   [9 ]   W .   K.  W o n g ,   Z .   Y.   C h e w ,   C.   K.  L o o   a n d   W .   S .   L im ,   " A n   e ffe c ti v e   tres p a ss e r  d e tec ti o n   sy ste m   u sin g   th e rm a l   c a m e ra , ”   in   Co mp u ter   Res e a rc h   a n d   De v e lo p me n t,   2 0 1 0   S e c o n d   In t e rn a ti o n a l   Co n fer e n c e ,   p p .   7 0 2 - 7 0 6 .   [1 0 ]   W.   K.  W o n g ,   P .   N .   T a n ,   C.   K.   L o o   a n d   W .   S .   L im ,   " A n   e ff e c ti v e   su rv e il lan c e   s y ste m   u sin g   th e rm a l  c a m e ra , "    in   S ig n a l  Acq u isit io n   a n d   Pro c e ss in g ,   ICS A P   2 0 0 9 ,   p p .   1 3 - 17 ,   2 0 0 9 .   [1 1 ]     A .   S h a rif   Ra z a v i a n ,   H.  A z izp o u r ,   J.  S u ll iv a n   a n d   S .   Ca rlsso n ,   " CNN  fea tu re s  o ff - t h e - sh e lf :  a n   a st o u n d i n g   b a se li n e   fo r  re c o g n it io n , "  i n   P r o c e e d in g s  o f   th e   IEE E   c o n f e re n c e   o n   c o m p u ter  v isio n   a n d   p a tt e r n   re c o g n it io n   w o rk sh o p s ,    p p .   8 0 6 - 813 ,   2 0 1 4 .   [1 2 ]     P .   Ro b i n so n ,   " T h e   CNN   e ffe c t:   Th e   m y th   o f   n e w s,   f o re ig n   p o li c y   a n d   i n terv e n ti o n , "  Ro u tl e d g e ,   2 0 0 5 .   [1 3 ]   M .   M a tsu g u ,   K.  M o ri,   Y.   M it a ri  a n d   Y.  Ka n e d a ,   " S u b jec t  in d e p e n d e n t  f a c ial  e x p re ss io n   re c o g n it io n   w it h   ro b u st  f a c e   d e tec ti o n   u sin g   a   c o n v o lu ti o n a l  n e u ra l  n e tw o rk , "  Ne u ra l  Ne two rk s ,   v o l.   1 6 ,   p p .   5 5 5 - 5 5 9 ,  20 03 .   [1 4 ]   J.Y.  Kim ,   S . W .   He o   a n d   J.T .   L i m ,   “ A   L ice n se   P l; a te  Re c o g n it io n   A lg o rit h m   u sin g   M u lt i - S tag e   N e u ra l  Ne tw o rk   f o r  A u to m o b il e   Blac k - Bo x   I m a g e , ”     J o u rn a l  o f  th e   Ko re a   In f o rm a ti o n   a n d   Co mm u n ica ti o n   En g in e e rin g ,   v o l.   2 2 ,   n o . 1 ,   p p .   4 4 - 48 ,  2 0 1 8 .   [1 5 ]   S .   Do d g e   a n d   L .   Ka ra m ,   " Un d e rs ta n d in g   h o w  im a g e   q u a li ty   a ff e c ts  d e e p   n e u ra l  n e tw o rk s , "   in ,  Qu a li ty   o f   M u lt im e d ia E x p e rien c e (Qo M E X ) ,   2 0 1 6   Ei g h t h   In tern a ti o n a l  Co n f e re n c e ,   p p .   1 - 6 ,  2 0 1 6 .   [1 6 ]   Z.   L iu ,   X .   L i,   P .   L u o ,   CC.  L o y   a n d   X .   T a n g ,   " S e ma n ti c   i ma g e   se g me n ta t io n   v ia   d e e p   p a rs in g   n e two rk , "    in     P r o c e e d in g s o f   th e   IE EE   I n tern a ti o n a l  Co n f e re n c e   o n   Co m p u ter V isi o n ,   p p .   1 3 7 7 - 1 3 8 5 ,  2 0 1 5 .   [1 7 ]   A . C.   Na jarro   a n d   S . M .   Kim ,   “ No n li n e a r  Co m p e n sa ti o n   Us in g   A rti f icia l  Ne u ra l  N e t w o rk   in   Ra d io - o v e r - F i b e r   S y st e m , ”  J o u rn a l  o f  I n fo rm a ti o n   a n d   Co mm u n ica t io n   Co n v e rg e n c e   En g i n e e rin g ,   v o l.   1 6 ,   n o .   1 ,   p p .   6 - 11 ,   2 0 1 8 .   [1 8 ]   H.K.  Ju n g ,   J.Y.   Kim   a n d   H,K.   Ju n g ,   “ Co n v o lu t io n   Ne u ra l   N e tw o rk (CN N)  b a se d   I, a g e   P r o c e ss in g   S y ste m , ”     J o u rn a l  o f  In fo rm a ti o n   a n d   C o m mu n ica t io n   Co n v e rg e n c e   En g in e e rin g ,   v o l.   1 6 ,   n o .   3 ,   p p .   1 6 0 - 1 6 5 ,   2 0 1 8 .   [1 9 ]   F .   P e d re g o sa ,   G .   V a ro q u a u x ,   A .   G ra m f o rt,   e t  a l,   “ S c ik it - lea rn :  M a c h in e   lea rn i n g   in   P y th o n , ”   J o u r n a l   o f   M a c h i n e   L e a rn in g   Res e a rc h ,   v o l.   1 2 ,   n o . 1 ,   p p .   2 8 2 5 - 2 8 3 0 ,   2 0 1 1 .   [2 0 ]   L .   C.   Jia o ,   S .   Y.  Ya n g ,   F .   Li u ,   e t  a l,   “ S e v e n ty   y e a rs  b e y o n d   n e u ra l  n e tw o rk s:  re tro sp e c t  a n d   p r o sp e c t , ”    Ch in e se   J o u r n a l   o f  C o n p u ter s ,   v o l.   3 9 ,   n o .   8 ,   p p .   1 6 9 7 - 1 7 1 6 ,   2 0 1 6 .   [2 1 ]   K.  S im o n y a n   a n d   A .   Zi ss e r m a n ,   " V e ry   d e e p   c o n v o lu ti o n a l   n e tw o rk s  f o r  lar g e - sc a le  i m a g e   re c o g n it io n , "    a rXiv p re p ri n t  a rX iv:1 4 0 9 . 1 5 5 6 ,   2 0 1 4 .   [2 2 ]   M .   He n rio n ,   “ P ro p a g a ti n g   u n c e rt a in ty   in   Ba y e sia n   n e tw o rk s   b y   p ro b a b i li stic  lo g ic  sa m p li n g , ”  M a c h in e   In tell ig e n c e   a n d   Pa tt e rn   Rec o g n it io n ,   v o l.   5 ,   p p .   1 4 9 - 1 6 3 ,   1 9 8 8 .   [2 3 ]   G .   J.  J.    Bu rg   a n d   P .   J.  F .   G ro e n e n ,   “ G e n S V M :  A   g e n e ra li z e d   m u lt icla ss   su p p o rt   v e c to r  m a c h in e , ”  J o u rn a l   o f   M a c h in e   L e a r n in g   Res e a rc h ,   v o l.   1 7 ,   n o .   1 ,   p p .   1 - 41 ,   2 0 1 6 .   [2 4 ]   D.  Ch e n ,   “ F a u lt   Clas sif ica ti o n   Re se a rc h   o f   A n a lo g   El e c tro n ic  Circu it s  Ba se d   o n   S u p p o rt  Ve c to r  M a c h in e , ”  Ch e mic a l  En g i n e e rin g   T ra n s a c ti o n s ,   v o l.   5 1 ,   p p .   1 3 3 3 - 1 3 3 8 ,   2 0 1 6 .   [2 5 ]   C.   M a ,   C.   Ch e n ,   Q.  L iu ,   e t  a l,   “ S o u n d   Qu a l it y   Ev a lu a ti o n   o f   th e   In terio r  No ise   o f   P u re   El e c tri c   Ve h icle   Ba se d   o n   Ne u ra l  Ne tw o rk   M o d e l , ”  IEE E  T r a n sa c ti o n s  o n   In d u stri a l  El e c tro n ics ,   v o l.   6 4 ,   n o .   1 2 ,   p p .   9 4 4 2 - 9 4 5 0 ,   2 0 1 7 .       B I O G RAP H I E S   O F   AUTH O RS        H a n k il   K i m ,  h e   re c e i v e d   th e   B. S . ,   M . S .   d e g re e s  f ro m   th e   De p a rt m e n t  o f   El e c tro n ic  En g in e e rin g   o f   Ha n b a t  Na ti o n a l  U n iv e rsity ,   Ko re a ,   in   2 0 0 6 ,   a n d   2 0 1 1 ,   a n d   th e   P h .   D.  d e g re e   in   2 0 1 5   f ro m   th e   De p a rtme n t  o f   Co m p u ter  En g in e e rin g   o f   P a ich a i  Un iv e rsit y ,   Ko re a .   S in c e   2 0 0 6 ,   h e   h a s  w o rk e d   in   t h e   De p a rtm e n t  o f   M u sic   &   S o u n d   T e c h n o l o g y   a t  Ko re a   Un iv e r sity   o f   M e d ia  A rts  a s  a   p ro f e ss o r.     His  c u rre n t  re se a rc h   in tere sts  in c lu d e   m u lt im e d ia  so u n d ,   b r o a d c a st  so u n d ,   S R(S o u n d   Re in f o rc e m e n t),   S o u n d   En g in e e ri n g ,   a n d   d a tab a se .         S u n g o c k   Le e ,   s h e   re c e i v e d   th e   B. S .   d e g re e   f ro m   th e   De p a rt m e n t  o f   En g li sh   L a n g u a g e   a n d   Cu lt u re   a t   Ha n y a n g   Un iv e rsit y ,   Ko re a ,   in   2 0 0 8 ,   t h e   M . S .   d e g re e   f ro m   th e   De p a rtme n t  o f   En g li sh   L a n g u a g e   Ed u c a ti o n   a t  Ko re a   Un iv e rsity ,   Ko re a ,   in   2 0 1 2 ,   a n d   th e   P h .   D.   d e g re e   f ro m   th e   De p a rt m e n t  o f   Co m p u ter  En g in e e rin g   a t  P a ich a i  Un iv e rsity ,   Ko re a   in   2 0 1 5 .   S i n c e   2 0 1 2 ,   s h e   h a s  w o rk e d   a s  a n   Ex e c u ti v e   Dire c to r  a t  Da e w o o   Vo c a ti o n a l   Co ll e g e .   He r  c u rre n t  re se a rc h   in tere sts  in c lu d e   v o c a ti o n a l  e d u c a ti o n   a n d   trai n in g   ( V ET )  i n   c o m p u ter  sc ien c e ,   im a g e   p ro c e ss in g ,   m a c h in e   lea rn i n g ,   b ig d a ta,   VR   a n d   Io T .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   6 ,  Dec em b er   201 9   :   5 2 7 0   -   5 2 7 6   5276     H o e k y u n g   J u n g ,  h e   re c e iv e d   th e   M . S .   d e g re e   in   1 9 8 7   a n d   P h .   D.  d e g re e   in   1 9 9 3   f ro m   th e   De p a rtm e n t  o f   Co m p u ter  En g in e e rin g   o f   Kw a n g w o o n   U n iv e rsity ,   Ko re a .   F ro m   1 9 9 4   t o   1 9 9 5 ,   h e   w o rk e d   f o r  ET RI   a s  a   re se a rc h e r.   S i n c e   1 9 9 4 ,   h e   h a s  w o rk e d   i n   t h e   De p a rtm e n t  o f   Co m p u t e r   En g in e e rin g   a t  P a ic h a i  Un iv e rsity ,   w h e re   h e   n o w   w o rk s  a s  a   p ro f e s so r.   His  c u rre n t  re se a rc h   i n tere sts   in c lu d e   m u lt im e d ia  d o c u m e n t  a r c h it e c tu re   m o d e li n g ,   in f o rm a ti o n   p r o c e ss in g ,   i n f o rm a ti o n   re tri e v a l,   m a c h in e   lea rn in g ,   b ig d a ta,  a n d   Io T .     Evaluation Warning : The document was created with Spire.PDF for Python.