I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   9 ,   No .   6 Dec em b er   201 9 ,   p p .   5 2 7 0 ~ 5 2 7 6   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 9 i 6 . p p 5 2 7 0 - 5276           5270       J o ur na ho m ep a g e h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   H u m a n activ i ty r ecog nition   by  usi ng   co nv o lutiona   neura l net w o rk       H a nk i l   K i m 1 ,   Su ng o ck   L ee 2 ,   H o ek y un g   J un g 3   1 De p a rtme n o f   M u sic   &   S o u n d   T e c h n o l o g y ,   Ko re a   Un iv e rsit y   o f   M e d ia A rts S o u t h   Ko re a   2 G lo b a HRD   In c .   3 4 8 3 8 ,   S o u t h   Ko e a     3 De p a rtme n o f   Co m p u ter E n g in e e rin g ,   P a iCh a Un iv e rsit y ,   S o u t h   Ko re a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A p r   2 4 ,   2 0 1 9   R ev i s ed   J u l 9 ,   2 0 1 9   A cc ep ted   J u l 1 7 ,   2 0 1 9       In   re c e n y e a rs,  m a n y   re se a rc h e r h a v e   stu d ied   t h e   HA (Hu m a n   A c ti v it y   Re c o g n it io n sy ste m .   H A u sin g   s m a rt  h o m e   se n so is  b a se d   o n   c o m p u ti n g   in   sm a rt  e n v iro n m e n t,   a n d   in tell i g e n su rv e il lan c e   sy st e m   c o n d u c t in ten siv e   re se a rc h   o n   p e rip h e ra su p p o rt  l if e .   T h e   p re v io u s   sy ste m   st u d ied   i n   so m e   o th e   a c ti v it ies   is  a   f ix e d   m o ti o n   a n d   t h e   m e th o d o lo g y   is  les a c c u ra te.  In   th is  p a p e r,   v isio n - b a se d   stu d ies   u s in g   th e rm a i m a g in g   c a m e ra s   im p ro v e   th e   a c c u ra c y   o f   m o ti o n   re c o g n it io n   i n   in tell ig e n su rv e il lan c e   s y ste m s.   W e   u se   o n e   o f   th e   d e e p   lea rn in g   a rc h it e c tu re w id e ly   u se d   in   im a g e   re c o g n it io n   sy ste m c a ll e d   Co n v o l u ti o n a l   Ne u ra Ne tw o rk (CNN ).   T h e re f o re ,   w e   u se   CNN   a n d   th e r m a c a m e r a to   p r o v id e   a c c u ra c y   a n d   m a n y   f e a tu re s th ro u g h   th e   p ro p o se d   m e th o d .   K ey w o r d s :   A cti v it y   R ec o g n itio n   C o n v o lu tio n al  Ne u r al  Net w o r k   Dee p   L ea r n i n g   I n telli g en t Su r v eilla n ce   S y s te m   T h er m al  C a m er a   Co p y rig h ©   2 0 1 9   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Ho ek y u n g   J u n g   Dep ar te m en t   o f     C o m p u ter   E n g in ee r i n g ,   P aich ai  Un i v er s it y ,   155 - 4 0   B ae j ae - r o ,   Seo g u ,   Dae J eo n ,   So u th   Ko r ea .   E m ail:  h k j u n g @ p c u . ac . k r       1.   I NT RO D UCT I O N     T h HAR  s y s te m ,   w id el y   u s ed   p atter n   r ec o g n i tio n   s y s te m [1 - 3] ,   ca n   b d iv id ed   in to   s ev er a l   m o d u les  s u c h   as  s e n s i n g ,   f e atu r ex tr ac tio n   cla s s i f icatio n ,   s eg m e n tatio n   a n d   p o s t - p r o ce s s in g   [ 4 ] HA R   s y s te m s   ca n   b ca teg o r ized   in to   t w o   t y p es:  ti m e - b ased   an d   ac ce ler atio n - b ased .   A cc eler ati o n - b ased   m et h o d s   r eq u ir m u ltip le  ac ce ler o m et er s   to   b u s ed   f o r   d ata  co lle ctio n ,   b u t   ti m e - b a s ed   m et h o d s   t y p ica ll y   r eq u ir e   th u s o f   o n o r   m o r ca m e r as  to   co llect  d ata.   T h d is ad v an ta g o f   th e   ac ce ler atio n   m eth o d   is   th a it  ca n   ca u s d is co m f o r t to   th h u m a n   b o d y   w h e n   p er f o r m i n g   ac tiv it ies s u ch   as  w a lk i n g ,   r u n n i n g ,   an d   l y i n g   d o w n .   Ho w e v er ,   th v ar io u s   h u m a n   ac tiv itie s   to   b m o n ito r ed   in   t h is   s tu d y   in cl u d h a n d   w a v i n g ,   p u n ch i n g ,   k ick in g ,   l y in g   d o w n ,   w al k in g ,   r u n n i n g ,   an d   s ta n d in g .   T h ad v an tag o f   v is io n - b ased   s y s te m   i s   t h at   th s e n s o r   w o r k s   w it h o u s ti ck in g   to   th b o d y .   Ho w e v er ,   r ec o g n itio n   p er f o r m a n ce   d ep en d s   o n   lig h ti n g   co n d itio n s ,   v ie w in g   an g le,   an d   o th er   f ac to r s .   I n   th is   p ap er ,   w p r o p o s a   s y s te m   th at  u s e s   tim e - b ased   d ata  s et  [ 5 - 8 ]   ca p tu r ed   b y   th er m al  ca m er [ 9 , 1 0 ]   an d   C NN  s tr u ct u r [ 11 - 14 ]   to   s o lv th is   p r o b lem .   T h is   ca n   r ed u ce   th p r o ce d u r es o f   th h an d icr af t p r o ce s s   an d   i n cr ea s th ac cu r ac y .       2.   P RO P O SE M E T H O AND  F E AT U RE   E XT RAC T I O N     E x p lain i n g   T h is   s ec tio n   i n tr o d u ce s   th p r o p o s ed   m et h o d   an d   f ea t u r ex tr ac tio n .   Firs t,  it  ex p lain s   h o w   to   p er f o r m   th f u n ct io n   ex tr ac tio n   s tep - by - s tep .   T h f ir s s tep   is   to   cu t h o r ig i n al  i m ag b y   h a n d .     T h is   is   b ec au s th s h ap o f   th i m ag is   cu to   s o m s h ap e.   T h n ex s tep   is   to   p e r f o r m   b ac k g r o u n d   s u b tr ac tio n   b ased   o n   t h R OI   co o r d in ates  b et w ee n   th b ac k g r o u n d   i m a g es.  C NN  [ 1 5 ]   S ets  t h f in a b in ar y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       Hu ma n   a ctivity  r ec o g n itio n   b y   u s in g   co n v o lu tio n a n eu r a n e tw o r k   ( Ha n kil  K im )   5271   i m a g s ize,   2 0 0   ×  2 0 0   i m a g e,   f o r   th i n p u i m ag e,   to   f i x ed   s ize.   T h t h r esh o ld   i s   t h en   u s ed   to   o b tain   th b in ar y   i m ag e.   T h t h r esh o ld   is   d ef i n ed   as  5 0   p o in ts .   A t h en d   o f   th i s   p r o ce s s ,   m o r p h o lo g ical  o p er atio n   is   u s ed   an d   GE I   i m a g o f   b in ar y   i m ag is   o b tain ed .   Fi g u r 1   also   s h o w s   th s y s te m   a r ch itect u r f o r   u s   to   u n d er s ta n d   th s y s te m   ea s ier .           Fig u r 1 .   E f f ec t s   o f   s elec tin g   d if f er e n t s w i tch i n g   u n d er   d y n a m ic  co n d itio n       I n   Fi g u r 1 ,   o u r   m ain   s y s te m   ar ch itect u r is   th at   w p r ep r o ce s s   t h u s er   s ec tio n   an d   c u s o m e   w o r k   in to   h an d icr a f ts .   T h ap p lica tio n   s ec t io n   i s   o u r   m ai n   p r o p o s ed   m e th o d   u s ed   b y   th C NN  ( VGG 16 - Net)   ar ch itect u r [ 1 6 - 18] ,   an d   p a r o f   th tr ain i n g   is   to   u s o u r   m o d el.   W e   u s th Ker as  m o d el  an d   test   it  as  p ar t   o f   th test .   Ou r   d ataset  is   b y   tr ain ed   m o d el.   A n d   o u r   r ec o g n itio n   s y s te m   i s   illu s tr ated   in   th f lo w   c h ar o f   Fig u r 2 .   Ou r   f ea t u r i m a g is   s h o w n   i n   Fi g u r 3 .           Fig u r 1 Flo w   c h ar t o f   o u r   p r o p o s ed   m et h o d       I n   Fig u r 2 ,   th T h   ( i)   im ag is   th er m al  i m a g b y   B an d   ( i)   is   b ac k g r o u n d   s u b tr ac tio n .   B i m a g is   b ac k g r o u n d   i m ag e   an d   ( i)   i m a g i s   an   o r i g in a l   i m a g e.   A s   s h o w n   i n   Fi g u r 2 ,   it  cu ts   th v ar io u s   s izes  a n d   ap p ea r s   as  T h   ( i)   i m ag e.   Fo r   C   ( i)   i m a g es,  cr ea t 2 2 4   ×  2 2 4   b lan k   i m ag f i x ed   s ize  an d   ce n ter   th cr o p p ed   im ag o f   t h b lan k   i m a g e.   I th en   cr ea tes  a n   Av   ( i)   av er ag i m ag o f   t h GE I   i m ag e.   F,  ( i)   is   th e   E GE I   ed it ed   s tate  i m a g e   an d   ( i)   is   a s   a n   E GE I   i m ag e.   T h last   t h r ee   ch a n n els  s h o w n   i n   Fi g u r 3   co m b i n A v   ( i) ,   F,  ( i) ,   an d   F   ( i )   im a g es.   Fi g u r 3   s elec ts   s am p le  f r o m   f in a f u n ctio n ,   s u ch   as  a)   s h ak i n g   b y   h an d ,   b )   p u n c h   c)   w al k i n g ,   d )   k ick ,   e)   lie  d o w n ,   an d   f )   r u n n i n g .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   6 Dec em b er   201 9   :   5 2 7 0   -   5 2 7 6   5272       Fig u r 2 E x a m p le  o f   o u r   f i n al   f ea tu r e s       3.   E XP E R I M E NT A L   RE SUL T     I n   t h is   s ec tio n ,   w b r ief l y   d escr ib o u r   d atab ases ,   co m p ar is o n   an d   ac c u r ac y .   First,   it ' s   ab o u t     d atab ase  1 ,   c o llected   in   m u lti p le  en v ir o n m en ts   w it h   o b j ec ts   th at  ar d if f er en f r o m   p eo p le  i m ag e s   tak e n   w it h   th er m al  ca m er in   d ar k   e n v ir o n m e n t.  So ,   as  m e n tio n e d   ea r lier ,   w h a v co m b i n ed   all  d atab ases   w it h   d atab ase  1 .   T h er ar e   s ix   d if f er en p eo p le  an d   to p ics  ca u g h in   d if f er e n en v ir o n m en ts .   T h er is   s a m p le  o f   th d atab ase  i m a g s h o w n   i n   Fig u r 4 .   W ca n   v is u alize   t h e   d atab ase  d escr ip tio n   in   m o r d etail  in   T ab le  1 .                   Fig u r 3 E x a m p le  o f   t h d ata b ase  o f   d if f er en t o b j ec ts   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       Hu ma n   a ctivity  r ec o g n itio n   b y   u s in g   co n v o lu tio n a n eu r a n e tw o r k   ( Ha n kil  K im )   5273   T ab le  1 .   Descr ip tio n   o f   d atab a s e   D a t a se t s   D e t a i l e d   d e scri p t i o n   F i g u r e   4a   -   o u t si d e   n e x t   t o   r o a d   -   man   i s   w a l k i n g   r i g h t   a n d   l e f t   F i g u r e   4b   -   o u t si d e   a n d   f r o n t   o f   b u i l d i n g   -   t h e   m a n   i k i c k i n g   F i g u r e   4c   -   o u t si d e   n e x t   t o   r o a d   -   t h e   m a n   i s r u n n i n g       T ab le   2   s h o w s   t h n u m b er   o f   i m ag e s   in   o u r   d atab ase.   T ab le  3   s h o w s   th n u m b er s   o f   i m ag e s   an d   th t y p es  o f   m o tio n   i n   ea ch   d ataset.   T h s o u r ce   d atab ase  r ep r esen ts   th r ee - ch a n n el  f ea tu r e   i m a g e.   T h au g m e n ted   d atab ase  d is p la y s   ar ti f iciall y   au g m e n ted   f e atu r i m a g es.  I th e n   d iv id e s   in to   o n o r   t w o   s et s   o f   d ata  an d   th e   o r ig i n al  a u g m en ted   d atab ase.   Fo r   ex a m p le,   an   a u g m e n te d   d ata  s et  w a s   u s ed   to   s tu d y   th VGG - 1 6 Net  [ 1 9,   20 ]   a n d   th o r ig i n al  d ata  s e w as  u s ed   to   t es th VGG - 1 6 Net.   I n   ad d itio n ,   w u s e   t h i n v er s e   to   esti m ate   d o u b le  cr o s s   v a lid atio n .   A   d e s cr ip tio n   o f   th e   H AR   s y s te m   d atab ase  s a m p le  i s   g iv e n   ab o v e.       T ab le  1 Nu m b er   o f   i m a g es i n   d atab ase   D a t a se t s   T o t a l   O r i g i n a l   d a t a b a se   2 101   A u g me n t e d   d a t a b a se   4 2 0 2 0   N u mb e r   o f   p e o p l e   6   D i f f e r e n t   e n v i r o n me n t   5       T ab le  2 Nu m b er s   o f   i m a g e s   an d   th t y p e s   o f   m o t io n   i n   ea ch   d ataset   A c t i v i t y   F r a me   B e h a v i o r   H a n d   w a v i n g   1 1 6 3   1 2 0   P u n c h i n g   9 5 4   3 1 7   K i c k i n g   8 0 7   99   W a l k i n g   3 6 2   1 6 5   R u n n i n g   1 4 2   63   S i t t i n g   44   21   S t a n d i n g   56   11   L a y i n g   d o w n   5 8 0   2 0 7   T o t a l   1 2 1 0 8   1 0 0 3       Seco n d ,   w e   in tr o d u ce   th co m p ar i s o n   a n d   ac cu r ac y .   I n   o u r   s tu d y   w u s t h C NN  m et h o d   in   H A R   s y s te m s   to   i m p r o v t h e s p r o b le m s .   C NN   allo w s   s o m f ea tu r es  th at   y o u   d o   n o n ee d   to   tr a ck   to   d etec h u m a n   leg   o r   h a n d   lo ca tio n   i n f o r m at io n .   Yo u   ca n   also   r ec o g n ize  m an y   ac ti v it ies.  B ec au s if   we  tr ain   t h d ata  s et  r ea d y   f o r   th i n p u t s   o f   th m o d u le,   m a n y   f u n ct io n s   w il l   b r ec o g n ize d   as  w e x p ec ted .   T ab le   4   s h o w s   th p r o s   an d   co n s   b et w ee n   th p r ev io u s   m et h o d   an d   o u r   m et h o d .   I n   ad d itio n ,   w tes te d   o u r   m et h o d   an d   co n s tr u cted   it to   est i m ate  d o u b le - cr o s s   v alid atio n   i n   Fi g u r e s   5 - 6.   I n   Fi g u r es  5   a n d   6 ,   w tr ai n e d   ten   ep o ch s   a n d   it  s h o w s   t h g o o d   ac cu r ac y   en d   o f   th e   l ast  ep o ch .   I n   NN  tr ain in g ,   s tr o k r ep r esen t s   o n co m p lete  s tep   th r o u g h   g iv e n   s et  o f   d ata.   T h u p p er   d ir ec tio n   o f   th f ig u r is   t h ac cu r ac y ,   th lo w er   le f t a cc u r ac y   is   0   1   an d   th n u m b er   o f   ep o ch   is   0   1 0 .   A cc u r ac y   v al u es   ar b et w ee n   0   an d   1 .   Me as u r e   0   m ea n s   t h at  th f ea t u r v alu es  m a tch   a n d   d o es  n o r ec o g n i ze   th i n p u i m ag e.   Me asu r ed   v al u 1   in d icate s   th f u n c tio n   m atc h i n g   v al u e,   an d   th co r r esp o n d in g   co m p en s atio n   v alu i s   d is p la y ed   as  tr u e.   Fro m   0   to   1 0   f o r   ep o ch   w e   h a v tr ai n ed   1 0   s ets  o f   d ata.   Af ter   d o u b le - cr o s s i n g   tr ai n in g ,   o u r   d ata  s et  is   r ea d y   f o r   test i n g .   T ab le  5   s h o w s   th s u m m ar y   o f   co m p ar is o n s   a n d   ac cu r ac ie s .       T ab le  3 Sy s te m   o f   m et h o d   co m p ar at iv a n al y s i s   M e t h o d   D e scri p t i o n   P r e v i o u s me t h o d s   -   F i x e d   t a sk s   e v e n t   h a n d l i n g   -   C o mp l i c a t e   t o   e x t e n d s,   su c h   a s   a d d   mo r e   mo t i o n s   -   D r a w b a c k   o f   r e c o g n i t i o n   a b o u t   s a m e   mo v e m e n t s   O u r   me t h o d   -   Ea sy   t o   e x t e n d   a s   mo v e me n t s a s re - t r a i n   mo d u l e s   -   M i n i mal   d r a w b a c k   o f   r e c o g n i t i o n   m o r e   t h a n   p r e v i o u me t h o d   -   Ea sy   t o   u se   o u r   sy st e m     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   6 Dec em b er   201 9   :   5 2 7 0   -   5 2 7 6   5274         Fig u r 4 Mo d el  o f   f ir s t tr ain i n g     Fig u r 5 Mo d el  o f   s ec o n d   tr ain in g       T ab le  4 Su m m ar y   o f   co m p ar i s o n s   a n d   ac cu r ac ies ( u n it : %)   M e t h o d   A c c u r a c y   F o u r i e r   d e scri p t o r   b a se d   me t h o d   5 0 . 4   G E I   b a se d   me t h o d   6 5 . 1   O u r   me t h o d   9 5 . 9       4.   CO NCLU SI O N     R ec en t l y ,   m a n y   r esear c h er s   h av s tu d ied   o n   th e   ac tiv it y   r ec o g n itio n [ 2 1 - 2 5 ] .   T h er ar e   s e v er al  t y p es   o f   HAR  s y s te m s .   Fo r   ex a m p le,   HA R   s y s te m   ca n   b u s ed   f o r   s p o r ac tiv it ies ,   d aily   l if ac ti v it ie s   in   th h o s p ital  u s e,   p atie n m o n ito r in g   a f ter   s u r g er y ,   ca r f o r   eld er   p eo p le  an d   etc I n tellig e n s u r v eilla n ce   s y s te m s   ar r ec o g n ized   w h en   p atien t f all s   w it h o u t p eo p le  ar o u n d   h i m .   I n   th i s   s tu d y ,   h o w e v er ,   w p r o p o s ed   th is   ap p r o ac h   to   s o lv e   th ab o v m en tio n ed   p r o b lem s .   H u m an   ac tiv it y   h as  s ev er al  u n iq u c h ar ac ter is tics   t h at  d o   n o r eq u i r s u b j ec t.  I n   th is   s tu d y ,   h u m an   m o tio n   u s i n g   C NN  is   a n al y ze d   an d   t h er m o g r ap h y   -   b ased   h u m a n   ac tiv it y   r ec o g n it io n   is   u s ed .   T h m ain   p r o b lem   w a s   to   r eso lv t h p e r ce p tio n   o f   d a y ti m a n d   n i g h tti m h u m a n   ac tiv itie s   i n   t h is   s t u d y   t h at  c o u ld   n o r ec o g n ize  p r ev io u s   s t u d ies.  Vi s io n - b ase d   a w ar e n ess   is   u s ef u f o r   ac ti v it y   r ec o g n itio n   s y s te m s .   Ho w e v er ,   t h t h er m al   ca m er is   o p er atin g   d u r in g   t h d ay   a n d   n ig h d escr ib ed   a b o v e .   W e   ca n   s ee   m a n y   s tu d ies  th at  h a v b ee n   r esear ch ed   an d   d ev elo p ed   b y   m et h o d s   u s ed   i n   H A R   s y s te m s .   Ou r   r esu lts   w er v er y   g o o d   an d   w o r k ed   w ell   af ter   w u s ed   t h C NN  m et h o d   in   th H AR   s y s te m .   T h r esu lt  is   s h o w n   a s   9 5 . 9 %,  an d   is   m o r r ec o g n izab le   th an   t h o th er   m et h o d s .   W p lan   to   in cr ea s th n u m b er   o f   ac tiv ities   f o r   th ex p er i m en in   t h f u t u r e.   W w il also   ad d   m o r ca m er t y p e s   th a w ill  al lo w   u s   to   i n cr ea s o u r   d ata  s ets  i n   o th er   d i m en s io n s .   W w ill  also   b p r esen ti n g   r esear ch   o n   p eo p le   w h o   o w n   p er s o n al  i te m s   s u c h   as  th eir   w a llets ,   b ag s   an d   ce ll  p h o n es.  W also   p lan   to   s tu d y   th ac cu r ac y   an d   la y o u t o f   r ea l - ti m H AR   s y s te m s .       ACK NO WL E D G E M E NT S     T h is   w o r k   w a s   s u p p o r ted   b y   th r esear ch   g r a n t o f   P aich a i U n iv er s it y   in   2 0 1 9 .       RE F E R E NC E S     [1 ]   J.  S c h m id h u b e r,   De e p   lea rn in g   i n   n e u ra l   n e tw o rk s: A n   o v e rv ie w , ”  Ne u ra n e two rk s ,   v o l.   6 1 ,   p p .   8 5 - 117 ,   2 0 1 5 .   [2 ]   M .   I.   Jo r d a n   a n d   T .   M .   M it c h e ll ,   M a c h i n e   lea rn i n g   T re n d s,   p e rsp e c ti v e s,  a n d   p ro s p e c ts , ”  S c ien c e ,   v o l.   3 4 9 ,     n o .   6 2 4 5 ,   p p .   2 5 5 - 2 6 0 ,   2 0 1 5 .   [3 ]   C.   H.  Hw a n g ,   K. C.   S in   a n d   H.   K.  Ju n g ,   No S QL   Da tab a se   De sig n   Us in g   UML   c o n c e p tu a Da ta  M o d e l   Ba se d   o n   P e ter  C h e n ’s  F ra m e w o rk , ”  In ter n a ti o n a J o u rn a o A p p li e d   E n g i n e e rin g   Res e a rc h ,   v o l .   1 2 ,   n o .   1 0 ,     p p .   6 3 2 - 636 ,   2 0 1 7 .   [4 ]   D.  C.   Cires a n ,   U.  M e ier  U,  a n d   L .   M .   G a m b a rd e ll a ,   De e p ,   b ig ,   sim p le  n e u ra n e ts  f o h a n d w rit ten   d ig it   re c o g n it io n ,   Ne u ra l   c o mp u ta t io n ,   v o l.   2 2 ,   n o .   1 2 ,   p p .   3 2 0 7 - 3 2 2 0 ,   2 0 1 0 .   [5 ]   R.   P o p p e ,   " A   su rv e y   o n   v isio n - b a se d   h u m a n   a c ti o n   re c o g n it i o n , Ima g e   a n d   v isio n   c o mp u ti n g ,   v o l. 2 8 ,   n o . 6 ,     p p . 9 7 6 - 9 9 0 2 0 1 0 , .   [6 ]   J.  W a n g ,   M .   S h e ,   S .   Na h a v a n d a n d   A .   Ko u z a n i,   " A   re v i e w   o v isio n - b a se d   g a it   re c o g n it io n   m e t h o d f o h u m a n   id e n ti f ica ti o n , Dig it a l   Ima g e   Co mp u ti n g T e c h n i q u e a n d   Ap p li c a ti o n s ( DICTA ) ,   p p .   3 2 0 - 3 2 7 ,   2 0 1 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       Hu ma n   a ctivity  r ec o g n itio n   b y   u s in g   co n v o lu tio n a n eu r a n e tw o r k   ( Ha n kil  K im )   5275   [7 ]   P .   K.   P is h a ra d y   a n d   S .   M a rti n   S a e rb e c k ,   " Re c e n m e th o d a n d   d a t a b a se s   in   v isio n - b a se d   h a n d   g e stu re   re c o g n it i o n :   A   re v ie w , Co mp u ter   Vi sio n   a n d   Ima g e   Un d e rs ta n d in g ,   v o l .   1 4 1 ,   p p .   1 5 2 - 1 6 5 2 0 1 5 .   [8 ]   D.  W e in lan d ,   R.   Re m Ro n f a rd   a n d   B.   Ed m o n d ,   " A   su rv e y   o v isio n - b a se d   m e th o d f o a c ti o n   re p re se n tatio n ,   se g m e n tatio n   a n d   re c o g n i ti o n , C o mp u ter   v isi o n   a n d   im a g e   u n d e rs ta n d in g ,   v o l .   1 1 5 ,   n o .   2 ,   p p .   2 2 4 - 241   2 0 1 1 .   [9 ]   W .   K.  W o n g ,   Z .   Y.   C h e w ,   C.   K.  L o o   a n d   W .   S .   L im ,   " A n   e ffe c ti v e   tres p a ss e d e tec ti o n   sy ste m   u sin g   th e rm a l   c a m e ra ,   in   Co mp u ter   Res e a rc h   a n d   De v e lo p me n t,   2 0 1 0   S e c o n d   In t e rn a ti o n a l   Co n fer e n c e ,   p p .   7 0 2 - 7 0 6 .   [1 0 ]   W.   K.  W o n g ,   P .   N .   T a n ,   C.   K.   L o o   a n d   W .   S .   L im ,   " A n   e ff e c ti v e   su rv e il lan c e   s y ste m   u sin g   th e rm a c a m e ra ,   in   S ig n a Acq u isit io n   a n d   Pro c e ss in g ,   ICS A P   2 0 0 9 ,   p p .   1 3 - 17 ,   2 0 0 9 .   [1 1 ]     A .   S h a rif   Ra z a v i a n ,   H.  A z izp o u r ,   J.  S u ll iv a n   a n d   S .   Ca rlsso n ,   " CNN  fea tu re o ff - t h e - sh e lf a n   a st o u n d i n g   b a se li n e   fo re c o g n it io n , i n   P r o c e e d in g o f   th e   IEE E   c o n f e re n c e   o n   c o m p u ter  v isio n   a n d   p a tt e r n   re c o g n it io n   w o rk sh o p s   p p .   8 0 6 - 813 ,   2 0 1 4 .   [1 2 ]     P .   Ro b i n so n ,   " T h e   CNN   e ffe c t:   Th e   m y th   o f   n e w s,   f o re ig n   p o li c y   a n d   i n terv e n ti o n , Ro u tl e d g e ,   2 0 0 5 .   [1 3 ]   M .   M a tsu g u ,   K.  M o ri,   Y.   M it a ri  a n d   Y.  Ka n e d a ,   " S u b jec in d e p e n d e n f a c ial  e x p re ss io n   re c o g n it io n   w it h   ro b u st  f a c e   d e tec ti o n   u sin g   a   c o n v o lu ti o n a n e u ra n e tw o rk , Ne u ra Ne two rk s ,   v o l.   1 6 ,   p p .   5 5 5 - 5 5 9 20 03 .   [1 4 ]   J.Y.  Kim ,   S . W .   He o   a n d   J.T .   L i m ,   A   L ice n se   P l; a te  Re c o g n it io n   A lg o rit h m   u sin g   M u lt i - S tag e   N e u ra Ne tw o rk   f o A u to m o b il e   Blac k - Bo x   I m a g e ,     J o u rn a o th e   Ko re a   In f o rm a ti o n   a n d   Co mm u n ica ti o n   En g in e e rin g ,   v o l.   2 2 ,   n o . 1 ,   p p .   4 4 - 48 2 0 1 8 .   [1 5 ]   S .   Do d g e   a n d   L .   Ka ra m ,   " Un d e rs ta n d in g   h o im a g e   q u a li ty   a ff e c ts  d e e p   n e u ra n e tw o rk s , "   in Qu a li ty   o f   M u lt im e d ia E x p e rien c e (Qo M E X ) ,   2 0 1 6   Ei g h t h   In tern a ti o n a Co n f e re n c e ,   p p .   1 - 6 2 0 1 6 .   [1 6 ]   Z.   L iu ,   X .   L i,   P .   L u o ,   CC.  L o y   a n d   X .   T a n g ,   " S e ma n ti c   i ma g e   se g me n ta t io n   v ia   d e e p   p a rs in g   n e two rk ,   in     P r o c e e d in g s o f   th e   IE EE   I n tern a ti o n a Co n f e re n c e   o n   Co m p u ter V isi o n ,   p p .   1 3 7 7 - 1 3 8 5 2 0 1 5 .   [1 7 ]   A . C.   Na jarro   a n d   S . M .   Kim ,   No n li n e a Co m p e n sa ti o n   Us in g   A rti f icia Ne u ra N e t w o rk   in   Ra d io - o v e r - F i b e r   S y st e m , ”  J o u rn a o I n fo rm a ti o n   a n d   Co mm u n ica t io n   Co n v e rg e n c e   En g i n e e rin g ,   v o l.   1 6 ,   n o .   1 ,   p p .   6 - 11 ,   2 0 1 8 .   [1 8 ]   H.K.  Ju n g ,   J.Y.   Kim   a n d   H,K.   Ju n g ,   Co n v o lu t io n   Ne u ra l   N e tw o rk (CN N)  b a se d   I, a g e   P r o c e ss in g   S y ste m ,     J o u rn a o In fo rm a ti o n   a n d   C o m mu n ica t io n   Co n v e rg e n c e   En g in e e rin g ,   v o l.   1 6 ,   n o .   3 ,   p p .   1 6 0 - 1 6 5 ,   2 0 1 8 .   [1 9 ]   F .   P e d re g o sa ,   G .   V a ro q u a u x ,   A .   G ra m f o rt,   e a l,   S c ik it - lea rn M a c h in e   lea rn i n g   in   P y th o n ,   J o u r n a l   o f   M a c h i n e   L e a rn in g   Res e a rc h ,   v o l.   1 2 ,   n o . 1 ,   p p .   2 8 2 5 - 2 8 3 0 ,   2 0 1 1 .   [2 0 ]   L .   C.   Jia o ,   S .   Y.  Ya n g ,   F .   Li u ,   e a l,   S e v e n ty   y e a rs  b e y o n d   n e u ra n e tw o rk s:  re tro sp e c a n d   p r o sp e c t , ”    Ch in e se   J o u r n a l   o C o n p u ter s ,   v o l.   3 9 ,   n o .   8 ,   p p .   1 6 9 7 - 1 7 1 6 ,   2 0 1 6 .   [2 1 ]   K.  S im o n y a n   a n d   A .   Zi ss e r m a n ,   " V e ry   d e e p   c o n v o lu ti o n a l   n e tw o rk f o lar g e - sc a le  i m a g e   re c o g n it io n ,   a rXiv p re p ri n a rX iv:1 4 0 9 . 1 5 5 6 ,   2 0 1 4 .   [2 2 ]   M .   He n rio n ,   P ro p a g a ti n g   u n c e rt a in ty   in   Ba y e sia n   n e tw o rk s   b y   p ro b a b i li stic  lo g ic  sa m p li n g , ”  M a c h in e   In tell ig e n c e   a n d   Pa tt e rn   Rec o g n it io n ,   v o l.   5 ,   p p .   1 4 9 - 1 6 3 ,   1 9 8 8 .   [2 3 ]   G .   J.  J.    Bu rg   a n d   P .   J.  F .   G ro e n e n ,   G e n S V M A   g e n e ra li z e d   m u lt icla ss   su p p o rt   v e c to m a c h in e , ”  J o u rn a l   o f   M a c h in e   L e a r n in g   Res e a rc h ,   v o l.   1 7 ,   n o .   1 ,   p p .   1 - 41 ,   2 0 1 6 .   [2 4 ]   D.  Ch e n ,   F a u lt   Clas sif ica ti o n   Re se a rc h   o f   A n a lo g   El e c tro n ic  Circu it Ba se d   o n   S u p p o rt  Ve c to M a c h in e , ”  Ch e mic a En g i n e e rin g   T ra n s a c ti o n s ,   v o l.   5 1 ,   p p .   1 3 3 3 - 1 3 3 8 ,   2 0 1 6 .   [2 5 ]   C.   M a ,   C.   Ch e n ,   Q.  L iu ,   e a l,   S o u n d   Qu a l it y   Ev a lu a ti o n   o f   th e   In terio No ise   o f   P u re   El e c tri c   Ve h icle   Ba se d   o n   Ne u ra Ne tw o rk   M o d e l , ”  IEE T r a n sa c ti o n o n   In d u stri a El e c tro n ics ,   v o l.   6 4 ,   n o .   1 2 ,   p p .   9 4 4 2 - 9 4 5 0 ,   2 0 1 7 .       B I O G RAP H I E S   O F   AUTH O RS        H a n k il   K i m h e   re c e i v e d   th e   B. S . ,   M . S .   d e g re e f ro m   th e   De p a rt m e n o f   El e c tro n ic  En g in e e rin g   o f   Ha n b a Na ti o n a U n iv e rsity ,   Ko re a ,   in   2 0 0 6 ,   a n d   2 0 1 1 ,   a n d   th e   P h .   D.  d e g re e   in   2 0 1 5   f ro m   th e   De p a rtme n o f   Co m p u ter  En g in e e rin g   o f   P a ich a Un iv e rsit y ,   Ko re a .   S in c e   2 0 0 6 ,   h e   h a w o rk e d   in   t h e   De p a rtm e n o f   M u sic   &   S o u n d   T e c h n o l o g y   a Ko re a   Un iv e r sity   o f   M e d ia  A rts  a a   p ro f e ss o r.     His  c u rre n re se a rc h   in tere sts  in c lu d e   m u lt im e d ia  so u n d ,   b r o a d c a st  so u n d ,   S R(S o u n d   Re in f o rc e m e n t),   S o u n d   En g in e e ri n g ,   a n d   d a tab a se .         S u n g o c k   Le e ,   s h e   re c e i v e d   th e   B. S .   d e g re e   f ro m   th e   De p a rt m e n o f   En g li sh   L a n g u a g e   a n d   Cu lt u re   a t   Ha n y a n g   Un iv e rsit y ,   Ko re a ,   in   2 0 0 8 ,   t h e   M . S .   d e g re e   f ro m   th e   De p a rtme n o f   En g li sh   L a n g u a g e   Ed u c a ti o n   a Ko re a   Un iv e rsity ,   Ko re a ,   in   2 0 1 2 ,   a n d   th e   P h .   D.   d e g re e   f ro m   th e   De p a rt m e n o f   Co m p u ter  En g in e e rin g   a P a ich a Un iv e rsity ,   Ko re a   in   2 0 1 5 .   S i n c e   2 0 1 2 ,   s h e   h a w o rk e d   a a n   Ex e c u ti v e   Dire c to a Da e w o o   Vo c a ti o n a l   Co ll e g e .   He c u rre n re se a rc h   in tere sts  in c lu d e   v o c a ti o n a e d u c a ti o n   a n d   trai n in g   ( V ET i n   c o m p u ter  sc ien c e ,   im a g e   p ro c e ss in g ,   m a c h in e   lea rn i n g ,   b ig d a ta,   VR   a n d   Io T .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   6 Dec em b er   201 9   :   5 2 7 0   -   5 2 7 6   5276     H o e k y u n g   J u n g h e   re c e iv e d   th e   M . S .   d e g re e   in   1 9 8 7   a n d   P h .   D.  d e g re e   in   1 9 9 3   f ro m   th e   De p a rtm e n o f   Co m p u ter  En g in e e rin g   o f   Kw a n g w o o n   U n iv e rsity ,   Ko re a .   F ro m   1 9 9 4   t o   1 9 9 5 ,   h e   w o rk e d   f o ET RI   a a   re se a rc h e r.   S i n c e   1 9 9 4 ,   h e   h a w o rk e d   i n   t h e   De p a rtm e n o f   Co m p u t e r   En g in e e rin g   a P a ic h a Un iv e rsity ,   w h e re   h e   n o w   w o rk a a   p ro f e s so r.   His  c u rre n re se a rc h   i n tere sts   in c lu d e   m u lt im e d ia  d o c u m e n a r c h it e c tu re   m o d e li n g ,   in f o rm a ti o n   p r o c e ss in g ,   i n f o rm a ti o n   re tri e v a l,   m a c h in e   lea rn in g ,   b ig d a ta,  a n d   Io T .     Evaluation Warning : The document was created with Spire.PDF for Python.