I AE I nte rna t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  6 ,   No .   2 ,   J u n 2 0 1 7 ,   p p .   66 ~ 73   I SS N:  2252 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 6 . i2 . p p 66 - 73           66       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J A I   Deep Ma chine  L e a rning  and Neura l Net w o rk s:  An  O v ervi e w       Cha nd ra ha s   M is hra ,   D.   L .   G u pta   De p a rtme n o f   Co m p u ter S c ien c e   &   En g in e e rin g ,   KN IT   S u lt a n p u r 2 ,   I n d ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Feb   10 ,   2 0 1 7   R ev i s ed   A p r   14 ,   2 0 1 7   A cc ep ted   Ma y   2 3 ,   2 0 1 7       De e p   lea rn in g   is  a   tec h n i q u e   o f   m a c h in e   lea rn in g   in   a rt if icia in telli g e n c e   a re a .   De e p   lea rn in g   in   a   re f in e d   " m a c h in e   lea rn in g "   a lg o rit h m   th a f a r   su rp a ss e a   c o n sid e ra b le  lo o f   it f o re ru n n e rs  in   it c a p a c it ies   t o   p e rc e iv e   s y ll a b les   a n d   p ict u re .   De e p   le a rn in g   is  a o f   n o w   a   g re a tl y   d y n a m i c   e x a m in a ti o n   territo ry   in   m a c h in e   lea rn in g   a n d   e x a m p le   a c k n o w led g m e n so c iety .   It  h a in c re a s e d   c o lo ss a tri u m p h in   a n   e x p a n siv e   z o n e   o u ti li z a ti o n s,  f o e x a m p le,  sp e e c h   re c o g n it io n ,   c o m p u ter  v isio n   a n d   n a tu ra lan g u a g e   p ro c e ss in g   a n d   n u m e ro u in d u stry   it e m .   Ne u ra n e t w o rk   is  u se d   to   im p le m e n th e   m a c h in e   lea rn in g   o t o   d e sig n   i n telli g e n m a c h in e s.  In   t h is   p a p e b rief   in tro d u c ti o n   to   a ll   m a c h in e   lea rn in g   p a ra d ig m   a n d   a p p li c a ti o n   a re a   o d e e p   m a c h in e   lea rn in g   a n d   d if fe re n t y p e o f   n e u ra n e t w o rk w it h   a p p li c a ti o n s is  d isc u ss e d .   K ey w o r d :   A r ti f icial  n e u r al  n et w o r k   ( A NN) .   Au to m a tic  s p ee ch   r ec o g n itio n   ( A S R )   C o n v o lu tio n al  n e u r al  n e t w o r k s   ( C NNs)  an d   d ee p   b elief   n et w o r k s   ( DB Ns)   Featu r r ep r esen tatio n   Ma ch i n lear n i n g   ( M L )   n eu r al  n ets  m o d els         Co p y rig h ©   2 0 1 7   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   C h a n d r ah as M is h r a ,   Dep ar t m en t o f   C o m p u ter   Scie n ce   &   E n g in ee r i n g ,   KNI T   Su ltan p u r 2 ,   I n d ia.       1.   I NT RO D UCT I O N   1 . 1 .   M a chine L ea rning   L ea r n i n g   is   p r o ce s s   i n   w h i ch   as s o ciatio n   o f   e v e n ts   w i th   co n s eq u e n ce s   i s   d o n e.   T h u s   b asicall y   lear n in g   i s   w a y   to   s u b s ta n t iate  th ca u s a n d   e f f ec t   p r in cip le.   T h s cien ce   o f   d esi g n in g   t h i n tell ig e n t   m ac h in is   r e f er r ed   to   as  m a ch in e   lear n i n g   a n d   th to o u s ed   to   d esig n   s u c h   i n telli g e n t   m ac h in e   is   n e u r al  n et w o r k s .   Neu r al  n et w o r k   m a y   co n s id er ed   as  b lack - b o x   w h i ch   g i v es  s o m d esire d   o u tp u f o r   th g iv e n   i n p u t.  I t is a ch ie v ed   th r o u g h   p r o ce s s   ca lled   tr ain in g .   I n   co n tr ast  to   m o s co n v e n tio n al  lear n i n g   m et h o d s ,   w h ich   ar co n s id er ed   u s in g   s h allo w - s tr u ct u r ed   lear n in g   ar ch itect u r es,  d ee p   lear n in g   r e f er s   to   m ac h i n l ea r n in g   tec h n iq u es  th at  u s s u p er v i s ed   an d /o r   u n s u p er v is ed   s t r ate g ies  to   au to m at icall y   lear n   h ier ar ch ical  r ep r esen tatio n s   i n   d ee p   ar ch itectu r e s   f o r   class i f icatio n .   I n s p ir ed   b y   b io lo g ical  o b s er v atio n s   o n   h u m an   b r ai n   m ec h a n is m s   f o r   p r o ce s s in g   o f   n atu r a l   s ig n al s ,   d ee p   lear n i n g   h as  a ttra cted   m u ch   atte n tio n   f r o m   t h ac ad e m ic  co m m u n it y   in   r ec en y ea r s   d u to   it s   s tate - of - th e - ar p er f o r m a n ce   i n   m a n y   r esear ch   d o m ai n s   s u ch   as  s p ee c h   r ec o g n itio n ,   co l lab o r ativ f ilter i n g ,   an d   co m p u ter   v i s io n .   Dee p   lear n in g   h a s   ad d itio n all y   b ee n   ef f ec ti v el y   co n n ec ted   i n   in d u s tr y   ite m s   th a ex p lo it   th e x p an s i v v o lu m o f   ad v a n ce d   i n f o r m atio n .   C o m p a n ie s   lik e   Go o g le,   A p p le,   an d   Fac eb o o k ,   w h o   co llect  an d   an al y s m a s s i v a m o u n ts   o f   d ata  o n   d ail y   b a s is ,   h av b ee n   ag g r ess i v el y   p u s h in g   f o r w ar d   d ee p   lear n in g   r elate d   p r o j ec ts .   Fo r   ex a m p le,   A p p le's  Siri,   th v ir tu a p er s o n al  ass is ta n in   iP h o n es,  o f f er s   w id v ar iet y   o f   s er v ices  i n cl u d in g   w ea t h er   r ep o r ts ,   s p o r n ew s ,   an s w er s   to   u s er ' s   q u es tio n s ,   an d   r e m i n d er s   etc.   b y   u t ilizi n g   d ee p   lear n in g   a n d   m o r a n d   m o r e   d ata  co llected   b y   A p p le  s er v ices.   Go o g le  ap p li es   d ee p   lear n i n g   alg o r it h m s   to   m a s s i v c h u n k s   o f   m es s y   d ata  o b tain ed   f r o m   th I n ter n et  f o r   Go o g le's tr an s lato r .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       Dee p   Ma ch in lea r n in g   a n d   N eu r a l Netw o r k s :   A n   Ove r view   ( C h a n d r a h a s   Mis h r a )   67   Dee p   lear n i n g   r ef er s   to   cla s s   o f   M L   tec h n iq u e s ,   w h er m an y   la y er s   o f   in f o r m a tio n   p r o ce s s in g   s tag e s   i n   h ier ar c h ical  ar ch i t ec tu r es  ar ex p lo ited   f o r   u n s u p er v is ed   f ea t u r lear n i n g   an d   f o r   p atter n   class i f icatio n .   I is   i n   th in t er s ec tio n s   a m o n g   t h r esear c h   ar ea s   o f   n eu r al  n et w o r k ,   g r ap h ical  m o d elli n g ,   o p tim izatio n ,   p atter n   r ec o g n i t io n ,   an d   s i g n al  p r o ce s s i n g .   T w o   i m p o r tan t   r ea s o n s   f o r   t h e   p o p u lar it y   o f   d ee p   lear n in g   to d a y   ar th s ig n i f i ca n tl y   lo w er ed   co s o f   co m p u tin g   h ar d w ar an d   th d r asti c all y   i n cr ea s ed   ch ip   p r o ce s s in g   ab ilit ie s   ( e. g . ,   G P u n i ts ) .   Si n ce   2 0 0 6 ,   r esear ch er s   h av e   d e m o n s tr ated   t h s u cc es s   o f   d ee p   lear n in g   i n   d iv er s ap p licatio n s   o f   c o m p u ter   v is io n ,   p h o n et ic  r ec o g n itio n ,   v o ice  s ea r c h ,   s p o n tan eo u s   s p ee ch   r ec o g n itio n ,   s p ee ch   a n d   i m a g f ea tu r co d in g ,   s e m a n tic  u t ter an ce   class if ica tio n ,   h an d - wr itin g   r ec o g n i tio n ,   au d io   p r o ce s s in g ,   i n f o r m atio n   r etr iev al,   an d   r o b o tics .   B ef o r g o in g   to   d ea w i t h   d if f er en t   m ac h i n lear n in g   p ar ad ig m   in   d etail  b r ief   class i f icatio n   is   h er e.   W u s f o u r   k e y   at tr ib u te  to   class i f y   t h m ac h i n e   lear n in g   p ar ad ig m .       1.     2.     3.     4.         1 . 2 .   G ener a t iv L ea rning   Gen er ati v lear n i n g   a n d   d is cr i m i n ati v lear n i n g   ar th t wo   m o s p r ev alen t,  an ta g o n i s tic all y   p air ed   ML   p ar ad ig m s   d ev e lo p ed   an d   d ep lo y ed   in   ASR   ( Au to m ati s p ee ch   r ec o g n itio n ) .   T h er ar t w o   k e y   f ac to r s   th at  d i s ti n g u i s h   g e n er ati v le ar n in g   f r o m   d is cr i m i n ati v le ar n in g :   th e   n a tu r o f   t h e   m o d el  ( an d   h e n ce   th e   d ec is io n   f u n ctio n )   a n d   th lo s s   f u n ctio n   ( i.e . ,   th co r ter m   i n   th tr ai n i n g   o b j ec tiv e) .   B r ief l y   s p ea k in g ,   g en er ati v lear n in g   co n s is t s   o f   1.   Usi n g   g e n er ati v m o d el,   an d   2.   A d o p tin g   tr ain i n g   o b j ec tiv f u n ctio n   b ased   o n   th j o in t li k elih o o d   lo s s   d ef i n ed   o n   th g e n er ativ m o d el.   Dis cr i m in at iv lear n in g ,   o n   t h o th er   h an d ,   r eq u ir es e it h er   1.   Usi n g   d is cr i m i n ati v m o d el,   o r   2.   A p p l y in g   d is cr i m in at iv tr ai n in g   o b j ec tiv f u n c tio n   to   g e n er ativ m o d el.   I n   th i s   an d   th n ex s ec tio n s ,   w w il d is cu s s   g e n er ati v v s .   d is cr i m in a tiv lear n in g   f r o m   b o th   th m o d el  a n d   lo s s   f u n ctio n   p er s p ec tiv es.  W h i le  h i s to r icall y   t h e r h as  b ee n   s tr o n g   a s s o ciatio n   b et w ee n   m o d el  an d   th e   lo s s   f u n ctio n   c h o s en   t o   tr ain   t h m o d el,   t h er h a s   b ee n   n o   n ec e s s ar y   p air in g   o f   t h ese  t w o   co m p o n en t   in   th l iter atu r e     1 . 3 .   Dis cr e m i na t iv L ea rning   As  d is c u s s ed   ea r lier ,   th p ar a d ig m   o f   d is cr i m i n ati v lear n i n g   in v o lv e s   eit h er   u s i n g   d is cr i m i n ati v m o d el  o r   ap p l y i n g   d i s cr i m i n a tiv tr ai n in g   to   g en er ati v m o d el.   I n   th is   s ec t io n ,   w f ir s p r o v id g en er al   d is cu s s io n   o f   t h d is cr i m in a ti v m o d els  an d   o f   t h d is cr i m i n ati v lo s s   f u n ctio n s   u s ed   in   t r ain in g ,   f o llo w ed   b y   an   o v er v ie w   o f   t h u s e   o f   d is cr i m i n ati v lear n in g   i n   AS R   ap p licatio n s   i n cl u d in g   i ts   s u c ce s s f u l   h y b r id   w it h   g en er ati v lear n in g .     M o dels :   Dis cr i m in at iv m o d el s   m a k d ir ec u s o f   th co n d itio n al   r elatio n   o f   lab els  g iv e n   in p u v ec to r s .   On m aj o r   s ch o o o f   s u ch   m o d els  ar r ef er r e d   to   as  B a ye s ia n   Min imu R is ( B M R )   c lass i f ier s .   S h o w n   i n   eq u atio n   1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.   6 ,   No .   1 ,   Ma r ch   2 0 1 7   :   66     73   68               ( 1 )     L o s s   F u nct io ns :   T h is   s ec tio n   i n tr o d u ce s   n u m b er   o f   d is cr i m i n ati v lo s s   f u n ctio n s .   T h f ir s g r o u p   o f   lo s s   f u n ctio n s   ar b ased   o n   p r o b ab ilis tic  m o d els,  w h ile  t h s ec o n d   g r o u p   o n   th n o tio n   o f   ma r g in .   1 )   P r o b a b ilit y - B a s ed   Lo s s :   Si m i lar   to   t h j o in li k eli h o o d   lo s s   d is c u s s e d   in   th e   p r ec ed in g   s ec tio n   o n   g en er ati v lear n i n g ,   co n d itio n a likelih o o d   lo s s   is   p r o b ab i lit y - b ased   lo s s   f u n ctio n   b u i s   d ef in ed   u p o n   th e   co n d itio n al  r elatio n   o f   cla s s   la b els g i v en   i n p u f ea t u r es .   S h o w n   i n   eq u atio n   2 :                 ( 2 )     T h is   lo s s   f u n ctio n   is   s tr o n g l y   tied   to   p r o b ab ilis tic  d is cr i m i n ati v m o d els  s u ch   as  co n d it io n al  lo g   lin ea r   m o d el s   a n d   ML P s ,   w h ile  th e y   ca n   b ap p lied   to   g e n er ativ e   m o d els   as  w e ll,  lead in g   to   s c h o o o f   d is cr i m i n ati v tr ai n in g   m et h o d s   w h ic h   w ill   b d is cu s s ed   s h o r tly .   Mo r eo v er ,   co n d itio n al  li k eli h o o d   lo s s   ca n   b e   n atu r al l y   e x ten d ed   to   p r ed icti n g   s tr u ct u r o u tp u t.  Fo r   ex a m p le,   w h e n   ap p l y in g   to   Ma r k o v   r an d o m   f ie ld s ,   w e   o b tain   th tr ai n in g   o b j ec tiv o f   co n d itio n a l r an d o m   f ield s   ( C R Fs ) : b y   eq u atio n   3                 ( 3 )     No te  th at  in   m o s o f   th M L   as  w ell  a s   th A S R   liter atu r e,   o n o f ten   ca ll s   th tr ain in g   m e t h o d   u s i n g   th co n d itio n a l lik e lih o o d   lo s s   ab o v as si m p l y   m a x i m al  li k e lih o o d   esti m a tio n   ( M L E ) .   g e n er aliza tio n   o f   co n d itio n al  lik e lih o o d   lo s s   is   Mi n i m u m   B a y e s   R is k   tr ai n i n g .   T h is   i s   co n s i s te n t   w it h   th cr i ter io n   o f   MB R   cl ass i f ier s   d escr ib ed   i n   t h p r ev io u s   s u b s ec tio n .   T h lo s s   f u n ctio n   o f   ( MB R )   i n   tr ain i n g   i s   g i v e n   b y   eq u atio n   4                 ( 4 )     1 . 4 .   Se m i - Su perv is ed  a n d   Act iv L ea rning   T h p r ec ed in g   o v er v ie w   o f   g en er ativ e   an d   d is cr i m i n ati v ML   p ar ad ig m s   u s es  t h at tr ib u tes  o f   lo s s   an d   d ec is io n   f u n c tio n s   to   o r g an ize  m u ltit u d o f   ML   tec h n iq u e s .   I n   th is   s ec tio n ,   w u s d if f er en s et  o f   attr ib u tes,  n a m el y   t h n at u r o f   th tr ain i n g   d ata  in   r elatio n   to   th eir   class   lab els.  Dep en d in g   o n   t h w a y   th a t   tr ain i n g   s a m p le s   ar lab elled   o r   o th er w is e,   w ca n   cla s s i f y   m an y   ex i s ti n g   M L   tec h n iq u es  in to   s ev er al  s ep ar ate  p ar ad ig m s ,   m o s t   o f   w h ic h   h a v b ee n   i n   u s i n   th AS R   p r ac tice.   Su p er v i s ed   lear n in g   a s s u m es   th at   a ll  tr ai n i n g   s a m p les   ar lab elled ,   w h ile  u n s u p er v is ed   lear n in g   a s s u m es  none .   Se m i - s u p er v i s ed   lea r n in g ,   as   t h n a m e   s u g g e s ts ,   as s u m e s   th at  b o th   la b elled   an d   u n lab elled   tr ain in g   s a m p les  ar av ailab le.   Su p er v is ed ,   u n s u p er v is ed   an d   s e m i - s u p er v i s ed   l ea r n in g   ar ty p icall y   r e f er r ed   to   u n d er   th p a s s ive   lea r n in g   s ettin g ,   w h er lab elled   tr ain i n g   s a m p les  ar g e n er ated   r an d o m l y   ac co r d in g   to   an   u n k n o w n   p r o b ab ilit y   d is tr ib u tio n .   I n   co n tr ast,  a ctive   lea r n in g   is   s ettin g   w h er th e   lear n er   ca n   in tel lig e n tl y   ch o o s w h ic h   s a m p les  to   lab el,   w h ich   w w ill  d is c u s s   at  th en d   o f   t h is   s ec tio n .   I n   th is   s ec tio n ,   w co n ce n tr ate   m ain l y   o n   s e m i - s u p er v is ed   an d   ac tiv lear n in g   p ar ad ig m s .   T h is   is   b ec au s s u p er v is ed   lear n in g   is   r ea s o n ab l y   w e ll  u n d er s to o d   an d   u n s u p er v is ed   lear n i n g   d o es   n o d ir ec tl y   ai m   at  p r ed ictin g   o u tp u ts   f r o m   i n p u t s   ( an d   h en ce   is   b e y o n d   th f o c u s   o f   th is   ar ticle) .   W w il l   co v er   th ese  t w o   to p ics o n l y   b r ief l y .     1 . 4 . 1 .   Su perv is e d L ea rni ng   I n   s u p er v is ed   lear n i n g ,   th tr ain i n g   s et  co n s is t s   o f   p air s   o f   in p u t s   an d   o u tp u ts   d r a w n   f r o m   j o in t   d is tr ib u tio n .   U s in g   n o tatio n s   i n tr o d u ce d   b y   eq u atio n   5 :               ( 5 )     T h lear n in g   o b j ec tiv i s   a g ai n   e m p ir ical  r is k   m i n i m izatio n   w it h   r e g u lar izatio n ,   i.e .   w h er b o th   in p u t   d ata  an d   th co r r esp o n d in g   o u tp u lab el s   ar p r o v id ed .   No tice  th at  t h er m a y   e x i s m u lt ip le  lev els  o f   lab e l   v ar iab les,  n o tab l y   i n   A S R .   I n   t h is   ca s e,   w s h o u ld   d is ti n g u is h   b et w ee n   t h f u ll y   s u p er v is ed   ca s e,   w h er lab els  o f   all  le v el s   ar k n o w n ,   t h p ar tiall y   s u p er v is ed   ca s e,   w h er lab els  at  ce r tai n   le v el s   ar m is s i n g .   I n   A SR ,   f o r   ex a m p le,   it  is   o f ten   t h ca s t h at  t h tr ain i n g   s et  co n s i s ts   o f   w a v ef o r m s   a n d   th eir   co r r es p o n d in g   w o r d - le v el   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       Dee p   Ma ch in lea r n in g   a n d   N eu r a l Netw o r k s :   A n   Ove r view   ( C h a n d r a h a s   Mis h r a )   69   tr an s cr ip tio n s   as  t h lab el s ,   wh ile  t h p h o n e - lev el  tr an s cr ip t io n s   a n d   ti m ali g n m e n i n f o r m atio n   b et w ee n   t h e   w a v e f o r m s   a n d   th co r r esp o n d i n g   p h o n es a r m i s s in g .     1 . 4 . 2 .   Uns u perv is ed  L ea rning   I n   ML ,   u n s u p er v i s ed   lear n i n g   in   g e n er al  r ef er s   to   lear n i n g   w it h   t h in p u d ata  o n l y .   T h is   lear n i n g   p ar ad ig m   o f te n   ai m s   at  b u ild in g   r ep r esen ta tio n s   o f   t h in p u th at  ca n   b u s ed   f o r   p r ed ictio n ,   d ec is io n   m a k in g   o r   class i f icatio n ,   a n d   d ata  co m p r e s s io n .   Fo r   ex a m p le,   d en s it y   esti m atio n ,   cl u s ter i n g ,   p r in cip le  co m p o n e n t   an al y s is   a n d   in d ep en d e n co m p o n en a n al y s i s   ar all   i m p o r t an f o r m s   o f   u n s u p er v i s ed   lear n in g .   Use  o f   v ec to r   q u an tizat io n   ( VQ)   to   p r o v id e   d is cr ete  in p u ts   to   A S R   is   o n ea r l y   s u cc es s f u ap p licati o n   o f   u n s u p er v is ed   lear n in g   to   A S R   [ 8 ] .   Mo r e   r ec en tl y ,   u n s u p er v is ed   lear n i n g   h a s   b ee n   d ev elo p ed   as  co m p o n en o f   s ta g ed   h y b r id   g e n er ati v e - d i s cr i m i n at iv p ar ad ig m   i n   M L .   T h is   e m er g i n g   tech n iq u e,   b ased   o n   th d ee p   lear n in g   f r a m e w o r k ,   is   b eg in n i n g   to   m ak i m p ac t   o n   A S R .   L ea r n in g   s p ar s s p ee ch   r ep r esen tatio n s ,   to   b e   talk ed   ab o u ca n   lik e w is b v ie w ed   as  u n s u p er v is ed   f ea tu r lear n in g   o r   lear n in g   f ea t u r r ep r esen ta tio n s   i n   ab s en ce   o f   class i f icatio n   lab els.     1 . 4 . 3 .     Se m i - S up er v is ed  L ea r nin g   T h s e m i - s u p er v i s ed   lear n i n g   p ar ad ig m   i s   o f   s p ec ial  s ig n i f ican ce   i n   b o th   t h eo r y   a n d   ap p licatio n s .   I n   m a n y   M L   ap p licatio n s   i n c lu d in g   ASR ,   u n lab elled   d ata  is   ab u n d an b u lab elli n g   is   e x p en s iv a n d   ti m e - co n s u m i n g .   I is   p o s s ib le  a n d   o f ten   h elp f u l   to   lev er a g in f o r m atio n   f r o m   u n lab el led   d ata  to   in f l u en ce   lear n in g .   Se m i - s u p er v is ed   le ar n in g   i s   tar g eted   at  p r ec is el y   t h i s   t y p e   o f   s ce n ar io ,   an d   it  a s s u m es  th e   av ailab ilit y   o f   b o th   lab elled   an d   u n lab elled   d ata,   i.e .   g iv e n   b y   eq u atio n   6 :                 ( 6)     T h g o al  is   to   lev er ag b o th   d ata  s o u r ce s   to   i m p r o v lear n i n g   p er f o r m an ce .   T h er h av b e en   lar g n u m b er   o f   s e m i - s u p er v is ed   lear n in g   alg o r it h m s   p r o p o s ed   in   th liter atu r an d   v ar io u s   w a y s   o f   g r o u p in g   th e s e   ap p r o ac h es.  Her w ca teg o r i ze   s e m i - s u p er v i s ed   lear n in g   m et h o d s   b ased   o n   th eir   in d u c tiv o r   tr an s d u cti v e   n atu r e.   T h k e y   d if f er en ce   b et w ee n   in d u cti v an d   tr an s d u ct iv lear n i n g   is   t h o u tco m o f   lear n i n g   p r o ce s s .   I n   th f o r m er   s etti n g ,   th g o al  is   to   f in d   d ec is io n   f u n cti o n   th at  n o o n l y   co r r ec tl y   cla s s i f ies  tr ain i n g   s et   s a m p les,  b u also   g e n er a lize s   to   an y   f u tu r s a m p le.   I n   co n tr ast,  tr an s d u ctiv lear n in g   ai m s   at  d ir ec tl y   p r ed ictin g   t h o u tp u lab el s   o f   test   s et,   w it h o u t h n ee d   o f   g en er alizi n g   to   o th er   s a m p le s .   I n   th is   r e g ar d ,   th d ir ec o u tco m o f   tr a n s d u cti v s e m i - s u p er v is ed   lear n i n g   is   s et  o f   lab el s   i n s tead   o f   d ec is io n   f u n ctio n .   A ll lea r n i n g   p ar ad ig m s   w h a v p r esen ted   ar in d u c tiv i n   n atu r e.     1 . 4 . 4 .     Act iv L ea rning   A cti v lear n i n g   is   s i m i lar   s ettin g   to   s e m i - s u p er v i s ed   lear n in g   i n   th at,   in   ad d itio n   to   s m all  a m o u n t   o f   lab elled   d at a,   th er is   lar g a m o u n t o f   u n lab elled   d ata  av ailab le;  i.e . ,   g i v en   b y   eq u atio n   7 :               ( 7 )     T h g o al  o f   ac ti v lear n i n g ,   h o w e v er ,   is   to   q u er y   t h m o s in f o r m ati v s e o f   i n p u ts   to   b lab elled ,   h o p in g   to   i m p r o v cla s s i f ica tio n   p er f o r m a n ce   w it h   t h m i n i m u m   n u m b er   o f   q u er ies .   T h at  is ,   in   ac ti v e   lear n in g ,   t h lear n er   m a y   p la y   an   ac ti v r o le  i n   d ec id i n g   t h d ata  s et  r at h er   t h an   it b p as s i v el y   g iv e n .   T h k e y   th o u g h b eh in d   ac tiv e   lear n in g   i s   t h at   M L   ca lcu la tio n   c an   ac co m p l is h   m o r n o te w o r th y   e x ec u t io n ,   e. g . ,   h ig h er   cla s s i f icatio n   ac cu r ac y ,   w i th   f e w er   tr ai n i n g   lab els  i f   i is   allo w ed   to   ch o o s t h s u b s et  o f   d ata  t h at  h as   lab els.  A n   ac ti v lear n er   m i g h p o s t u r q u es tio n s   o r d in ar il y   as   u n lab elled   i n f o r m atio n   ca s es  to   b n a m ed   r eg u lar l y   b y   a   h u m an .   Fo r   th i s   r ea s o n ,   it  is   s o m eti m e s   ca ll ed   q u er y   lear n i n g .   A cti v lea r n in g   i s   all  ar o u n d   in s p ir ed   in   n u m er o u s   p r ese n d ay   ML   is s u e s   w h er u n lab el led   in f o r m atio n   m ig h b co p io u s   o r   ef f o r tles s l y   g o tten   y et  n a m e s   ar tr o u b leso m ted io u s ,   o r   ex p en s i v to   o b tain .   T h is   is   t h s it u atio n   f o r   s p ee ch   r ec o g n itio n .   B r o ad ly ,   ac ti v lear n in g   co m e s   i n   t w o   f o r m s b atc h   ac ti v le a r n in g ,   w h er s u b s e o f   d ata   is   c h o s e n ,   p r io r in   b atch   to   b lab elled .   T h lab els  o f   th i n s ta n ce s   i n   t h e   b atch   ch o s e n   to   b lab elled   m a y   n o t,  u n d er   th is   ap p r o ac h ,   in f l u en ce   o t h er   i n s tan ce s   to   b s elec ted   s i n ce   al in s tan ce s   ar ch o s e n   at  o n c e.   I n   o n li n ac ti v lear n in g ,   o n   th o t h er   h an d ,   i n s ta n ce s   ar ch o s e n   o n e - by - o n e,   an d   th tr u lab els  o f   all  p r ev io u s l y   lab elled   in s ta n ce s   m a y   b u s ed   to   s el ec o th er   in s tan ce s   to   b lab elled .   Fo r   th is   r ea s o n ,   o n li n e   ac tiv lear n in g   i s   s o m eti m es c o n s id er ed   m o r p o w er f u l.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.   6 ,   No .   1 ,   Ma r ch   2 0 1 7   :   66     73   70   1 . 5 .   Art if icia l N eura l N et w o rk   An   ar ti f icial   n e u r al  n et w o r k   is   a n   i n ter co n n ec ted   g r o u p   o f   n o d es,  d is ta n tl y   r elate d   to   th v as t   n et w o r k   o f   n eu r o n s   i n   b r ain   s h o w n   i n   F i g u r e   1 .   Her e,   ea ch   cir cu lar   n o d r ep r esen ts   a n   ar tif icia n e u r o n   a n d   an   ar r o w   r ep r esen t s   co n n ec t io n   f r o m   t h o u tp u t   o f   o n n e u r o n   to   t h in p u o f   an o t h er   s h o u ld   ( id ea ll y )   b e   ab le  to   h a n d le  th is .   A r ti f icia n eu r al   n et w o r k   co n s is t   o f   th r e t y p o f   la y er   n a m el y   i n p u t   l a y er ,   h id d en   la y er   an d   o u tp u t la y er .   Hid d en   la y er   is   co n n ec ted   b et w ee n   in p u t a n d   o u tp u t la y er .           Fig u r 1 .   A r ti f icial  Ne u r al  Net w o r k   A r c h itect u r e       1 . 6 .   Co nv o lutio na l N eura l N et w o rks   C NNs  ar f a m il y   o f   m u lti - l a y er   n eu r al  n e t w o r k s   s h o w n   i n   F ig u r 2   p ar ticu lar l y   d esig n ed   f o r   u s o n   t w o - d i m en s io n al  d ata,   s u c h   as  i m ag e s   an d   v id eo s .   C N Ns  ar in f lu e n ce d   b y   ea r lier   w o r k   i n   ti m e - d ela y   n eu r al   n et w o r k s   ( T DNN) ,   w h i ch   r ed u ce   lear n i n g   co m p u tatio n   r eq u ir e m e n ts   b y   s h ar i n g   w ei g h t s   i n   te m p o r al  d i m en s io n   a n d   ar in ten d ed   f o r   s p ee ch   an d   ti m e - s er ies  p r o ce s s i n g .   C NNs  ar th f ir s tr u l y   s u c ce s s f u d ee p   lear n in g   ap p r o ac h   w h er m an y   la y er s   o f   h ier ar c h y   w er s u cc es s f u ll y   tr ain ed   in   r o b u s t   m a n n er .   A   C NN  is   ch o ice  o f   ar c h itect u r t h at  l ev er ag es   s p atial   a n d   te m p o r al  r elatio n s h ip s   to   r ed u ce   t h n u m b er   o f   p ar a m eter s   w h ic h   m u s b lear n ed   an d   t h u s   i m p r o v es  u p o n   g en er al  f ee d - f o r w ar d   b ac k   p r o p ag atio n   tr ain i n g .   C NN s   w er p r o p o s ed   as  d ee p   lear n in g   f r a m e w o r k   th a is   m o ti v ate d   b y   m i n i m al  d a ta  p r e - p r o ce s s i n g   r eq u ir e m e n ts .   I n   C NN s ,   s m all  p o r tio n s   o f   t h i m ag ar tr ea ted   as   in p u t s   to   th lo w e s la y er   o f   t h h i er ar ch ical  s tr u ctu r e.   I n f o r m a tio n   g e n er all y   p r o p ag ates  t h r o u g h   t h d i f f er e n la y er s   o f   t h n et w o r k   w h er eb y   a ea ch   la y er   d ig ital   f ilter i n g   i s   ap p lied   i n   o r d er   to   o b tain   s alie n f ea t u r es   o f   th e   d ata  o b s er v ed .   T h m et h o d   p r o v id es  le v el  o f   in v ar ia n ce   to   s h i f t,  s ca le  a n d   r o tatio n   as  t h lo ca r ec ep tiv f ield   allo w s   th n e u r o n   o r   p r o c ess i n g   u n it  ac ce s s   to   ele m en tar y   f ea tu r es  s u c h   as   o r ien ted   ed g es o r   co r n er s .           Fig u r 2 .   C o n v o l u tio n al  Neu r a l N et w o r k   ( C NN)   A r ch i tectu r e   [ 1 2 ]       1 . 7 .   Dee p B elief   Net w o rk s   DB Ns  ar co m p o s ed   o f   s e v er al  la y er s   o f   R e s tr icted   B o ltz m an n   Ma c h i n es,  t y p e   o f   n e u r al  n et w o r k   s h o w n   i n   F ig u r 3 .   T h ese  n et w o r k s   ar r es tr icted ”  to   s i n g le   v is ib le  la y er   a n d   s in g le   h id d en   la y er ,   w h er co n n ec tio n s   ar f o r m ed   b et w ee n   th la y er s   ( u n its   w it h i n   lay er   ar n o co n n ec ted ) .   T h h id d en   u n its   ar e   tr ain ed   to   ca p tu r h i g h er - o r d er   d ata  co r r elatio n s   t h at  ar o b s er v ed   at  t h v is ib le   u n it s .   I n i ti all y ,   a s id f r o m   t h e   to p   t w o   la y er s ,   w h ich   f o r m   an   ass o ciati v m e m o r y ,   d ir ec ted   to p - d o w n   g e n er ati v w ei g h ar u s ed   to   co n n ec t   th la y er s   o f   DB N.   R B Ms   ar attr ac tiv as  b u ild in g   b lo ck ,   o v er   m o r tr ad itio n al  an d   d ee p ly   la y er ed   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       Dee p   Ma ch in lea r n in g   a n d   N eu r a l Netw o r k s :   A n   Ove r view   ( C h a n d r a h a s   Mis h r a )   71   s ig m o id   b elief   n et w o r k s ,   d u t o   th eir   ea s o f   le ar n in g   t h ese  c o n n ec tio n   w ei g h t s ,   th in i tial  p r e - tr ain i n g   o cc u r s   in   a n   u n s u p er v is ed   g r e ed y   la y er - by - la y er   m a n n er   to   o b tain   g en er ati v w eig h t s ,   en ab led   b y   w h at  Hin to n   h as   ter m ed   co n tr ast iv d i v er g e n c e.   Du r in g   t h i s   tr ai n in g   p h ase,   v ec to r   v   is   p r ese n ted   to   t h v is ib le  u n it s   t h at  f o r w ar d   v alu e s   to   t h h id d en   u n its .   Go in g   i n   r ev er s e,   t h v is i b l u n i t i n p u ts   ar th e n   s to ch a s ticall y   f o u n d   in   a n   atte m p t to   r ec o n s tr u ct  t h o r ig in al  i n p u t.  Fi n all y ,   t h ese   n e w   v is ib le   n e u r o n   ac t iv at io n s   ar f o r w ar d ed   s u c h   t h at   o n s tep   r ec o n s tr u ctio n   h id d en   u n it  ac tiv a tio n s ,   h ,   ca n   b attain ed .   P er f o r m i n g   th ese  b ac k   an d   f o r th   s tep s   is   a   p r o ce s s   k n o w n   as  Gib b s   s a m p lin g ,   an d   t h d if f er e n ce   in   th e   co r r elatio n   o f   th h id d en   ac t i v atio n s   an d   v is ib le  in p u t s   f o r m s   t h b asi s   f o r   w eig h u p d ate.   T r ain in g   ti m i s   s ig n i f ica n tl y   r ed u ce d   as  it  ca n   b s h o w n   th at  o n l y   s in g le  s tep   is   n ee d ed   to   ap p r o x i m ate  m a x i m u m   li k eli h o o d   lear n in g .   E ac h   la y er   ad d ed   to   th n et w o r k   ca n   i m p r o v es  th lo g   p r o b ab ilit y   o f   t h tr ai n i n g   d ata,   w h ic h   w e   c an   b t h in k   o f   as   i n cr ea s i n g   tr u r ep r esen tat io n al   p o w er   o f   n et w o r k .   T h is   m ea n in g f u ex p an s io n ,   i n   co n j u n ct io n   w ith   t h u ti lizatio n   o f   u n lab elled   d ata,   is   cr itical  co m p o n en t i n   a n y   d ee p   lear n in g   ap p licatio n .   A t   t h to p   t w o   la y er s ,   t h w ei g h t s   ar e   tied   to g e th er ,   s u c h   th at  th e   o u tp u o f   t h lo w er   la y e r s   p r o v id e s   r ef er en ce   cl u o r   lin k   f o r   th to p   la y er   to   as s o ciate ”  w it h   i ts   m e m o r y   co n te n t s .   W o f ten   e n co u n ter   p r o b lem s   w h er d is cr i m in at iv p er f o r m a n ce   is   o f   u lt i m a te  co n ce r n ,   e. g .   in   cla s s i f icat io n   task s .   A   DB m a y   b f in e - t u n ed   af ter   p r e - tr ain i n g   f o r   i m p r o v ed   d is cr i m in a tiv p er f o r m a n ce   b y   u tili zi n g   lab elled   d ata  th r o u g h   b ac k - p r o p ag atio n .   A t h is   p o in t,  s et  o f   lab el s   is   attac h ed   to   th to p   lay er   ( ex p an d i n g   t h as s o ciativ e   m e m o r y )   to   clar if y   ca teg o r y   b o u n d ar ies  in   t h n et w o r k   t h r o u g h   w h ich   n e w   s et  o f   b o tto m - u p ,   r ec o g n it io n   w ei g h ts   ar lear n ed .   I h as  b ee n   s h o w n   in   th at  s u c h   n e t w o r k s   o f te n   p er f o r m   b etter   th an   t h o s tr ai n ed   ex clu s i v el y   w it h   b ac k p r o p ag atio n .   T h is   m a y   b i n t u iti v el y   e x p lain ed   b y   t h f ac t t h at  b ac k - p r o p ag atio n   Fo r   DB Ns  is   o n l y   r eq u ir ed   to   p er f o r m   lo ca s ea r ch   o n   th w ei g h ( p ar am e ter )   s p ac e,   s p e ed in g   tr ain i n g   a n d   co n v er g en ce   ti m e   in   r elatio n   to   tr ad itio n al  f ee d - f o r w ar d   n e u r al  n et w o r k s           Fig u r 3 .   Dee p   B elief   Neu r al  Net w o r k   ( DB NN)   A r c h itect u r e   [ 1 3 ]       2.   I M P L E M E NT AT I O T E C H NIQ U E S   L ea r n i n g   ca n   b i m p le m e n t ed   b y   v ar io u s   m et h o d o lo g y   o r   tech n iq u e s   d ep en d in g   u p o n   th e   r eq u ir e m en t.  B asicall y   lear n i n g   ca n   b ca teg o r ized   in   t w o   t y p es:   1.   S u p er v i s ed   lear n i n g   2.   U n s u p er v i s ed   lear n i n g   I n   s u p er v is ed   lear n i n g   t w o   tec h n iq u is   u s ed   1.   R eg r es s io n   2.   C las s i f icatio n   W h ile  u n s u p er v i s ed   lear n in g   i s   i m p le m e n ted   b y   clu s ter in g   al g o r ith m s           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.   6 ,   No .   1 ,   Ma r ch   2 0 1 7   :   66     73   72             3.   AP P L I CA T I O N S   A cc o r d in g   to   E .   Do n   B o x   et  al.   [ 1 ]   n eu r al  n et w o r k s   m o d el   ca n   b u s ed   f o r   d em a n d   f o r ec asti n g   i n   d er eg u lated   e n v ir o n m en t.   Neu r al  n et w o r k s   ar d e s ig n ed   a n d   tr ain ed   o n   t h b as is   o f   a g g r eg ate  d e m a n d s   o f   t h e   g r o u p s   o f   s u r v e y ed   cu s to m er s   o f   d if f er en t c ate g o r ies.   T h m o s f r eq u e n tl y   e n co u n ter ed   d ec is io n   m a k i n g   tas k s   o f   h u m a n   ac ti v it y   i s   cl ass i f icatio n .   C las s i f icatio n   p r o b le m   o cc u r s   w h e n   an   o b j ec n ee d s   to   b as s ig n ed   i n to   p r ed ef in ed   cla s s   b ased   o n   n u m b er   o f   o b s er v ed   attr ib u tes   r elate d   to   th at   o b j ec t.  Ma n y   p r o b le m s   in   b u s in e s s ,   s cie n ce ,   i n d u s tr y ,   an d   m ed icin e   ca n   b tr ea ted   as  cla s s i f icat io n   p r o b lem s .   E x a m p les   in c lu d e   b an k r u p tc y   p r ed ictio n ,   cr ed it  s co r in g ,   m ed ica l   d iag n o s i s ,   q u alit y   co n tr o l,  h a n d w r itte n   ch ar ac ter   r ec o g n itio n ,   an d   s p ee ch   r ec o g n it io n .   [ 2 ]   Neu r al  n et w o r k   an d   g e n etic  a lg o r ith m s   ar u s ed   f o r   w eb   m i n in g .   Sa n k ar   K.   P al  et. al  [ 3 ]   d escr ib e   w eb   m in i n g   in   s o f t c o m p u ti n g   f r a m e w o r k .   So f co m p u ti n g   p ar ad ig m   li k e   f u zz y   s e ts   ( FS ) ,   ar ti f icial  n eu r al  n et w o r k s   ( A N N)   an d   s u p p o r v ec to r   m ac h in e s   ( SVMs)  i s   u s ed   i n   B io in f o r m atics.   [ 4 ]   T h r esear ch   co m m u n it y   h a s   s tatr ted   lo o k in g   f o r   I P   tr af f ic  class i f icatio n   tech n iq u es  t h at  d o   n o r ely   o n   w e ll  k n o w n   T C P   o r   UDP   p o r n u m b er s ,   o r   in ter p r eti n g   t h co n te n t s   o f   p ac k et  p a y l o ad s .   Ne w   w o r k   is   e m er g i n g   o n   th u s o f   s tati s tical  tr af f ic  c h ar ac ter is tics   t o   ass is i n   th id en t if icatio n   an d   class i f icatio n   p r o ce s s .   T h is   s u r v e y   p ap er   lo o k s   at  e m er g in g   r esear c h   i n to   th ap p licatio n   o f   Ma ch i n L ea r n i n g   ( M L )   tech n iq u es  to   I P   tr af f ic  clas s if ica tio n   -   an   in ter - d is cip li n ar y   b le n d   o f   I P   n et w o r k i n g   an d   d ata  m i n i n g   tech n iq u es [ 5 ]   I is   cr u cial  f o r   f i n a n cial  in s tit u tio n s ,   th ab ilit y   to   p r ed ict  o r   f o r ec ast  b u s i n ess   f ail u r es,  as   in co r r ec d ec is io n s   ca n   h a v d ir ec f i n an cia co n s eq u e n ce s .   T h er ar th t w o   m aj o r   r e s ea r ch   p r o b le m s   i n   t h e   ac co u n ti n g   an d   f i n a n ce   d o m a in   ar B an k r u p tc y   p r ed ictio n   an d   cr ed it  s co r in g .   I n   t h l iter atu r e,   n u m b er   o f   m o d el s   h a v b ee n   d ev elo p ed   to   p r e d ict  w h e th er   b o r r o w er s   ar in   d an g er   o f   b an k r u p tc y   a n d   w h e th er   t h e y   s h o u ld   b co n s id er ed   g o o d   o r   b ad   cr ed it  r is k .   Si n ce   t h 1 9 9 0 s ,   m ac h i n e - lear n i n g   tec h n i q u es,  s u c h   as   n e u r al   n et w o r k s   an d   d ec is io n   tr ee s ,   h av b ee n   s t u d ied   ex te n s i v el y   a s   to o ls   f o r   b an k r u p tc y   p r ed icti o n   an d   cr ed it sco r e   m o d ell in g .   [ 6 ]   L ea r n i n g   m et h o d s   th at  h av b ee n   ap p lied   to   C R s   class i f y in g   th e m   u n d er   s u p er v is ed   an d   u n s u p er v is ed   lear n in g .   So m o f   t h m o s i m p o r tan t,  a n d   co m m o n l y   u s ed ,   lear n in g   al g o r i th m s   w as  p r o v id ed   alo n g   w it h   t h eir   ad v a n tag e s   an d   d is ad v an ta g es a r d is cu s s ed   in   th is   liter at u r e.   [ 7 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       Dee p   Ma ch in lea r n in g   a n d   N eu r a l Netw o r k s :   A n   Ove r view   ( C h a n d r a h a s   Mis h r a )   73   4.   CO NCLU SI O N   I n   th is   p ap er   d e ep   d is cu s s io n   ab o u m ac h in lear n in g   m et h o d s   an d   th eir   i m p le m en tatio n   h as  b ee n   d is cu s s ed .   I is   clea r l y   s h o w n   th at   d if f er en m et h o d s   u s es   d if f er e n al g o r ith m   f o r   i m p le m en tatio n .   I t   is   also   co n clu d ed   th a Ne u r al  Net w o r k   an d   S u p p o r v ec to r   m ac h i n is   m o s p o p u lar   tech n iq u e s   to   i m p le m e n t h e   m ac h in lear n i n g   p ar ad ig m .   D ee p   lear n in g   is   e x ten d ed   v er s i o n   o f   s u p er v is ed   lear n in g .   I is   f i n all y   co n cl u d ed   th at  C o n v o lu t io n   n eu r al  n et w o r k   an d   Dee p   B elie f   n et w o r k   ar t w o   p o w er f u l te c h n iq u e s   w h ich   m a y   b u s ed   to   s o lv v a r io u s   co m p lex   p r o b lem s   u s i n g   d ee p   lear n in g .   Dee p   lear n in g   p lat f o r m s   ca n   also   b b en ef ited   f r o m   en g i n ee r ed   f ea t u r es  w h ile  lea r n in g   m o r co m p le x   r ep r esen tatio n s   w h ic h   en g i n ee r ed   s y s t e m s   t y p icall y   lack .   I t is ab u n d a n tl y   clea r   t h at  ad v an ce m e n t s   m ad w it h   r e s p e ct  to   d ev elo p in g   d ee p   m ac h i n le ar n in g   s y s te m s   w ill   u n d o u b ted l y   s h ap th f u t u r o f   m ac h i n lear n i n g   a n d   ar tif i cial  in tell ig e n ce   s y s te m s   in   g e n er al.       RE F E R E NC E   [1 ]   Ch a ry to n iu k   W ik to r Bo x   E.   Do n ,   L e e   W e i - J e n ,   M o - S h in g ,   Ko ta   Ch e n   P a u a n d   Olin d a     P e ter  V a n ,   Ne u ra l - Ne tw o rk - B a se d   De m a n d   F o re c a stin g   in   De re g u late d   En v iro n m e n t,   IEE T ra n s .   On   In d u stry   Ap p li c a ti o n s,  Vo l.   3 6 ,   No .   3 ,   M a y /Ju n e   2 0 0 0 .   [2 ]   Zh a n g   G u o q ian g   P e ter,  Ne u ra l   Ne tw o rk f o Cla ss i f ic a ti o n A   S u rv e y ,   IEE T ra n s.  On   S y st e ms ,   M a n ,   An d   Cy b e rn a ti c s P a rt C:  A p p li c a ti o n s a n d   re v iews ,   Vo l.   3 0 ,   No .   4 ,   N o v e mb e r   2 0 0 0 .   [3 ]   S a n k a K.  P a l V a ru n   T a lw a r a n d   P a b it ra   M it ra ,   W e b   M in in g   in   S o f Co m p u ti n g   F ra m e w o r k Re l e v a n c e ,   S tate   o f   th e   A rt  a n d   F u tu re   Dire c ti o n s,   I EE T ra n s.On   Ne u ra Ne tw o rk s,  Vo l.   1 3 ,   NO.  5 ,   S e p tem b e r 2 0 0 2 .   [4 ]   S u sh m it a   M it ra ,   Yo ich Ha y a sh i ,   Bio in f o rm a ti c w it h   S o f C o m p u ti n g , IEE T ra n s.  On   S y s tem ,   M a n   a n d   Cy b e rn a ti c s P a rt C:  A p p li c a ti o n   a n d   Rev iews ,   Vo l.   3 6 ,   N o .   5 ,   S e p tem b e 2 0 0 6 .   [5 ]   T h u y   T . T .   Ng u y e n   a n d   G re n v il l e   A r m it a g e , A   S u rv e y   o f   Tec h n iq u e f o In tern e T ra ff i c   Clas sif ica ti o n   u sin g   M a c h in e   L e a rn in g ,   IEE C o mm u n ica ti o n s   S u rv e y &   T u to ria ls,   Vo l.   1 0 ,   No .   4 ,   Fo u rth   Qu a rte 2 0 0 8 .   [6 ]   W e i - Ya n g   L in ,   Ya - Ha n   Hu   C h ih - F o n g   T sa i,   M a c h in e   L e a rn in g   i n   F i n a n c ial  Crisis   P re d icti o n :   A   S u rv e y ,   IEE E   T ra n s.  O n   S y ste m,  M a n   a n d   Cy b e rn a ti c s P a rt C:  A p p l ica ti o n   a n d   Rev iews Vo l.   4 2 ,   No .   4 ,   J u ly  2 0 1 2 .   [7 ]   M a rio   Bk a ss in y   Ya n g   L i,   S u d h a rm a n   K.  Ja y a w e e ra ,   A   S u rv e y   o n   M a c h in e - L e a rn in g   T e c h n iq u e in   Co g n it iv e   Ra d io s,   IEE E   Co mm u n ica ti o n s   S u rv e y s   &   T u to ria ls ,   Vo l.   1 5 ,   No .   3 ,   T h ir d   Qu a rter  2 0 1 3 .   [8 ]   L De n g ,   X iao   L i,   M a c h in e   L e a rn in g   P a ra d ig m s   f o S p e e c h   Re c o g n it io n A n   Ov e r v ie w ,   IEE T ra n On   Au d io ,   S p e e c h ,   A n d   L a n g u a g e   Pro c e ss in g ,   V o l.   2 1 ,   NO.  5 ,   M a y   2 0 1 3 .   [9 ]   Da izh a n   Ch e n g ,   H o n g sh e n g   Qi,   S tate S p a c e   A n a l y sis  o f   Bo o lea n   Ne tw o rk s,”   IEE T ra n s . On   Ne u ra Ne tw o rk s Vo l.   2 1 ,   No .   4 ,   Ap ri l   2 0 1 0 .   [1 0 ]   Yo sh u a   Be n g io ,   A a ro n   Co u rv il le  a n d   P a sc a V in c e n t,   Re p re se n tati o n   L e a rn in g A   R e v ie w an d   Ne w   P e rsp e c ti v e s,   IEE T ra n s.  O n   Pa tt e rn   A n a lys is  and   M a c h i n e   In telli g e n c e ,   V o l .   3 5 ,   NO.  8 Au g u st   2 0 1 3 .   [1 1 ]   X u e - W e n   Ch e n ,   X iao t o n g   L in ,   Big   Da ta  De e p   L e a rn in g Ch a ll e n g e a n d   P e rsp e c ti v e s,”   Dig it a Ob jec Id e n ti fi e 1 0 . 1 1 0 9 /I EE ACC ES S . 2 0 1 4 . 2 3 2 5 0 2 9 .   [1 2 ]   h tt p : // c s2 3 1 n . g it h u b . i o /co n v o lu t io n a l - n e tw o rk s/# o v e rv ie w   [1 3 ]   h tt p : // im a g e . slid e sh a re c d n . c o m /d e e p - b e li e f - n e ts1 1 6 6 /9 5 /d e e p - b e li e f - n e ts - 3 - 7 2 8 . j p g ? c b = 1 2 7 2 2 8 2 8 2 5       APPENDI X     Def i n itio n s   o f   S u b s et  o f   C o m m o n l y   Used   S y m b o l s   an d   N o tatio n s   i n   T h is   A r ticle     Evaluation Warning : The document was created with Spire.PDF for Python.