I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   1 Feb r u ar y   2020 ,   p p .   538 ~ 548   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 1 . pp 5 3 8 - 548          538       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   The ups urg e of  d eep learning   for c o m put er vis io n a pplica tions       P riy a nk a   P a t el 1 A m it   T ha kk a r 2   1 U &   P   P a tel  De p a rtm e n o f   Co m p u ter E n g in e e rin g ,   Ch a n d u b h a i   S   P a tel  In sti tu te  o f   T e c h n o lo g y ,     F a c u lt y   o f   T e c h n o lo g y   &   En g in e e rin g ,   CHA RUS AT   Un iv e rsit y ,   I n d ia   2 S m t. Ku n d a n b e n   Din s h a   P a tel  De p a rtm e n o f   In f o r m a ti o n   T e c h n o l o g y ,   Ch a n d u b h a S   P a tel   In stit u te   o f   T e c h n o lo g y ,   F a c u lt y   o f   T e c h n o lo g y &   En g in e e rin g ,   CHA RUS AT   Un iv e rsit y ,   In d ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   26 ,   2 0 1 9   R ev i s ed   A u g   5 ,   20 19   A cc ep ted   A u g   29 ,   2 0 19       A rti f icia in telli g e n c e   ( A I)   is  a d d it io n a ll y   se r v in g   to   a   b ra n d   n e w   b re e d   o f   c o rp o ra ti o n d isru p in d u stries   f ro m   re sto ra ti v e   e x a m in a ti o n   to   h o rti c u lt u re .   Co m p u ters   c a n ’t  n e v e rth e les r e p lac e   h u m a n s,  h o w e v e r,   th e y   w il w o rk   su p e rb ly   tak in g   c a re   o f   th e   e v e r y d a y   tan g le  o f   o u li v e s.    T h e   e ra   is  re c o n stru c ti n g   b ig   b u si n e ss   a n d   h a b e e n   o n   th e   rise   in   re c e n y e a r s   w h ich   h a g ro u n d e d   w it h   t h e   su c c e ss   o f   d e e p   lea rn in g   (DL ).   Cy b e r - se c u rit y ,   A u to   a n d   h e a lt h   i n d u stry   a re   th re e   in d u stri e in n o v a ti n g   w it h   A a n d   DL   te c h n o l o g ies   a n d   a lso   Ba n k in g ,   re tail ,   f in a n c e ,   ro b o ti c s,  m a n u f a c tu rin g .   T h e   h e a lt h c a re   in d u stry   is  o n e   o f   th e   e a rli e st  a d o p ters   o f   A a n d   DL .   D L   a c c o m p li sh in g   e x c e p ti o n a d im e n sio n lev e ls  o f   a c c u ra ten e ss   to   th e   p o in w h e re   D a lg o rit h m c a n   o u tp e rf o rm   h u m a n a c la ss i fy in g   v id e o &   i m a g e s.  T h e   m a jo d riv e rs  th a c a u se d   th e   b re a k th ro u g h   o f   d e e p   n e u ra n e tw o r k a r e   th e   p ro v isio n   o f   g ian a m o u n ts  o f   c o a c h in g   in f o rm a ti o n ,   p o w e r fu m a c h in e   in f ra stru c tu re ,   a n d   a d v a n c e in   a c a d e m ia.  D L   is   h e a v il y   e m p lo y e d   in   e a c h   a c a d e m e   to   re v ie w   in telli g e n c e   a n d   w it h in   t h e   trad e - in   b u il d i n g   in telli g e n t   s y ste m to   h e l p   h u m a n in   v a ried   tas k s.  T h e re b y   D L   s y ste m b e g i n   to   c ru sh   n o so lely   c las sic a w a y s,  b u a d d it io n a ll y ,   h u m a n   b e n c h m a rk s   in   n u m e ro u tas k li k e   i m a g e   c las sif i c a ti o n ,   a c ti o n   d e tec ti o n ,   n a tu ra lan g u a g e   p ro c e ss in g ,   sig n a p ro c e ss ,   a n d   li n g u isti c   c o m m u n ica ti o n   p r o c e ss .   K ey w o r d s :   A l g o r ith m s   A p p licatio n s   A r ti f icial  i n tel lig e n ce   Dee p   l ea r n in g   His to r y   Ma ch i n l ea r n i n g   Mo d els   Neu r al  n et w o r k   Neu r al  n et w o r k   r u le s     R ev o l u tio n   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   P r iy a n k P atel,     &   P   P atel  Dep ar tm e n t o f   C o m p u ter   E n g in ee r i n g ,   C h a n d u b h ai  S P atel  I n s tit u te  o f   T ec h n o lo g y ,     C H AR US A T   Un i v er s it y ,   C h a n g a,   3 8 8 4 2 1 ,   Gu j ar at,   I n d ia .   E m ail:  p r i y a n k ap atel. it@ c h ar u s at. ac . i n       1.   I NT RO D UCT I O N   An   i n ter esti n g   asp ec r e g ar d in g   n e u r al  s y s te m s   i s   to   w h at  e x ten t h e y   h a v ta k en   to   b an   o v er n i g h t   ac h iev e m e n t.  An d r e y   Ku r e n k o v ill u s tr ate   v er y   n ice  h i s t o r y   c h ar i n   Fi g u r 1 .   Hi s to r y   r et u r n s   t h w h o l e   d is tan ce   to   t h 1 9 4 0 s .   Dee p   l ea r n in g   h as  e x tr e m el y   j u s ta k en   o f f   i n   t h las f iv e   y ea r s   f r o m   t h j o u r n e y   o f   Neu r al  Net w o r k .   T h r ea s o n   is   t h ex p a n d ed   ac ce s s ib ili t y   o f   n a m i n f o r m atio n   alo n g s id th s ig n i f ica n tl y   ex p an d ed   co m p u tatio n al  t h r o u g h p u t o f   c u r r e n t p r o ce s s o r s .     Dee p   lear n in g   al g o r ith m s   ar e   co m p o s ed   o f   alg o r ith m s   w h i ch   allo w s   s o f t w ar to   in s tr u ct   an d   tr ain   its el f   to   p er f o r m   tas k s   ad ep tl y   w ith   t h h u g d ataset   o f   co n t en o r   te x t,  i m ag e s ,   s o u n d s ,   s p ee ch es,  v id eo s   o r   ti m s er ies  f r a m es  b y   i n tr o d u cin g   w it h   m u l ti - la y er ed   n eu r al  n et w o r k s   w it h   h u g e   a m o u n t s   o f   d ata.   Dee p   lear n in g   ( D L )   is   al s o   k n o w n   l i k it i s   th s u b s et  o f   m ac h in l ea r n in g   ( M L )   m ad o u t o f   ca l cu latio n s   t h at  allo p r o g r am m i n g   to   p r ep ar its elf   to   p er f o r m   e v er y d a y   j o b s ,   s i m ilar   to   d is co u r s a n d   p ictu r e   ac k n o w led g m e n t,   b y   u n co v er in g   m u lti - la y er ed   n eu r al  s y s te m s   to   tr e m en d o u s   m ea s u r es o f   i n f o r m atio n .     A r ti f icial   I n tel lig e n ce   ( A I )   c o u ld   b m ac h i n t h at  s o l v es  y o u r   r ea l - li f p r o b le m s   w h ile  n o t   o b tain in g   a n y   h u m a n s   co n ce r n ed   in   i t,  o r   to   b s p ec i f ic  w ar ab le  to   s a y   t h at  p ac k a g th at  i s   s o r o f   litt le   k id   t h at  w a n ts   s o m i n s tr u ctio n     a n d   tr ain in g   a n d   a f ter w ar d   it's   ca p ab le  o f   r eso l u tio n   y o u r   r ea l - li f i s s u es.  An   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Th u p s u r g o f d ee p   lea r n in g   fo r   co mp u ter visi o n   a p p lica tio n s   ( P r iya n ka   P a tel)   539   ass es s m en t   o f   th e   i m p ac o f   A I   r eq u ir es  co m p r eh e n s io n   o f   b o th   t h e   p r ac tice  o f   in n o v a tio n   tec h n o lo g y   an d   la w .   W h ile  t h r ef er en ce d   ex a m i n atio n s   ass e s s ed   ex er cise s   o f   atto r n e y s   an d   cu r r en i n n o v atio n s ,   t h e y   d o n ' t   ad eq u atel y   co n n ec w ith   f u tu r co n d itio n s   o f   in n o v at io n   an d   if   y o u   w o u ld   li k e   p ar ticu lar   d ef in itio n   b y   A la n   T u r in g ,   A I   d e f in ed   as  " th s c ien ce   o f   m a k i n g   co m p u ter s   d o   th in g s   t h at  r eq u ir in tel lig e n ce   w h e n   d o n b y   h u m a n s .   No w ,   A r ti f icial  I n tel lig e n ce   co u ld   b a   b ig   tr ee   th at   h a s   s e v er al   b r an ch e s   to   r ev ie w   an d   s p ec ial ize  w it h   it"   [ 1 ,   2]           Fig u r 1 .   B r ief   h is to r y   o f   n e u r al  n et w o r k   a n d   d ee p   lea r n in g       Fig u r 2   is   b r ief   o f   A r ti f icia I n telli g e n ce   tr ee   an d   d if f er e n ce   b et w ee n   ar ti f icial  i n telli g e n ce ,   Ma ch in e   L ea r n i n g ,   Neu r al  Net w o r k ,   Na tu r al  L a n g u a g P r o ce s s in g ,   an d   Dee p   L ea r n in g :     AI:   B u ild in g   s y s te m s   B u ild in g   f r a m e w o r k s   t h at  ca n   d o   s a v v y   th i n g s   i m p lie s   P C s   w it h   t h ca p ac it y   to   r ea s o n   lik h u m a n s .     M L :   I is   lik e w i s s u b ca te g o r y   o f   A r ti f icial  I n telli g e n c e.   Stru ct u r f r a m e w o r k s   wh ich   w ill   g ai n   a s   a   m atter   o f   f ac t i m p l ies  m ac h in e   w it h   t h ca p ac it y   to   lear n   w it h o u t b ein g   u n eq u iv o ca ll y   c u s t o m ized .     NL P :   I i s   a   s u b ca teg o r y   o f   Ar tif icial   I n tel lig e n ce .   St r u ct u r e   f r a m e w o r k s   th at   ca n   co m p r eh en d   lan g u ag e.   I is   s u b ca te g o r y   o f   A I .     DL :   I is   s u b ca te g o r y   o f   M ac h in e   L ea r n i n g .   Stru ct u r f r a m e w o r k s   th a u t ilizatio n   DN o n   s u b s ta n tial   ar r an g e m en o f   in f o r m atio n   im p lies   co m p u ter s   w it h   th ab ilit y   to   lear n   b y   u s i n g   ar ti f ici al  n eu r al  n et w o r k s ,   w h ic h   w er r o u s ed   b y   th m o d el  an d   ca p ac ity   o f   th m o d el  ce r eb r u m   as s h w o n   i n   Fi g u r 2   NN:   b io lo g icall y   en liv e n e d   n et w o r k   o f   A r ti f icial  Ne u r o n s .   A r ti f icial  I n telli g e n ce   is   en co m p as s ed   w it h   n u m er o u s   d i v er s s u b - s p ec ial t ies.  E x ten s i v el y ,   th e y   ca n   b g ath er ed :   R ea s o n i n g   to o ls - to   g en er ate   co n cl u s io n   f r o m   a v ailab le  d ata  o r   k n o w l ed g lik p ict u r e,   co n ten t,  v i d eo s .   Un s u p er v is ed   d ee p   lear n in g   to o ls -   cr ea te  g en er al   s y s te m s   t h at  ca n   b t r ain ed   w it h   ti n y   a m o u n o f   d ata.   T h m ai n   o b j ec tiv o f   th is   k in d   o f   lear n in g   r esear ch   is   to   p r e - tr ain   m o d el  lik d is cr i m i n ato r   o r   en co d er   n et w o r k   to   b u s ed   f o r   o th er   task s .   Su p er v is ed   to o ls - T o   u n d er s tan d   co m p r e h e n d   i m p o r tan ce   a n d   s etti n g   t h r o u g h   clas s i f icatio n   a n d   r eg r es s io n .   Nee d   to   g u id e   to   t ea ch   th al g o r ith m   w h at  co n clu s io n s   it  s h o u ld   co m u p   w it h .   L ea r n i n g   to o ls -   T o   p u o n   a n d   b r o ad en   u n d er s ta n d in g   th r o u g h   m ac h i n lear n in g   a n d   p r ed ictiv a n al y s i s .   Op ti m izatio n   to o ls -   T o   p u o n   in f o r m a tio n   to   ex p r ess   in q u ir ies t h r o u g h   e x p er t f r a m e w o r k s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   1 Feb r u ar y   2 0 2 0   :   538   -   548   540       Fig u r 2 .    T y p o f   lear n in g   an d   its   ap p licatio n s   s tr u ctu r s y s te m s   t h at  u s d n n   o n   lar g s e t o f   d ata   [ 3 ,   4 ]       2.   M ACH I NE   L E AR NIN G   AP P RO ACH   ML   is   k i n d   o f   ar tif icial  b r ain p o w er   w h ic h   allo w s   s o f t w ar ap p licatio n s   to   co n cl u s io n   w it h   p r o g r ess iv el y   p r ec is i n   ex p e ctin g   r esu lts   w i th o u b ein g   e x p r ess l y   r ev i s ed .   T h ess en t i al  s tar o f   M L   i s   to   co n s tr u ct   ca lcu latio n s   w h ic h   w il g e i n p u d ata  a n d   u ti li ze   m ea s u r ab le  ex a m i n atio n   t o   p r ed ict  ass o ciate   o u tp u v al u w it h in   an   ad eq u ate  r an g e.   Fi g u r 3   s h o w s   t h e   s tr ai g h t f o r w ar d   p r o ce s s   o f   m ac h in e   lear n in g .   I n   m ac h in e   lear n i n g   f ea t u r es  ar e   m a n u all y   e x tr ac ted   an d   t h m o d el   cr ea tes  a f ter   e x tr ac tio n   o f   f ea t u r es.  T h ese   ap p r o ac h   f o llo w s   s h allo w   n e t w o r k   a s   s h o w n   in   Fig u r 4 .   W ca n   i m p r o v n et w o r k   t h r o u g h   p r o v id in g   m o r e   ex a m p le s   an d   m o r tr ain i n g   d ata  to   th n et w o r k I n   d ee p   lear n in g ,   t h f ea t u r es  f r o m   th d ataset  ar e   au to m at icall y   e x tr ac ted .   T h P er f o r m s   o f   th m o d el  is   e n d - to - e n d   lear n i n g ‖  m ea n s   d ee p   n et w o r k ,   n o li k s h allo w   n e t w o r k .   W ca n   i m p r o v th n et w o r k   b y   p r o v id in g   h u g er   d ataset  s o ,   d ee p   lea r n in g   alg o r i t h m   i s   a   s ca le  w it h   d ata.   Fig u r 5   is   th e   ex a m p le  o f   D L .           Fig u r 3 .   B asic  m ac h i n lear n i n g   p r o ce s s   f lo w       Fig u r 4 .   Ma ch in lear n i n g   ap p r o ac h   to   h an d   cr af t f ea t u r es   an d   class i f icat io n           Fig u r 5 .   Dee p   lear n in g   ap p r o ac h   to   au to   ex tr ac ti n g   f ea t u r es   an d   class i f icatio n   [ 5 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Th u p s u r g o f d ee p   lea r n in g   fo r   co mp u ter visi o n   a p p lica tio n s   ( P r iya n ka   P a tel)   541   3.   NE URA L   N E T WO RK S ( NN)   AND  DE E P   L E ARNI NG   NN  an d   D L   p r esen tl y   g i v t h m o s e f f ec ti v s o l u tio n s   t o   s ev er al  i s s u es   in   i m ag e   r ec o g n itio n ,   s p ee ch   r ec o g n it io n ,   tex r ec o g n i tio n ,   ti m s er ies  p r o b lem s ,   v id eo   p r o ce s s in g ,   an d   n at u r al  lan g u a g p r o ce s s .   Dee p   lear n in g   is   n o t h i n g   b u an   alg o r it h m   w h ic h   is   w a y   s m ar ter   th a n   s h allo w   m ac h i n lear n in g   al g o r ith m s   b u it  is   n o an   ea s y   tas k .   Dee p   n eu r al  n et w o r k s   ar h ar d er   to   tr ain   an d   r eq u ir ed   g r ap h ical  p r o ce s s in g   s u p p o r f o r   b etter   an d   f ast  r esu lts .   No w ad a y s   d ee p   lear n in g   ap p licatio n s   ar u s ed   ev er y w h er m a n y   e x a m p les  o f   d ee p   lear n in g   ar a v ailab le  i n   c u r r en ti m e s   s u ch   as  Go o g le s   s el f - d r iv e n   ca r ,   ap p les  f ac r ec o g n itio n   s y s te m ,   SI R I ,   C o r tan p er s o n al  ass i s tan all  th o s ar d ev elo p ed   u s in g   d ee p   lear n in g   alg o r it h m   al s o   n e w l y   i n tr o d u ce d   Am az o n   Go   s to r es  also   in clu d e s   d ee p   lear n in g .   T h r ee   C ap ab ilit ies  o f   Dee p   L ea r n i n g   f ir s is   Gen er aliza b ilit y h o w   p r ec is el y   t h m ac h i n w i ll  e x ec u te   esti m atio n   o n   g iv e n   d ata  wh ich   h a s   n o b ee n   f o r m u lated   y et?   Seco n d   is   T r ain ab ilit y h o w   r ap id l y   d ec ilit r DL   f r a m e w o r k   w ill  g et   ac cu s to m ed   to   it s   co n ce r n .   An d   t h ir d   is   E x p r es s ib ilit y    t h i s   f ea t u r d elin e ates  h o w   w ell   m ac h i n w i ll  ev a lu ate   g e n er a l   esti m atio n s .   Dee p   lear n i n g ,   f o r   in s ta n ce ,   in ter p r etab ilit y ,   m ea s u r ed   q u alit y ,   tr an s f er ab i lit y ,   i n er tn e s s ,   il l - d is p o s ed   s o u n d n e s s ,   an d   s ec u r it y.       4.   CURR E NT   CH A L L E N G E S   I n   cu r r en ti m Dee p   L ea r n i n g   h as  t u r n ed   o u to   b o n in   ev er y th i n g   ab o u f ir s in v esti g atio n   r eg io n s   i n   cr ea tin g   astu te  m ac h in e s .   T h m aj o r it y   o f   n o tab le   ap p licatio n s   lik I m a g an d   Sp ee ch   R ec o g n itio n ,   T ex p r o ce s s in g ,   a n d   NP L - Na t u r al  la n g u a g p r o ce s s in g   o f   A I   ar d r iv e n   b y   Dee p   L ea r n in g   n o w ad a y s   v er y   ea s il y .   Dee p   L ea r n i n g   alg o r it h m s   co p y   h u m a n   ce r eb r u m s   ex p lo itatio n   ar tif icia l n e u r al  n et w o r k s   an d   m o r a n d   in cr ea s i n g l y   m o r p r o f o u n d l y   f i g u r o u h o w   to   p r ec is el y   ta k ca r o f   g iv e n   is s u e.   Ho wev er   th er ar v ital   ch alle n g e s   i n   Dee p   L ea r n i n g   s y s te m s   t h at  w e 'v g o to   s e e m   o u f o r   lo ts   a n d   lo ts   o f   i n f o r m atio n ,   lar g e   a m o u n o f   d ata  a n d   p len t y   o f   i n f o r m atio n ,   O v er f itti n g   i n   n eu r al  n et w o r k s ,   H y p er p ar a m eter   Op ti m izatio n ,   R eq u ir es  h i g h - p er f o r m a n ce   h ar d w ar e,   Neu r al  n e t w o r k s   ar e   in   es s en ce   B lack - b o x ,   L ac k   o f   Fle x ib ili t y   a n d   Mu ltit a s k in g .     Dee p   lear n in g   is   m e th o d o lo g y   t h at  m o d els  h u m a n   th eo r etica r ea s o n in g   o r   p o s s ib l y   s p ea k s   to   en d ea v o r   to   ap p r o ac h   it  r ath e r   u tili zi n g .   T h o u g h ,   t h is   i n n o v atio n   h as   an   al s o   s o m s et  o f   d is ad v a n ta g es  to o .   Ma n ag e m e n o f   C o n s ta n I n p u Data I n   DL ,   tr ain i n g   p r o ce s s   d ep en d s   o n   ex a m i n i n g   lo o f   in f o r m at io n .   A lb eit,   s p ee d il y   f lo w i n g   i n p u t   d ata  an d   g iv a   litt le   p er io d   o f   ti m to w ar d   g u ar a n teei n g   a   p r o d u ct iv tr ain i n g   p r o ce s s .   W h ich   is   th e   m ain   ca u s th at   d ata  r esear c h er s   n ee d   to   ad j u s t h eir   al g o r ith m   in   th m a n n er   in   w h ic h   n eu r al  n et w o r k s   w i ll  d ea w i t h   lo o f   co n s ta n i n p u d ata ?   Gu ar an teein g   C o n cl u s io n   T r an s p ar en c y   O n e   m o r cr itical  d is ad v a n ta g o f   d ee p   lear n in g   p r o g r a m m i n g   is ,   DL   is   u n eq u ip p ed   f o r   f u r n is h ed   o p in io n s   b ec au s it  h as   alr ea d y   ac h iev e d   co n v i n ci n g   co n clu s io n .   Un lik i n   ca s e   o f   a n cie n m ac h i n lear n in g ,   w ca n 't   tr ac k   an   as s o ciate   al g o r ith m   f o r m u la  to   s ea r c h   w h y ,   o u r   s y s te m   h as  f i x ed   th a it ' s   ca o n   an   i m ag e,   n o a   tig er .   T o   ad d r ess   b lu n d er s   i n   d ee p   lear n in g   p r o g r a m   o r   alg o r ith m ,   w n ee d   to   u p d ate  t h en tire   ca lc u lat io n   an d   alg o r it h m   to o .   R eso u r ce - De m a n d in g   T ec h n o lo g y :   I is   an   alto g et h er   r eso u r ce - d e m a n d in g   tec h n o lo g y .   I n ee d s   ad d itio n al  p o w er f u h ig h - p er f o r m a n ce   GP Us,  m e an s   its   w o r k   o n   C P Us  b u it   g iv es  tr e m en d o u s   r esu lt s   o n   GP Us,  it   also   r eq u ir ed   lar g a m o u n t s   o f   s to r ag s p ac to   tr ain i n g   m o d el,   etc.   Mo r eo v er ,   th tech n o lo g y   ta k es  lo n g er   tr ain in g   ti m as  co m p ar ed   to   an cien ML .   D e s p ite  all  its   ch alle n g e s ,   d ee p   lear n in g   ex p lo r er s   ad v a n ce d   tech n iq u e s   f o r   th o s e   r esear ch er s   w h o   h av e   t h i n te n tio n   to   u s e   u n s tr u ct u r ed   b ig   d ata  an al y tics .   I n d ee d ,   DL   ta s k s   o f   d ata  p r o ce s s in g   g iv s ig n i f ica n t b en e f its   to   E d u ca to r s ,   a n al y s t,  co r p o r atio n s .       5.   RE C E NT   D E V E L O P M E NT S   T h er ar s o   m an y   co m p u t er   v is io n   p r o b le m s   a n d   is s u es  li k clas s i f icatio n   r eo r g an izatio n ,   id en ti f icatio n ,     la n g u a g p r o ce s s i n g ,   v id eo   p r o ce s s i n g ,   g estu r d etec tio n ,   r o b o tics   etc .   w i ll  c u r r en tl y   i n   th w o r ld   o f   p r o g r ess i n g   d ee p   lear n in g   ar ea   all  C o m p u ter   v i s io n   p r o b lem s   b m ea s u r ed   as   r eso lv ed .   I n   r ec en m o d el - b ased   d ev elo p m en t,  m o d els  b ased   o n   C NN -   C o n v o lu tio n al  Neu r al  Ne t w o r k s   h av r ev o l u tio n ized   th en tire   f ield   o f   co m p u ter   v is io n .   I is   n o w   v er y   ea s y   to   d ev elo p   th r o u g h   s ev er al  Dee p   L ea r n in g   co n f i g u r atio n s   u tili zi n g   ad j u s tin g   w ith   p r e - tr ai n ed   w e ig h ts .   Fo r   ex am p le,   clas s if icatio n   th r o u g h   I m a g eNe t .   Nev er th e less ,   t h m o r s ec u r it y   is s u e s   o f   o b j ec d etec tio n   an d   s eg m e n tatio n   n ee d   ad v a n ce d   w a y s   to   cr ac k   th s o lu tio n .   Ob j ec d etec tio n   co n s i s ts   o f   lear n i n g   t h o b j ec ts   an d   d r a w i n g   r ec tan g le  b o u n d in g   b o x ,   w h er ea s   s eg m e n tatio n   tar g ets  to   s p o p r ec is p ix els  t h at  f it  e v er y   o b ject.   On a m o n g s m o s v ar ia ti o n s   th r o u g h   i m ag e   class i f icatio n   is   t h at   s i m ilar   i m a g co u ld   co n tai n   m an y   o b j ec ts   an d   p eo p le  m i g h r e m ai n   in   to tall y   d i v er s e   s izes,  li g h tin g ,   p r o p o r tio n ,   a n d   p ar tl y   o cc lu d ed .   P r o f ess o r   Nick   R ee d ,   ac ad e m y   d ir ec to r   at  th T r an s p o r R esear ch   L ab o r ato r y   ( T R L ) ,   ag r ee s   th a d ee p   lear n in g   i s   v er y   i m p o r tan to o l,  b u o n th at  r aises   s er io u s   co n ce r n s .   " Dee p   lear n in g   is   s o m e w h at  o p aq u e.   I t c an   b h ar d   to   u n d er s ta n d   th r u les o r   k n o w led g lear n ed   b y   th s y s te m .   I n   t h ca s o f   s elf - d r iv i n g   ca r s ,   t h i s   m a y   b e co m e   i m p o r tan in   th e   e v en t   o f   a   co llis io n .   Fo r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   1 Feb r u ar y   2 0 2 0   :   538   -   548   542   ex a m p le,   i f   v e h icle  i s   d ep en d en o n   d ee p   lear n i n g   a lg o r ith m ,   it   m a y   b d i f f ic u lt   to   u n d er s ta n d   h o w   th e   v eh ic le  u s ed   t h a v ailab le  i n f o r m atio n   to   d eter m i n it s   ac t io n s ,   s u b s eq u en tl y   r es u lti n g   i n   a   lack   o f   clar it y   o v er   liab ilit y . "       6.   T O WARD S DE E P   L E ARN I NG   Dee p   lear n in g   p ar ad ig m   o f   Ma ch i n lear n i n g   w h ich   h a s   s h o w n   i n cr ed ib le  p r o m is e s   in   r ec en ti m e.   T h is   is   b ec au s o f   th f ac t t h at   Dee p   L ea r n i n g   s h o w s   g r ea an alo g y   w it h   t h f u n ctio n i n g   o f   th h u m a n   b r ain .   I n   b elo w   Fig u r 6   s h o w s   t h e   T r ad itio n al  Ma ch in L ea r n i n g   ap p r o ac h es.  I s ee m s   in   p ictu r o f   m ac h in e   lear n in g   th a f ea t u r es  ex tr ac ti o n   an d   class i f icatio n   ar d o n s ep ar ately   a n d   b o th   co n ce r n ed   w ith   t h co m p le x   d esig n   an d   lo ts   o f   s ig n i f ican m at h e m a tics ,   af ter   d o in g   it  v e r y   p r ec is el y   s o m eti m e s   it  w a s   n o ev en   ef f icie n t,   an d   d id n t p er f o r m   w e ll  m ea n s   in   co n ce r n   w it h   r ea l - w o r ld   ap p licatio n s   th ac c u r ac y   le v el  w a s n t s u itab le.           Fig u r 6 .   T r ad itio n al  m ac h i n lear n in g   f lo w       7.   AT   P RE SE N T ,   AB O UT   D E E P   L E ARNI N G   DL   n et w o r k s   w i ll  p er f o r m   f e atu r ex tr ac tio n   a n d   clas s i f ica tio n   i n   o n s h o t,  th at s   w h y   s o m e ti m es   p eo p le  u s to   ca ll  o n s h o r lear n in g   in s tead   o f   d ee p   lear n in g .   W h ich   i m p lie s   it  j u s n ee d   to   p lan   an d   d esig n   o n m o d el.   T h f u n d a m e n tal  ad v an ta g o f   d ee p   lear n in g   o v er   ML   al g o r ith m   is ,   D L   h a s   th ab ilit y   to   cr ea te  n e w   f ea t u r es  f r o m   p ar tial  s er i es  o f   f ea tu r es   lo ca ted   i n   t h t r ain in g   d ataset.   Als o   as   s ee n   in   Fig u r 7   Feat u r E x tr ac tio n   a n d   clas s i f icatio n   w il b d o n i n   o n s h o r t.    D L   m o d el  h a s   t h co n v e n ien ce   o f   GP Us  a n d   GP w il p r o ce s s   h u g a m o u n ts   o f   lab eled   d ata  in   p ar allel  at  h i g h   s p ee d s   e m p o w er s .   D L   m o d el s   to   b m u ch   f as ter   th an   M L   m et h o d s .   I n   D L   Mo d el  w i th   b ac k p r o p ag atio n   al g o r ith m ,   ef f ec ti v lo s s   f u n c tio n   li k R e L u ,   an d   b ig   a m o u n o f   p ar a m eter s ,   th e s D L   n et w o r k s   ar ca p ab le  to   le ar n   ex tr e m el y   co m p le x     a n d   a b s tr ac f ea t u r es  f r o m   th s et,   tr ad itio n al  M L   n ee d   to   h an d cr af t h f ea t u r es  an d   n o   ab s tr ac f ea t u r es  ar th er e.   So m P y to r c h ,   T en s o r Flo w ,   an d   Ker as  ar e   h i g h - le v el  o p en   s o u r ce   lib r ar ies  ar th er w i th   D L   f r am e w o r k s   f o r   ea s y   i m p le m en ta tio n .   No w ad a y s   t h n e w e s tr en d   i n   r esear ch   an d   d ev elo p m e n in   Ma c h i n e   L ea r n i n g   is   Dee p   lear n in g ,   w h y   b ec a u s D L   m e th o d s   h av ca r r ied   g r o u n d - b r ea k in g   ad v a n ce s   in   co m p u ter   v is io n   an d   m ac h i n e   lear n in g .   Dee p   L ea r n i n g   is   o p en ,   o u tp er f o r m ,   s tate - of - ar t ec h n o lo g y .   I n   r ec en ti m m a n y   n e w   ap p licatio n   lik s p ee c h ,   v id eo ,   r o b o tics ,   s ec u r it y   m a k es p r ac ticall y   f ea s ib le.               Fig u r 7 .   Dee p   lear n in g   f lo w       8.   T YP E   O F   ARCH I T E CT UR E S   R esear ch er s   h a v cr ea ted   v ar iet y   o f   ar ch itect u r es  w h ich   w ca n   s ee   i n   b elo w   c h ar th at  t h o s e   ex is ted   f r o m   th e   late  1 9 4 0 s ,   ar ch itect u r es  a n d   ap p r o ac h es  a r m o d if ied   i n   d a y   b y   d a y   d e v elo p m e n a n d   n e ar ch itect u r es  ar cr ea ted   b u a f ter   2 0 0 6   th n e w   ar ch i tectu r e s   an d   g r ap h ical  p r o ce s s in g   u n i ts   ( GP Us)  b r o u g h t   th e m   to   t h p o le  o f   A I .   Fro m   th la s t w o   d ec ad es,  d ee p   lear n in g   ar c h itect u r es  h a v e   g r ea tl y   ex p a n d ed   th p r o b le m s   n e u r al  n et w o r k s   ca n   ad d r ess .   Dee p   lear n i n g   is   m u c h   m o r th a n   t h n e u r al  n et w o r k   f o llo w s   th Fi g u r 8   in tr o d u ce   f r o m   m an y   r esear c h   p ap er s   b y   Fa v io   Váz q u ez .   T ab le   1   s h o w s   t h Neu r al  n e t w o r k   to   Dee p   lear n i n g   m o d els,  r u les  a n d   s o m f u n ctio n s   w it h   t h eir   ap p licatio n s .   Mc C u l lo ch P itts   m o d el,   Heb b   R u le,   P er ce p tr o n ,   A d ap ti v li n ea r   ele m en t,  M u lti - L a y e r   P er ce p tr o n   ( ML P ) ,   Ho p f iel d   Net w o r k   C ir cu it,   B ac k - P r o p ag atio n ,   S u p p o r v ec to r   Ma ch i n ( SV M) ,   B o ltzm a n n   Ma c h in e,   R estric ted   B o ltzm a n n   Ma ch in ( R B M) ,   Dee p   B o ltzm an n   Ma c h in e   ( DB M) ,   Au to   en co d er ,   R ec u r r en Neu r al  n e t w o r k   ( R NN) ,   C o n v o lu t io n   n eu r al  Net w o r k   o r   C NN  o r   C o n v Net,   L o n g   s h o r t - ter m   m e m o r y   ( L ST M) ,   Dee p   b elief   n et w o r k   ( DM N) ,   Dee p   A u to - en co d er ,   Sp ar s Au to   en co d er ,   A tten tio n   b ased   L ST ( AL ST M) ,   Gen er ativ A d v er s ar ial  Net w o r k   ( G A N) .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Th u p s u r g o f d ee p   lea r n in g   fo r   co mp u ter visi o n   a p p lica tio n s   ( P r iya n ka   P a tel)   543       Fig u r 8 .   A r ti f icial  i n telli g e n t,   m ac h i n lear n in g ,   d ee p   lear n i n g   ap p r o ac h ' s   r ev o l u tio n   t i m lin e       T ab le   1 .   Mo d els an d   r u le  w ith   th eir   g r ap h ical  r ep r ese n tatio n   an d   ap p licatio n s   P r o p o se d   mo d e l s   G r a p h i c a l   r e p r e se n t a t i o n   A p p l i c a t i o n s   T i me l i n e   M c C u l l o c h P i t t mo d e l     -   F i r st   e v e r   mat h e ma t i c a l   mo d e l   -   L i n e a r   t h r e sh o l d   g a t e   -   W e i g h t a n d   b i a a r e   f i x e d   -   G e n e r a t e s b i n a r y   o u t p u t   1 9 4 3   [ 6 ]           H e b b   R u l e     -   I t   i s a   l e a r n i n g   R u l e .   -   I t   i s u se d   t o   s p e c i f y   t h e   w e i g h t   i n   p r o p o r t i o n   t o   a c t i v a t i o n   f u n c t i o n .   -   I t   w o r k s we l l   i f   t h e   i n p u t   p a t t e r n s   a r e   o r t h o g o n a l   o r   u n c o r r e l a t e d .   1 9 4 9   [ 7 ]           P e r c e p t r o n     -   U se d   f o r   su p e r v i se d   l e a r n i n g   o f   b i n a r y   c l a ssi f i e r s   -   C l a ssi f i c a t i o n   a n d   -   R e g r e ssi o n   1 9 5 8   [ 8 ]           A d a p t i v e   l i n e a r   e l e me n t     -   S i n g l e   l a y e r   A N N   -   A d a p t i v e   l i n e a r   u n i t   / n e u r o n   1 9 6 0   [ 9 1 0 ]           M u l t i - L a y e r   p e r c e p t r o n     -   F e e d f o r w a r d   a r t i f i c i a l   n e u r a l   n e t w o r k .   -   S p e e c h   R e c o g n i t i o n   -   I mag e   R e c o g n i t i o n   -   M a c h i n e   T r a n sl a t i o n   -   C l a ssi f i c a t i o n   1 9 6 9   [ 11 1 2 ]     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   1 Feb r u ar y   2 0 2 0   :   538   -   548   544   T ab le   1 .   Mo d els an d   r u le  w ith   th eir   g r ap h ical  r ep r ese n tatio n   an d   ap p licatio n s   ( co n tin u e )   P r o p o se d   mo d e l s   G r a p h i c a l   r e p r e se n t a t i o n   A p p l i c a t i o n s   T i me l i n e   H o p f i e l d   N e t w o r k   C i r c u i t     -   R e c u r r e n t   A r t i f i c i a l   N e u r a l   N e t w o r k   -   R e c o g n i t i o n   1 9 8 2   [ 13 ]           B a c k - P r o p a g a t i o n     -   C l a ssi f i c a t i o n   -   T i me - seri e s Pr e d i c t i o n   -   F u n c t i o n   A p p r o x i m a t i o n   1 9 7 0   [1 4 ]           S u p p o r t   v e c t o r   M a c h i n e     -   B i o i n f o r mat i c s   -   G e n e r a l i z e d   P r e d i c t i v e   C o n t r o l   -   O b j e c t   D e t e c t i o n   -   H a n d w r i t i n g   R e c o g n i t i o n   -   T e x t   A n d   H y p e r t e x t   C a t e g o r i z a t i o n   -   I mag e s C l a ssi f i c a t i o n   -   P r o t e i n   F o l d   A n d   R e mo t e   H o mo l o g y   D e t e c t i o n   1 9 6 3   [1 5 ]   1 9 9 2   [1 6 ]           B o l t z man   M a c h i n e     -   P a t t e r n   r e c o g n i t i o n   -   C o mb i n a t o r i a l   o p t i m i z a t i o n   -   S p e e c h   r e c o g n i t i o n   1 9 8 6   [ 1 7 ]           R e st r i c t e d   B o l t z man   M a c h i n e   &   D e e p   B o l t z man   M a c h i n e     -   P a t t e r n   R e c o g n i t i o n   -   C l a ssi f i c a t i o n   -   C o mb i n a t o r i a l   O p t i mi z a t i o n   -   S p e e c h   R e c o g n i t i o n   1 9 8 6   [1 8 ]           A u t o   e n c o d e r     -   U se d   f o r   u n s u p e r v i se d   l e a r n i n g   a n d   d i me n s i o n a l i t y   r e d u c t i o n   -   I t s fo r   r e p r e se n t a t i o n   l e a r n i n g   a n d   d e e p   l e a r n i n g   -   I mag e   g e n e r a t i o n   -   D a t a   v i su a l i z a t i o n   -   N a t u r a l   l a n g u a g e   p r o c e ssi n g   1 9 8 6   [1 9 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Th u p s u r g o f d ee p   lea r n in g   fo r   co mp u ter visi o n   a p p lica tio n s   ( P r iya n ka   P a tel)   545   T ab le   1 .   Mo d els an d   r u le  w ith   th eir   g r ap h ical  r ep r ese n tatio n   an d   ap p licatio n s   ( co n tin u e )   P r o p o se d   mo d e l s   G r a p h i c a l   r e p r e se n t a t i o n   A p p l i c a t i o n s   T i me l i n e   R e c u r r e n t   N e u r a l   n e t w o r k     -   S p e e c h   R e c o g n i t i o n   -   H a n d w r i t i n g   R e c o g n i t i o n   1 9 8 6   [ 2 0 - 2 3 ]           C o n v o l u t i o n   n e u r a l   N e t w o r k   or   C N N   or   C o n v N e t     -   I mag e   A n d   V i d e o   R e c o g n i t i o n   -   I mag e   C l a ssi f i c a t i o n   -   V i d e o   A n a l y si s   -   N a t u r a l   L a n g u a g e   P r o c e ssi n g ( N L P )   -   M e d i c a l   I mag e   A n a l y si s   1 9 8 3   [ 2 4 ]   1 9 9 9   [ 2 5 ]           L o n g   sh o r t - t e r me mo r y     -   S p e e c h   R e c o g n i t i o n   -   G e st u r e   R e c o g n i t i o n   -   H a n d w r i t i n g   R e c o g n i t i o n   -   N L P   &Te x t   C o mp r e ssi o n   -   I mag e   C a p t i o n i n g   1 9 9 7   [ 26 ]           D e e p   b e l i e f   n e t w o r k       -   N a t u r a l   L a n g u a g e   U n d e r st a n d i n g   -   I mag e   R e c o g n i t i o n   -   F a i l u r e   P r e d i c t i o n   -   I n f o r mat i o n   R e t r i e v a l   2 0 0 7   2 0 0 9   [ 2 7 ]       -       D e e p   A u t o   e n c o d e r     -   U se d   f o r   u n s u p e r v i se d   l e a r n i n g   a n d   d i me n s i o n a l i t y   r e d u c t i o n   -   I t s fo r   r e p r e se n t a t i o n   l e a r n i n g   a n d   d e e p   l e a r n i n g   -   I mag e   g e n e r a t i o n   -   D a t a   v i su a l i z a t i o n   -   N a t u r a l   l a n g u a g e   p r o c e ssi n g     2 0 0 0 s   [2 8       -             Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   1 Feb r u ar y   2 0 2 0   :   538   -   548   546   T ab le   1 .   Mo d els an d   r u le  w ith   th eir   g r ap h ical  r ep r ese n tatio n   an d   ap p licatio n s   ( co n tin u e )   P r o p o se d   mo d e l s   G r a p h i c a l   r e p r e se n t a t i o n   A p p l i c a t i o n s   T i me l i n e   S p a r se   A u t o   e n c o d e r     -   U se d   f o r   u n s u p e r v i se d   l e a r n i n g   a n d   d i me n s i o n a l i t y   r e d u c t i o n   -   O b j e c t   R e c o g n i t i o n   -   M e d i c a l   D i a g n o si s   2 0 0 0 s   [ 2 9 - 3 1 ]   A t t e n t i o n   b a se d   L S T M     -   U se d   t o   p r e d i c t   t a r g e t   w o r d   -   D e e p   N L P   2 0 1 0 s   [ 3 2 - 3 4 ]   G e n e r a t i v e   A d v e r sari a l   N e t w o r k     -   u n s u p e r v i se d   mac h i n e   l e a r n i n g   -   R e c o n st r u c t   3 D   mo d e l f r o m i mag e .   2 0 1 4   [3 5 - 3 7 ]       9.   H O DE E P   L E AR NIN G   WO RK S   Dee p   lear n in g   w o r k i n g   a n d   th n e u r al  n et w o r k   w o r k i n g   i s   al m o s t h s a m e.   D L   w o r k s   f o r   b o th   s u p er v i s ed   lear n in g   an d   u n s u p er v is ed   lear n i n g .   An d   as  ea r lier   d is cu s s ed   in   p ap er   D L   ca n   s o l v m a n y   co m p le x   p r o b le m s   o f   co m p u t er   v is io n   w h ic h   w er n o t   ea s il y   s o lv ed   b y   Ma c h in e   lear n i n g .   I m ad u p   o f   t w o   p r in cip al  s tag e s :   tr ain i n g   an d   T esti n g .     a)   T h tr ain in g   s ta g es  -   lab eli n g   p r o ce s s   o f   lar g a m o u n t s   o f   d ata,   an d   d ef in t h id en tica f ea t u r es.  T h e   tr ain i n g   m o d el  co m p ar es  t h es f ea t u r es  a n d   k ee p s   t h e m   to   m ak e   p r ec is r e aso n i n g   an d   c o n clu s io n   w h e n   i t   en co u n ter s   r elate d   d ata  n ex t t i m e.   T h DL   tr ai n in g   p r o ce s s   e n co m p as s es t h f o llo w i n g   s ta g es:    1)   A N Ns ex p lo r s et  o f   b i n ar y   f alse/ tr u q u e s tio n s   o r .     2)   E x tr ac t n u m er al  v al u es  f r o m   d ata  b ar .     3)   C las s i f y   d ata  co r r esp o n d   to   th p r o p e r   r esp o n s es g o t.    4)   L ab elli n g   Da ta.   b)   T h test i n g   s ta g es   -   lab el   n e w   u n e x p o s ed   d ata  u s i n g   t h eir   p r ev io u s   k n o w led g e   an d   th e n   m a k a   co n clu s io n .   I n   an c ien m ac h in lear n in g ,   n e w   f ea tu r e x tr ac t io n   w ill  b ex tr ac ted   f r o m   f u n d a m e n tal  d ata   s tack ed   i n to   t h m ac h i n e.   An al y s t   f o r m u late s   M L   i n s tr u cti o n s   a n d   co r r ec ts   th e r r o r s   e n co u n ter ed   b y   a   m ac h in e.   T h is   m e th o d o lo g y   w ip es   o u n e g ati v o v er tr ai n i n g   i m p ac m u c h   o f   t h e   ti m e   b s ee n   i n   d ee p   lear n in g .   I n   ML ,   t h an al y s s u p p lie s   b o th   ex a m p les  a n d   tr ain i n g   d ata  to   ass is t h s y s te m   to   m a k c o r r ec d ec is io n s   b y   t h m ac h in e   th is   n o r m   is   k n o w n   as  s u p er v is ed   lear n i n g .   I n   o t h er   w o r d s ,   i n   a n   a n cien m ac h in e   lear n in g ,   co m p u ter   s o l v es  a   h u g n u m b er   o f   ta s k s ,   h o w e v er ,   it  ca n ' m o u n s u ch   u n d er tak i n g s   w it h o u t   h u m a n   co n tr o l.  Div er s it y   b et wee n   m ac h i n lear n i n g   an d   d ee p   lear n in g :   1)   Dee p   lear n in g   r eq u ir es  u n lab elled   tr ain in g   d ata  i n   h u g q u an tit y   to   m a k co n ci s co n cl u s io n s   w h il e   Ma ch i n L ea r n i n g   w i ll u t ilize  s m all  a m o u n t o f   d ata  f r o m   t h an al y s t .   2)   Ma ch i n lear n i n g   e x p ec ts   f ea t u r es  to   b p r ec is el y   r ec o g n ize d   b y   a n al y s t   w h ile  d ee p   lear n i n g   g e n er ates   n e w   f ea tu r es i n d ep en d en tl y .     3)   Un li k m ac h i n lear n i n g ,   d ee p   lear n in g   n ee d s   GP U - h ig h - p er f o r m a n ce   h ar d w ar e.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Th u p s u r g o f d ee p   lea r n in g   fo r   co mp u ter visi o n   a p p lica tio n s   ( P r iya n ka   P a tel)   547   4)   Ma ch i n lear n i n g   is o late s   u n d er tak in g s   i n to   li ttle  p ar ts   a n d   af ter w ar d   j o in   an d   co n cl u d in to   o n e   o u tp u w h ile  d ee p   lear n in g   s o l v es t h p r o b lem   o n   t h e n d - to - en d   b asis .   5)   I n   co m p ar is o n   w it h   Ma c h in l ea r n in g ,   d ee p   lear n in g   n ee d s   c o n s id er ab l y   m o r ti m to   tr ain .   6)   Ma ch i n lear n i n g   g i v es e n o u g h   tr an s p ar en c y   f o r   its   d ec is io n s   th a n   d ee p   lear n in g .     T h id ea   o f   d ee p   lear n in g   i n f er s   th at  t h m ac h i n m ak e s   it s   u s e f u l n es s   in d ep en d e n d ec is io n s   f r o m   an y o n else  a s   lo n g   as  i is   co n ce iv ab le  at  th p r ese n ti m e.   T o   s u r m i s e,   ap p lic atio n s   o f   d ee p   lear n in g   u tili ze   v ar io u s   le v elled   m e th o d o lo g y   in cl u d i n g   d ec id in g   t h m o s i m p er ativ attr ib u tes to   lo o k   at .       10.   CO NCLU SI O N   An   o b s er v at io n s   o f   t h i s   p ap er   is   U n s u p er v is ed   lear n i n g   h ad   b ee n     m aj o r   ef f ec t   o n   i n   r e v i v in g   d ee p   lear n in g ,   b u t h s u p er v is ed   lear n in g   h a s   g r ea s u cc es s   i n   th e   1 9 6 0 s   to   2 0 0 0 s   s o ,   d ee p   lear n in g   h as  s in ce   b ee n   o v er s h ad o w ed ,   b u t h e n   a g ai n   a f ter   2 0 0 0 s   d ee p   lear n in g   is   o n   to p   to   s o lv e   s u p er v is e d   an d   u n s u p er v i s ed   co m p le x   p r o b le m s .   A lt h o u g h   w h av n o f o cu s ed   to   r ev ie w   t h ese  k i n d s   o f   lear n i n g .   T h f u tu r e x p ec ta tio n   f o r   d ee p   lear n in g   to   b ec o m f ar   m o r i m p o r tan i n   t h lo n g er   ter m .   Sp ee ch   r ec o g n i tio n ,   n at u r al  la n g u a g e   p r o ce s s in g ,   a n d   v id eo   an al y s i s   ar lar g el y   u n s u p er v i s ed w r ev ie w ed   th e   d if f er en m o d els   o f   d ee p   lear n i n g   to   s o lv t h ese   k in d s   o f   p r o b le m s .   Dee p   l ea r n i n g   al g o r ith m s   an d   m o d els   ar tr ain ed   e n d - to - en d   a n d   th a u s es   r ein f o r ce m en t le ar n i n g   to   d ec i d w h er to   lo o k .   Dee p   lear n i n g   a n d   r ein f o r ce m e n t le ar n in g   alr ea d y   o u tp er f o r m   in   o n e   s h o r clas s i f icatio n   an d   f ea t u r ex tr ac tio n   a n d   p r o d u ce   i m p r es s iv e   r es u lts .   Natu r al   la n g u a g p r o ce s s i n g   is   an o t h er   ar ea   in   w h ich   d ee p   lear n in g   i s   d o in g   lar g i m p ac t   o f   ex p er i m e n ts   o v er   th n ex f e w   y ea r s .   Sp ee c h   r ec o g n itio n   an d   v id eo   an a l y s is   ar also   m aj o r   co m p lex   is s u e s   i n   co m p u ter   v is io n .   Fo r   ex a m p le  N L P   p r o b lem ,   w e   ex p ec t   m o d el  w h ic h   u s e   R ec u r r en t   Neu r al   Net w o r k   to   u n d er s ta n d   d o cu m en t s   c o n ten o r   s e n t en ce s   w ill   b ec o m e   th b etter   r u le  f o r   s elec tiv el y   at ten d i n g   to   o n p ar at  a   ti m e.     E v en t u all y ,   m aj o r   p r o g r ess   in   ar ti f icia l   in telli g e n ce   w ill  co m ab o u t h r o u g h   s y s te m s   d ee p   l ea r n i n g .   I n   s p ite  o f   th f ac t h at  to   p r o d u ce   g o o d   r esu lt  d ee p   lear n in g   h as b ee n   u s ed   f o r   im a g e,   s p ee ch ,   v id eo   an d   h an d w r i tin g   r ec o g n itio n .       RE F E R E NC E   [1 ]   H.  A .   S im o n ,   A rti f icia in telli g e n c e a n   e m p iri c a sc ien c e ,‖   Arti fi c ia I n telli g e n c e ,   v o l.   77 ,   p p .   95 - 1 2 7 1 9 9 5 .   [2 ]   T .   De tt m e rs,  T .   D e tt m e rs,  T .   D e t tm e r s,  E.   S h e lh a m e a n d   T .   De tt m e rs,  " De e p   L e a rn in g   in   a   Nu tsh e ll Histo ry   a n d   T ra in in g   |   NV IDIA   De v e lo p e Blo g " ,   NV IDIA   De v e lo p e Blo g ,   2 0 1 9 .   [ On li n e ] .   A v a il a b le:  h tt p s:/ /d e v b lo g s. n v id ia.co m /d e e p - lea rn in g - nut s h e ll - h ist o ry - train in g .     [3 ]   h tt p s:/ /www . x e n o n sta c k . c o m /b lo g /d a ta - sc ien c e /o v e r v ie w - of - a rti f ic ial - in telli g e n c e - a n d - ro le - of - n a tu r a l - lan g u a g e - p ro c e ss in g - in - b ig - d a ta   [4 ]   h ttp s :/ /i2 . w p . co m /v i n ce j ef f s . c o m / w p - co n ten t/u p lo ad s /2 0 1 7 /0 3 /A I _ Au to m ated _ I n telli g en c e. p n g   [5 ]   h tt p s:/ / ww w . m a th w o rk s.co m /d isc o v e r y /d e e p - lea rn in g . h tm l .   [6 ]   W .   S .   M c Cu ll o c h   a n d   W .   P it t s,   lo g ica c a lcu lu o f   th e   id e a s   imm a n e n in   n e rv o u a c ti v it y ,‖   T h e   b u ll e ti n   o f   ma th e ma ti c a b io p h y sic s ,   v o l.   5 ,   p p .   1 1 5 - 133 1 9 4 3   [7 ]   D.  O.  He b b ,   T h e   o rg a n iza ti o n   o f   b e h a v io r.   A   n e u r o p sy c h o lo g ica th e o ry ,‖   1949 .   [8 ]   F.  Ro se n b latt,   T h e   p e rc e p tro n :   a   p ro b a b il isti c   m o d e f o in f o r m a ti o n   sto ra g e   a n d   o rg a n iza ti o n   in   t h e   b ra i n ,‖   Psy c h o lo g ica re v iew ,   v o l.   65 ,   p p .   3 8 6 1 9 5 8   [9 ]   B.   W id ro w ,   A d a p ti v e   a d a li n e   Ne u ro n   Us in g   Ch e m ica l ,‖   me misto rs ,   1 9 6 0 .     [1 0 ]   Eri k ss o n ,   K.,   &   Jo h n so n ,   C.   (1 9 8 8 ).   A n   a d a p ti v e   f in it e   e le m e n m e th o d   f o li n e a e ll ip ti c   p r o b lem s.   M a th e m a ti c s   o f   Co m p u tatio n ,   5 0 (1 8 2 ) ,   3 6 1 - 3 8 3 .   [1 1 ]   M .   L .   M in sk a n d   S .   A .   P a p e rt ,   P e rc e p tro n s:  a n   in tro d u c ti o n   to   c o m p u tatio n a g e o m e tr y ,‖   MA ,   M I T   P re ss Ca m b rid g e ,   1 9 6 9   [1 2 ]   Ru m e lh a rt,   D.  E. ,   Hi n t o n ,   G .   E. ,   &   W il li a m s,  R.   J.  (1 9 8 8 ).   L e a rn in g   re p re se n tatio n b y   b a c k - p ro p a g a ti n g   e rro rs.   Co g n it iv e   m o d e li n g ,   5 (3 ),   1 .   [1 3 ]   J.  J.  Ho p f ield ,   ―N e u ra n e tw o rk a n d   p h y sic a s y ste m w it h   e m e rg e n c o ll e c ti v e   c o m p u tatio n a a b il it ies ,‖   Pro c e e d in g o t h e   n a ti o n a a c a d e my   o sc ien c e s ,   v o l.   79 ,   p p .   2 5 5 4 - 2 5 5 8 1 9 8 2 .   [1 4 ]   D.  E.   Ru m e lh a rt,   e a l .,   L e a rn in g   re p re se n tatio n b y   b a c k - p ro p a g a ti n g   e rro rs ,‖   n a tu re ,   v o l.   3 2 3 ,   p p .   533 1 9 8 6 .   [1 5 ]   V a p n ik   a n d   L e rn e r ,   In tr o d u c e   t h e   G e n e ra li z e d   P o rtra it   a lg o rit h m   (th e   a lg o rit h m   im p le m e n ted   b y   su p p o rt  v e c to r   m a c h in e s is  a   n o n li n e a g e n e ra li z a ti o n   o f   th e   G e n e ra li z e d   P o r trait  a lg o rit h m ) ,   1 9 6 3 .   [1 6 ]   V .   V a p n ik   a n d   A .   L e rn e r P a tt e rn   re c o g n it io n   u sin g   g e n e ra li z e d   p o rtrait  m e th o d ,‖   Au to ma ti o n   a n d   Rem o te   Co n tro l ,   v o l.   2 4 ,   pp.   7 7 4 - 7 8 0 1 9 6 3 .   [1 7 ]   D.  H.  A c k le y ,   e a l .,   A   lea rn in g   a lg o rit h m   f o Bo lt z m a n n   m a c h in e s ,‖   Co g n it ive   sc ien c e ,   v o l.   9 ,   p p .   147 - 1 6 9 1 9 8 5 .   [1 8 ]   P.  S m o len sk y ,   In f o r m a ti o n   p ro c e ss in g   in   d y n a m ica s y ste m s F o u n d a t io n o f   h a r m o n y   th e o ry ,‖   C o lo ra d o   Un iv   a Bo u l d e De p o f   Co m p u ter S c ien c e ,   1 9 8 6 .   [1 9 ]   D.  E.   Ru m e lh a rt,   e a l .,   L e a rn in g   in tern a re p re se n tati o n b y   e rro p ro p a g a ti o n ,‖   i n   R u m e lh a rt  D . e a l . P a ra ll e l   d istri b u ted   p ro c e ss in g Ex p l o ra ti o n s in   th e   m icro stru c tu re   o f   c o g n it i o n ,   F o u n d a ti o n s v o l.   1 ,   1 9 8 6 .   [2 0 ]   R.   J.  W il li a m s,  e a l .,   L e a rn in g   re p re se n tat io n b y   b a c k - p ro p a g a ti n g   e rro rs ,‖   Na t u re ,   v o l.   3 2 3 ,   p p .   5 3 3 - 5 3 6 1 9 8 6   Evaluation Warning : The document was created with Spire.PDF for Python.