I AE I nte rna t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  6 ,   No .   2 ,   J u n 2 0 1 7 ,   p p .   74 ~ 78   I SS N:  2252 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 6 . i2 . p p 7 4 - 78           74       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J A I   Incre m ental  App ro a ch of Neural  Netw o rk  in  Ba c k   Propa g a tion  Alg o rith m s  f o W eb Data  Mining       A.   P .   T a w da r ,   M .   S.  B ewo o r ,   S.  H .   P a t il   De p a rtme n o f   Co m p u ter E n g in e e rin g ,   Bh a ra ti   V i d y a p e e th   Un iv e rsi ty   Co ll e g e   o f   En g in e e rin g   P u n e ,   I n d ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Feb   11 ,   2 0 1 7   R ev i s ed   A p r   15 ,   2 0 1 7   A cc ep ted   Ma y   24 ,   2 0 1 7       T e x Clas si f ica ti o n   is  a lso   c a ll e d   a Tex C a teg o riza ti o n   (T C),   is  th e   tas k   o c las si fy in g   a   se o f   tex d o c u m e n ts  a u t o m a ti c a ll y   in to   d if f e re n c a teg o rie s   f ro m   a   p re d e f in e d   se t.   If   a   tex d o c u m e n re late to   e x a c tl y   o n e   o f   th e   c a teg o ries ,   th e n   it   is  c a ll e d   a s   sin g le - lab e c las sif i c a ti o n   tas k o th e rw ise ,   it   is   c a ll e d   a m u lti - lab e c l a s sif ic a ti o n   tas k .   F o In f o r m a ti o n   Re tri e v a (IR)  a n d   M a c h in e   L e a rn in g   (M L ),   T u se se v e r a to o ls  a n d   h a re c e iv e d   m u c h   a tt e n ti o n   in   t h e   las d e c a d e s.  In   th is  p a p e r,   f irst  c las si f ies   th e   te x d o c u m e n ts  u sin g   M L P   b a se d   m a c h in e   lea rn in g   a p p ro a c h   (B P P a n d   t h e n   re tu r n   th e   m o st  re lev a n d o c u m e n ts.   A n d   a lso   d e sc rib e a   p ro p o se d   b a c k   p ro p a g a ti o n   n e u ra l   n e tw o rk   c la ss i f ier t h a p e rf o r m s c ro ss   v a li d a ti o n   f o o rig in a Ne u ra l   Ne t w o rk .   In   o r d e to   o p ti m ize   th e   c las si f ic a ti o n   a c c u ra c y ,   train in g   ti m e .   P ro p o se d   w e b   c o n te n m in in g   m e th o d o l o g y   i n   th e   e x p lo ra ti o n   w it h   t h e   a id   o f   BP P .   T h e   m a in   o b jec ti v e   o f   th is  in v e stig a ti o n   is  w e b   d o c u m e n e x tra c ti o n   a n d   u ti li z i n g   d iff e re n g ro u p in g   a lg o rit h m .   T h is  w o rk   e x tri c a tes   th e   d a ta  f ro m   th e   w e b   UR L .   K ey w o r d :   B ac k   p r o p ag atio n   alg o r ith m   C lu s ter i n g   Featu r ex tr ac tio n   I n f o r m a tio n   e x tr ac tio n   I n f o r m a tio n   r etr iev a l   Neu r al  n et w o r k   Stea m i n g   Sto p   w o r d     Co p y rig h ©   2 0 1 7   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   A .   P .   T aw d ar ,   Dep ar t m en t o f   C o m p u ter   E n g i n ee r in g ,   B h ar ati  Vid y ap ee th   U n i v er s it y   C o lleg o f   E n g in ee r i n g   P u n e,   I n d ia .       1.   I NT RO D UCT I O N     I n f o r m a tio n   R etr ie v al  ( I R )   is   th s cien ce   o f   s ea r c h in g   f o r   in f o r m a tio n   w it h i n   d atab ases ,   an d   th W o r ld   W id W e b .   T h b r ea k th r o u g h   o f   t h I n ter n et  a n d   w e b   s ea r ch   e n g i n e s   h a v u r g ed   s cien ti s ts   a n d   lar g e   f ir m s   to   cr ea te  v er y   lar g s ca le  r etr iev al  s y s te m s   to   k ee p   p ac w i th   th e x p o n e n tial  g r o w t h   o f   o n li n d ata.   I n   I R   s y s te m   is   u s er   f ir s t   s u b m it s   q u er y   w h ich   is   e x ec u te d   o v er   th r etr iev al   s y s t e m .   T h latter ,   co n s u l ts   a   d atab ase  o f   d o cu m e n co llecti o n   an d   r etu r n s   t h m a tch i n g   d o cu m e n t.  I n   g en er al,   i n   o r d er   to   co r r ec tly   clas s i f y   u n s ee n   d o cu m e n ts ,   it  is   n ec es s ar y   to   tr ain   it  w it h   s o m p r e - clas s i f ied   d o cu m e n ts   f r o m   ea ch   ca teg o r y   t h at  is   tan n in g   d at aset,  in   s u c h   w a y   th at  th clas s i f ier   is   th e n   ab le   to   u n d er s tan d   th m o d el  it  h a s   lear n ed   f r o m   t h p r e - class i f ied   d o cu m en t s   an d   u s t h at  m o d el  to   co r r ec tl y   cla s s i f y   t h u n s ee n   d o cu m e n ts .   E x tr ac tio n   o f   n et  d ata  co u ld   b an   i m p o r t an m et h o d   f o r   d ata  in te g r atio n .   W eb   p ag e s   m a y   g iv th e   s a m o r   a n alo g o u s   i n f o r m ati o n .   T h is   m a k es   th ad d itio n   o f   in f o r m at io n   f asci n ati n g   ta s k .   T h d ee p   W eb   co n ten t s   ar ac ce s s ed   b y   q u er ies  s u b m it ted   to   n et  d atab ases   an d   also   f o r   r etr iev ed   d ata.   W eb   p ag es  ar d ata   r ec o r d s .   T h d is t in ctiv W eb   p ag es  ar m ad p r o g r ess iv el y   a n d   h ar d   to   lis b y   r o u ti n cr a w ler   b ased   w e b   cr a w ler s ,   i n   p ar ticu lar   Go o g le   an d   Yah o o .   I n   th is   p ap er ,   d e p ict  th is   k in d   o f   ex ce p tio n al  W eb   p ag es  as  d ee p   W eb   p ag es.  A   n o te w o r t h y   i s s u o f   o n li n w eb   cr a w ler s   i s   th at  t h u n it  r e s u l ts   ar a   w h o le  W eb   d o cu m en t.   Hu m an   e x er tio n   i s   o b lig ed   to   in s p ec ea c h   o f   th r et u r n ed   s ec tio n s   to   s ep ar ate  ex ac i n f o r m atio n .   Au to m atic   in f o r m atio n   e x tr ac tio n   f r a m e w o r k s   ca n   au to m ate  th tas k   o f   s u cc es s f u l l y   r ec o g n izi n g   t h p er tin en co n te n t   s ec tio n s   i n s id o f   t h d o cu m en t.  I n f o r m a tio n   E x tr ac tio n   ( I E )   is   co n ce r n ed   w i th   e x tr ac ti n g   p er tin e n t   in f o r m atio n   f r o m   g at h er in g   o f   ar ch i v e s .   I in cl u d es  m eth o d s   an d   al g o r ith m s   e x tr a ct  k n o w led g f r o m   d is tin ct iv d ata  r ep o s ito r ies  s u ch   as  tr an s ac tio n a d ata b ases ,   d ata  w ar e h o u s e s ,   tex f iles ,   W W W   an d   th e n   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I n cremen ta l A p p r o a c h   o f Neu r a l Netw o r in   B a ck   P r o p a g a t io n   A lg o r ith ms fo r … ( A .   P .   Ta w d a r )   75   f o r w ar d s .   Mo s o f   t h o n li n r eso u r ce s   s q u ar m ea s u r as  m ac h in e - r ea d ab le  tex Ma r k - u p   L a n g u a g ( HT ML )   d o cu m en ts ,   th at   s q u ar m ea s u r s ee n   b y   n et   b r o w s er s .   I n   t h i s   m an n er ,   t h n ee d   f o r   au to m a ted ,   ad ap tab le  W eb   I n f o r m a tio n   R etr ie v al  ( I R )   to o ls   th at  t h at  ex tr ac i n f o r m atio n   an d   d ata  f r o m   th o n lin p ag es  an d   tr an s f er   in to   s ig n i f ican ce   a n d   v al u ab le  s tr u ctu r e s   f o r   m o r in v es tig a tio n   w il l tu r n   in to   an   ex tr ao r d in ar y   n ee d .       2.   RE L AT E WO RK S   T ak - L a m   W o n g   an d   W ai   L a m   [ 1 ]   d ev elo p ed   n e w   att r ib u te  d is co v er y   v ia   B a y esia n   lear n i n g   ap p r o ac h   w h ich   ca n   au to m ati ca ll y   ad ap t h i n f o r m atio n   e x tr ac tio n   p atter n s   lear n ed   p r e v io u s l y   i n   s o u r ce   w eb   s ite  to   n e w   u n s ee n   w eb   s ites   a n d   d is co v er   n e w   a ttri b u tes  to g eth er   w i th   s e m a n tic   lab e ls .   E x te n s iv e   ex p er i m e n ts   f r o m   m o r t h an   3 0   r ea tim w eb   s ites   ar in   th r ee   d if f er en d o m ai n s   w er co n d u cted   an d   th e   r esu lt s   ex h ib it t h at  th f r a m e wo r k   ac h iev e s   v er y   p r o m i s i n g   p er f o r m a n ce .     R aj en d r Ku m ar   R o u l   [ 2 ]   h a s   p r o p o s ed   w eb   d o cu m e n cl u s ter i n g   u s i n g   d ata  m i n i n g .   T h is   p ap er   s tu d ie s   s o m cl u s ter i n g   m et h o d s   r elev an to   th clu s ter in g   d o cu m e n co llectio n s   an d ,   in   co n s eq u en ce ,   w eb   d ata.   T h is   m eth o d   o f   cl u s ter   an al y s is   s ee m s   to   b r elev a n t   in   ap p r o ac h in g   t h clu s ter   web   d ata.   T h g r ap h   clu s ter i n g   is   al s o   d escr ib ed   in   its   m et h o d s   to   co n tr ib u te  s ig n i f ica n tl y   in   c lu s ter in g   web   d ata.   B ased   o n   p r ev io u s l y   p r esen ted   in f o r m a t io n ,   th co r s ec tio n   p r o v id es  an   o v er v ie w   ap p r o ac h es  to   clu s ter i n g   i n   t h w eb   en v ir o n m e n t.    J ian g   S u   et  al  [ 3 ]   p r o p o s ed   d ata  class if ica tio n   u s i n g   s e m i - s u p e r v i s ed   m u lti - m o d al  Nai v B ay e s .   I p r esen ts   Se m i - s u p er v is ed   F r eq u en c y   E s ti m ate  ( SF E ) ,   n o v el  s e m i - s u p er v i s ed   p ar a m et er   lear n in g   m et h o d   f o r   MN B .   T h e y   f ir s p o in t   o u t   th at   E M s   o b j ec tiv f u n ct io n ,   Ma x i m izi n g   Ma r g i n al  L o g   L i k eli h o o d   ( ML L ) ,   i q u ite  d if f er e n f r o m   t h g o al   o f   clas s i f icatio n   lear n in g ,   i.e .   m a x i m izi n g   co n d itio n al   lo g   lik el ih o o d   ( C L L ) .   T h en   p r o p o s SF E   th at  u s e s   th esti m ate s   o f   w o r d   p r o b a b ilit ies  o b tain ed   f r o m   u n lab ell ed   d ata,   an d   class   co n d itio n al  p r o b ab ilit y   g i v en   w o r d ,   lear n ed   f r o m   lab eled   d ata,   to   lear n   p ar am eter s   o f   an   MN B   m o d el.     Am it  Ga n atr [ 4 ]   h as  p r o p o s ed   in itial  clas s i f icatio n   t h r o u g h   b ac k   p r o p ag atio n   alg o r ith m .   T h is   p ap e r   s a y s   i n itial   clas s i f icatio n   u s i n g   g en e tic  a n d   n e u r al  n et w o r k   alg o r ith m .   P er f o r m i n g   w e ig h ad j u s t m e n i n   o r d er   to   m in i m ize  t h Me a n   Sq u ar E r r o r   b etw ee n   o b tain ed   o u t p u an d   d esire d   o u tp u is   t h e   m ain   g o al  o f   t h is   h y b r id   alg o r ith m .   Fo r   r ed u cin g   th s ea r c h   s p ac o f   Gen etic   alg o r ith m   it  is   b etter   to   ap p l y   b ac k   p r o p ag atio n   alg o r ith m   f ir s t.  He n ce   th e   p r o b le m   o f   lo ca m i n i m a   is   s o l v e d .   Fo r   th e   p u r p o s o f   ac ce ler a tin g   n eu r al   n et w o r k   tr ain i n g   th e   p r o p o s ed   alg o r ith m   ex p lo it s   t h o p ti m izatio n   ad v an ta g es   o f   G A .   B P   alg o r ith m   i s   s e n s iti v to   in itial p ar a m e ter s   an d   G A   i s   n o t.  A s   co m p ar ed   to   th G A ,   B P   alg o r ith m   h as   h ig h   co n v er g e n ce   s p ee d .   Yan   L i u   [ 5 ]   p r o p o s ed   n o v el  d ee p   lear n i n g   m o d el   f o r   q u er y - o r ien ted   m u lti  d o cu m en ts   s u m m ar izatio n .   A cc o r d in g l y ,   th e m p ir ical  v a lid atio n   o n   th r ee   s tan d ar d   d atasets ,   t h r es u lts   n o o n l y   s h o w   th d i s ti n g u is h i n g   e x tr ac tio n   ab ilit y   o f   QODE   b u al s o   cle ar l y   d e m o n s tr ate   o u r   in te n tio n   to   p r o v id h u m an - lik m u l ti d o cu m e n s u m m ar iz atio n   f o r   n at u r lan g u ag p r o ce s s i n g .     Sad u f ,   Mo h d   A r i f   W an i [ 6 ]   p r o p o s ed   th co m p ar ativ s t u d y   o f   lear n i n g   i n   n e u r al  n et w o r k .   C itra   R a m ad h e n al  [ 7 ]   h as  p r o p o s ed   class if ica tio n   b ased   o n   er r o r   r ate.   I n   o r d er   to   m i n i m iz th Me an   Sq u ar E r r o r   H y b r id   alg o r ith m s   ar u s ed   to   p er f o r m   w ei g h ad j u s t m e n t.  F ir s cr ea te  a   m o d el  b y   r u n n i n g   t h e   alg o r ith m   o n   t h tr ain in g   d ata.   T h en   test   th m o d el  to   id en t if y   c lass   o f   n e w   d ata  f o r   cl ass   lab el.   T h en   f o r   class i f icatio n   th i s   d ata  is   g iv en   to   th B ac k   p r o p ag atio n   alg o r ith m .   Af ter   ap p ly i n g   B ac k   p r o p ag atio n   alg o r ith m ,   f o r   w ei g h ad j u s t m en g e n etic  alg o r it h m   i s   ap p lied .   T h d ev elo p ed   m o d el  ca n   th en   b ap p lied   to   class i f y   t h u n k n o w n   t u p les  f r o m   t h g i v e n   d atab ase  an d   th is   in f o r m atio n   m a y   b u s ed   b y   d ec is io n   m ak er   to   m ak u s e f u l d ec is io n .   B u t it  p r o v id es less   e f f icie n c y .   Dan iel  So u d r y   [ 8 ]   p r o p o s ed   d ata  class i f icatio n   i n   n e u r al  n et w o r k   u s i n g   d is cr ete  co n ti n u o u s   w ei g h t .   I n   in tr u s io n   d ete ctio n   an d   cl ass i f icatio n   u s in g   b ac k   p r o p a g atio n   n eu r al  n et w o r k   ap p r o ac h   w er f o llo w ed .   I f ir s co llects  t h d ata  s et   th en   t h d ata  is   p r e - p r o ce s s ed .   B P NN  class if ier   is   b u i l f o r   d etec tio n   an d   class i f icatio n   o f   e v e n ts .   I n   B P NN  class i f ier ,   f ir s d esi g n   n et w o r k   an d   s e p ar a m eter s   th en   i n itialize   w ei g h t s   w it h   r a n d o m   v a lu e s f in a ll y   c alcu late  t h ac t u al  o u tp u f r o m   t h in p u t.  Fi n all y ,   t h R e s u lts   s h o w ed   ar e,   it   class i f ies i n s tan ce s   in to   s ev er a l a ttack   t y p e s   w it h   lo w   d etec ti o n   r ate.       3.   P RO P O SE SYS T E M   A   w eb   d o cu m e n i s   s i m ilar   i n   co n ce p to   w eb   p ag e.   E v er y   w eb   d o cu m en h a s   it s   i n d iv id u al  U R I .   No te  th at  W eb   d o cu m e n is   n o th s a m as  f ile:  s i n g le  w eb   d o cu m en ca n   b ac ce s s ib le  in   v ar io u s   ar r an g e m en t s   an d   d ialec ts ,   an d   s in g le  d o cu m e n t,  f o r   in s ta n ce   a   P HP  s cr ip t,  m a y   b in   c h ar g o f   cr ea tin g   a   s u b s ta n tial  n u m b er   o f   w eb   d o cu m e n t s   w it h   d if f er en U R I s .   A   W eb   d o cu m en i s   ch ar ac ter ized   as  s o m e th i n g   th at  h a s   UR I   a n d   ca n   r etu r n   r ep r esen tatio n s   o f   th id e n ti f ie d   ass et  in   r esp o n s o f   HT T P   r eq u ests .   T h u s u al  w eb   co n te n e x tr ac tio n   m eth o d s   co n ce n tr ate  o n l y   o n   e x tr ac tin g   t h co n te n w i th o u ch ec k i n g   w h et h er   th co n te n t   is   r elev an o r   n o t.  T h p r o p o s ed   ap p r o ac h es  in clu d d iv e r s alg o r ith m   i n   a   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  6 ,   No .   1 Ma r ch   2 0 1 7   :   74     78   76   co m p ar ati v m an n er   to   ev al u ate  t h p er f o r m a n ce   m ea s u r es  o f   t h w eb   co n ten ts   i n   a n   ef f icie n m a n n er .   Fo r   ex tr ac tio n   p u r p o s it o f f er s   w eb   U R L   o r   w eb   d o cu m e n ts .   I n p u t: Ge t U n k n o w n   T ex t D o cu m e n t o f   Sear ch ed   k e y w o r d     Ou tp u t: L ab eled   to   th T ex t D o cu m e n   C las s : Sp o r ts ,   E d u ca tio n ,   T ec h n o lo g y   etc   Mo d u les   1.   XM L   Do c u m e n t E x tr ac tio n   2.   Pa r s in g   3.   P r ep r o ce s s in g   4.   C las s i f icatio n     P ar s in g J s o u p   is   j av h t m p ar s er   is   u s ed .   I is   j av lib r ar y   th a is   u s ed   to   p ar s HT M L   d o cu m e n t.  J s o u p   p r o v id es  ap to   ex tr ac t   an d   m an ip u late   d ata  f r o m   U R L   o r   HT ML   f i le.   I u s es   DOM ,   C SS   a n d   J q u er y - li k e   m et h o d s   f o r   ex tr ac ti n g   a n d   m a n ip u lat in g   f ile.   T h p ar s er   w ill  m a k ev er y   at te m p to   cr ea te  clea n   p ar s f r o m   t h HT ML   y o u   p r o v id e,   r eg ar d les s   o f   w h et h er   th HT ML   i s   w ell - f o r m ed   o r   n o t.  I t h an d les:   1.   U n clo s ed   tag s   ( e. g .   <p >L o r e m   <p >I p s u m   p ar s es to   <p >L o r em </p <p >I p s u m </p >)   2.   I m p licit ta g s   ( e. g .   n a k ed   <td >T ab le  d ata< /td is   w r ap p ed   in to   <ta b le> <tr >< td >. . . )   3.   R eliab l y   cr ea ti n g   th d o cu m e n t stru ct u r ( h t m l c o n ta in i n g   h ea d   an d   b o d y ,   an d   o n l y   ap p r o p r iate  elem e n t s   w it h i n   t h h ea d )   T h p ar s e   ( Strin g   h t m l,  Stri n g   b aseUR I )   m e th o d   p ar s es  th in p u HT ML   i n to   n e w   D o cu m e n t.   T h b ase  UR I   ar g u m e n is   u s ed   to   r eso lv r elativ UR L s   i n to   ab s o lu te  UR L s ,   an d   s h o u l d   b s et  to   th UR L   w h er t h d o cu m en w as   f etch ed   f r o m .   I f   t h at ' s   n o ap p licab l e,   o r   if   y o u   k n o w   t h HT ML   h as  a   b ase  ele m e n t,   y o u   ca n   u s t h p ar s ( Strin g   h t m l)   m et h o d .     P r ep r o ce s s in g:   it in c lu d t w o   m o d u les   1.   Sto p   W o r d   R e m o v al    2.   Ste m m i n g     Sto p   W o r d   R e m o v al:   So m eti m es,  s o m ex tr e m el y   co m m o n   w o r d s   w h ich   w o u ld   ap p ea r   to   b e   o f   litt le  v alu in   h elp i n g   s elec d o cu m en ts   m atc h i n g   a   u s er   n ee d   ar ex cl u d ed   f r o m   th v o ca b u lar y   e n tire l y .   T h es w o r d s   ar ca lled   s to p   w o r d s .   T h g en er al  s tr ate g y   f o r   d eter m in i n g   s to p   lis is   to   s o r th ter m s   b y   co llect i o n   f r eq u e n c y ,   an d   th en   to   ta k th m o s f r eq u en t   ter m s ,   o f te n   h a n d - f il ter ed   f o r   th eir   s e m an t ic  co n ten r elativ to   th d o m ai n   o f   th d o cu m e n t s   b ein g   in d e x ed ,   as a   s to p   lis t,  th m e m b er s   o f   w h ic h   ar th e n   d is ca r d ed   d u r in g   i n d ex i n g .     Ste m m i n g   I n   t h is   m e th o d   w o r d s   s h o r ter   t h an   n   ar k ep as   it  i s .   T h c h an ce s   o f   o v er   s te m m i n g   i n cr ea s es   w h e n   th w o r d   len g t h   is   s m all.   R u le s   in   p o r ter   s te m m i n g   al g o r ith m   ar s ep a r ated   in to   f iv d is ti n ct  s tep s :   1.   Gets r id   o f   p lu r als a n d   - ed   o r   - in g .   e g - ca r ess   p o n ies  - p o n ities   - t i c ar ess   - ca r ess   ca ts   - ca   2.   T u r n s   ter m i n al  y   to   w h en   t h e r is   an o th er   v o w el  i n   t h s te m .   eg   h ap p y - >h ap p   3.   Ma p s   d o u b le  s u f f ice s   to   s i n g le   o n es.  s o   - izatio n   (   - ize  p lu s   - atio n )   m ap s   to   - ize  etc.     4.   Dea ls   w it h   - ic - - f u ll,  - n e s s   etc .   s i m ilar   s tr ateg y   to   s tep 3 .     5.   T ak es o f f   - an t,  - en ce   etc.     3 . 1 .   I m ple m ent a t io n o f   B a ck   P ro pa g a t io n Alg o rit hm   T h b ac k - p r o p ag atio n   alg o r it h m   co n s is t s   o f   t h f o llo w i n g   s te p s :   1.   I n itializatio n A f ir s t h al g o r ith m   h as  to   b in it ialized   co n s id er in g   n o   p r io r   in f o r m ati o n   is   k n o w n   a n d   p ick in g   t h s y n ap tic  w ei g h t s   a n d   th r es h o ld s   f r o m   u n i f o r m   d is tr ib u tio n .   T h t y p o f   ac ti v atio n   f u n ctio n   is   s ig m o id .   2.   P r esen tatio n s   b y   T r ain in g   E x a m p les:   T h n et w o r k   h as   to   b p r esen ted   b y   ep o ch s   o f   tr ain i n g   ex a m p les  to   p er f o r m   f o r w ar d   an d   b ac k w ar d   co m p u ta tio n s .   3.   Fo r w ar d   C o m p u tatio n L et  u s   co n s id er ,   th i n p u t   v ec to r   t o   th la y er   o f   s en s o r y   n o d es   is   x ( n )   a n d   t h e   d esire d   r esp o n s v ec to r   is   d ( n )   w h ic h   i s   i n   t h o u tp u la y er   o f   co m p u tatio n   n o d es.  I n   f o r w ar d   co m p u tatio n ,   th n et w o r k s   lo ca f ield s   an d   f u n ctio n   s i g n als  ar co m p u ted   b y   p r o ce ed in g   f o r w ar d   th r o u g h   th n et w o r k   b y   la y er   b y   la y er   b asis .   I m p le m e n tatio n   o f   B ac k   P r o p ag atio n   A l g o r ith m   t h b ac k - p r o p ag atio n   al g o r ith m   c o n s i s ts   o f   t h e   f o llo w in g   s tep s :   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I n cremen ta l A p p r o a c h   o f Neu r a l Netw o r in   B a ck   P r o p a g a t io n   A lg o r ith ms fo r … ( A .   P .   Ta w d a r )   77   1.   I n itializatio n A f ir s t h al g o r ith m   h as  to   b in it ialized   co n s id er in g   n o   p r io r   in f o r m ati o n   is   k n o w n   a n d   p ick in g   t h s y n ap tic  w ei g h t s   a n d   th r es h o ld s   f r o m   u n i f o r m   d is tr ib u tio n .   T h t y p o f   ac ti v atio n   f u n ctio n   is   s ig m o id .     2.   P r esen tatio n s   b y   T r ain in g   E x a m p les:   T h n et w o r k   h as   to   b p r esen ted   b y   ep o ch s   o f   tr ain i n g   ex a m p les  to   p er f o r m   f o r w ar d   an d   b ac k w ar d   co m p u ta tio n s .     3.   Fo r w ar d   C o m p u tatio n L et  u s   co n s id er ,   th i n p u t   v ec to r   t o   th la y er   o f   s en s o r y   n o d es   is   x ( n )   a n d   t h e   d esire d   r esp o n s v ec to r   is   d ( n )   w h ic h   i s   i n   t h o u tp u la y er   o f   co m p u tatio n   n o d es.  I n   f o r w ar d   co m p u tatio n ,   th n et w o r k s   lo ca f ield s   an d   f u n ctio n   s i g n als  ar co m p u ted   b y   p r o ce ed in g   f o r w ar d   th r o u g h   th n et w o r k   b y   la y er   b y   la y e r   b asis .   I f   s ig m o id   f u n ctio n   i s   u s ed ,   th o u tp u s ig n al  i s   o b tain ed   b y   t h e   eq u atio n   b elo w :     j ( V j ( n ) )                   ( 1 )     I f   l=1   w h ic h   m ea n s   t h j   n eu r o n   is   in   t h f ir s h id d en   la y er   t h en   w g et,     =X j( n )                     ( 2 )     Her e,   X j( n )   is   t h j th   e le m e n o f   th e   i n p u v ec to r   x ( n ) .   L e t,  L   i s   t h d ep th   o f   n et w o r k .   I f   t h n eu r o n   j   is   in   t h e   o u tp u t la y er   t h at  m ea n s   l=  L   th e n     =Oj( n )                     ( 3 )     So   th er r o r   s ig n al  w i ll b e     ej( n ) =d j( n ) - o j( n )                   ( 4 )     Her e,   d j ( n )   is   th j th   ele m e n t o f   th v ec to r   o f   d esire d   r esp o n s d ( n ) .     4.   I ter atio n Fi n all y   th f o r w ar d   an d   b ac k w ar d   co m p u tatio n s   h av to   b e   iter ated   u n til  t h c h o s en   s to p p in g   cr iter io n   is   m et.   As  th n u m b er   o f   iter atio n s   i n cr ea s es  t h m o m e n t u m   a n d   lear n i n g - r ate  p ar am eter s   ar ad j u s ted   b y   d ec r ea s in g   t h v al u es.       4.   RE SU L T   ANAL YSI S   T h is   tab le   1   s h o w s   co m p ar ati v an al y s is   b et w ee n   B ac k   P r o p ag atio n   A l g o r ith m   a n d   Su p p o r Vec to r   Ma ch i n e.   As s o o n   as d atase t i n cr ea s ed ,   th i s   w ill ta k les s   ti m th a n   S VM   f o r   class if icatio n .       T ab le  1 .   C o m p ar ativ An al y s i s   b et w ee n   B ac k   P r o p ag atio n   A l g o r ith m   an d   S u p p o r t V e cto r   Ma ch in e       Fig u r 1 .   T h w ei g h t a s s i g n ed   f o r   ea ch   Ke y w o r d   in   Data   s et         Fig u r 1   s h o w s   th at  th w ei g h as s ig n ed   f o r   ea ch   k e y w o r d   in   d ata  s et.   W h e n   t h er is   n e w   s ea r ch   i s   h ap p en ed   th e n   th at   s ea r c h   k e y w o r d   w ill  m atc h   w i th   tr ai n in g   d ataset   t h at  h av e   i m p le m e n t ed .   W h en   k e y w o r d   n o m atc h es  w i th   t h tr ai n in g   d ataset  th e n   th a t k e y w o r d   w ill   ca teg o r ized   as o th er .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  6 ,   No .   1 Ma r ch   2 0 1 7   :   74     78   78   5.   CO NCLU SI O N   First,  u ti lized   o u r   d ev elo p ed   tex m i n i n g   alg o r it h m s ,   in cl u d in g   tex m i n i n g   tec h n iq u e s   b ased   o n   class i f icatio n   o f   d ata  i n   s ev e r al  d ata  co llectio n s .   Af ter   t h at,   e m p lo y   e x iti n g   n e u r al  n et w o r k   to   d ea w ith   m ea s u r th tr ai n i n g   ti m f o r   f iv d ata  s ets.   B P is   v er y   p o p u lar   alg o r ith m   in   t h ap p licatio n s   p atter n   m atc h i n g ,   ch ar ac ter   r ec o g n itio n   etc. ,   Her th is   alg o r it h m   is   d is cu s s ed   w it h   r e f er en ce   to   t h T ex t c ateg o r izatio n   p r o b le m .   T h is   al g o r ith m   i s   y e t to   b e   i m p le m en ted   f o r   th is   p r o b le m .       6.   F UT UR E   WO RK   I m p le m e n tatio n   o f   t h is   alg o r it h m   is   co n s id er ed   as  p ar o f   t h f u t u r w o r k .   A p ar f r o m   B P P   th er ar o th er   alg o r ith m s   f o u n d   i n   Ne u r al  n et w o r k   s y s te m s .   Als o   as   in   th is   s y s te m   s o m f i x ed   lab elin g   is   co n s id er ed   in s tead   o f   t h i s   s y s te m   ca n   au to m atica ll y   g e n er ate  n e w   cla s s   a s   n e w   k e y w o r d   is   f o u n d .   T r ain in g   d ataset  s h o u ld   tr ain   as n e w   k e y w o r d   f o u n d .       RE F E R E NC E   [1 ]   T a k - La m   W o n g   a n d   Wai  L a m ,   L e a rn in g   to   A d a p W e b   In f o rm a t io n   Ex trac ti o n   K n o w led g e   a n d   D isc o v e rin g   Ne A tt rib u tes   v ia  a   Ba y e sia n   A p p ro a c h ,   IEE T ra n sa c ti o n o n   Kn o wled g e   a n d   Da ta   En g i n e e rin g ,   V o l .   2 2 ,   No .   4 ,   p p .   5 2 3 - 5 3 6 ,   2 0 1 0 .   [2 ]   R. K.  Ro u a n d   S . K.  S a h a y ,   An   Ef f e c ti v e   A p p ro a c h   f o W e b   Do c u m e n Clas sif ica ti o n   u sin g   th e   C o n c e p t   o f   A s so c iatio n   A n a l y sis  o Da ta  M in in g ,   In ter n a ti o n a J o u r n a o Co mp u ter   S c ien c e   a n d   E n g i n e e rin g   T e c h n o l o g y V o l .   3 ,   No .   1 0 ,   p p .   4 8 3 - 4 9 1 ,   2 0 1 2 .   [3 ]   Jia n g   S u ,   Je lb e S a y y a d   S h irab   a n d   S tan   M a tw in   L a r g e   S c a le  T e x Clas si f ic a ti o n   u sin g   S e m i - su p e rv ise d   M u lt i n o m ial  Na iv e   Ba y e s” ,   Pro c e e d in g o t h e   2 8 t h   In ter n a ti o n a l   Co n fer e n c e   o n   M a c h i n e   L e a rn i n g ,   p p .   9 7 - 1 0 4 ,   2 0 1 1 .   [4 ]   Am it   G a n a tra,  Y.  P .   Ko sta ,   G a u ra n g   P a n c h a a n d   C h i n tan   G a jj a r,   In it ial  Clas sif ica ti o n   T h ro u g h   Ba c k   Ne u ra l   Ne tw o rk   F o ll o w in g   Op ti m iz a ti o n   T h ro u g h   GA   to   Ev a lu a te  th e   F it n e ss   o f   a n   A lg o rit h m ,   In ter n a ti o n a J o u rn a o f   Co mp u ter   S c ien c e   &   In fo rm a ti o n   T e c h n o l o g y ,   Vo l.   3 ,   No .   1 ,   p p .   9 8 - 1 1 6 ,   2 0 1 1 .   [5 ]   Ya n   L iu ,   S h e n g - h u a   Z h o n g ,   W e n ji e   L i,   Qu e ry - Orie n ted   M u lt i - Do c u m e n S u m m a riz a ti o n   v ia  Un su p e rv ise d   De e p   L e a rn in g ,   Pro c e e d in g s o f   th e   T w e n ty - S ixth   AA AI  C o n fer e n c e   o n   A rtif icia I n telli g e n c e ,   p p .   1 6 9 9 - 1 7 0 5 ,   2 0 1 2 .   [6 ]   S a d u f   a n d   M o h d   A ri f   W a n i,   Co m p a ra ti v e   S tu d y   o f   B a c k   P ro p a g a ti o n   L e a rn in g   A lg o rit h m s   f o Ne u ra I ss u e   Ne tw o rk s” ,   In ter n a ti o n a J o u r n a o A d v a n c e d   Res e a rc h   in   C o m p u ter   S c ien c e   a n d   S o ft wa re   E n g i n e e rin g ,   Vo l.   3 ,   No .   1 2 ,   p p .   1 1 5 1 - 1 1 5 6 ,   2 0 1 3 .   [7 ]   Cit ra   Ra m a d h e n a ,   A sh ra f   O s m a n   Ib ra h im   a n d   S a rin a   S u laim a n ,   W e i g h ts  A d ju stm e n o f   Tw o - Ter m   Ba c k - P r o p a g a ti o n   Ne tw o rk   U sin g   A d a p ti v e   a n d   F ix e d   L e a rn in g   M e th o d s” ,   In ter n a ti o n a J o u r n a o A d v a n c e in   S o ft   Co mp u t in g   a n d   it s A p p li c a ti o n ,   Vo l.   5 ,   No .   2 ,   2 0 1 3 .   [8 ]   Da n iel  S o u d ry ,   Ita y   Hu b a ra   a n d   Ro n   M e ir,   Ex p e c tatio n   Ba c k   p ro p a g a ti o n P a ra m e ter - F re e   T r a in in g   o f   M u lt il a y e r   Ne u ra Ne t w o rk w it h   Co n ti n u o u o Disc re te  W e i g h ts” ,   Ad v a n c e in   Ne u ra In f o rm a ti o n   Pro c e ss in g   S y ste ms ,   p p .   9 6 3 - 9 7 1 ,   2 0 1 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.