I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   9 ,   No .   3 ,  Ma r ch   2 0 1 8 ,   p p .   752 ~ 763   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 9 . i3 . p p 7 5 2 - 763          752       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / ijeec s   I m pro v ing  P erfor m a nce  of D O M  in  Se m i - s tructu red  Da ta  Ex traction  U sing   WEI DJ  Mo del       I ly   A m a lin a   Ah m a d Sa bri,    M us t a f a   M a n   S c h o o l  o f   In f o rm a ti c s an d   A p p li e d   M a th e m a ti c s   Un iv e rsiti   M a la y si a   T e re n g g a n u ,  T e re n g g a n u ,   M a lay sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   9 ,   2 0 1 7   R ev i s ed   No v   2 0 ,   2 0 1 7   A cc ep ted   Dec   1 1 ,   2 0 1 7       W e b   d a ta  e x trac ti o n   is  th e   p ro c e ss   o f   e x tr a c ti n g   u se r  re q u ired   i n f o rm a ti o n   f ro m   we b   p a g e .   T h e   in f o r m a ti o n   c o n sists   o f   se m i - stru c tu re d   d a ta  n o t  in   stru c tu re d   f o rm a t.   T h e   e x trac ti o n   d a ta  in v o lv e s  th e   w e b   d o c u m e n ts  in   h tm l  f o r m a t.   No w a d a y s,  m o st  p e o p l e   u se s  w e b   d a ta  e x trac to rs  b e c a u se   th e   e x trac ti o n   in v o lv e   larg e   in f o r m a ti o n   w h ich   m a k e s  th e   p ro c e ss   o f   m a n u a l   in f o rm a ti o n   e x tra c ti o n   tak e s  ti m e   a n d   c o m p li c a ted .   We  p re se n t  in   th is  p a p e r  W EI DJ   a p p ro a c h   t o   e x trac t  im a g e s  f ro m   th e   w e b ,   w h o se   g o a l  is  to   h a rv e st   im a g e s  a s  o b jec t  f ro m   te m p la te - b a se d   h tm l  p a g e s.  T h e   W E IDJ   (W e b   Ex trac ti o n   Im a g e   u sin g   DO M   (Do c u m e n t  Ob jec t  M o d e l)  a n d   JSON   (Ja v a S c rip t  Ob jec t  No tatio n ))  a p p li e s  DO M   th e o ry   in   o rd e r  to   b u il d   th e   stru c tu re   a n d   JSON  a s  e n v iro n m e n t  o f   p ro g ra m m in g .   T h e   e x trac ti o n   p r o c e ss   lev e ra g e s  b o th   th e   in p u t  o f   we b   a d d re ss   a n d   t h e   stru c tu re   o f   e x trac t io n .   T h e n ,   W EIDJ  sp li ts  DO M   tree   in to   sm a ll   su b tree s  a n d   a p p li e s  se a rc h in g   a lg o rit h m   b y   v isu a l  b lo c k s  f o r  e a c h   w e b   p a g e   to   f in d   ima g e s.  Ou r  a p p ro a c h   f o c u s  o n   th re e   lev e l  o f   e x tra c ti o n ;  sin g le  w e b   p a g e ,   m u lt ip le  w e b   p a g e   a n d   th e   w h o le  w e b   p a g e .   Ex ten siv e   e x p e ri m e n ts   o n   se v e ra l  b io d iv e rsity   we b   p a g e s  h a s  b e e n   d o n e   to   sh o w   th e   c o m p a riso n   ti m e   p e r f o r m a n c e   b e t w e e n   i m a g e   e x tra c ti o n   u sin g   DO M ,   JSON a n d   W EIDJ fo r  sin g le w e b   p a g e .   T h e   e x p e rime n tal  re su lt s   a d v o c a te  v i a   o u r  m o d e l,   W EID J  i m a g e   e x trac ti o n   c a n   b e   d o n e   f a st  a n d   e ffe c ti v e l y .   K ey w o r d s :   DOM   ( Do cu m e n t O b j ec t  Mo d el)     J SON  ( J av aScr ip t O b j ec t  No tatio n )   I n f o r m a tio n   E x tr ac tio n   Se m i - s tr u ct u r ed   Data .   Co p y rig h t  ©   2 0 1 8   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   I l y   Am a lin a  Ah m ad   Sab r i ,    Sch o o l o f   I n f o r m atic s   an d   A p p lied   Ma th e m at ics    Un i v er s iti Ma la y s ia  T er en g g a n u ,   T er en g g an u ,   Ma la y s ia   E m ail:  il y li n a @ y a h o o . co m       1.   I NT RO D UCT I O N     Data   in te g r atio n   is   co n s id er ed   as  o n e  o f   t h e  h o t  is s u e s   t o   b e  s o lv ed   esp ec iall y   i n   i n t eg r atin g   u n s tr u ct u r ed   d ata  w it h   m u lti p le  t y p es  a n d   f o r m ats   an d   s to r ed   in   d if f er en t   lo ca tio n   [ 1 ] .   T h e  in te g r atio n   b et w ee n   t h e  s tr u ct u r ed   an d   u n s tr u ct u r ed   d at a  is   co n ce r n ed   b y   ce r tai n   o r g a n izatio n s   in   ter m s   o f   th eir   b en e f its   to   r etr iev e  v alu ab le  i n f o r m ati o n   an d   k n o w led g e  [ 2 ] .   I n   d ata   in teg r atio n ,   i m p o s i n g   a  s in g l e  g lo b al  s ch e m a  f o r   all  u s er s   ca n   s er io u s l y   i n ter f er e  w it h   t h eir   in d i v id u al  w o r k ,   as  t h e  au to n o m y   o f   i n f o r m atio n   r ec ei v er s   i s   v io lated .   T h e  au to n o m y   o f   i n f o r m atio n   r ec ei v er s   i m p lies   th at  i n teg r ated   i n f o r m atio n   u s e  m u s t  b e  n o n - in tr u s i v e  [ 3 ] .   T h is   m ea n s   t h at  u s er s   s h o u ld   n o t b e  f o r ce d   to   ad ap t to   an y   s ta n d ar d   co n ce r n i n g   t h e  s tr u ct u r e  an d   m ea n in g   o f   t h e  d ata  th e y   r e q u est.  T h e  d esire d   k in d   o f   d ata  in te g r atio n   ca n   th u s   b e  c h ar ac ter ized   b y   t h e  o p tim a l  f it n es s   o f   th e  s u p p lie d   in f o r m atio n   f o r   a  ce r tain   p u r p o s e,   co n ce r n in g   t h e  o r g an iz atio n ,   p r esen tatio n ,   an d   s e m an tics .   T o   s tate  t h is   d if f er en tl y ,   t h e  i n te g r ated   in f o r m atio n   th at   is   p r o v id ed   h as  al l  t h e  r elati v e   q u alities   r eq u ir ed   b y   a  p ar ticu lar   u s er   i n   a  s p ec i f ic  tas k .   T h e  d ata  r esid es  in   d i f f er e n t  f o r m s ,   r an g in g   f r o m   u n s tr u ct u r ed   d ata  ( USD)   i n   f ile  s y s te m s   to   h i g h l y   s tr u ct u r e  in   r elat io n al  d atab ase  s y s te m s .   W e  n ee d   to   co n s id er   t h r ee   t y p e s   o f   d ata  s u ch   as   s tr u ctu r ed   d ata   ( SD) ,   u n s tr u ctu r ed   d ata   ( USD)   a n d   s e m i - s tr u ct u r ed   d ata  ( SS D)   as s h o w n   i n   Fi g u r e  1   [ 4 ] .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       I mp r o vin g   P erfo r ma n ce   o f D OM in   S emi - s tr u ctu r ed   Da ta   E xtra ctio n …   ( I ly  A ma lin a   A h ma d   S a b r i )   753       Fig u r e  1 .   T y p es o f   Data       Data   ex t r a cti o n   is   a  p a r t  o f   d a ta  in t eg r ati o n   p r o c ess .   I t  is   th e  p r o c ess   t o   ex tr ac t   u s ef u l  in f o r m ati o n   b as ed   o n   u s e r   r e q u ir e d   in f o r m atio n .   E x t r ac ti o n   o f   th e  i n f o r m atio n   f r o m   w eb   is   ca l led   as  “ W eb   Dat a  Ex tr ac t io n ” .   I t  al lo w s   u s er   to   an aly s e  s em i - s tr u ctu r e d   d ata   f r o m   d if f er en t  v i ew s   an d   ar r an g ed   in   s t r u ctu r e d   f o r m   s u ch   as ta b u la r   f o r m at.   E x tr a cti o n   an d   an aly s is   in f o r m atio n   f r o m   w eb   p ag es is   an   ex ci ted   r ese ar ch   ar ea   in   th e  d at a  ex tr ac t io n   f i el d .   I n t e r n et  h as   m ad e  th e   w o r ld   w i d e  w eb   ( w w w )   as  an   o c ea n   o f   in f o r m ati o n   th a t  p r o v i d e   u s er s   to   c o l le ct  an d   an a ly s e  in f o r m ati o n .   W e b   is   th e  l ar g est  p l atf o r m   th at   la r g e   p o o l   o f   in f o r m a tio n   s o u r ce   f o r   p eo p l e.   T h e   v ar io u s   in f o r m atio n   th a t  ar e  u s u ally   av ail ab le  o n   th e  w eb   ar e   a d v er tis em en t,  n av ig ati o n ,   c o n t ac t  in f o r m atio n   an d   d e co r a ti o n .   T h e  m is ce ll an e o u s   in f o r m atio n   f o u n d   o n   a n y   w eb   p ag es  a r e  s e ld o m   r el ate d   t o   v alu a b l e  in f o r m atio n .   I t  is   ca lle d   as  n o i s y .   Fu r th er m o r e,   e ac h   w eb   p a g e  h as  m u ltip le  to p i cs  th at  a r e   n o t  r el ate d   t o   e ac h   o th e r .   M o s t   w eb   a p p lic ati o n s   d ev el o p e d   w ith   r e ce n t   p r o g r ess   in   c o m p u tin g   tech n o l o g ies   als o   c o n tain   m u ltim ed ia  d at a  s u ch   as  im ag es,  g r a p h ics  an d   au d i o   h av e  in cr ea s e d   o v e r   th e  p ast   s ev e r al   y ea r s   [ 5 ] .   R ec en tly ,   d et ec tin g   o r   ex tr ac t in g   ce r tain   in f o r m atio n   o r   w eb   p ag e  co n t e n t b ec o m es u s er   p r i o r ity   [ 6 ] .   Mu ltim ed ia  c o n t en ts   s h o u ld   b e   j u s t  ea s y   t o   r e tr i ev e d   an d   ac c ess e d   as   al p h an u m er ic   d ata   b y   u s er .     Hu m an   p er ce p t io n   is   th e  m o s t  im p o r t an t  th in g   th at  w e  n ee d   to   c o n s id er   to   m ak e  u s er   f ee l  co m f o r t ab le  an d   ea s y   to   u s e  a  s o f tw ar e.   Ma n y   s o f tw ar e  d ev e lo p e d   u s in g   v ar i o u s   tech n i q u es .   Do cu m en t  Ob jec t   Mo d el  o r   k n o w n   as  DOM   is   a  tech n iq u e  th at  ca n   s t r u ctu r e  w eb   p ag e  co n t en ts   in to   d et ails   w ith   ea ch   h t m l  tag s   in   tr e e  s t r u ctu r e.   T h e  m ajo r ity   w eb   p ag es  a r e  w r itten   in   h tm l  co m p a r e  t o   x m l  f o r m at.   T h e   m ain   o b j e ctiv e  o f   th is   r es ea r ch   is   t o   p r o v i d e  u s er   th e  ea s e  o f   u n d e r s t an d in g   to   s tr u ctu r e  o f   w eb   p ag e  c o n ten ts   co m p a r e  t o   co m p lic at ed   te ch n iq u e .   N atu r al ly ,   m an k in d   u n d er s t an d   b et te r   f r o m   th e  v is u al  p r es en tati o n   th an   tex t   p r esen t ati o n .   W h en   a  w eb   p a g e  is   p r es en te d   t o   u s er ,   v is u al   v ie w   ca n   h elp   th e  u s er   to   d i v id e  w eb   p ag e  in t o   s ev er al   p ar t.       I n   p r ev io u s   w o r k s   [ 7 ,  8 ] ,   w e  d i s cu s s ed   th e   ex p e r im en tal  p r o c ess   o f   im ag e  ex t r a cti o n   b as ed   o n   DO M   an d   J SON .   T h e  p e r f o r m an ce   o f   in f o r m ati o n   ex tr ac t io n   b as ed   o n   p r ev i o u s   s tu d y   s h o w s   DOM   is   f aste r   th an   o th e r   a p p r o a ch es.  H o w ev er ,   D OM   co n s u m es  lar g e  am o u n t  o f   m e m o r y   w h en   th e  h t m l  s tr u ctu r e  b ec o m es  lar g e .   T h e  l ar g e  u s ag e  o f   m em o r y   w i ll  af f ec t  th e   o p er ati o n al   s p ee d .       T h u s ,   w e  p r es en t W r a p p er   f o r   I m ag e  E x tr ac t io n   u s in g   DOM   an d   J SO N  ( W E I D J )   m o d e l  in   d eta ils   t o   ex t r ac t  i m ag es  f r o m   a  w eb   p ag e .   E v e r y   w eb   p ag e   is   m ad e   o f   th ei r   o w n   s tr u ctu r e   in clu d es  m ain   to p ic ,   r e lat ed   t o p ics ,   ad d i ti o n al  in f o r m ati o n ,   a d v e r tis em en t,  c o n ta ct  in f o r m atio n ,   im ag e,   au d i o   an d   v id e o   f ile .   W eb   p ag es  p r o v id es  l ar g e  p o o l  o f   in f o r m atio n   f o r   p e o p le .   T h es e   in f o r m atio n   c an   b e  u s e d   f o r   b en ef i cia l  p u r p o s e .   T h is   p a p e r   p r o p o s es  a  n ew   to o l  to   ex tr ac t  im ag es  th at  w ill  d em o n s tr ate   b et te r   p e r f o r m an ce   th an   ex is t in g   m eth o d s   s u ch   a s   DOM   an d   o th er   c o n v en ti o n al   m eth o d .   I n   th is   r es ea r ch ,   w e  w ill  h ig h lig h t  th e  ex t r a cti o n   p r o b lem   f r o m   th e  u s er ' s   p e r s p ec tiv e  w ith   r eg ar d s   t o   s ea r ch   o f   m u lti m ed ia  in f o r m at io n .   T h e  in itia l p r o ce s s   o f   ex tr ac ti o n   s ta r ts   w ith   d escr i p ti o n   o f   tar g ete d   w eb   p ag e   w h ich   is   p r o v i d e d   v ia  q u er y   in ter f a ce .   Ou r   p r o p o s ed   m o d el,   W E I D J   aim s   to   im p r o v e  th e  p r o ce s s in g   tim e  f o r   lo a d in g   im ag es,  th e  ac cu r a cy   o f   th e  ex t r a cti o n   p r o c ess   an d   it  is   m o r e  ef f ic ien t  an d   lig h t w eig h t  th an   m an u al   p r o ce s s .   T h is   is   b e ca u s e   m an u al  p r o ce s s   o f   ex t r a cti o n   is   t im e  c o n s u m in g .   T h e  r em ain d e r   o f   th is   p a p e r   is   o r g an i ze d   as   f o ll o w s :  T h e  r ela te d   w o r k s   an d   a p p lic at io n s   a r e   d is cu s s ed   in   n ex t  s ec t io n .   Sp e ci a l  in te r est  in teg r a tin g   DOM   an d   J SON  h as  b ee n   f o cu s ed   in   ex t r a ctin g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  9 ,   No .   3 ,  Ma r ch   2 0 1 8   :   7 5 2   –   7 6 3   754   in f o r m atio n   f r o m   w eb   p ag e  i n   W E I D J   M o d e l.  S ec t io n   R e s u lts   d em o n s tr at es  th e  ex p er i m en tal  r esu lt  o f   th i s   p a p e r   in   ex tr ac t in g   i m ag es  u s in g   th r ee   ap p r o ac h .   Fin ally ,   w e  o f f er   o u r   c o n c lu s io n s   an d   p la n s   f o r   f u tu r e  w o r k s   in   C o n c lu s io n .       2.   RE L AT E D  WO RK S   W eb   d ata  ex tr ac tio n s   ar e  ap p licatio n s   t h at  u s ed   to   ex tr ac t  s e m i - s tr u ct u r ed   d ata  f r o m   w eb   p ag e.   Usu al l y   t h e  e x tr ac tio n   p r o ce s s   in v o lv ed   w eb   d ata  ex tr ac tio n   s y s te m   an d   w eb   s o u r ce .   T h e  s y s te m   w i ll  i n ter a ct   w it h   th e  w eb   p ag e  a n d   ex tr ac t   s e m i - s tr u c tu r ed   d ata.   T h e  ex t r ac ted   co n ten t s   m a y   co n tai n   v ar io u s   ele m e n ts   o f   m u lti m ed ia  d ata  s u c h   as  a u d i o ,   v id eo ,   tex t  an d   i m a g e.   Af t er   ex tr ac tio n   p r o ce s s ,   th e  d at a  w il l  b e  s to r ed   in   te m p o r ar y   f o ld er   o r   d ir ec tly   s t o r e  in to   d atab ase.   T h ese  s y s te m   h a v e  b ee n   d e v elo p ed   to   ass i s t  h u m an   in   a  w id e   r an g e  ap p licatio n s .   T h e  ad v an tag e s   o f   w eb   d ata  e x tr ac ti o n   s y s te m s   ar e  it  ca n   co lle ct  m ea n i n g f u l  d ata   ef f icien tl y   a n d   d ec r ea s e  h u m an   e f f o r t  in   s tr u c tu r ed   w a y .   T h er e  ar e  m an y   d i s cu s s i o n s   f r o m   d i f f er e n t   p er s p ec tiv es  ab o u t  s cie n ti f ic  m et h o d s   an d   tech n iq u e s .   T h e  d esig n   a n d   i m p le m en tatio n   c o m e s   f r o m   v ar io u s   d is cip lin ed   s u ch   a s   m ac h i n e  le ar n in g ,   n at u r al  la n g u a g e  p r o ce s s i n g   a n d   lo g ic.         2 . 1   Do cum ent   O b j ec t   M o d el  ( D O M )     T h e  Do cu m en t  Ob j ec t  Mo d el  ( DOM )   is   a  p r o g r am m in g   A P I   f o r   h tm l  an d   x m l  d o cu m en ts .   Pe o p le   ca n   c r e at e  an d   b u il d   d o cu m en ts   u s in g   DOM .   B esi d es   th at ,   th is   m o d el   ca n   b e  u s e d   t o   m an ip u late  el em en ts   an d   co n t en ts   o f   h tm l  an d   x m l  d o cu m en ts   s u ch   as  ad d ,   m o d if y   o r   d el et e.   N ar aw ad e,   e t  al .   [ 9 ]   d e v elo p e d   p ag e  l ev el   d at a  ex t r a cti o n   s y s tem   u s in g   DOM   t r ee .   T h e r e  a r e  tw o   ty p es  o f   tech n i q u e  f o r   d at a  ex t r a cti o n ;  o n l in e  an d   o f f lin e  m o d e .   On lin e  m o d e  is   ap p li e d   in   r ea l  tim e  ex tr ac ti o n   b u t  o f f lin e  m o d e  is   v ice  v e r s a.     T h e r e  a r e  th r e e   s tag es  w eb   p ag e  r en d e r e r ,   s ec ti o n   s el ec t o r ,   an d   p at te r n   g en er a to r .   T h e  s y s tem   w ill  ex tr ac t  th e  co n t en t   d y n a m ically   f r o m   th e  d if f er e n t  s tr u c tu r ed   w eb   p ag es  s u c h   as  b l o g s ,   f o r u m s ,   a r ti cles   an d   etc .   DOM   tr ee   s tr u ctu r e   h as   b ee n   a p p lie d   f o r   co n t en t  ex tr ac t io n   in   o r d e r   t o   o b ta in   b et te r   r e p r es en tat io n   o f   t h e  d at a  f o r m at.   San g ee th a  [ 1 0 ]   p r o p o s e d   a  t o o l  th at  ca n   p r o ce s s   th e  R es o u r c e  Desc r i p ti o n   Fr am e w o r k   ( R DF)   B ase d   Sea r ch   an d   D OM   B as e d   Se ar c h   to   ex tr ac t   th e  r e lev an cy   d ata .   R DF  is   u s e d   al o n g   w ith   DOM   to   g iv e  u s e r   q u e r y   an s w er   p r e cise ly .   T h e  DO M  s eg m en t  f u s in g   alg o r i th m   is   u s ed   t o   an aly ze   an d   f u s e  th e  ex t r a cte d   in f o r m atio n   f r o m   w eb .   Me h ta   an d   Na r v ek a r   [ 1 1 ]   p r o p o s e d   a n d   r e d es ig n ed   b asi c  D OM   a p p r o ac h   f o r   c o n ten t  ex t r ac ti o n   t o   m ak e  it  ap p li ca b l e  f o r   d if f er e n t  w eb   p ag e  s tr u c tu r es  s u ch   as  b lo g s ,   f o r u m s   an d   ar ti cles .   T h e  to o l  c an   ex tr a ct   in f o r m atio n   b ase d   o n   tw o   d if f er en t   s e ar ch in g   m eth o d s ;   R u n ti m e  g en er at ed   l is t  an d   St o r e d   U R L   lis t.     2 . 2   J a v a Sc rip t   O bj ec t   N o t a t i o n  ( J SO N)   T h e  d ev elo p m en t  o f   w eb   ap p licatio n s   h as  b ec o m e  attr ac tiv e  d is cip lin ed   in   th e  w eb   en v ir o n m e n t.   T h e  u s e  an d   co m p o s it io n   o f   d if f er e n t  o f   A P I   tech n o lo g y   i s   v er y   i m p o r tan t  an d   i n f lu e n t   ap p licatio n s .   T h is   is s u e  n ee d   to   b e  d ea l  to   d is co v er   J SON  ap p r o ac h   b ased   o n   t h e  w eb .   I n   r ec en t  y ea r s ,   a  n e w  tech n o lo g y ,   J SON   b ased   o n   w eb   ap p licatio n s   h a s   b ee n   s p r ea d in g   t h e  w eb   en v i r o n m e n t.  J SON  is   a  lig h t w ei g h t  d ata - i n ter ch a n g e   f o r m at.   I t  is   s e lf - d escr ib i n g   a n d   ea s y   to   u n d er s ta n d .   I t  is   ea s y   f o r   h u m an s   to   r ea d   an d   w r it e.   I t  is   also   ea s y   f o r   m ac h in e s   to   p ar s e  an d   g en er a te  d ata  an d   v er y   e f f icie n c y   f o r   d ata  ex tr ac tio n   an d   q u er y   r etr iev al  [ 12 ] .   J SON,   DOM   an d   X ML   ar e  d if f er en t   tech n o lo g ies   t h at  h av e  b ee n   d ev elo p ed   to   s o lv e  d if f er e n t  p r o b lem s .   T h e y   ar e  d esig n ed   f o r   d if f er e n t p u r p o s e .   T a b le  1   d is cu s s ed   d if f er e n t te ch n o lo g ies o f       J SON,   DOM   a n d   XM L .       T ab le  1 .   C o m p ar is o n s   o f   Di f f e r en t T ec h n o lo g ies   Jav a S c r i p t   O b j e c t   N o t a t i o n   ( JS O N )   D o c u me n t   O b j e c t   M o d e l   ( D O M )   e X t e n si b l e   M a r k u p   L a n g u a g e   ( X M L )   -   JS O N   i s  a   l i g h t w e i g h t ,   t e x t   b a se d   f o r mat   c a n   b e   u se d   f o r   d a t a   i n t e r c h a n g e   f o r mat .   -   i t   i s  h u ma n   r e a d a b l e   -   D O M   i s  u se d   f o r   man i p u l a t i n g   a n d   r e p r e se n t i n g   h t ml   a n d   x ml   d o c u me n t s .   -   X M L   i s  d e si g n e d   t o   st o r e   a n d   t r a n s p o r t   d a t a .   -   I t   i s  r e a d a b l e   f o r   h u ma n   a n d   mac h i n e .   -   X M L   i s  mo r e   c o mp l e x   c o mp a r e   t o   JS O N .       T h e  w o r k   b y   [ 13 - 15 ]   p r o p o s ed   Du ck y   f o cu s ed   o n   th e  d ata  ex tr ac tio n .   D u ck y ,   as  a  s e m i - au to m at ic  s y s te m   u s i n g   J SON  ap p r o ac h   w h ich   ca n   e x tr ac t  d ata  f r o m   w eb   s o u r ce s   a n d   r ep r esen t  all  th e  in f o r m atio n   i n   s tr u ct u r ed   f o r m at.   I n   D u c k y ,   th e  co n f ig u r atio n   f ile  w i ll  b e   d ef i n ed   as   a  w el l - f o r m ed   J S ON  d o cu m en t   a n d   co n tain s   s ev er al  p ar a m eter s   u s ed   f o r   d ata  ex tr ac tio n   p r o ce s s .   I n   th is   f ile,   d ata  m an a g e m en t  an d   r u les  ar e  b ee n   s p ec if ied   as it i s   to   b e  r ea d ab le   an d   to   b e  ex p r ess ed   v er y   s i m p ly   b y   u s in g   J SON  f o r m at.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       I mp r o vin g   P erfo r ma n ce   o f D OM in   S emi - s tr u ctu r ed   Da ta   E xtra ctio n …   ( I ly  A ma lin a   A h ma d   S a b r i )   755       W an g   [ 1 6 ]   p r o p o s ed   r ec u r s iv e  alg o r ith m   to   tr an s late  XM L   an d   J SON  o b j ec ts   in   s er ializi n g   f o r m s   b ased   o n   t h e  m u lti   tr ee   d ata   s t r u ctu r e.   T h is   r esear c h   i s   m o ti v ated   d u e   to   XM L   an d   J SON  ar e  w id el y   u s ed   i n   ap p licatio n   d ev elo p m e n t.  I n   t h is   e x p er i m e n tal  w o r k ,   J SON   is   an a l y ze d   as  s tr i n g   ar r a y s .   T h is   is   t h e  r ea s o n   w h y   J SO N  is   f aster   t h an   DO M - s t y le  XM L   o b j ec ts .   J SON  h as   b ee n   w id el y   u s ed   in   t h e  ac t u al  d e v elo p m e n t  o f   w eb   ap p licatio n s   m a y b e  i n   s i m i lar   f u n ctio n s   b u t  i n   d if f er e n t  d o m ai n   an d   ap p licatio n s .   B esid es  th at,   w eb   w r ap p er   is   a  p r o g r a m   th at  ca n   ex tr ac t  in f o r m atio n   f r o m   w eb   s o u r ce s   an d   tr a n s late s   t h e m   i n to   r elati o n al  f o r m .   W r ap p er s   ca n   ap p l y   J SON   an d   D OM   in   th e ir   f u n ct io n alit y .     2 . 3   Wr a pp e rs     No w ad ay s ,   m an y   s y s tem s   f o r   d a ta  ex t r ac ti o n   f r o m   w eb   p ag es   h av e   b ee n   d ev el o p e d   [ 17 ] .   A   tr a d i ti o n al  a p p r o a ch   is   to   w r ite  s p e cif ic  p r o g r am s   ca lle d   as  “ ex tr ac to r ”  o r   “ w r ap p er s ”  is   d ev el o p e d   to   ex t r a ct   th e  co n t en ts   o f   th e  w eb   p ag es   b ase d   o n   ce r t ain   cr i te r ia .   A   s u r v ey   th at  o f f er s   a  r ig o r o u s   ta x o n o m y   to   class if y   w eb   d at a  ex t r ac ti o n   s y s tem s   h as  b e en   p r esen t ed   b y   L ae n d e r ,   et  al .   [ 1 8 ] .      A lar te ,   et  al .   [ 1 9 ]   p r o p o s e d   a   m eth o d   th at   ca n   r em o v e  i r r el ev an t  in f o r m atio n   f r o m   w eb   t em p late .   DOM   t r ee   is   u s e d   t o   an a ly s e  th e  s im ilar ity   b etw ee n   a  co l lect io n s   o f   a  w eb p ag e  th a t  a r e  d e te cte d   u s in g   a  h y p er lin k   an a ly s is .   A b id in ,   et   al .   [ 2 0 ]   in t r o d u ce d   an   au t o m ated   u n s tr u c tu r e d   d ata   c ap t u r in g   f o r   s t r u ctu r e d   s to r in g   th at  d e als  w ith   m u ltim ed ia  d ata .   T h is   r es ea r ch   s t at ed   th at  th e  u n s tr u ctu r e d   d ata  s u ch   as  m u lti m ed ia   f iles ,   d o cu m en ts ,   s p r ea d s h e ets ,   n ew s ,   e m ails ,   m e m o r an d u m s ,   r ep o r ts   an d   w eb   p ag es  a r e  d if f icu lt  t o   c a p tu r e   an d   s t o r e  in   th e  c o m m o n   d at ab ase  s t o r ag e .   E v en   th e r e  ar e  m an y   to o ls   an d   tech n i q u es   th at  p r o v e d   t o   b e   s u cc ess f u l  in   tr an s f o r m in g   u n s tr u ctu r e d   d at a  t o   v alu a b le  in f o r m atio n   b u t  i t  s im p ly   d o   n o t  w o r k   w h en   it  co m es  to   u n s tr u ctu r e d   o r   s em i - s tr u ctu r e d   d ata .   W eb   w r ap p er   is   a  p r o ce d u r e  t h at  m ig h t  i m p le m e n t  s ev er al  o f   tech n iq u e s   in   t h eir   alg o r it h m s .   T h e  g o al  is   to   s ee k   a n d   f in d   d ata  r e q u ir ed   b y   h u m a n   u s er s   w h ic h   is   e x tr ac tin g   u n s tr u ct u r ed   o r   s e m i - s tr u ct u r ed   d ata   f r o m   w eb   s o u r ce s .   Fi n all y   t h e  d ata  w ill  b e  tr a n s f o r m ed   i n to   s tr u ct u r ed   d ata  f o r   m u lti - p u r p o s e.   L atel y ,   t h e  p r o b lem   o f   ex tr ac ti n g   in f o r m atio n   f r o m   u n k n o w n   s ite s   is   g etti n g   m u ch   atte n tio n ,   b u t  t h e  o n l y   co n cl u s iv e   r esu lt s   ar e  r eg ar d in g   u n s tr u c tu r ed   o r   s em i - s tr u c tu r ed   d o cu m e n t s .   T h e  th e m e  o f   W eb   Data   E x tr ac tio n   i s   co v er ed   b y   a  n u m b er   o f   r ev i e w s .   Fer r ar a  et  al.   [ 17 ]   p r ese n ted   a  s u r v e y   to o ls   a n d   tech n iq u es  o v er v ie w   f o r   W eb   Data   E x tr ac tio n .   T h e  g o al  o f   t h is   s u r v e y   is   to   p r o v id e  a  s tr u ct u r ed   an d   co m p r eh e n s i v e  o v er v ie w   o f   t h e   r esear ch   o f   W eb   Data   E x tr ac ti o n .   I n   2 0 0 8 ,   a  r elev an t  s u r v e y   o n   in f o r m atio n   ex tr ac t io n   h a s   b ee n   d is cu s s ed   b y   [ 21 ] .   T h is   p ap er   b eliev ed   th a t   th e   au to m atic  e x tr ac tio n   o f   i n f o r m atio n   f r o m   u n s tr u c tu r ed   s o u r ce s   h a s   o p en ed   u p   n e w   a v en u es  f o r   q u er y i n g ,   o r g an izi n g ,   an d   an al y zi n g   d ata  b y   d r a w i n g   u p o n   t h e  clea n   s e m a n tics   o f   s tr u ct u r ed   d atab ases   a n d   th e   ab u n d a n ce   o f   u n s tr u ct u r ed   d ata.   Fles ca ,   et  al.   [ 2 2 ]   s u r v e y ed   ap p r o ac h es ,   tech n iq u es a n d   to o ls   f o r   ex tr ac tin g   in f o r m at io n   av a ilab le  o n   t h e  W eb .     I n   T ab le   2 ,   w e  s u m m ar ize   ap p licatio n s   th at  h a v e  b ee n   d ev elo p ed   f o r   s e m i - s tr u c t u r ed   d ata   ex tr ac tio n .   Ho w ev er ,   t h er e  is   n o t  m u ch   r esear c h   d o n e  p er tain i n g   to   d ata  ex tr ac tio n   f o r   m u lti m ed ia  d ata  s u c h   as i m a g e,   au d io   an d   v id eo .       T a b le   2 .   C o m p a r a tiv e   A n aly s i s   o f   Dat a  E x t r a cti o n   A u t h o r   M o d e   S e mi - st r u c t u r e d   D a t a   T e x t   A u d i o   V i d e o   I mag e   R a z a   &   G u l w a n i   [ 23 ]   O n l i n e   /         W a g h mare   &   M a r a l   [ 24 ]   O f f l i n e     /         N a r a w a d e     e t   a l .   [ 9 ]   O n l i n e   O f f l i n e   /         S o n g ,   S u n ,   &   L i a o   [ 25 ]   O n l i n e   /         B h a r d w a j   &   M a n g a t   [ 26 ]   O n l i n e   /   /   /   /   K a d a m &   P a k l e   [ 27 ]   O n l i n e   /         L ó p e z   e t   a l .   [ 28 ]   O n l i n e   /         A b i d i n ,   I d r i s,  &   H u sa i n   [ 20 ]   O n l i n e   /   /   /   /       Do cu m e n t  Ob j ec t  Mo d el  ( DOM )   ca n   b e  ap p lied   d ir ec tly   to   f in d   t h e  r eq u ir ed   in f o r m a tio n   f r o m   h t m l  d o cu m en ts .   A b id in ,   et  al.   [ 2 0 ]   co n s tr u cted   DOM   tr ee   s tr u ct u r e  o n   t h e  f ir s t  s tep .   T h en ,   u n n ec e s s ar y   n o d es  s u c h   as  s cr ip t,  s t y le  n ee d   to   b e  f ilter e d .   C lass i f ic atio n   p r o ce s s   is   i m p o r ta n t  t o   s ea r ch   class e s   o f   m u lti m ed ia  d ata.   Data   f o r   m e d ia  w ill  b e  r ec o g n ized   w h e n   t h e  p ar s er   f o u n d   w o r d   “ s r c= ”  i n   th e  d ata  s tr u c tu r e.   Fin all y   m u lti m ed ia  d ata  ca n   b e  ex tr ac ted .   Ho w e v er ,   it  h as  b ee n   f o u n d   th at   it  r eq u ir es  la r g e  a m o u n t  o f   p r o ce s s in g   ti m e  d u r i n g   t h e  ex tr ac tio n   p r o ce s s   o f   w eb   p ag es   th at  co n s i s t  o f   lar g e  h t m l  s tr u ctu r e.   B esid es  th at,   th e  e x tr ac tio n   p r o ce s s   w i ll  e x tr ac t  all  i m ag e s   w it h o u t   co n s i d er   r ep etitiv e  f ile s   as  s h o w   in   Fig u r e  2 .   W E I DJ   Mo d el  is   p r o p o s ed   to   o v er co m e  th e  li m itatio n s   o f   DO M  m o d el  in   ex tr ac ti n g   i m ag e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  9 ,   No .   3 ,  Ma r ch   2 0 1 8   :   7 5 2   –   7 6 3   756       Fig u r e  2 .   R ep etitio n   I m a g e       3.   WE I DJ   M O DE L   T h is   r esear ch   p r o p o s es  th e  in f o r m atio n   i n te g r atio n   m o d el  f o r   d ata  ex tr ac tio n   f o c u s   o n   s e m i - s tr u ct u r ed   d ata  s u c h   a s   i m a g e,   v id eo ,   au d io   an d   te x t b y   u s i n g   D o cu m e n t O b j ec t M o d el  ( DOM )   an d   J av aScr ip t   Ob j ec t  No tatio n   ( J SON) .   B ase d   o n   th e  p r o p o s ed   in teg r atio n   m o d el s ,   a  m ed iato r   to o l  ca lled   as  a  w r ap p er   w ill   b e  d ev elo p ed   as  ex p er im e n ta l  to   ex tr ac t  s e m i - s tr u ct u r ed   d ata  f r o m   h e ter o g en eo u s   s o u r ce   lik e  w eb   p ag es.   E x p e r i m e n ts   w ill  b e  co n d u cte d   o n   Seti u   w etla n d s   w eb   s ite   an d   b io d iv er s it y   w eb   p ag e s   d ataset  f o r   tes tb ed .   T h e  aim   o f   th is   w o r k   is   to   f i n d   ex tr ac t i o n   ap p r o ac h   th at  c an   id en t if y   an d   ex tr a ct  im ag es.  I n   th is   p a p e r ,   w e   p r o p o s e  W E I D J   m o d e l  t o   ex tr a ct  im ag es  f r o m   a  w e b   p a g e  as  s h o w n   in   Fig u r e  3 .   I t   als o   m in es  im ag es  in f o r m atio n   an d   f o cu s es  o n   ar r an g in g   th e  ex tr a ct ed   d at a  in   a  tab u la r   f o r m at.   T h is   to o l  aim s   s p ee d   an d   p e r f o r m an ce   o f   im ag e  ex t r ac t io n .   L o ts   o f   ap p l ic ati o n s   w o r k ed   o n   ex tr ac t in g   in f o r m ati o n   th en   a r r an g e  th e m   in to   s t r u ctu r e d   f o r m at  [ 29 ,  30 ] .   Min in g   in f o r m atio n   r e c o r d s   in   d ata  r eg i o n s   p lay s   im p o r ta n t  r o l e.   I t  b ec o m es  ea s i er   t o   ex t r a ct  d at a  f r o m   d at a   r eg i o n s   b e ca u s e  i t c o n tain s   u s ef u l d at a  s u ch   as im ag es,  tex t,  au d i o   an d   v id eo .   A   tech n i q u e  is   n ee d ed   f o r   th e  p r o c ess   o f   m in in g   d ata  a r e a.   T h i s   m o d el  p r o p o s ed   DOM   t r e e  t o   m in e  d ata  r eg io n s   in   w eb   p ag e .           Fig u r e  3 .   W E I DJ   ex tr ac tio n   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       I mp r o vin g   P erfo r ma n ce   o f D OM in   S emi - s tr u ctu r ed   Da ta   E xtra ctio n …   ( I ly  A ma lin a   A h ma d   S a b r i )   757   3 . 1   DO M   T re e  Co ns t ruct io n    I n itiall y   f o r   in f o r m at io n   e x tr a ctio n   f r o m   w eb   p ag e,   w eb   ad d r ess   o r   u n i f ied   r eso u r ce   lo ca to r   ( u r l )   o f   w eb   p ag e   is   r eq u ir ed .   W h en   u s er   i n p u t s   t h e  u r l ,   s i n g le  p ag e  is   t h e  ex tr ac tio n   tar g et  b u t  w h e n   u s er   i n p u t   m u ltip le  u r l ,   th e  ex tr ac tio n   ta r g et  ai m s   at  p ag e - w id e  in f o r m atio n .   T h is   p ap er   o n ly   f o cu s es  o n   r ec o r d   lev el  ex tr ac ti o n   ta s k .   T h i s   ap p r o ac h   f o cu s es o n   th e  i m a g e  e x tr ac ti o n   f r o m   s u r f ac e  w eb .   Mo s t  w e b s ite  ar e  d ev elo p ed   b ased   o n   th e  h t m l  f o r m at  r ath er   th a n   x m l.  B asicall y   DO M  w ill  b e  ab le  to   d ef in e  an d   m a n ip u la te  h t m l   d o cu m en ts   in to   a  tr ee   s tr u c t u r e  [ 9 ] .   I t  d ef i n es   t h e  lo g ica l  s tr u ctu r e   o f   d o cu m e n t s   a n d   th e   w a y   it   ca n   b e  ac ce s s ed   an d   m a n ip u lated .   I t  is   also   k n o w n   a s   n o d e  tr ee .   E v er y t h i n g   i n   a  w eb   p ag e  co n t ain s   h t m l  ta g s   an d   ele m e n ts ,   te x t n o d es a n d   o th er s .     I n   th i s   r e s ea r ch ,   DO M  is   ap p lied   in   h t m l  d o cu m e n ts   to   f o r m   a  w eb   p ag e  i n to   a  p atter n   tr ee   s tr u ct u r e.   A lt h o u g h   o b j ec ts   in   th e  DOM   tr ee   ca n   b e  m a n ip u lated   u s i n g   ce r tain   m eth o d s   b u t  i n   t h is   ca s e,   we   tr an s f o r m   t h e  s tr u ctu r e  o f   w e b   p ag e  in to   tr ee   s tr u ct u r e  to   r ec o g n ize  d ata  r eg io n s .   T h is   p r o ce s s   is   i m p o r tan t   b ec au s e  d ata  r eg io n   co n s is t s   u s ef u l i n f o r m atio n   t h at  i s   w ill b e  r etr iev ed   b ased   o n   h t m l e le m en t.   E v er y   w eb   p ag e  is   d ev elo p e d   u s in g   h t m l  ele m e n t.  E ac h   m o d u le  o f   h t m l  ele m en t  i s   u s ef u l  f o r   s ev er al  d ata  r ec o r d s .   T h is   m o d u le  d i s co v er s   th e  wh o le  ele m en t   i n   w eb   d o cu m e n t s   s u c h   as   <h t m l>, <ta b le> , <d iv >, <i m g >, <f o r m >, < v id eo >  an d   s o   o n .   A ll  th e   tag s   w i ll  b e  ex tr ac ted   f r o m   r o o t  n o d e  to   its   ch ild   n o d e  in   d esi g n in g   w eb   p ag e.   So ,   tag s   ca n   b e  r ec o g n ize d   d ata  r eg io n   b y   u s i n g   h t m l e l e m en t.     3 . 2   Da t a   Reg io n a nd   Cla s s if ica t io n   Mu lti m ed ia  d ata  s u ch   a s   i m ag es,  v id eo   clip s ,   an i m atio n s ,   g r ap h ics  a n d   au d io   h a v e  i n cr ea s ed   r ap id ly   o v er   th e  p ast  s ev er al  y ea r s .   User s   h a v e  b eg u n   to   ex p ec t  th at  m u l ti m ed ia  co n ten t s   s h o u ld   b e  ea s ily   to   ac ce s s .   T h e y   w a n t   to   f i n d   r ele v an t   i m a g es  th at   ap p ea r   in   w e b   p ag e,   s ee   v id eo   clip   r elate d   to   tex t   ar ticles   t h e y   r ea d   an d   lis ten   to   th e  a u d io .   I t  is   i m p o r ta n t  to   p r o v id e  in te g r ated   ac ce s s   to   d iv er s e  t y p es  o f   m u lti m ed ia  s e m i - s tr u ct u r ed   d ata  s to r ed   in   d is p a r ate  d ata  s o u r ce s .   Ma n y   w eb   d ata  ex tr ac to r s   to d ay   d ea l  w it h   m u lti m ed ia  d ata.   Data   class if icatio n   i s   i m p o r tan t  as  it  ca te g o r ized   d ata  b ased   o n   r eq u ir ed   n ee d .   T h e  class   o f   d if f er en t  o b j ec ts   w il l b e  id en ti f ied   in   d ata  class i f icatio n .   C las s i f icatio n   o f   d ata  p atter n s   i s   i m p o r ta n t   f o r   d ata  ex t r ac tio n   f r o m   th e  w eb   p ag e.   Fig u r e  4   illu s tr ates  t h e  p r o ce s s   o f   d ata  ex tr ac tio n   a n d   class i f icatio n .   T h er e  ar e   f o u r   class es  t h at  h a v e  b ee n   id en ti f ied ;   i m a g e,   tex t,  au d io   an d   v id eo .   T h ese  m u lt i m ed ia  d ata  w ill  b e  id en tif ied   w h en   t h e  p ar s er   h as  f o u n d   th e  w o r d   “ s r c= ”  i n   t h e  d ata  s tr u ct u r e  d u r in g   th e  e x tr ac tio n   p r o ce s s .   T h is   is   a  k e y w o r d   f o r   m u lt i m ed ia  d ata  s o u r ce   r ef er en ce   to   lo ca te  th e  s o u r ce   d ata  th at  h a s   b ee n   u s ed .   W h en   lo ca tio n   o f   th e  r eq u ir ed   s o u r ce   is   d eter m i n ed ,   th e  p ar s er   w i ll  id en ti f y   it s   d a ta  t y p e.   T ab le  3   s h o w s   d ata  s o u r ce   f o r   m u lti m e d ia  d ata  th at  co n tain s   in   h t m l  d o cu m en ts .       Fig u r e  4 .   Data   class es       T ab le  3 .   Data   So u r ce   o f   Me d i a   Ty p e   „ sr c ‟ -   so u r c e   r e f e r e n c e   T e x t   < a > < p > < b r > < f o n t > < si z e >   I mag e   “ sr c = * . j p g , g i f , p n g , b mp ”   A u d i o   “ sr c = * . w a v , mp 3 , r a w , mi d i ”   V i d e o   “ sr c = * . f l v , w mx , mp 4 , a v i ”     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  9 ,   No .   3 ,  Ma r ch   2 0 1 8   :   7 5 2   –   7 6 3   758   3 . 3   Co nte nt  Str uct ure  Dev el o p m e nt  P ro ce s s   us ing   Vis ua l Seg m e nta t io n   A   v is u al  s eg m en tatio n   is   d ev e l o p e d   u s in g   ea ch   le af   n o d e  as  a n   o b ject .   Vis u al  s eg m en tati o n   h as b e en   p r o p o s e d   b e ca u s e   it  is   e asi er   t o   u n d er s tan d   t h e   s t r u ctu r e  o f   w eb   p ag e  v is u ally   co m p a r e d   t o   t ex tin g   in   d e tai ls .   T h is   s eg m en tati o n   is   im p o r t an t  t o   ch e ck   w h eth er   th e r e  a r e  i n f o r m atio n   th at  ar e  r e q u ir e d   i n   ea ch   b l o ck .   W h en   co n d u ctin g   th e  ex p er im en t  o n   im ag e  ex tr ac ti o n   u s in g   DOM   an d   J SO N  m eth o d ,   it  h as  b e e n   f o u n d   th at  n o t  a ll   im ag es  ca n   b e  ex tr ac te d .   A s   a  s o lu ti o n ,   e ac h   b l o ck   m u s t  b e  c h ec k e d   w h eth er   th ey   h av e  im ag es  o r   n o t .   Fig u r e   5   s h o w s   an   ex am p le  o f   v is u a l s e g m en tatio n   o f   lay o u t   s tr u ctu r e  f o r   w ww . ww f . o r g . m y .               Fig u r e  5 .   Vis u al   s eg m en tati o n   o f   l ay o u t st r u ctu r e         I n   th is   lev el ,   w e  ai m   to   f in d   all  s u ita b le  v is u al  b l o ck   c o n ta i n ed   in   th e  cu r r en t  w eb   p ag e.   B as ica lly ,   ev er y   n o d e  in   th e  D OM   t r e e  c an   b e  p r es en te d   as  a  v is u al  b l o ck   b u t  n o d es  s u ch   as  < T A B L E >  an d   < P>  a r e  n o t   s u itab le  t o   b e  r e p r esen t ed   as  a   s in g le  v is u al  b lo ck .   T h is   is   b ec au s e  th ey   ar e  c o m m o n ly   u s ed   f o r   o r g an iz ati o n   p u r p o s e .   S ev e r al   r u les   a r e   c o n s id e r ed   in   o r d e r   to   ex t r a ct   th e   v i s u al  b l o ck   as   b el o w :   T ag s   cu e  s u ch   as < h r >  u s u ally   d is p lay ed   as  a  h o r i z o n tal  r u le  in   v is u al  b r o w s er .   I f   e ac h   DO M  n o d e  c o n t ain   th is   tag ,   th en   w e  w ill p a r t iti o n   th e  s ec ti o n .   I f   a   DO M  n o d e   h as  d if f e r en t   b ac k g r o u n d   c o l o u r   b etw ee n   f r o m   o n e  o f   its   ch il d   n o d e .   I t w ill  n o t  b e  d iv i d e d .       W h en   a p p r o p r ia te  b l o ck s   ar e  e x tr a cte d ,   th e  r es t  o f   in v ali d   n o d es  ar e  ig n o r ed .   S ep ar at o r   c an   b e   u s e d   as  in d ic at o r   t o   d iv i d e   d if f er en t  s ec ti o n   w ith in   a  p ag e.   T h es e  v is u al   b lo ck s   s eg m en tati o n   is   a p p lie d   t o   ch ec k   ev er y   s in g le   m u lti m ed ia   el em en t so   th a t  all   r e q u ir ed   in f o r m atio n   ca n   b e  r e tr iev e d .     3 . 4   J a v a Sc rip t   O b j e ct   N o t a t i o n   Da t a   ( J S O N )   J SO N  is   a  s y n tax   f o r   s to r in g   an d   ex ch an g in g   d ata  w h ich   o r ig in at es  f r o m   J av a  Scr i p t  Ob ject   No t ati o n .   T h e  ad v an tag e  o f   J SON  is   th at  it   is   an   o p en - s ta n d a r d   f o r m at  th at  u s es  h u m an   r ea d ab le  t ex t  t o   tr an s m it  d a ta  o b j e cts .   [ Yu s o f   an d   M an   [ 1 2 ] ,  31 ]   s tat ed   th at  J SO N  is   th e  b est  ch o i ce   f o r   s t o r ag e  an d   s p e ed y   in   q u e r y   in f o r m atio n .   T h e  o u t p u t  ca n   b e   r an g ed   f r o m   s i m p le  t o   c o m p lex   s t r u ctu r e  an d   h ig h ly   n ested .   F ig u r e  6   s h o w s   h o w   J SON  d a ta   s et   t r e a ts   in   co lu m n .   $ j s o n _ u r l_ p ath   i s   u s ed   as   c o n s tr u ct o r   t o   in f o r m   th e  J SON   d at a  s et   to   in clu d e  th e  n est ed   s t r u ctu r e s   o f   J SON  o b jec t.  I n   th is   p a r ti cu la r   ex am p le  p eo p l e  n ee d   to   i n p u t  th e  u r l  as  j s o n   p ath .   W e  s p ec if y   th e  p ath   u s i n g   „ s r c‟   v alu e  w h ich   is   s i m p ly   f in d   th e  in f o r m atio n   o f   im a g e  f r o m   th e  i m ag e  n este d   s t r u c tu r e .         Fig u r e  6 .   B asic step   J SON  o f   W E I DJ   p r o g r am m i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       I mp r o vin g   P erfo r ma n ce   o f D OM in   S emi - s tr u ctu r ed   Da ta   E xtra ctio n …   ( I ly  A ma lin a   A h ma d   S a b r i )   759   Fig u r e  7   s h o w s   W E I DJ   alg o r ith m   t h at  h as  b ee n   p r o p o s ed   in   o u r   r esear c h .   T h is   al g o r ith m   ap p l y   DOM   to   s tr u ct u r e  t h e   h t m l   d o cu m e n t s   i n   h ier ar ch ica l  s tr u ct u r e.   T h en   v i s u a l  s eg m en tatio n   b lo ck s   ar e   d ev elo p ed   f o r   h t m l  p a g e  to   ch ec k   a v ailab le  ele m e n t  o f   i m ag es  in   ea ch   b lo ck s .   T h is   ap p r o ac h   is   i m p o r ta n t  t o   m ak e  s u r e  all  r eq u ir ed   i m a g e s   ca n   b e  ex tr ac ted   w ith o u t  f a ilu r e.   J SON  en v ir o n m en t  ap p r o ac h   is   ap p lied   in   ex tr ac ti n g   i m ag e s .   Ot h er   r u le s   li k e  f il ter in g   s i m ilar   f ile n a m e  a n d   r e m o v i n g   n o is y   i m a g es  s u c h   as   lo g o   an d   b u tto n   ar e  to   b e  co n s id er ed   t o   m a k e  s u r e  i m a g es  t h at  h a s   b ee n   ex tr ac ted   ar e  v alu ab le  i n f o r m atio n .   A t  la s t,  f i n al  i m ag e s   a n d   th eir   d etail s   w il l  b e  d is p la y   i n   tab u lar   f o r m at  b ef o r e  u s er s   ca n   s to r e  th e m   i n to   m u lt i m ed ia   d atab ase.           Fig u r e  7 .   T h e  W E I DJ   alg o r ith m       B h a r d w aj   an d   Ma n g at  [ 2 6 ]   d i s cu s s ed   th at  elem en ts   o f   tag s   w h o s e  s ize  g r e ate r   th an   1 2 0 0 0 0   h av e   h eig h t  v alu e   f o r   ex tr ac t io n .   A s   ex am p le ,   ( s iz e  o f   t ag s   3 0 0 x 4 0 0   o r   4 0 0 x 3 0 0 ) .   I n   co n t r as t  to   o u r   ex p e r im en tal   test in g   o n   Y o u tu b e  ch an n el  ( Fi g u r e  8 ) ,   w e  f o u n d   th at  s iz e  f o r   ea ch   im ag e  o f   v i d e o   h as  b e en   s et  t o   1 9 6 x 1 1 0   an d   s ize  f o r   e ac h   i co n   h as  b e en   s et   to   8 8 x 8 8 .   T h is   ca n   b e  u s e d   as   a  g u id el in e  th a t  w e  m u s t  co n s id e r   t ag   s iz e  b el o w   th an   1 2 0 0 0 0   f o r   d a ta  ex t r a cti o n .   F o r   im ag e  ex tr ac ti o n   r u le s ,   w e  s et  th at  im ag e  tag s   w h o s e  s ize  s m alle r   th an   5 0 x 5 0   w ill  n o t  b e  ex t r ac t  an d   b e  co n s i d er ed   as  n o is y   in f o r m ati o n .   T h e  r u le s   f o r   av o i d in g   e x tr a cti o n   r ep eti tiv e   f iles   o f   im ag es  als o   w ill  b e  a d d e d .   T h e  r ea s o n   w h y   i m ag e  s ize  l ar g er   th an   5 0 x 5 0   m u s t  b e  c o n s id er e d   t o   b e   ex tr ac t ed   is   b ec au s e  in   ce r t ain   w eb   p ag e,   th er e  a r e  v alu ab le  im ag es  th at  h av e  b e en   s et  t o   s i ze   7 0 x 7 0   as  s h o w n   in   F ig u r e  9   s u ch   as   in   b io d iv e r s ity   ex p l o r e r   w eb   p ag e ,   im ag es h av e   b ee n   s et   t o   7 0 x 7 0 .             Fig u r e  8 .   Yo u tu b e   ch an n el     Fig u r e  9 .   B io d iv e r s i ty   E x p l o r e r   W e b   P ag e       4.   RE SU L T S   T h e  m ai n   m o t iv at io n   f o r   th is   p ap er   is   to   ex tr ac t  im a g es  a n d   m i n e  i m ag e  d etail s   s u c h   a s   i m a g es,   lin k s   o f   i m a g es,  s ize  o f   i m ag e s   an d   s to r e  s elec ted   i m a g es  in   s in g le  m u lti m ed ia  d atab ase.   I n   id ea l  s ce n ar io ,   i f   p eo p le  w an t   to   s a v e  i m a g e,   it   ca n   b e  e x tr ac ted   m an u all y .   P eo p le  ca n   ex tr ac t  t h e m   m a n u a ll y   b y   s a v i n g   ea c h   i m a g e  as  m an y   as  p o s s ib le.   B u t  h o w   to   ex tr ac t  a n d   m i n e   i m a g es  m an u all y   i f   t h er e  ar e  lar g e  o f   v o l u m e   i m a g es?   T h er ef o r e,   an o th er   s o lu tio n   m u s t  b e  d ev elo p ed   to   ex tr ac t  i m ag e s   a u to m at ica ll y   to   r ed u ce   t i m e   co n s u m i n g .   T h e  im p o r tan t  p ar t  o f   ex tr ac tio n   s y s te m   i s   d atab ase  o f   r ec o r d s .   T h is   is   b ec a u s e  th e  r ec o r d s   th at   h av e  b ee n   ex tr ac ted   an d   s a v ed   ca n   b e  u s ed   f o r   b en ef icial  p u r p o s e  s u ch   a s   d o cu m en tat io n ,   a n al y ze   r ep o r ts   an d   s o   o n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  9 ,   No .   3 ,  Ma r ch   2 0 1 8   :   7 5 2   –   7 6 3   760   A   d ata  e x tr ac tio n   e n g in e  n ee d   to   b e  ab le  to   ex tr ac t a ll th e  d at a  th at  ar e  r eq u ir ed   f r o m   w eb   p ag e.   W e   n ee d   to   d ef in e  th e  u n if ied   r eso u r ce   lo ca to r   ( u r l )   o f   th e  w eb   p ag e  w h er e  th e  o b j ec tiv e  d ata  is   lo ca ted .   T h is   is   in itial  p r o ce s s   to   e x tr ac t  d ata  f r o m   a  s p ec i f ic  w eb   p ag e.   Fi g u r e  1 0   s h o w s   Seti u   W etla n d s   w eb   p ag e  n a m el y   WWF -   Ma la y s ia.   W W F  s tan d s   f o r   W o r l d   W id e   Fu n d   f o r   Natu r e.   I t  w as  f o r m er l y   k n o w n   as  th e  W o r ld   W ild lif e  F u n d   b u t  ad o p ted   its   cu r r en t  n a m e   to   s h o w   th at  it  a ls o   w o r k s   o n   o t h er   en v ir o n m e n tal  i s s u es,  a n d   n o t   j u s t  w ild lif e.           Fig u r e  1 0 .   A   s n ap s h o t i m a g es  o f   th e  W W F  w eb   p ag e       I n   th i s   e x p er i m e n tal  w o r k s ,   s a m p le  o f   ww f   w eb   p ag es  w er e  ta k en   a n d   t h e  co n te n t  ex tr ac tio n   ex p er i m e n ts   w a s   p er f o r m ed   o n   th e  s a m p led   d ata  u s i n g   h t m l   s o u r ce   f ile.   T h is   f ile  co n tai n s   i m a g es  i n f o r m atio n   th at  ar e  g o in g   to   b e  ex tr ac ted .   W e  ca n   s ee   th a t  w it h i n   b r ac k ets   „ { „   a n d   „ }‟   th er e   ar e  lis t   o f   co m m a n d s   t h at  co n s is t  o f   i m a g e  an d   i m ag e  u r l  f r o m   s a m p le  ex tr ac to r   s p ec if icatio n   o f   f ile.   Mo s t  o f   th e  i m ag es  i n   . j p g   f o r m a t   f ile.   Ou r   w r ap p er   ar e  ab le  to   ex tr ac t  i m a g es  i n   v ar io u s   f o r m at  s u ch   as  . j p g ,   . g if ,   . b m p   an d   o th er s .   L o o k i n g   at   Fig u r e  1 1 ,   it  s h o w s   e x tr ac t e d   in f o r m atio n   w h ic h   i s   ar r an g ed   in   s tr u ctu r ed   w a y .   T h e   s y n ta x   s h o w s   t h e   in f o r m atio n   w ill   b e  d is p la y   in   tab u lar   f o r m at.   T h e  e x tr ac tio n   p r o ce s s   i n   t h i s   e x a m p le  is   p er f o r m ed   b y   tab l e   d ef in i tio n .   T h e  in it ial  co m m a n d   $ j s o n _ u r l  f etc h es  t h e  co n te n ts   o f   th e  s o u r c e  f ile  w h o s e  u r l   is   g i v e n   in   [ „ u r l ‟ ] .   Af ter   t h e  f ile  h as   b ee n   f etc h e d ,   th e  co n te n t s   w ill   b e  s p ec i f ied   in to   s p ec i f ic  cr iter ia  s u ch   as  $ n o ,   $ i m g _ u r l,  i m a g e,   $ s ize_ in _ b y tes  a n d   $ to tal_ ti m e_ lo ad _ p ag e.   T h e  ex tr ac tio n   r es u lts   w il l  b e  r ep r esen ted   in   tab u lar   f o r m a t.           Fig u r e  1 1 .   T h e  ex tr ac ted   in f o r m atio n   i n   J SON  f o r m at       I n   t h is   p ap er ,   w e   h a v e  w o r k e d   o n   t h e  d atase t  ca lled   Scien ce   an d   T ec h n o lo g y   R e s o u r ce s   o n   th e   I n ter n et,   “ B io d iv er s i t y   W eb   R eso u r ce s ”,   w h ich   is   h a v i n g   4 3   o n lin e  d atab ase s   [ 32 ] .   T h is   ex p er i m en tal  f o cu s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       I mp r o vin g   P erfo r ma n ce   o f D OM in   S emi - s tr u ctu r ed   Da ta   E xtra ctio n …   ( I ly  A ma lin a   A h ma d   S a b r i )   761   o n   f i v e  w eb   p ag es  o n   s i n g le   p ag e  to   f o r m   a s   in p u t  i n   i m ag e  ex tr ac t io n .   T ab le  4   s h o w s   w eb   ad d r ess   f o r   s elec ted   w eb   p ag es  a n d   t h eir   d o m ai n   t h at  h a v e  b ee n   u s ed   f o r   ex tr ac tio n   p u r p o s e.   T h e  d ataset  is   co m p o s ed   o f   a  co llectio n   o f   w eb   d o m ai n   w i th   d i f f er en t   p ag e  s tr u ct u r es.   T h e  d i f f er e n t p a g e  s tr u ct u r es   all o w s   u s   to   s t u d y   th e   p er f o r m a n ce   o f   i m a g e  ex tr ac ti o n   in   d if f er e n t c o n te x ts .       T ab le  4 .     Do m ain   f o r   W eb   P a g es   u r l   U n i f i e d   R e so u r c e   L o c a t o r   ( U R L )   D o mai n   1   h t t p : / / t o l w e b . o r g / t r e e /   T r e e   o f   L i f e   P r o j e c t   ( T o L )   2   h t t p : / / w w w . a mn h . o r g / e x h i b i t i o n s / p e r man e n t - e x h i b i t i o n s / b i o d i v e r si t y - a n d - e n v i r o n me n t a l - h a l l s/ h a l l - of - b i o d i v e r si t y   A m e r i c a n   M u se u m  o f   N a t u r a l   H i s t o r y   ( A M N H )   H a l l   o f   B i o d i v e r si t y   3   h t t p : / / o c e a n . si . e d u /   O c e a n   P o r t a l :   S mi t h so n i a n   I n st i t u t i o n   4   h t t p : / / w w w . i u c n . o r g /   I n t e r n a t i o n a l   U n i o n   f o r   C o n se r v a t i o n   o f   N a t u r e   5   h t t p : / / w w w . e n d a n g e r e d sp e c i e si n t e r n a t i o n a l . o r g   En d a n g e r e d   S p e c i e s  I n t e r n a t i o n a l       T ab le  5   s h o w s   f e w   f a m iliar   s ec tio n s   t h at  ar e  to tal  ex tr ac ted   i m a g es  in   s i n g le  p ag e   an d   ti m e  r eq u ir ed   to   co m p lete  ea ch   ex tr ac tio n   p r o ce s s .   T h is   tab le  s u m m ar izes  th e  r es u lt s   o f   th e  p er f o r m ed   ex p er i m e n ts .   T h is   ex tr ac tio n   in v o l v es  t h r ee   ap p r o ac h   D OM ,   J SON  an d   W E I DJ.  Fir s t  co lu m n   co n ta in s   n u m b er   o f   u n i f ied   r e s o u r ce   lo ca t o r   ( u r l )   th at   ca n   b e  r ef er   f r o m   T ab le  4 .   C o lu m n   to tal   o f   i m a g es   s h o w s   th e   n u m b er   o f   i m a g es  i n   s in g le  p a g e.   C o l u m n   i m a g e  ex tr ac ted   s h o w s   t h e  n u m b er   o f   s u cc es s f u ll y   i m a g es  t h at  h as   b ee n   ex tr ac ted .   C o lu m n   ti m e  r eq u ir ed   in   s ec o n d   r ep r esen t  ti m e  p r o ce s s i n g   f o r   ex tr ac ti n g   i m a g e s   in   DOM ,   J SON  an d   W E I DJ   ap p r o ac h .       T ab le  5 .   E x tr ac tio n   R es u lts   ur l   T o t a l   o f   i mag e s   I mag e   Ex t r a c t e d   T i me   r e q u i r e d   i n   se c o n d   I mag e   Ex t r a c t e d   T i me   r e q u i r e d   i n   se c o n d   I mag e   Ex t r a c t e d   T i me   r e q u i r e d   i n   se c o n d s     DOM   JS O N   W E I D J   1   3   3   1 . 8 9 2   3   1 . 8 8 1 4   3   0 . 0 0 4   2   27   24   2 1 . 5 5 0 8   25   3 . 4 2   26   0 . 0 0 7   3   13   9   1 3 . 3 5   9   9 . 5 8   9   0 . 0 0 6   4   15   13   8 . 2 3   11   6 . 3 4   11   0 . 0 0 6   5   22   0   5 9 . 6 3   22   1 1 . 7 4 2 1   22   0 . 0 0 4       An   ex p er i m en ta l  h as  b ee n   d o n e  to   ex tr ac t  i m a g e  u s i n g   d i f f er en t  ap p r o ac h .   T h is   ex p er im en tal  is   i m p o r tan t  to   id en tify   t h e  ch ar ac ter is tics   o f   DOM   an d   J SO N  s u ch   as  t h e  ab ilit y   to   ex tr a ct  i m ag e s   an d   ti m e   tak en   f o r   e x tr ac tio n   p r o ce s s .   Fig u r e  1 2   an d   F ig u r e  1 3   s h o w s   t h e  e x p er i m e n tal  o f   p er f o r m an ce   i m ag e   ex tr ac tio n   u s i n g   W E I DJ   ap p r o ac h .   T h e  ex tr ac tio n   o f   s e m i - s tr u ct u r ed   d at a,   im a g es  i n v o l v es  f iv e  w eb   p ag es   w h ic h   h av e   d if f er en t   o f   s tr u ct u r e.   I t  s h o w s   n u m b er   o f   i m a g es  ca n   b e  ex tr ac ted   a n d   ti m e  t ak en   f o r   e x tr ac tio n .   T h e  g r ap h s   s h o w   s i g n i f ican t  d if f er e n ce s   in   i m ag e   ex tr ac t io n .   T i m e  ta k e n   f o r   i m a g e  e x tr a ctio n   u s i n g   W E I DJ   ap p r o ac h   ar e  s p ee d y   th a n   b o th   ap p r o ac h es,  DOM   an d   J SON.           Fig u r e  1 2 .   I m a g e  ex tr ac tio n   u s in g   W E I DJ   ap p r o ac h       Evaluation Warning : The document was created with Spire.PDF for Python.