I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in  E du ca t io n ( I J E RE )   Vo l. 5 ,   No . 3 Sep tem b er   201 6 ,   p p .   2 2 7 ~ 2 3 4   I SS N:  2252 - 8822           227       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE R E   Do m a in   a nd   Intell ig ence   Ba sed   M ulti m ed ia  Q u estio n     Answ ering   S y stem       K .   M a g esh   K u m a r P .   Va la rm a t hie   Co m p u ter S c ien c e   a n d   E n g in e e ri n g S a v e e th a   En g in e e rin g   C o ll e g e Ch e n n a i,   T a m il   N a d u ,   In d ia         Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   0 1 ,   2 0 1 6   R ev i s ed   A u g   2 7 ,   2 0 1 6   A cc ep ted   A u g   3 0 ,   2 0 1 6       M u lt im e d ia  q u e stio n   a n sw e rin g   s y ste m s   h a v e   b e c o m e   v e r y   p o p u la o v e th e   p a st  f e y e a rs.  It  a ll o w u se rs   t o   sh a re   th e ir  th o u g h ts  b y   a n s w e rin g   g iv e n   q u e stio n   o o b tain   i n f o rm a ti o n   f r o m   a   s e o f   a n s w e r e d   q u e stio n s.  Ho w e v e r,   e x isti n g   Q A   s y ste m su p p o rt   o n l y   te x tu a a n sw e w h ich   is  n o s o   in stru c ti v e   f o m a n y   u se rs.  T h e   u se r’s  d isc u ss io n   c a n   b e   e n h a n c e d   b y   a d d i n g   su it a b le   m u lt i m e d ia  d a ta.  M u lt im e d ia  a n s w e r o ffe in tu it iv e   in f o rm a ti o n   w it h   m o re   su it a b le  im a g e ,   v o ice   a n d   v id e o .   T h is  s y ste m   in c lu d e a   se o f   in f o rm a ti o n   a w e ll   a c l a ss i f ica ti o n   o f   q u e sti o n   a n d   a n sw e r,   q u e ry   g e n e ra ti o n ,   m u lt i m e d ia   d a ta  se lec ti o n   a n d   p re se n tatio n .   T h is  sy ste m   w il ta k e   a ll   k in d o f   m e d ia  su c h   a tex t,   i m a g e s,  v id e o s,  a n d   v id e o w h ich   w il b e   c o m b in e d   w it h   a   tex tu a l   a n sw e r.   In   a   wa y ,   it   a u to m a ti c a ll y   c o ll e c ts  in f o r m a ti o n   f ro m   th e   u se to   im p ro v isin g   th e   a n s w e r.   T h is  m e th o d   c o n sists   o f   ra n k in g   f o a n sw e rs  to   se le c th e   b e st  a n s w e r.   B y   d e a li n g   o u a   h u g e   se o f   Q A   p a irs  a n d   a d d i n g   th e m   to   a   d a tab a se ,   m u lt im e d ia  q u e stio n   a n sw e rin g   a p p ro a c h   f o u se rs  w h ich   f in d m u lt im e d ia  a n s w e r b y   m a tch in g   th e ir  q u e sti o n w it h   th o se   in   th e   d a tab a se .   T h e   e ff e c ti v e n e ss   o f   M u lt im e d ia   s y ste m   is  d e ter m in e d   b y   ra n k in g   o f   tex t,   ima g e ,   a u d io   a n d   v id e o   i n   u se rs  a n sw e r.   T h e   a n s w e w h ich   is  g iv e n   b y   th e   u se it ’s  p ro c e ss e d   b y   S e m a n ti c   m a tch   a l g o rit h m   a n d   th e   b e st  a n s w e rs   c a n   b e   v iew e d   b y   Na iv e   Ba y e sia n   ra n k in g   sy ste m .   K ey w o r d :   Mu lti m ed ia  An s w er s   Naiv B a y es ian   R an k i n g   S y s te m   Qu est io n   An s w er i n g   S y s te m   Qu est io n   C lass if ica tio n   R an k i n g   T ex tu al  A n s w er s   Co p y rig h ©   2 0 1 6   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   K.   Ma g es h   Ku m ar   P Sch o lar ,   C o m p u ter   Scie n c an d   E n g i n ee r i n g ,     Sav ee t h E n g i n ee r in g   C o lla g e ,   C h e n n ai,   T am il Na d u ,   I n d ia.   E m ail:  k u m ar . m ag e s h 5 5 4 @ g m ail. co m       1.   I NT RO D UCT I O N   Q u est io n   A n s w er i n g   ( Q A )   is   a   t y p o f   i n f o r m atio n   r etr iev a l   p r o ce s s in g .   T h s y s te m   r etr ie v an s w er s   to   q u esti o n s   p o s ed   i n   n at u r al   lan g u a g e.   Q i s   co n s id er ed   as  r eq u ir i n g   m o r m u lti f ac ete d   n atu r al   lan g u ag e   p r o ce s s in g   ( N L P )   tech n iq u e s   t h an   o t h er   m et h o d   o f   i n f o r m ati o n   r etr iev al  s u c h   as  d o cu m en t   r etr iev al,   an d   it  i s   o cc asio n all y   r e g ar d ed   as  th n ex s tep   b e y o n d   s ea r ch   e n g i n es.  T h er ar t w o   t y p es  o f   QA   s y s te m ,   w h ic h   is   c lo s ed   d o m ain   Q A   s y s te m   a n d   Op en   d o m ai n   Q A   s y s te m .   T h C lo s ed   d o m ai n   q u esti o n   an s w er in g   s y s te m   w o r k s   w it h   q u esti o n s   u n d er   s p ec if ic  d o m a in   b u i n   a n   Op e n   d o m ai n   q u e s tio n   an s w er in g   s y s te m   w o r k s   w it h   q u esti o n s   ab o u t a n y   s u b j ec ar ea   an d   it c an   b f o u n d ed   o n   o n to lo g ies a n d   w o r ld   k n o w led g e .   I n   th i s   p r o j ec t   th Do m ain   a n d   I n tell ig e n ce   B as ed   Mu lti m ed ia  Qu es tio n   An s w er i n g   ( DI MQ A )   s y s te m   is   f o cu s ed   a s   clo s ed   dom ai n   q u esti o n   an s w er i n g   s y s te m   h as   to   b d ev elo p ed   f o r   th s t u d en t s   ed u ca tio n   in   o r d er   to   en h a n ce   t h eir   k n o w led g e.   I f   u s er   ca n   h av e   a n y   d o u b ts   o n   s u b j ec ts ,   th e n   th e y   ca n   s ea r c h   t h q u esti o n   i n   DI MQ s y s te m .   I f   th a n s w er   is   alr ea d y   i n   Q A   s y s te m ,   t h en   it  w i ll  r et u r n   t h an s w er   au to m atica ll y   to   t h e ir   q u esti o n s .   I f   t h e   an s w er   i s   n o f o u n d   in   th Q A   s y s te m   m ea n s   a n o th er   o p ti o n   av ai lab le,   th at   is   v ar io u s   f ac u lt y   o r   u s e r s   w il g iv a n s w er   to   th q u est io n   i n   th f o r m   o f   te x t,  i m a g e,   v o ice  an d   v id eo .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8822   I J E R E    Vo l.  5 ,   No .   3 Sep tem b er   20 1 6   :   227     2 3 4   228   Qu est io n   a n s w er i n g   ( Q A )   is   a   s y s te m   f o r   a u to m at icall y   r ep ly in g   q u esti o n   t h at  is   p o s ted   in   n atu r a l   lan g u a g e.   C o m p ar in g   to   s ea r ch   s y s te m s   b ased   o n   k e y w o r d s ,   it  ex tr e m el y   f ac ilit ate s   t h co m m u n icatio n   a m o n g   co m p u ter   s y s te m s   a n d   h u m a n s .   I also   a v o id s   th ac h in g   j o b   o f   b r o w s in g   t h v er y   en o r m o u s   a m o u n t   o f   ed u ca tio n al  co n ten w h ic h   is   r etu r n ed   as  e x ac an s w er s   b y   s ea r ch   e n g i n es.  Ho w e v er ,   f u ll y   co m p u ter ized   QA   is   s till   f ac i n g   c h alle n g es  w h ic h   ar n o s i m p le  to   h a n d le,   s u c h   as  k ee n   k i n d   o f   co m p l ex   q u es tio n s   an d   t h e   s o p h is tic ated   s y n tax ,   s e m a n ti cs  an d   co n tex t u al  p r o ce s s in g   to   attain   p r ed ict ab le  an s w er s .   I is   ex p er im e n ted   th at,   m o s t l y   au to m ated   ap p r o ac h   is   n o s k illed   o f   o b tain in g   t h co n s eq u e n ce s   t h at  ar as  g o o d   as  th o s g en er ated   b y   h u m a n   in telli g en ce .   T h DI MQ A   s y s te m   al lo w s   t h u s er s   to   a n s w er   i n   m u lti m ed ia  f ea t u r alo n g   w it h   te x t.  So m eti m es,  T ex tu al  an s w er s   m a y   n o t p r o v id s u f f i cien t a n d   ea s il y   u n d er s tan d ab l in f o r m atio n .   T h e   s y s te m   ap p r o ac h es  w o u ld   h e lp   p r o v id an s w er   to   u s e r s   i n f o r m   o f   m u lti m ed ia .   B ec au s p ictu r s p ea k s   th o u s an d s   o f   w o r d s ,   w ar s i g n i f y i n g   b asic  id ea   f r o m   t h i s   s y s te m   th at  n o o n l y   co n cise   tex tu a in f o r m atio n   b u al s o   o th er   a u d io ,   v id eo   an d   i m ag e   i n f o r m atio n   ca n   b tea m ed   u p   w i th   t h is   tex t u al  a n s w er   to   b etter   e m p h a s ize  it a n d   t h u s   p r o v id b etter   ex p er ien ce   to   th all  u s er s .     T h DI MQ s y s te m   o b tai n s   in f o r m atio n   o n li n a lo n g   w i t h   p ar ticu lar   q u es tio n   o n   s o m to p ic  an d   o b tain s   e x ac a n s w er   f o r m   o t h er   p ar ticip an t.  I n   T h is   s y s te m   u s er s   s h ar th e ir   k n o w led g ac co r d in g   to   t h eir   in ter est   w h ich   is   h a v i n g   d is s i m ilar   ca te g o r ies  a n d   u s er s   ca n   s ea r c h   f o r   an s w er   to   q u e s ti o n   f r o m   t h e m .   T h e   r esu lt  o b tain s   f r o m   th DI MQ A   s y s te m   f o r u m   ar i m p r o v ed   an s w er   b ec au s th at  a n s w er   g en er ated   b y   h u m a n   clev er n e s s .   O v er   th y ea r ,   th eir   h u g a m o u n t s   o f   an s w er   an d   q u esti o n   h a v b e en   ac cu m u lated   to   o f f er   th e   f ac ilit y   li k co n s er v atio n   an d   s ea r ch   o f   a n s w e r ed   q u e s tio n .   T h p r o b lem   w i th   e x is tin g   s y s te m   is   t h at  t h e y   s u p p o r o n l y   te x tu a an s w er   an d   w h ic h   is   n o r elev an f o r   m a n y   ti m es,  i f   w ad d   ass o ciate d   m u lti m ed ia   co n ten s u c h   as  i m a g o r   v id eo   an d   au d io   to   s h o w   t h p r o ce s s   w h ich   p r o v id b etter   r esu lt.  T h o b tain ab le   s y s te m   o f   co m m u n i t y   b ased   q u esti o n   an s w er in g   s y s te m   s u c h   as  s tac k   o v er f lo w ,   y a h o o   an s w er ,   w i k a n s w e r   an d   ask . co m   p r o v id an s w er   o n l y   in   te x t u al  f o r m   b u f e w   q u esti o n   s u c h   as  Ho w   to   in s tal W in d o w s   OS?   . I n   th is   ca s e,   if   p r o v id an s w er   i n   te x t u al  f o r m   w h ich   is   n o t   i n f o r m ati v f o r   m a n y   u s er   .   Ass o ciate d   v id eo   o r   i m a g es  p r o v id b etter   r esu lt,  in   f ac s o m co m m u n it y   f o r u m   p r o v id b alan cin g   li n k   t o   d em o n s tr ate  th e   p r o ce s s .   I t c o n f ir m s   th at  m u lti m ed ia  co n te n t a r i m p o r tan t to   s h o w   th p r o ce s s .       2.   L I T E R AT U RE   SU RVE Y   2 . 1 .   F ro m   T e x t ua Q t o   M ultim edia   Q A   T h ea r ly   ex a m i n atio n   o f   Q s y s te m s   s tar ted   f r o m   1 9 6 1   an d   m a in l y   f o cu s ed   o n   s k illed   s y s te m s   i n   s p ec if ic  d o m a in s .   T ex b ased   QA  h a s   g a in ed   it s   r esear c h   r ep u tatio n   s i n ce   th e   o r g an izatio n   o f   a   Q A   tr ac k   i n   T R E C   in   th late  1 9 9 0 s   [ 1 ] .   B ased   o n   th k in d   o f   q u est io n s   an d   p r ed ictab le  an s w er s ,   w ca n   r o u g h l y   s u m m ar ize  th s o r ts   o f   Q A   in to   Op en - Do m ai n   Q A   [ 2 ] ,   R es tr icted - Do m ai n   Q A   [ 2 ] ,   Def i n itio n al  Q A   [ 3 ]   an d   L is Q [ 4 ] .   On   th e   o th er   h a n d ,   in   s p ite   o f   th e   attai n m en as  d escr ib ed   ab o v e,   a u to m atic   Q A   s till   h a s   s o m e   d if f ic u lt ies  i n   an s w er i n g   co m p o s ite  q u esti o n s .   A l alo n g   w it h   th b lo o m in g   o f   W eb   2 . 0 ,   C o m m u n it y   q u es tio n   an s w er s   b ec o m es  a n   al ter n ati v ap p r o ac h .   I is   h u g a n d   v ar io u s   q u e s tio n - a n s w er   d i s cu s s io n s ,   ac tin g   a s   n o o n l y   q u a n tit y   f o r   s h ar in g   tec h n ica k n o w led g b u al s o   p lace   w h er o n ca n   s ee k   ad v ic an d   o p in io n s   [ 3 ] ,   [ 5 ] .   Sti ll,  n ea r l y   all  o f   t h e   o b tain ab le  cQ ( C o m m u n it y   q u e s tio n   a n s w er s )   s y s te m s ,   s u ch   as  Ya h o o ! An s w er s W ik i A n s w er s   a n d   A s k . co m ,   Stack   o v er f lo w ,   o n l y   s u p p o r p u r tex t - b ased   an s w er s ,   wh ich   m a y   n o g i v e   in t u iti v an d   en o u g h   i n f o r m ati o n .     So m ex a m i n e f f o r ts   h av e   b ee n   p u o n   m u lti m ed ia  QA ,   w h ic h   is   a n s w er   q u e s t io n s   u s i n m u lti m ed ia  d ata.   C h u et  al.   [ 6 ]   p r o j ec ted   co m p r eh en s iv ap p r o ac h   to   ex ten d   tex t - b ased   QA   to   m u lt i m ed i a   QA   f o r   r an g o f   f ac to id ,   d ef in itio n   an d   h o w - to ”  q u e s tio n s .   T h eir   s y s te m   w a s   p r ep ar ed   to   f in d   m u lti m ed ia   an s w er s   f r o m   w eb - s ca le  m e d ia  r eso u r ce s   s u ch   a s   Fli c k er   an d   Yo u T u b e.   Ho w ev er ,   ar ticle  r eg ar d in g   m u lti m ed ia  Q A   is   s till   m o d er atel y   th in .     A u to m atic  m u l ti m ed ia  QA   o n l y   w o r k s   in   s p ec i f ic  d o m ai n s   an d   ca n   b ar ely   h a n d le  m u lti f ac eted   q u esti o n s .   Dif f er e n f r o m   t h ese  w o r k s ,   o u r   ap p r o ac h   is   b u il b ased   o n   c Q A .   A s   a n   alter n ati v o f   d ir ec tl y   co llect in g   m u l ti m ed ia  f iles   f o r   a n s w er i n g   q u es tio n s ,   o u r   m et h o d   o n l y   f i n d s   i m a g e,   au d io   an d   v id eo   to   en r ich   th tex t u al  an s w er s   p r o v id ed   b y   u s er s .   I m a k es  o u r   ap p r o ac h   ca p ab le  to   d ea w it h   m o r co m m o n   q u est io n s   a n d   t o   r ea ch   b etter   p er f o r m an ce .     2 . 2 .   M ultim e dia   Sea rc h   A p p r o p r iate  to   th r is i n g   q u an tit y   o f   d i g ital  in f o r m at io n   s to r ed   o v er   th w eb ,   p en et r atin g   f o r   p r ef er r ed   in f o r m atio n   h a s   b ec o m a n   e s s e n tial  ta s k .   T h r esear ch   i n   th i s   ar ea   s tar ted   f r o m   t h 1 9 8 0 s   [ 7 ]   b y   ad d r ess in g   th co m m o n   p r o b le m   o f   d ec is io n   i m a g es  f r o m   f i x ed   d atab ase.   W ith   th q u ick   d ev elo p m e n o f   co n ten a n al y s i s   tec h n o lo g y   i n   th 1 9 9 0 s ,   th e s ef f o r ts   r a p id ly   e x p an d ed   to   atte m p th v id eo   an d   au d io   r etr iev al  p r o b lem s   [ 7 ] , [ 8 ].   I n   g en er al,   m u lti m ed ia  s ee k s   e f f o r ts   ca n   b class i f ied   i n to   t wo   ca teg o r ies:   tex t - b ased   s ea r ch   a n d   co n te n t - b as ed   s ea r ch .   T h tex t - b ased   s ea r ch   [ 9 ]   ap p r o ac h es  w o r k s   w it h   te x tu a q u er ies,  a   ter m - b a s ed   r eq u ir e m e n o f   t h d esire d   m ed ia  e n titi e s ,   to   s ea r ch   f o r   m ed ia  d ata  b y   m atc h in g   th e m   w it h   t h Evaluation Warning : The document was created with Spire.PDF for Python.
I J E R E     I SS N:  2252 - 8822       Do ma in   a n d   I n tellig en ce   B a s e d   Mu ltimed ia   Qu esti o n   A n s w erin g   S ystem  ( K .   Ma g esh   K u ma r )   229   n eig h b o r in g   te x t u al  d escr ip tio n s .   T o   i m p r o v t h p er f o r m a n ce   o f   tex t - b ased   s ea r ch ,   s o m m ac h i n lear n i n g   tech n iq u es  t h at  ai m   to   m ec h an ica ll y   a n n o tate  m ed i u m   en titi e s   h a v b ee n   p r o p o s e d   in   th m u lti m ed ia  co m m u n it y   [ 5 ] , [ 1 0 ], [1 1] .   A d d itio n al ly ,   n u m b er   o f   s o cial  m ed ia  w eb s ite s ,   s u c h   as  Fli c k r   an d   Face b o o k ,   h av e   e m er g ed   to   b u ild   u p   m a n u all y   a n n o tated   m ed i u m   e n tit ies  b y   e x p lo r in g   t h g r ass   r o o I n ter n et  u s er s ,   w h ich   also   f ac ilit a te  th te x t - b ased   s ea r ch .   C o n v er s el y ,   u s er - p r o v i d ed   tex d ef in i tio n   f o r   m ed ia  d a ta  ar o f ten   b iased   to w ar d s   i n d iv id u al  p er s p ec tiv an d   co n te x cu e s ,   an d   t h u s   t h er is   b r ea k   b et w ee n   t h ese  tag s   a n d   t h co n te n t   o f   t h m ed iu m   en ti ties   th a co m m o n   u s er s   ar i n ter ested   in .   T o   atte m p t   t h is   is s u e,   c o n ten t - b ased   m ed ia   r etr iev al  [ 6 ]   p er f o r m s   ex p lo r atio n   b y   a n al y zi n g   th co n te n ts   o f   m ed iu m   d ata  r ath er   th an   t h m etad ata.   Desp ite   th m ar v elo u s   i m p r o v e m en t   in   co n te n t - b ased   r etr iev al,   s till   it   h a s   s e v er al  li m itati o n s ,   s u ch   a s   h ig h   co m p u tatio n al  co s t,  tr o u b le  in   f in d i n g   v i s u a q u er ies,  a n d   th lar g e   b r ea k   b et w ee n   lo w - le v el  v i s u al   d escr ip tio n s   an d   u s er s   s e m a n tic  an tic ip atio n .   As  r esu lt,   k e y w o r d - b ased   s ea r ch   en g i n es  ar s till   b r o ad ly   u s ed   f o r   m ed ia  e x p lo r atio n .   Ho w e v er ,   th in h er e n li m ita tio n   o f   tex t - b ased   ap p r o ac h es  b u ild   th at  all  t h e   p r esen co m m er cial  m ed ia  s ea r ch   en g in e s   tr ick y   to   lin k   th g ap   b et w ee n   tex t u al  q u er ie s   an d   m u lti m ed ia  d ata,   p ar ticu lar l y   f o r   w o r d y   q u es tio n s   i n   n at u r al  la n g u a g es.     2 . 3 .   M ultim e dia   Sea rc h Re - ra n k i ng   As  b ef o r m en tio n ed ,   p r esen t   m ed ia  s ea r c h   e n g i n es   ar t y p icall y   b u i lt  u p o n   th e   tex i n f o r m atio n   lin k ed   w it h   m u lt i m ed ia  e n tit ie s ,   s u c h   a s ,   AL T   tex ts ,   a n d   s u r r o u n d i n g   te x t s   o n   m u ltip le  w eb   p ag e.   B u t h tex in f o r m atio n   t y p icall y   d o es  n o t   ex ac tl y   e x p r ess   t h co n te n o f   th i m a g es  a n d   v id eo s ,   an d   th is   in f o r m atio n   ca n   cr u ell y   d e g r ad e   s ea r ch   r o u tin e   [ 1 2 ] .   R e - r an k i n g   i s   tech n iq u th at  i m p r o v e s   s ee k s   s i g n i f ic an ce   b y   m in i n g   th e   v is u al  i n f o r m atio n   o f   i m a g e s   an d   v id eo s .   Ob tain ab le  r e - r a n k in g   al g o r ith m s   ca n   m o s tl y   b ca teg o r ized   in to   t w o   m eth o d s ,   o n i s   p s eu d o   r elev an ce   f ee d b ac k   a n d   th o t h e r   is   g r ap h - b ased   r e - r an k i n g .   T h p s eu d o   r elev an ce   f ee d b ac k   ap p r o ac h   [ 9 ] , [ 1 1 ] , [ 1 3 ]   r eg ar d s   to p   co n s eq u en ce s   as   ap p licab le   s a m p les   an d   t h e n   it  co llect s   s o m e   s a m p les  t h at  ar u n s p ec i f ied   to   b ir r elev a n t.  A   ca te g o r izatio n   o r   r an k i n g   m o d el  is   ed u ca ted   b ased   o n   t h p s eu d o   ap p licab le  an d   i m m a ter ial  s a m p le s   an d   t h r ep r ese n tatio n   is   t h e n   u s e to   r e - r an k   t h o r ig i n al   s ee k   r e s u lt s .   I i s   i n   d is t in g u is h ed   to   r elev an ce   f ee d b ac k   w h er u s er s   clea r l y   p r o v id o p in io n   b y   ca talo g i n g   th r es u lts   as r elev a n t o r   ir r elev an t.    T h g r ap h - b ased   r e - r an k i n g   a p p r o ac h   [ 1 2 ], [1 4 ] - [1 6 ]   r eg u lar l y   f o llo w s   t w o   as s u m p ti o n s .   First,  th e   d is ag r ee m e n b et w ee n   t h f ir s r an k i n g   lis an d   th r ef i n ed   r an k i n g   lis t   s h o u ld   b e   s m all.   S ec o n d ,   th e   r an k i n g   p o s itio n s   o f   v is u all y   r elate d   s a m p les  s h o u ld   b clo s e.   Usu all y ,   t h is   ap p r o ac h   co n s tr u cts   g r ap h   w h er t h e   v er tices  ar i m a g es  o r   v id eo s   an d   th ed g es  i m itate  t h eir   p air - w i s s i m ilar itie s .   A   g r a p h - b ased   lear n i n g   p r o ce s s   is   th e n   f o r m u lated   b as ed   o n   r eg u lar izatio n   s tr u ct u r e.     B o th   o f   th t w o   ap p r o ac h es  r el y   o n   th v i s u al  s i m ilar itie s   b et w ee n   m ed i u m   e n titi e s .   C o n s er v ativ e   m et h o d s   u s u a ll y   ca lcu late  th e   s i m ilar i ties   b ased   o n   f i x ed   s et  o f   f ea t u r es  ex tr ac ted   f r o m   m ed i u m   e n ti ties ,   s u c h   as  co lo r ,   tex t u r e,   s h ap an d   b ag - of - v i s u al  w o r d s .   Ho w e v er ,   th r e s e m b la n ce   est i m atio n   ac tu a ll y   s h o u ld   b q u esti o n   ad ap tiv e.   Fo r   ex a m p le,   if   w w a n to   f in d   p er s o n ,   w s h o u ld   ca lcu late  th s i m ilar itie s   o f   f ac ial   s k i n   tex tu r i n s tead   o f   th f ea t u r es  ex tr ac ted   f r o m   t h w h o le  i m a g es  [ 1 7 ] .   I is   s en s ib le  as  i n f o r m atio n   s ee k er s   ar f u t u r to   f i n d   p er s o n   r ath er   th an   o th er   o b j ec ts .       3.   P RO P O SE SYS T E M   T h d o m ai n   a n d   i n tell ig e n ce   b ased   Mu lti m ed ia  Q A   s y s te m   h a v i n g   th e   f o llo w in g   f ea t u r es th e s ar e   Sear ch   a n d   P o s Qu e s tio n s ,   Do cu m e n R etr ie v al,   An s w er s   E x tr ac tio n ,   An s w er s   E v al u atio n s ,   An s w er in g   Mo d an d   R an k in g .   T h m u lt i m ed ia  Q s y s te m   c o n s o les  a n d   h elp s   th s t u d en t s   an d   p r o f ess o r s   b y   p r o v id in g   t h eir   n ee d s .   I n   th is   s y s te m   s t u d en t s   a n d   p r o f ess o r s   ar co n s id er   as  u s er s .   I f   u s er s   r eq u ir a n s w er   f o r   an y   q u e s tio n ,   t h e y   ca n   s ee k   t h an s w er   in   Q A   s y s te m .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8822   I J E R E    Vo l.  5 ,   No .   3 Sep tem b er   20 1 6   :   227     2 3 4   230   Fig u r 1 .   A r ch itectu r o f   s t u d en t q u es tio n   a n s w er i n g   s y s te m       I f   t h an s w er   is   alr ea d y   i n   t h e   d atab ase  th u s er s   ca n   r etr ie v th d o cu m e n ts   a n d   e x tr ac t h an s w er   f r o m   w h ic h   th e y   ca n   e v al u ate   it.  A t   last   th e   u s er s   ca n   v ie an d   u tili ze   t h a n s w er .   I f   i n   ca s n o   a n s w er   is   f o u n d   in   d atab ase  o th er   u s er   c an   p o s th a n s w er   t o   t h e ir   q u esti o n   i n   t h f o r m   o f   te x t,  i m a g e,   v o ice  an d   v id eo T h b est  an s w er s   ar r a n k ed   b y   r an k i n g   m et h o d o lo g y .   At  l ast  t h u s er   e v al u ates  a n d   v ie w s   t h b est   an s w er s .   T h f o llo w i n g   f ac to r s   ar u s e d   to   d ev elo p   DI MQ A   ( Do m ain   an d   I n te llig e n ce   b ased   M u lti m ed ia  Qu e s tio n   An s w er i n g )   s y s te m T h er ar s ev er al  a n s w er in g   m o d e s   a v ailab le  to   u s er s ,   e s p ec iall y   t h is   s y s te m   s u p p o r m u lti m ed ia  f ea tu r es  in   An s w e r in g   m o d e.   T ex tu al  a n s w er s   m a y   n o al w a y s   o f f er   s u f f ic ien n atu r al  a n d   s i m p l y   ac ce p t ab le  in f o r m at io n .   T h s y s t e m s   ap p r o ac h   w o u ld   h e lp   g iv a n s w er   g ai n er s   m o r co n cise,  co m p r eh e n s i v e   in f o r m atio n   a n d   en h an ce d   e x p er ien ce .     As  i m a g s p ea k s   th o u s a n d s   o f     w o r d s ,   th is   s y s te m   t h at  n o o n l y   co n cise  te x t u al  in f o r m atio n   b u also   o th er   m u lti m ed ia  in f o r m atio n   ca n   b tea m ed   u p   w it h   t h is   te x t u al  an s w er   to   b etter   h ig h l ig h it  a n d   th u s   p r o v id b etter   ex p er ien ce   to   th co m m o n   u s er s .   A n s w e r in g   m o d is   h elp   to   d eter m in w h ich   t y p o f   m ed iu m   is   r eq u ir e d   to   i m p r o v t h tex t u al   an s w er .   Fo r   e x a m p le,   W h at   is   m ea n   b y   R i n g   to p o lo g y ? ”  t h is   q u esti o n   o n l y   n ee d s   p u r te x t u al  a n s w er s .   B u t   s o m e   q u e s tio n s   m a y   b l ik e,   “Ho w   to   co n n ec th e   s y s te m s   i n to   R in g   T o p o lo g y ? ”  p r o v id th e   tex t u al  a n s w er   w it h   a n   i m a g o f   R in g   to p o lo g y ,   it  w i ll  b e   m o r i n f o r m ati v e.   So m eti m es  t h q u e s tio n s   m a y   b lik th i s , ”  Ho w   th s y s te m s   co m m u n icate   i n   r in g   to p o lo g y ? ”  T h an s w er   is   ex p lain ed   w i th   v id eo   th a t s h o w s   h o w   th e   s y s te m   co m m u n i ca tes  w it h   ea c h   o t h er ,   a n d   th e n   it   w ill   b ea s ier   to   u n d er s ta n d .   So   ea ch   q u e s tio n   n ee d s   d if f er en m ed i u m   to   i m p r o v th tex t u al  d ata.   B as ed   o n   th i s   an al y s is   we   ca n   class if y   t h an s w er s   b ased   o n   th m ed i u m   as :   a.   T ex t   b .   T ex t +   I m a g e   c.   T ex t +   Vid eo   d .   T ex t + I m a g +V id eo           F ig u r 2 .   Mo d o f   A n s w er in g   an d   P r o ce s s in g       a.   T ex t: it  m ea n s   th a t u n iq u te x t u al  an s w er s   ar en o u g h .     b.   T ex t+ i m ag e it  m ea n s   t h at  te x tu a i n f o r m atio n   is   n o e n o u g h   to   u s er   s o   i m ag in f o r m atio n   m u s b e       ad d ed .   c.   T ex t +v id eo : it  m ea n s   t h at  tex t u al  in f o r m a tio n   a n d   v id eo   in f o r m atio n   m u s t b ad d ed .     d.   T ex t+i m ag e+ v id eo it   m ea n s   th at   w ad d   b o th   i m a g an d   v id eo   i n f o r m atio n   alo n g   w it h   tex t u a l           in f o r m atio n .   T h ab o v an s w er i n g   m o d es   ar u s ed   to   g i v b r ief   a n s w er s   to   th f ac u lt y   a n d   s t u d en t   to   g ain   m o r k n o w led g th v id eo   an s w er s   ar ex p lain ed   in   d etai m a n n er .   W h en   c o m p ar in g   w it h   t h e   tex t u al  an s w er i n g   m o d t h m u lt i m ed ia  a n s w er i n g   m o d es p r o v id th es s en tia l in f o r m atio n   to   t h u s er s .             Evaluation Warning : The document was created with Spire.PDF for Python.
I J E R E     I SS N:  2252 - 8822       Do ma in   a n d   I n tellig en ce   B a s e d   Mu ltimed ia   Qu esti o n   A n s w erin g   S ystem  ( K .   Ma g esh   K u ma r )   231   4.   M E T H O D   4 . 1 .   Se m a ntic   M a t ch  Alg o rit h m   T h Sem a n tic  m atc h   ( S - m atc h )   alg o r ith m   is   tr y i n g   to   clo s e   th g ap   b et w ee n   u s er   co m m a n d   an d   th e   n ee d   f o r   h y p er li n k   ac ce s s ib il it y .   T h DI MQ A   s y s te m   s tar ts   in   o n d o cu m en t   a n d   th e n   m o v th r o u g h   an   u n e n d in g   s e o f   d o cu m e n t s ,   w h ic h   co n n ec ted   b y   to p ic .   T h is   in f o r m atio n   n et w o r k in g   is   b as ed   o n   th p r o p o s al  o f   s e m a n tic   ass o ciat io n s ,   wh er o n e   u n it   ( n o d e)   is   co n n ec ted   to   a n o th er   u n it   ( n o d e)   b y   m ea n s   o f   a   r elatio n s h ip   ( an   ed g e) .   Mo s s ea r ch   e n g in e s   r etr iev e   in f o r m atio n   ac cu r atel y   b y   ex p lo iti n g   k e y   co n ten t   o f   ass o ciatio n s   in   Se m a n tic  r eso u r ce s ,   o r   r elatio n s .   T h Se m a n tic  b ased   s ea r ch   en g i n es  w h ich   r el y   o n   in f o r m atio n   t h at  co u ld   b ex tr ac tin g   f r o m   u s er   q u er y   a n d   th o n to lo g y   f o r   g i v en   d o cu m en t .   T h id ea   is   to   u s s u r v i v i n g   r elatio n s   i n   th o n to lo g y   n a m e s   v ir t u al  li n k s ”  alo n g   w it h   ap p l y   th e m   to   s et  o f   d o c u m e n ts   to   in cr ea s th e   p r o b ab ilit ies  o f   f i n d in g   t h in h er en t   as s o ciatio n s   m ad b y   th e   u s er   at  t h e   ti m o f   t h q u er y .   T h e   id ea   o f   ex p lo itin g   o n to lo g y - b ased   an n o tatio n s   f o r   in f o r m at io n   is   n o late s t;  s e m a n tic  s e ar ch   en g in w o u ld   co n s id er   k e y w o r d   co n ce p ass o ciatio n s   an d   w o u ld   r etu r n   d o cu m e n t   o n l y   i f   k e y w o r d s   ( o r   s y n o n y m s ,   h o m o n y m s ,   etc. ) A r f o u n d   with i n   t h d o cu m e n a n d   r elate   to   ass o ciate   co n ce p ts .   T h s e m an tic  al g o r ith m   u s ed   to   p r o d u ce   th m i n i m al  r esu lt in g   s i m ilar   a n s w er s   i n   e f f ec tiv Q A   s y s te m .   W ith in   n at u r al  lan g u a g w u s v o ca b u lar y   o f   tin y   e x p r ess io n s   an d   g r a m m ar   to   b u ild   w e ll - f o r m ed   an d   m ea n i n g f u ex p r e s s io n s   an d   s e n ten ce s .   I n   th f r a m e w o r k   o f   a n   o n to lo g y   lan g u ag t h v o ca b u lar y   is   ca lled   s ig n at u r e.   I t c an   b d ef i n ed   as f o llo w s .     4 . 1 . 1 .   Def ini t io n o f   Sig na t ure   A   s ig n at u r is   q u ad r u p le  ( C ,   P ,   R ,   I )   w h er C   is   s et  o f   co n ce p n a m es,  P   is   s et  o f   o b j e ct  p r o p er ty   n a m es,   R   is   s et  o f   d ata  p r o p er ty   n a m e s ,   a n d   I   i s   s e o f   in d i v id u al   n a m e s .   T h u n io n   P     R   is   r ef er r ed   to   as th s et  o f   p r o p er t y   n a m e s .     4 . 1 . 2 .   Def ini t io n o f   Si m ila rit y   Sea rc h Alg o rit h m   σ   Giv e n   t w o   o n to lo g ies  O1   a n d   O2   an d   th eir   s i g n at u r es  S1   {C1 ,   P 1 ,   R 1 ,   I 1 i}  an d   S2   {C2 ,   P 2 ,   R 2 ,   I 2 },   s i m ilar it y   s ea r ch   a lg o r i th m   σ   is   d ef in ed   as  σ ( S,  Si m l r Strin g )   →  T   w h er C 2   |   P 2   |   R 2   |   I 2   is   th e   se ar ch   s p ac s u c h   th at  T     S.  Si m lr Strin g     S1   is   s ea r ch   s tr in g .   T   t y p s h o u ld   b s a m as  Si m lr Stri n g ,   i.e .   SlrStr in g     C 1   w ill  lead   to   T     C 2   a n d   s o   o n .   B y   r ed u c in g   th p r o b le m   w ith   j u s t   co n s id er in g   o n n a m f r o m   S1   as  Si m lr S tr in g ,   w tr ied   to   k ee p   th al g o r it h m   m o r g e n e r al,   s o   it  co u ld   b e   u s ed   b y   o t h er   ap p licatio n s   s u c h   as  s ea r ch   e n g in e s ,   w h ic h   n ee d   to   f in d   co n ce p in   o n to lo g y   s i m ilar   to   s ea r ch   te x t.  F o r   th s ak o f   th e   s i m p lic it y ,   in   t h f o llo w i n g s ,   w e   o n l y   r e f er   to   co n ce p t s   b u t   s i m ilar   m et h o d s   co u l d   b ap p lied   to   s ea r ch   f o r   o th er   p ar ts   o f   s ig n at u r es.     4 . 1 . 3 .   Alg o rit h m   o f   Si m i la rit y   Sea rc h Alg o rit h m   FIN DI NGSI MI L AR I T ( Si m lr Strin g ,   On to Sear c h L is t )   1 : Fir s t tr ies to   f i n d   r eso u r ce   t h at  ar s i m ilar   to   Si m lr Strin g   d ir ec tl y     2 : Si m lr O n tR e s   FIN DL E XI C AL SIM I L A R   ( Sl r Strin g ,   On to Sear ch L is t,  I s u b T   h r s h ld )     3 : if   Si m lr On tR e s   6 NI L   t h en     4 : if   SEM A NT I C FIL T E R AC C E P T S ( SlrOn tR es. L o ca lN  a m e ,   Si m lr Stri n g )   t h e n   5 : r etu r n   Si m lr O n tR e s     6 : e n d   if     7 : e n d   if     8 : B   C r ea tin g   Sear c h   Ma tr ix     9 : M   ←  W OR DNE T NUM B E R OFME ANI NG  ( Si m lr Stri n g   1 0 : Si m lr Ma tr ix   ←  B UI L DE MPT YSI MI L A R I T YM A T R I ( M)     1 1 : f o r   i ←  0   to     1   d o     1 2 :A DDT OR OW ( Si m lr Ma tr i x , i,W OR DNE T GE T SYNONYM S(Si m lr Stri n g , i) )   1 3 :A P P E NDT OR OW ( Sim lr M atr ix , i,W OR DNE T GE T HYP E R NYM S( Si m Stri n g     , i) )     1 4 : e n d   f o r     1 5 : B   C alcu late  Mo s t Si m ilar s     1 6 C AL C U L A T E SIM I L A R I T I E S ( On t0 Sear ch L is t,  Sear ch Ma tr ix )     1 7 : Can d id ateA r r a y   ←  B UI L DAR R A ( M)     1 8 : f o r   i ←  0   to     1   d o     1 9 : Can d id ateA r r a y [ i]   ←  FIN DC A NDI D A T E   ( Sear ch Ma tr i x ,   i   2 0 : e n d   f o r     2 1 : B   W o r d   Sen s Dis a m b i g u atio n   2 2 : p r ef er r ed Me an in g   ←  W S ( Sear ch Ma tr ix [ i] )   2 3 : if   C an d id ate A r r a y   [ p r ef er r ed Me an in g ] [ i]   6 NI L   th e n     2 4 : r etu r n   C an d id ate A r r a y   [ p r ef er r ed Me an in g ] . Mo s tS i m ilar On t R es    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8822   I J E R E    Vo l.  5 ,   No .   3 Sep tem b er   20 1 6   :   227     2 3 4   232   2 5 : e n d   if   2 6 : B   I f   W SD f ailed   2 7 : f o r   i ←  0   to   M   −  1   d o     2 8 : if   C an d id ate A r r a y [ i]   6 NI L   th e n     2 9 : r etu r n   C an d id ate A r r a y [ i] . Mo s tSi m ilar O n tR e s     3 0 : e n d   if     3 1 : e n d   f o r     3 2 : B   No t f o u n d     3 3 : r etu r n   NI L     4 . 2 .   Na iv e   B a y esia n   Ra nk ing   Alg o rit h m     T h Naiv e   B ay esia n   R a n k in g   A l g o r ith m   h e lp s   to   r an k   th au d io   an d   v id eo   b y   th u s er   b ased   r ev ie w .   T h is   is   o n o f   t h m o s ef f ec tiv al g o r it h m s   to   r an k   th a u d io   an d   v id eo   f ile s .   T h d escr ib ed   p r o b lem   o f   r an k i n g   an d   s u g g esti n g   t h i n g s   ar ar is in   v ar iet y   o f   ap p li ca tio n s   i n cl u d i n ter ac tiv e   co m p u tat io n al  s ch e m e   f o r   h elp i n g   p eo p le  to   p o w er   s o cial  in f o r m at io n ;   in   tec h n o lo g ical  th e s s y s te m s   ar e   ca lled   s o cial  n a v i g atio n   s y s te m s .   T h ese  s o cial  n av ig a tio n   s y s te m s   h elp   ea ch   in d i v id u al  an d   th eir   p er f o r m a n ce   an d   th eir   d ec is io n   m ak in g   o v er   s elec t in g   an s w er s .   B ased   o n   th ea ch   p er s o n al ities   r ep l y   t h r an k in g   an d   s u g g e s ti n g   o f   p o p u lar   ite m s   w as  d o n e.   T h p er s o n s   o p in io n   m ig h b o b tain ed   b y   d is p la y i n g   s e o f   s u g g e s ted   an s w er s ,   w h er t h e   s elec tio n   o f   a n s w er s   is   b ased   o n   th e   li k in g   o f   th e   en t it y .   T h p lan   is   to   p r o p o s ac ce p ted   ite m s   b y   r ap id l y   s tu d y in g   t h tr u p o p u lar it y   r an k i n g   o f   an s w er s .   B y   th i s   m et h o d   p r o p o s ed   in ,   w h ic h   d ef i n es  s co r f o r   q u er y   b ased   o n   th r elati v e   en t r o p y   b et w ee n   t h e   q u er y   a n d   c o llectio n   lan g u ag m o d els.       ( 1 )     W h er V ci   i s   t h e n tire   v o ca b u lar y   o f   t h e   co llectio n   C i ,   a n d   =   1 2 3   r ep r esen t   tex t ,   i m a g a n d   v id eo ,   r esp ec tiv el y .   T h e   T er m s   P   ( w |   q )   an d   P   ( w |   C i )   ar th q u er y   an d   co llectio n   lan g u ag m o d els,  r esp ec tiv el y .   T h C lar it y   v alu e   b ec o m es   s m al ler   as   th e   to p   r an k ed   d o cu m e n ts   ap p r o ac h   r an d o m   s a m p le   f r o m   t h co llectio n .   T h e   q u er y   la n g u a g m o d el  is   esti m ated   f r o m   th to p   d o cu m e n ts ,   R ,   as th f o llo w i n g   f o r m u la,         ( 2 )     an d     is   d ef i n ed   as,                             ( 3 )     W h er P ( q | D )   is   th q u er y   li k elih o o d   s co r o f   d o cu m en D .   W ap p ly   th i s   m eth o d   to   ca lcu late,               ( 4 )     I n   th i s   w o r k ,   f o r   q u er y   g en er ated   f r o m   g i v en   Q A   p air ,   w u s m u ltip le   d o cu m e n t s   ( f o r   s ev er a l   co m p le x   q u er ies,   t h er m a y   b less   th a n   2 0   r esu lts   r etu r n ed )   to   esti m ate  th e   r etr iev a ef f e ctiv e n ess   f o r   ea ch   m ed iu m   t y p e,   i n cl u d in g   tex t,   i m a g a n d   v id eo .   T h Naiv e   B ay e s ian   A p p r o ac h   r ep r esen t s   t h cla s s - s p ec i f ic   r elate d   w o r d s   in   m u l tip le  f o r m ats.                   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E R E     I SS N:  2252 - 8822       Do ma in   a n d   I n tellig en ce   B a s e d   Mu ltimed ia   Qu esti o n   A n s w erin g   S ystem  ( K .   Ma g esh   K u ma r )   233   T ab le   1 .   R ep r esen tativ C las s - Sp ec if ic  R e lated   W o r d s   C a t e g o r i e s   C l a ss - S p e c i f i c   R e l a t e d   W o r k   L i st   T e x t   n a me ,   p o p u l a t i o n ,   p e r i o d ,   t i me s,  c o u n t r y ,   h e i g h t ,   w e b si t e ,   b i r t h d a y ,   a g e ,   d a t e ,   r a t e ,   d i st a n c e ,   s p e e d ,   r e l i g i o n s,  n u mb e r ,   e t c   T e x t + I mag e   c o l o u r ,   p e t ,   c l o t h e s,  l o o k   l i k e ,   w h o ,   i mag e ,   p i c t u r e s,  a p p e a r a n c e ,   l a r g e st ,   b a n d ,   p h o t o ,   s u r f a c e ,   c a p i t a l ,   f i g u r e ,   w h a t   i a ,   sy mb o l ,   w h o m,  l o g o ,   p l a c e ,   e t c   T e x t + V i d e o   h o w   t o ,   h o w   d o ,   h o w   c a n ,   i n v e n t e d ,   st o r y ,   f i l m,  t e l l ,   so n g s,  mu s i c ,   r e c i p e ,   d i f f e r e n c e s,  w a y s,  st e p s,   d a n c e ,   f i r st ,   s a i d ,   e t c   T e x t + I mag e + V i d e o   p r e si d e n t ,   k i n g ,   p r i me   m i n i s t e r ,   k i l l ,   i s su e ,   n u c l e a r ,   e a r t h q u a k e ,   si n g e r b a t t l e ,   e v e n t ,   w a r ,   h a p p e n e d ,   e t c       5.   E XP E R I M E NT A L   RE SUL T S AN A NALY SI   T h Data   s et  f o r   ex p er im en ts   h av t w o   s u b s et s .   First,  ar b itra r il y   c o llect  s o m q u esti o n   f r o m   w i k i   a n s w er s   an d   f o r   s ec o n d ,   co lle ct  f e w   q u es tio n   a n d   t h eir   r el ativ a n s w er s   f r o m   Y ! A   . R an k in g   m et h o d   is   u s ed   to   f in d /s elec th b est  o r   f in es an s w er   f r o m   t h d atab ase  an d   h er   f o r   r an k in g   t h v o te  is   co llected   f r o m   th e   u s er   b ased   o n   Naiv B a y esia n   alg o r ith m .     T o   ca lcu late  o u r   an s w er ,   t h e   m ed iu m   s elec tio n   ap p r o ac h   is   u s ed   h er it  m e n tio n s   t h lab el  th at   in v o l v ed   i n   t h g r o u n d   tr u t h   l ab elin g   p r o ce s s   . T h e y   ar h el p f u l   in   an s w er   m ed iu m   i n f o r m atio n   , f o r   e x a m p l e   Ho w   to   co n n ec s y s te m   u s in g   r i n g   to p o lo g y .   Fo r   th i s   q u esti o n ,   i f   t h an s w er   f o r   r elev an q u est io n   i s   av ailab le  in   t h d atab ase  th e n   th Q A   s y s te m   ea s il y   r etr i ev th a n s w e r   f r o m   th d ata b ase.   Oth er w is t h e   q u esti o n   is   p o s ted   i n   t h e   Q A   s y s te m   b y   th e   u s er   f o r   th is   p o s ted   q u esti o n   t h u s er   ca n   p o s t   th e   an s w er s   i n   t h e   w a y   o f   tex t,  v id eo   a n d   i m a g es.  I n   t h is   s y s te m   a   s et  o f   u s er   w il ex p ec m u lti m ed ia  a n s w er   b ec au s w h e n   co m p ar i n g   to   th te x tu a an s w er s   t h v id eo   an s w er s   ar m o r i n f o r m ati v . I n   th is   tab l it  s h o w s   th at  m o r e   th an   5 0 o f   t h q u e s tio n   ca n   b an s w er ed   b y   ad d in g   m u lti m ed ia  co n te n t s   in s tead   o f   p u r el y   te x t.  So   w ca n   co n clu d t h at  m u lti m ed ia  ap p r o ac h   h i g h l y   p r ef er r ed .   A c co r d in g   to   t h r es u lt,  t h c o m p ar is o n   b et w ee n   o r ig in al  te x t u al  an s w er   an d   m ed ia  an s w er   th m u l ti m ed i an s w er i n g   s y s te m   i s   m o r e   u s e f u b ec au s th e   tex t u al  a n s w er   h a v o n l y   te x a n d   it   is   les s   p r e f er ab le  b y   t h u s er   b u t h e   an s w er s   w it h   t h tex t   an d   m u lti m e d ia  f ea t u r es  ar m o r e   ef f ec tiv a n d   u n d er s ta n d ab le  .   T h tab le  s h o w s   th ac t u al   Ass i s tan ce   o f   o n l y   tex t u al  a n s w er   a n d   te x tu a a n s w er s   w it h   m u lti m ed ia  f ea t u r es.  T h ex p er i m en tal  s et tin g s   p r ese n t h u s er   s tu d y   r es u lt  i n   T ab le  1 .   A cc o r d in g   to   s t u d y   m o r th a n   7 0 %   p eo p le  p r ef er s   m ed ia  an s w er   alo n g   w it h   te x tu al   an s w er .   I is   m o r i m p o r tan c o m m u n it y   m e m b er   to   p r o v id th an s w er   w it h   m ed ia  d ata  t o   b etter   u n d er s tan d   th q u es tio n .         T ab le   2 .   C o m p ar is o n   o f   S y s te m   Usab ili t y   P r e f e r   me d i a   a n sw e r   N o   a n sw e r   P r e f e r   o r i g i n a l   t e x t u a l   a n sw e r   7 0 %   5%   2 5 %       T h f o llo w i n g   tab le   ( T ab le  3 )   c o m p ar es  t h m u lti m ed ia  f e atu r w it h   Y ! A   a n d   W ik An s w er s ,   th e   Y! A   an d   W ik An s w er s     d o es  n o s u p p o r m u lti m ed ia  an s wer s   b u th DI MQ A   p r o v id t h 9 5 o f   ef f ec ti v e   an s w er s   i n   m u lti m ed ia  f o r m a t.       T ab le   3 .   DI MQ A   w i th   M u lti m ed ia  Featu r e   M e t h o d   Y ! A   W i k i A n sw e r   D I M Q A   T e x t - B a se   me t h o d   8 2 . 1 7 %   8 5 . 2 6 %   9 2 . 4 5 %   M u l t i me d i a   a p p r o a c h   N I L   N I L   9 5 %       T h f o llo w in g   c h ar t   ( F ig u r 1 )   s h o w s   th e   r es u lt  o f   DI MQ s y s te m   u s in g   o n l y   te x t u al  an s w er   a n d   tex t u al  w it h   m u lt i m ed ia  a n s wer .       0 50 10 0 o n ly textu al an s w e rs Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8822   I J E R E    Vo l.  5 ,   No .   3 Sep tem b er   20 1 6   :   227     2 3 4   234   Fig u r 3.   DI MQ A   s y s te m   p er f o r m a n ce   ev a lu atio n       T h an s w er i n g   m o d es  ar u s ed   to   g iv b r ief   an s w er s   to   th f ac u lt y   a n d   s tu d e n to   g ain   m o r e   k n o w led g an d   t h v id eo   an s w er s   ar ex p lai n ed   i n   d et ailed   m a n n er .   W h e n   co m p ar i n g   w it h   t h tex tu al   an s w er i n g   m o d e,   th m u l ti m e d ia  an s w er in g   m o d e s   p r o v id es th ess e n tial i n f o r m atio n   to   th u s er s .         6.   CO NCLU SI O AND  F U T U RE   E NH A NCEM E NT   T h QA  s y s te m   d e v elo p ed   b y   th e   s e m a n tic  m atc h   al g o r ith m   a n d   Nai v B a y esia n   r a n k i n g   al g o r ith m   w h ic h   allo w s   t h m u ltip le   u s er s   to   s h ar e   th e ir   an s w er   i n   th e   w a y   o f   te x t,   i m a g e,   a u d io   an d   v id eo .   T h ef f ec tiv w a y   o f   an s w e r i n g   m o d e s   is   e v al u ated   w it h   s e m an tic  m atc h   an d   n aïv B a y esi an   alg o r it h m s   a n d   it   p r o v id es   th e   b est  a n s w er   f o r   t h e   u s er s .   W ith   t h h elp   o f   t h i s   s y s te m   e v er y   s t u d en t   an d   f a cu lt y   w i ll  g et  g o o d   k n o w led g e   o n   v a r io u s   s u b j ec ts .   T h is   s y s te m   ca n   b f u r th er   ex ten d ed   to   g e n er ate  t h a u to m atic   Qu e s tio n   b an k   f o r   s t u d en a n d   g e n er ate  t h q u esti o n   p ap er s   f o r   co lleg ex a m in at io n .   Ma i n l y ,   th s y s t e m   f u r t h er   ex ten d s   w it h   e - p r o f ess o r   m o d to   g et  i m m ed iate  s o lu tio n   f o r   th q u e s tio n   w h ic h   m ea n s   it  w i ll d esi g n   f o r   o n li n ch at s .       RE F E R E NC E S   [1 ]   L .   Nie ,   e a l. ,   Be y o n d   tex QA M u lt im e d ia  a n sw e g e n e ra ti o n   b y   h a rv e stin g   W e b   in f o rm a ti o n ,”   M u lt ime d i a ,   I EE E   T ra n sa c ti o n o n ,   v o l/ iss u e 15 ( 2 ),   p p .   4 2 6 - 4 4 1 2 0 1 3 .   [2 ]   A .   M o sc h it ti   a n d   S .   Q u a rt e ro n i ,   L in g u isti c   k e rn e ls  f o a n s w e re - ra n k in g   in   q u e stio n   a n sw e rin g   s y ste m s ,”   In fo rm a t io n   Pro c e ss in g   &   M a n a g e me n t ,   v o l/ issu e 4 (7 , 6 )   p p .   8 2 5 - 8 4 2 2 0 1 1   [3 ]   C.   H.  Hs u ,   e a l. ,   Us in g   d o m a in   o n t o lo g y   to   im p le m e n a   f r e q u e n tl y   a s k e d   q u e stio n sy ste m ,”   Co mp u ter   S c ien c e   a n d   In f o rm a ti o n   En g in e e rin g ,   2 0 0 9   W RI  W o rl d   Co n g re ss   o n . ,   v o l.   4 ,   2 0 0 9 .     [4 ]   R.   C.   W a n g ,   N.  S c h lae f e r,   W .   W .   Co h e n ,   E.   Ny b e rg ,   Au to ma t ic  se e x p a n sio n   f o li st  q u e sti o n   a n swe rin g ,   i n   P r o c .   I n t.   C o n f .   Em p iri c a M e th o d s in   Na t u ra L a n g u a g e   P ro c e ss in g ,   2 0 0 8 .     [5 ]   E.   P a rz e n   a n d   F .   H o ti ,   On   Esti m a ti o n   o f   a   P ro b a b i li ty   De n sit y   F u n c ti o n   a n d   M o d e ,   An n a ls  o f   M a th e ma ti c a l   S ta ti st ics ,   v o l /i ss u e :   33 ( 3 ) ,   1 9 6 2 .     [6 ]   T .   S .   Ch u a ,   e a l. ,   F ro m   tex q u e stio n - a n sw e rin g   to   m u lt im e d ia Q A   o n   w e b - sc a le  m e d ia res o u rc e s ,”   Pro c e e d in g o f   th e   Fi rs ACM   wo rk sh o p   o n   L a r g e - sc a le mu lt ime d ia   re triev a a n d   min in g ,   ACM ,   2 0 0 9 .   [7 ]   M .   W a n g   a n d   X .   S .   Hu a ,   A c ti v e   lea rn in g   in   m u lt im e d ia  a n n o tatio n   a n d   re tri e v a l:   A   su rv e y ,   AC M   T ra n s.  In tel l .   S y st.  T e c h n o l. ,   v o l /i ss u e :   2 ( 2 ) ,   p p .   1 0 31 ,   2 0 1 1 .   [8 ]   Y.  Ga o ,   M .   W a n g ,   Z.   J.  Zh a ,   Q.  T ian ,   Q.  D a i,   N.  Zh a n g ,   L e ss   i m o re E ff icie n 3 d   o b jec re tri e v a w it h   q u e r y   v ie w   se lec ti o n ,   IEE T ra n s.  M u l ti me d ia ,   v o l /i ss u e :   13 ( 5 ) ,   p p .   1 0 0 7 1 0 1 8 ,   2 0 1 1 .     [9 ]   I.   A h m a d   a n d   T .   S .   Ja n g ,   Ol d   f a s h io n   tex t - b a se d   im a g e   re tri e v a u sin g   F CA ,   in   Pro c .   ICI P ,   2 0 0 3 .     [1 0 ]   D.  L iu ,   e a l . , “ T a g   Ra n k in g ,   P ro c .   1 8 t h   I n t‟l  Co n f . W o rld   W id e   W e b ,   A CM   P re ss ,   p p .   3 5 1 - 3 6 0 2 0 0 9   [1 1 ]   X .   T ian ,   L .   Y a n g ,   J.  Wan g ,   Y.  Ya n g ,   X .   W u ,   X.   S .   Hu a ,   Ba y e sia n   v id e o   se a rc h   re ra n k in g ,   in   P ro c .   A CM   In t.   Co n f .   M u l ti m e d ia ,   2 0 0 8 .   [1 2 ]   S.  L iu ,   e a l. ,   S o c ial   v isu a im a g e   ra n k in g   f o w e b   im a g e   se a rc h ,   A d v a n c e in   M u lt im e d ia  M o d e li n g ,   S p r in g e Be rli n   He id e lb e rg ,   p p .   2 3 9 - 2 4 9 2 0 1 3 .   [1 3 ]   H.  F e n g ,   A .   Ch a n d ra sh e k h a ra ,   T .   S .   Ch u a ,   T a mr a :   a n   Au t o ma ti c   T e mp o ra M u lt ire so lu ti o n   An a ly sis  Fra me wo rk   fo r S h o t   Bo u n d a ry   De tec ti o n ,   P r o c .   In t‟l   Co n f .   M u lt im e d ia   M o d e li n g   (M M M ) ,   A CM   P re ss ,   2 0 0 3 .   [1 4 ]   S .   L a z e b n ik ,   C.   S c h m id ,   J.  P o n c e ,   Bey o n d   Ba g o Fea tu re s:  S p a ti a Pyr a mid   M a tch i n g   f o Rec o g n izin g   Na tu r a l   S c e n e   Ca teg o rie s ,   P ro c .   IEE Co m p u ter  S o c iety   Co n f .   Co m p u ter  V isio n   a n d   P a tt e r n   Re c o g n it io n   (CVP R),   IE EE   CS   P re ss ,   2 0 0 6 .   [1 5 ]   H.  Ba y ,   e a l. ,   S p e e d e d - Up   R o b u st  F e a t u re (S URF),   Co m p u t e Vi sio n   a n d   Ima g e   Un d e rs ta n d in g ,   v o l / issu e :   110 ( 3 ) p p .   3 4 6 - 3 5 9 2 0 0 8 .   [1 6 ]   J.   L .   S o n g ,   S c a b le   Ima g e   Retrie v a Ba se d   o n   Fea tu re   Fo re st ,   P ro c .   A si a n   Co n f .   Co m p u ter V isio n ,   S p rin g e P re ss ,   2 0 0 9 .   [1 7 ]   D.   R.   Ra d e v ,   e a l . ,   Eva lu a ti n g   W e b - b a se d   Qu e stio n   An swe rin g   S y ste ms ,   P ro c .   In t‟l  C o n f .   L a n g u a g e   Re so u rc e a n d   Ev a lu a ti o n ,   2 0 0 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.