I AE I nte rna t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   3 ,   No .   4 Dec em b er   201 4 ,   p p .   150 ~ 155   I SS N:  2252 - 8938           150       J o ur na l ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I J A I   Qu an tile Reg ressio n  Neural N etwo rks  Based  Pr ed ictio n   o f  Dr u g   Activ ities       M o ha m m e d E .   E l - T elba ny   Co m p u ters   a n d   S y ste m s De p a rt m e n t   El e c tro n ics   Re se a rc h   In stit u te ,   Eg y p t       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u 3 ,   2 0 1 4   R ev i s ed   No v   9 ,   2 0 1 4   A cc ep ted   No v   2 1 ,   2 0 1 4       QSA (q u a n ti tativ e   stru c tu re - a c ti v it y   re latio n sh ip m o d e li n g   is  o n e   o f   th e   w e ll   d e v e lo p e d   a re a in   d ru g   d e v e lo p m e n th r o u g h   c o m p u tatio n a c h e m istr y .   S im il a m o lec u les   w it h   ju st  a   sli g h v a riatio n   in   th e ir  str u c tu re   c a n   h a v e   q u it   d if fe re n b io lo g ica a c ti v i ty .   T h is  k in d   o f   re latio n sh i p   b e tw e e n   m o lec u lar   stru c tu re   a n d   c h a n g e   in   b io l o g ica a c ti v it y   is  c e n ter  o f   f o c u f o QS A M o d e li n g .   P re d icti o n o f   p ro p e rt y   a n d /o a c ti v it y   o in tere st  h a v e   th e   p o ten ti a t o   sa v e   ti m e ,   m o n e y   a n d   m in i m ize   th e   u se   o f   e x p e n siv e   e x p e ri m e n tal  d e sig n s,  su c h   a s,   f o e x a m p le,  a n i m a l   tes ti n g .   In telli g e n m a c h in e   lea rn in g   tec h n i q u e a re   im p o rtan to o ls  f o QSA a n a ly sis,  a a   re su lt ,   th e y   a r e   in teg ra ted   in to   th e   d ru g   p ro d u c ti o n   p ro c e ss .   T h e   e ff e c ti v e   lea rn a b le  m o d e c a n   re d u c e   t h e   c o st  o f   d ru g   d e sig n   sig n if ica n tl y .   T h e   q u a n t il e   e stim a ti o n   v ia  n e u ra n e t w o rk   stru c tu re   tec h n i q u e   in tr o d u c e d   in   th is   p a p e is  u se d   t o   p re d ict  a c ti v it y   o f   p y ri m id in e b a se d   o n   t h e   stru c tu re a c ti v it y   re latio n sh ip   o f   th e se   c o m p o u n d w h ich   a ss ist  f o f in d in g   p o ten ti a l   trea t m e n a g e n ts  f o se rio u d ise a se .   In   c o m p a riso n   w it h   sta ti stica q u a n ti le  re g re ss io n ,   th e   q r n n   sig n if ica n tl y   re d u c e   th e   p re d ictio n   e rro r .   K ey w o r d :   Ma ch i n L ea r n i n g   P r ed ictio n   QS A R   Q u a n tile  Ne u r al  Net w o r k s   Co p y rig h ©   2 0 1 4   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Mo h a m m ed   E .   E l - T elb an y   Dep ar te m en t o f   E lectr ical  an d   C o m p u ter   E n g in ee r i n g ,   C o m p u ter s   an d   S y s te m s   Dep ar t m en t E lectr o n ics  R esear ch   I n s ti tu te,   E g y p t .   E m ail:  telb a n y @ er i.sci.e g       1.   I NT RO D UCT I O N     I n   r ec en t y ea r s ,   w ith   p r o d u cts   o f   h u m an   g en o m p r o j e ct  h e lp in g   to   r ev ea l   m an y   n e w   d is ea s ta r g e ts   t o   w h ich   d r u g   tr e atm en ts   m ig h b aim ed ,   a ll  th m ajo r   p h ar m ac eu t ica c o m p an ies  h av in v este d   h ea v i ly   in   th e   r o u t in u lt r a - Hig h   T h r o u g h p u Scr ee n in g   ( u H T S)  o f   v as n u m b er s   o f   d r u g - l ik e   m o le cu les  g u i d e d   b y   ch em o in f o r m atics  in v es tig ati o n s   [   L ip in s k i ,   2 0 0 4 ,   L ee s o n   el  at. ,   2 0 0 4 ] .   T h d ev e l o p m en o f   n ew   d r u g   is   s til l   ch a llen g in g ,   tim e - co n s u m in g   an d   c o s t - in ten s iv e   p r o c es s   an d   d u e   t o   th e   en o r m o u s   ex p en s o f   f ailu r es   o f   ca n d id ate  d r u g s   lat in   th eir   d ev e lo p m en t,  u H T in   v itr o   ass ay s   n o w   co v er   li a b ili ties   s u ch   as  p o s s i b l s id e   ef f ec ts   [ L i,  2 0 0 5 ]   as  w ell  as  th er ap eu tic  p r o p er ties ,   c o m p u tat io n al   m eth o d s   ca n   b u s e d   t o   ass is a n d   s p e ed   u p   th d r u g   d esig n   p r o ce s s .   I is   o b v io u s   th at  th d r u g   d is co v e r y   an d   d ev el o p m en p r o c ess   w o u l d   g r ea t ly   b en ef it   f r o m   f aster   an d   ch ea p e r   p r o ce d u r es  t o   id en tif y   ch em ical  c o m p o u n d s   w ith   d esi r e d   b i o l o g i ca p r o p er ties   an d   t o   o p tim ize  th ei r   s t r u c tu r in   o r d er   t o   o b ta in   ef f ec t iv d r u g s .   Se v er a m ajo r   b o tt len e ck s   in   d r u g   d is c o v e r y   m a y   b ad d r ess e d   w ith   co m p u ter - ass i s ted   d r u g   d es ig n   m eth o d s ,   s u ch   as  q u an t ita tiv s tr u ctu r e a ctiv ity   r elat io n s h i p s   ( QSA R )   m o d els  [ Han s ch ,   1 9 6 9 ] ,   w h er th m o lecu la r   ac t iv ities   a r c r it ica f o r   d r u g   d esig n ,   th ey   ca n   b p r e d ic te d   b y   QSA R   m o d els .   Mo lecu lar   ac ti v it y   i s   d eter m i n ed   b y   its   s tr u ctu r e,   s o   s tr u ct u r p ar a m eter s   ar e x tr ac ted   b y   d if f er en m et h o d s   to   b u ild   Q S A R   m o d els.  No w ad a y s ,   m ac h in lear n in g   alg o r ith m s   h av b ee n   u s e d   in   th m o d elin g   o f   QSA R   p r o b lem s   [ Du ch   et  al. ,   2 0 0 7 C h in   a n d   C h u n ,   2 0 1 2 Ger tr u d esa  et  al. ,   2 0 1 2 ] .   T h ey   ex tr ac in f o r m atio n   f r o m   ex p e r im en tal  d at b y   co m p u tati o n al  an d   s tat is ti ca l   m eth o d s   an d   g en e r a te  s et   o f   r u les ,   f u n cti o n s   o r   p r o ce d u r es  th a al lo w   th em   t o   p r e d i ct  th e   p r o p e r ti es  o f   n o v e o b jects   th at   a r n o in clu d e d   in   th l ea r n in g   s et .                     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       Qu a n tile R eg r ess io n   N eu r a l N etw o r ks B a s ed   P r ed ictio n   o f D r u g   A ctivities  ( Mo h a mme d   E .   E l - Telb a n y )   151   Fo r m ally ,   lea r n in g   alg o r i th m   is   task ed   w ith   s elec tin g   h y p o th esis   th at  b es s u p p o r ts   th d a ta .   C o n s i d e r in g   th e   h y p o th esis   t o   b e   a   f u n cti o n       m ap p in g   f r o m   th e   d ata   s p a ce       t o   th e   r esp o n s e   s p ac e     ;   i . e . ,             T h lear n er   s elec ts   th b est  h y p o t h esi s         f r o m   s p ac o f   all   p o s s ib le  h y p o t h ese s       b y   m in i m i ze   e r r o r s   w h en   p r e d ic tin g   v alu f o r   n ew   d ata,   o r   if   o u r   m o d e l in clu d es a   c o s t   f u n ctio n   o v e r   e r r o r s ,   t o   m in i m ize  th t o t al  c o s o f   er r o r s .           Fig u r 1 .   Gen er al  Step s   o f   De v elo p in g   QS AR   Mo d els.       A s   s h o w n   in   Fig u r 1 ,   th QSA R   m o d elin g   is   h ea v i ly   d ep en d en o n   th s ele cti o n   o f   m o lecu l ar   d es cr ip to r s ;   if   th ass o cia ti o n   o f   th d esc r i p t o r s   s ele cte d   t o   b io l o g ic al  p r o p e r ty   is   s tr o n g   th QSA R   m o d el  ca n   id en t if y   v alid   r ela ti o n s   b etw ee n   m o lecu l ar   f e atu r es  an d   b i o lo g ic al  p r o p e r ty /activ i ty .   T h u s ,   u n in f o r m ativ o r   r e d u n d an m o lecu l a r   d es cr ip to r s   s h o u ld   b r em o v ed   u s in g   s o m f ea tu r s ele cti o n   m eth o d s   d u r in g   ( F i lter s )   o r   be f o r ( w r a p p ers )   th le ar n in g   p r o c ess .   Su b s eq u en tly ,   f o r   tu n in g   an d   v alid ati o n   o f   th p r e d ic tiv ely   o f   lea r n ed   QSA R   m o d el,   o n o f   th v alid ati o n   s tr a teg y   ca n   b ap p li ed   li k es  cr o s s - v ali d at io n ,   leav e - o n e - o u o r   th f u ll  d a t a   s et  is   d iv id ed   in t o   t r ain in g   s et   an d   t esti n g   s e p r io r   to   lea r n in g   ( S ee   [ E l - T el b an y ,   2 0 1 4 ]   f o r   a   s u r v ey ) .   A ctu ally ,   th m ac h in le ar n in g   f ield   [ B is h o p ,   2 0 0 6 Ma r s lan d ,   2 0 0 9 B u r k an d   Ke n d all;   2 0 1 4 Mo h r i,  2 0 1 2 h av v er s at ile  m eth o d s   o r   al g o r i th m s   s u ch   as  d ec is i o n   tr e es,  la zy   lear n in g k - n ea r e s n eig h b o r s ,   B ay esian   m eth o d s ,   G au s s ian   p r o ce s s e s ,   a r tif i cia n eu r al  n etw o r k s ,   a r tif i cia im m u n s y s te m s ,   p ar t icl e - s w ar m   o p tim izati o n ,   a r tif i cia b e o p t im izatio n ,   cu ck o o   s ea r ch ,   s u p p o r t   v ec to r   m ac h in es ,   an d   k er n el  a lg o r ith m s   f o r   a   v ar i ety   o f   tas k s   in   d r u g   d es ig n .   T h ese   m eth o d s   a r e   al te r n ativ e s   to   o b tain   s atis f y in g   m o d e ls   b y   tr ain in g   o n   d a ta  s et.   Ho w ev er ,   t h p r ed ict io n   f r o m   m o s r e g r ess io n   m o d el s - b i m u ltip le  r e g r ess io n ,   n e u r al  n et w o r k s ,   s u p p o r v ec to r   m ac h i n ( SVM ) ,   d ec is io n   tr ee s ,   etc.   -   is   p o in est i m a te  o f   t h co n d itio n al  m ea n   o f   r esp o n s e   ( i.e . ,   q u an tit y   b ei n g   p r ed ict ed ) ,   g iv en   s et  o f   p r ed icto r s .   R ec en ad v a n ce s   i n   co m p u ti n g   allo w   th e   d ev elo p m en o f   r eg r e s s io n   m o d el s   f o r   p r ed ictin g   g i v en   q u an t ile  o f   th co n d itio n al  d is tr ib u tio n ,   b o th   p ar am etr ical l y   a n d   n o n p ar am etr icall y .   T h g e n er al  ap p r o ac h   is   ca lled   Qu a n tile  R eg r ess io n ,   b u t h e   m et h o d o lo g y   ( o f   co n d itio n al  q u an tile  e s ti m atio n )   ap p lies   to   an y   s tat is tica m o d el,   b it  m u ltip le  r eg r es s io n ,   SVM  v ec to r   m ac h i n es,  o r   r an d o m   f o r est s .   q u an t ile  r eg r e s s io n   n eu r al  n et w o r k s   ( QR N N)   [ T ay lo r ,   2 0 0 0 ]   esti m ates  co n d itio n al  v al u es  o f   an   in d i v id u al  q u a n tile  u s i n g   m u ltil a y er   p er ce p tr o n   n eu r al  n et w o r k .   I n   th i s   p ap er ,   q u an tile  r e g r ess io n   n e u r al  n et w o r k s   tec h n iq u es   ar u s ed   to   s t u d y   th e   r elatio n s h ip s   b et w ee n   d i f f er e n t   k n o w n   tar g et  ac ti v itie s   w ith   r esp ec to   th attr ib u tes  o f   f i n ite  n u m b er   o f   co m p o u n d s .   T h A   n eu r al  n et w o r k   is   u s ed   to   esti m ate  t h p o ten ti all y   n o n - li n ea r   q u a n tile  m o d els  w h ich   i s   m o r r es is ta n ce   to   t h o u tl ier s .   T h r est  o f   th e   p a p e r   is   o r g an i ze d   as  f o ll o w s .   Sect io n   2   b r i ef ly   in tr o d u ce s   th e   QSA R   m o d els   an d   q u an til r eg r ess i o n .   Secti o n   3   is   in tr o d u c es  th q u an tile   n eu r al  n e tw o r k s .   Se cti o n   4   d esc r i b es  th d ata  s et  an d   p r e p r o c ess in g   s te p s .   Secti o n   5   d esc r i b es  an   ev a l u atio n   o f   QSA R   m o d elin g   an p r e d ict i o n   r esu l ts .   S ec t i o n   6   d es c r i b es  an   ex p e r im en tal   r esu lts .   Fin ally   Secti o n   7   p r esen ts   th e   f in d in g s   a n d   co n c lu s io n s .       2.   Q SA M O DE L S AN Q UA NT I L E   R E G R E SS I O N   QSA R   m o d els   a r e   in   ess en ce   m ath em atica f u n cti o n   th at  r elat es  f e atu r es  an d   d es c r i p t o r s   g en er at e d   f r o m   s m all  m o lecu le  s t r u ctu r e s   to   s o m ex p e r im en tal  d e te r m in ed   a ctiv ity   o r   p r o p e r ty   [ L i v i n g s to n e,   1 9 9 5 ] .   T h e   s tr u ctu r e - a ctiv i ty   s tu d y   ca n   in d ic at w h ich   f ea tu r es   o f   g iv e n   m o lecu l c o r r e lat e   w ith   its   a ctiv ity ,   th u s   m ak in g   it   p o s s i b l t o   s y n th esize   n ew   an d   m o r e   p o t en t   c o m p o u n d s   w i th   en h an c e d   b io lo g i ca l   ac t iv iti es.   QSA R   an aly s is   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  3 ,   No .   4 ,     Dec em b er   20 1 4   :   1 5 0     1 5 5   152   is   b ase d   o n   th ass u m p tio n   th a t th b eh av i o r   o f   c o m p o u n d s   is   co r r el at ed   to   th ch a r ac te r is t ic s   o f   th ei r   s tr u c tu r e.   In   g en er a l,   a   QSA R   m o d e l is   r ep r es en te d   as f o ll o w s                                             ( 1 )         W h e r th p a r am eter s         ar a   s et  o f   m ea s u r e d   ( o r   c o m p u ted )   p r o p e r t ies  o f   th co m p o u n d s   an d       th r o u g h         a r e   th e   c alcu l at ed   c o e f f icien ts   o f   th QSA R   m o d el .   Qu an tile  r eg r ess i o n   w as  in tr o d u ce d   b y   Ko en k er   an d   B ass ett  [ 1 9 7 8 ]   as  c o m p lem en to   lea s s q u ar es   esti m atio n   ( L S E )   o r   m ax im u m   lik elih o o d   est im atio n   ( ML E )   an d   le a d s   to   f a r - r ea ch in g   ex t en s io n s   o f   cl a s s ic a l ”  r eg r ess i o n   an aly s is   b y   esti m atin g   f am ilies   o f   co n d iti o n a l   q u a n til s u r fa ce s ,   w h ich   d e s cr i b th r e lat io n   b et w ee n   o n e - d im en s io n al  r esp o n s     an d   h ig h   d im en s io n al  p r e d i ct o r     .   Qu an til r eg r ess i o n   o f f er s   a   n u m b er   o f   ad v an tag es  o v e r   le ast - s q u a r es  m eth o d s .   W h il o r d in a r y   least  s q u ar es  r eg r ess i o n   ty p ically   ass u m es   th at  th e   e r r o r   t er m s   ar I I D,   n o r m ally   d is t r i b u te d ,   an d   h o m o s ce d as tic ,   q u an ti le  r eg r ess i o n   d o es  n o r e q u i r e   th ese  r est r ic tiv ass u m p tio n s .   Fu r th er m o r e,   s in c q u an t ile  r eg r ess i o n   esti m ates  q u an til es   o f   th co n d iti o n a d is t r i b u ti o n   r ath e r   th an   th m ea n ,   it  is   m o r r esis tan t t o   o u tli e r s   th an   l ea s t - s q u a r es m eth o d s   [ Ko en k e r ,   2 0 0 5 ] .   I n   co n t r as t o   th le ast - s q u a r es  l o s s   f u n ctio                   ,   q u an til r eg r ess i o n   m ak es  u s o f   th e   asy m m etr ic   l o s s   f u n ctio n   as sh o w n   in   Fig u r 2 .                                                                                                                                                                                                                         ( 1 )   W h e r e       co r r es p o n d s   to   th e   q u a n tile  to   b e   est im ated   [ K o en k er ,   2 0 0 5 ] .   N o te   th a if                 ,   i . e . ,   th m ed ian   is   b ein g   esti m ate d ,   th e n   th is   l o s s   f u n cti o n   b e co m es si m p l y .                                                                                                                                                                                               ( 2)   an d   th s u m   o f   t h ab s o lu te  v alu e s   o f   t h r esid u als  i s   m i n i m ized   to   p er f o r m   r e g r ess io n .   T o   f it  a   m o d el                      ,   w est i m a te      u s i n g .       ̂                                                                                                                                                                    ( 3 )   W h er     is   th n u m b er   o f   p ar am eter s   in   o u r   m o d el,   s o   th a     an d         ar v ec to r s   o f   len g t h     .   T h is   co m p u tatio n   ca n n o b ca r r ied   o u an al y tical l y ,   i n   co n tr ast   to   th co m p u tatio n   o f   lea s s q u ar es  r eg r e s s io n .   I n s tead ,   th i s   ca n   b r ef o r m u lat ed   as a   p r o b lem   i n   li n ea r   p r o g r a m m in g   [ Ko en k er ,   2 0 0 5 ] .           Fig u r 2 .   T h q u an tile r eg r ess i o n   lo s s   f u n ctio n .       3.   Q UAN T I L E   NE U RAL N E T WO RK S   A r tif icia n eu r al   n etw o r k s   is   o n o f   m ac h in l ea r n in g   t ec h n iq u es  w h ich   h av b ee n   d e v elo p e d   as  g en er a liz ati o n s   o f   m ath em atica m o d els  o f   b io lo g i ca n er v o u s   s y s tem s .   T h le a r n in g   ca p a b il ity   o f   an   ar t if ici al   n eu r o n   is   ac h i ev e d   b y   ad j u s ti n g   th w eig h ts   in   ac c o r d an c e   to   th ch o s en   l ea r n in g   alg o r ith m .   T h le ar n in g   s itu ati o n s   in   n eu r al  n etw o r k s   m a y   b class if ie d   in t o   th r e d is t in ct  s o r ts .   T h ese  a r s u p e r v is e d   lea r n in g ,   u n s u p er v is e d   lea r n in g   an d   r ein f o r ce m en lea r n in g   [ 1 2 ] .   T h m o s w id ely - u s ed   n eu r al  n etw o r k   f o r   p r e d i cti o n   is   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       Qu a n tile R eg r ess io n   N eu r a l N etw o r ks B a s ed   P r ed ictio n   o f D r u g   A ctivities  ( Mo h a mme d   E .   E l - Telb a n y )   153   th s in g le   h i d d en   l ay er   f e ed - f o r w ar d   n etw o r k .   I co n s is ts   o f   s et   o f       in p u ts ,   w h ich   ar e   c o n n ec te d   to   e ac h   o f       u n its   in   a   s in g le   h i d d en   l ay er ,   w h ich ,   in   tu r n ,   a r e   c o n n ec te d   t o   an   o u t p u ( s e F ig u r e   3 ) .             Fig u r 3 .   Stru ct u r o f   th n eu r al  n et w o r k .       T h r esu l tan t   m o d el   c an   b e   w r itten   as         W h e r e             an d             ar e   a ctiv ati o n   f u n cti o n s ,   w h ich   ar e   f r e q u en tly   c h o s en   as   s ig m o id al   an d   lin e ar   r es p e ctiv e ly ,   an d          an d         ar th e   w eig h ts   ( p a r am eter s )   t o   b es tim ated   [ T ay lo r   2 0 0 0 ] . T h e   p ar am eter s   o f   th e   n etw o r k   ( i . e .   w eig h ts )   a r est im ated   b y   o p t im izin g   an   o b je ctiv e   f u n cti o n   ( e . g . ,   v i m in im izin g   least  s q u ar er r o r ) .   I n s t ea d   o f   f itti n g   l in ea r   q u an tile   f u n ctio n   u s in g   th ex p r ess i o n   in   ( 5 ) ,   q u an til r eg r ess io n   n eu r a l   n etw o r k   m o d el ,                     ,   o f   th e           q u an ti le  ca n   b esti m ate d   u s in g   th f o ll o w in g   m in i m izatio n .                (                                                                                                                                                                    )                                                                                                                                                                                                         ( 5 )   W h er       an d         ar r eg u lar izatio n   p ar a m eter s   w h ich   p e n alis e   th co m p le x it y   o f   th e   n et w o r k   an d   th u s   av o id   o v er f itti n g   [ B is h o p ,   1 9 9 6 2 0 0 6 ] .   T h o p tim a v a lu es  o f   w h er       an d         an d   th n u m b er ,     ,   o f   u n i ts   i n   th h id d en   la y er   ca n   b estab lis h ed   b y   cr o s s - v alid ati o n   [ B is h o p ,   1 9 9 6 ; 2 0 0 6 ] .       4.   DATA S E T   AND  P RE P RO CE SS I N G   T h d atas ets  u s ed   in   th is   s tu d y   ar o b t ain e d   f r o m   th UC I   Data   R e p o s it o r y   [ New m a n   et  a l . ,   1 9 9 8 ] .   P y r im id in es   d a tas et  c o n tain s   7 4   d r u g s ,   an d   e ac h   d r u g   h as  th r ee   p o s s i b l s u b s titu t io n   p o s i ti o n s .   E ac h   s u b s ti tu en t   is   ch a r ac te r i ze d   b y   9   ch em ical   p r o p e r t ies  f e atu r es:  p o la r ity ,   s ize ,   f lex i b il ity ,   h y d r o g en - b o n d   d o n o r ,   h y d r o g en - b o n d   a cc ep to r ,       d o n o r ,       ac c ep t o r ,   p o la r i z a b i lity   an d       ef f ec t.   D r u g   ac tiv iti es   a r e   i d e n tif ied   b y   th e   s u b s titu en ts .   T h P y r im id in es  d at ase is   r an d o m ly   s h u f f led   a n d   s p lit  in t o   2   p a r ts   in   th p r o p o r t io n   o f   2 : 1 .   On p a r is   u s e d   as  th t r a in in g   s et ,   w h ich   co n ta in s   p ai r s   o f   5 2   co m p o u n d s .   T h o th e r   p a r is   ch o s en   as  th u n s e en   test in g   s et ,   w h ich   co n tain s   p air s   o f   th lef 2 2   co m p o u n d s   an d   th o s b etw ee n   th 2 2   co m p o u n d s   an d   th tr a in in g   5 2   co m p o u n d s .   Du t o   th e   cu r s o d i me n s i o n a l ity ”  p r o b lem ,   s ea r ch in g   f o r   in f o r m ati v co m p o u n d s   s et  as  p r ep r o ce s s in g   s tep   p r io r   to   th ap p licatio n   o f   q r n n   alg o r ith m   is   i m p o r tan f o r   m an y   r ea s o n s .   O n r ea s o n   is ,   th at  t h p r ed ictio n   ac cu r ac y   o f   th q r n n   d ec r ea s es  w h e n   ir r elev an o r   r ad ian f ea t u r es  ar ad d ed .      An o th er   p r o b le m   p ar ticu lar l y   af f ec tin g   t h co m p u tatio n   ti m i s   th lack i n g   s ca lab ili t y   o f   th q r n n   alg o r it h m .   Sev er al  ap p r o ac h es  to   th v ar i ab le  s elec tio n   p r o b le m   u s i n g   i n f o r m atio n   t h eo r etic   cr iter ia  h av b ee n   p r o p o s ed .   Ma n y   r el y   o n   e m p ir ica l e s ti m a tes o f   th m u t u al  in f o r m a tio n   b et w ee n   ea ch   v ar iab le  an d   th e   tar g et:                         (               (                   ) )                                                                                                                            ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  3 ,   No .   4 ,     Dec em b er   20 1 4   :   1 5 0     1 5 5   154                                                                                     ( 6 )   W e   a r e   s e lec te d   th f i r s t   6   in f o r m ativ c o m p o u n d s .         5.   Q SA M O DE L S VA L I DA T I O N   T h v ali d ati o n   o f   q s a r   r ela tio n s h i p   is   p r o b ab ly   th m o s im p o r tan s t e p   o f   all .   T h e   v alid ati o n   esti m ates  th r eli a b ili ty   an d   ac cu r ac y   o f   p r e d ic ti o n s   b ef o r e   th m o d el  is   p u in t o   p r a cti c e.   Po o r   p r e d ict io n s   m is g u id th d i r e cti o n   o f   d r u g   d ev e lo p m en t a n d   tu r n   d o w n s tr ea m   ef f o r ts   m ea n in g less .   T o   v er if y   m o d el  q u a lity   in   r eg r ess io n   task s ,   p r ed ict io n s   ar m ad e   o n   th t es tin g   s et  in   o r d e r   t o   ch ec k   th ag r e em en b etw ee n   th e   th eo r e tic al  v alu es   an d   ex p er im en tal   v alu es   b y   ca l cu latin g   r o o t - m ea n   s q u ar er r o r   o f   p r e d ic ti o n   ( R MSE ) .             (     ̂       )                 ( 7 )   W h e r e ,       ̂ ,   v a lu es  o f   th p r e d i cte d   v alu es ,   an d       ,   v alu es   o f   th e   ac tu al   v alu es .   Ho w ev er ,   it   i s   n ec ess a r y   to   g et   a   l ar g n u m b er   o f   test in g   c o m p o u n d s   in   o r d e r   to   d r aw   s tatis ti ca l ly   co n v in ci n g   co n c lu s io n .       6.   E XP E RM E NT I A L   RE SUL T S             Fig u r 4 .   QQ  n o r m   p r o b ab ilit y   o f   d r u g   ac tiv i t y .     Fig u r 5 .   T h er r o r   cu r v es f o r   d is tin ct  q u an t ile  u s in g   QR NN  a n d   QR E G.       I n   th i s   s ec t io n   w p r ese n t h i m p le m en ta tio n   o f   QR N esti m ates  o f   t h ef f ec t s   o f   d r u g   c o m p o u n d   o n   ch a n g e s   in   d r u g   ac ti v it y .   W esti m ate  t h m o d el  b y   s tat is tical  q u a n tile  r e g r ess io n   an d   n o n - li n ea r   QR N at  q u an tile s   0 . 1 th ,   0 . 2 th ,   0 . 3 th ,   0 . 4 th ,   5 0 th ,   0 . 6 th   ,   0 . 7 th ,     0 . 8 th   an d   9 th .   I n   th s o lu tio n   p r o ce s s ,   w u s ed   q u a n tr eg ”  an d   q r n n ”  p ac k ag e s   in   R   p r o g r a m m i m p le m e n ted   lin ea r   p r o g r a m m in g .   T h QQ  n o r m al  p r o b a b ilit y   p lo ts   is   s h o w n   i n   Fi g u r 4 ,   w h ic h   is   u s ed   to   co m p ar s a m p le  d ata  ag ain s th eo r etica n o r m al  d is tr ib u tio n .   Fi g u r 5   also   s h o w s   t h at  t h co r r esp o n d in g   er r o r   cu r v es  o f   t h QR NN  an d   QR E ( f o r   d if f er e n t     ) .   T h m in i m u m   R MS  er r o r   lo ca ted   at            .   Fro m   th cu r v es,  it  i s   clea r   th a t   QR NN  p er f o r m a n ce   i s   m o r e   b etter   th an   QR E G.   B y   tr ain i n g   t h QR NN  m o d el  f o r   2 0 0   iter atio n   w it h   n u m b er   o f   h id d en   n o d es  eq u al  to   5 ,   an d   co m p ar i n g   th e   ac ti v it y   o f   ea ch   d r u g   s a m p le  w i th   r ea d a ta  ( s ee   Fi g   6 . ) ,   th e   R M SE  p r ed ictio n   er r o r   w as  d eter m in ed   b o n l y   0 . 5 9 .   Fr o m   th e s r esu lt s   it  is   co n cl u d ed   th at  th n eu r al  n et w o r k   q u an tile  r eg r es s io n   i s   s u p er io r   f o r   co m p le x   n o n li n ea r   p r ed ictio n .       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       Qu a n tile R eg r ess io n   N eu r a l N etw o r ks B a s ed   P r ed ictio n   o f D r u g   A ctivities  ( Mo h a mme d   E .   E l - Telb a n y )   155   7.   CO NCLU SI O NS    T h q u an tile  r e g r ess io n   i s   b e liev ed   to   o f f er   m o r co m p l ete  m o d el  t h an   th co n v e n tio n al  m ea n   r eg r ess io n .   Si n c its   b ir th ,   q u an t ile  r eg r es s io n   h a s   b ee n   ap p lied   to   in ter p r et  v ar io u s   p r o b lem s .   Q u a n tile   r eg r ess io n   is   p o p u lar   an d   co m p r eh en s i v e,   b u it  i s   r at h er   d if f ic u lt  to   ap p l y   it  d ir ec tl y   f o r   f o r ec asti n g .   Hen ce ,   th is   s tu d y   ai m s   to   ad v an ce   q u an t ile  r eg r es s io n   f o r   f o r ec asti n g   th d r u g   ac tiv ities   u s i n g   n o n - li n ea r   n eu r al   n et w o r k   m o d el.   T h r esu lt s   is   en co u r ag b u th er is   n ee d s   t o   ex p lo r d if f er en d ata  s ets  with   lar g n u m b er   o f   s a m p les a n d   ex p lo r d if f er en f ea t u r s elec tio n   m et h o d s .           Fig u r 6 .   T h R MSE   o f   th t wo   m et h o d   at  d if f er en t q u a n tile.       RE F E R E NC E S     [1 ] .   A .   L i,   P re c li n ica i n   v it ro   sc re e n in g   a ss a y f o d ru g - li k e   p r o p e rti e s.  Dr u g   Disc o v e ry   T o d a y T e c h n o lo g ies 2 (2 ): 1 7 9 - 1 8 5 ,   2 0 0 5 .   [2 ] .   C.   Bish o p ,   P a tt e rn   Re c o g n it io n   a n d   M a c h in e   L e a rn in g ,   S p rin g e r,   2 nd ,   2 0 0 6 .   [3 ] .   C.   Bish o p . Ne u ra Ne tw o rk s f o P a tt e rn   Re c o g n it io n ,   Ox f o rd ,   Ox f o rd   Un ive rs it y   Pre ss . 1 9 9 6 .   [4 ] .   C.   L ip in sk i,   L e a d -   a n d   d ru g - li k e   c o m p o u n d s:  t h e   ru le - of - f iv e   re v o lu ti o n .   Dru g   Disc o v e ry   T o d a y T e c h n o lo g ies   1 (4 ): 3 3 7 - 3 4 1 ,   2 0 0 4 .   [5 ] .   D.  L iv in g sto n e .   Da ta  A n a l y sis  f o Ch e m ists. - A p p li c a ti o n t o   QSA a n d   Ch e m ica p ro d u c t   De sig n .   Ox fo rd   Un ive rs it y   Pre ss ,   1 9 9 5 .   [6 ] .   D.  Ne wm a n ,   S .   He tt ich ,   C.   Blak e ,   C.   M e rz .   UCI  Re p o sit o ry   o f   M a c h in e   L e a rn in g   Da tab a se s,  D e p t.   In f o rm a ti o n   a n d   Co m p u ter S c ie n c e ,   Un i v .   Ca l if o rn ia,  Irv in e ,   1 9 9 8 .   [7 ] .   E.   Bu rk e   a n d   G . Ke n d a ll ,   S e a rc h   M e th o d o lo g ies   In tro d u c t o ry   Tu to rials  in   O p ti m iza ti o n   a n d   De c isio n   S u p p o r t   T e c h n iq u e s,  2 nd   (e d . S p ri n g e r,   2 0 1 4 .   [8 ] .   Ha n sc h ,   A   Qu a n ti tativ e   A p p ro a c h   to   Bi o c h e m ica S t ru c tu re - A c ti v it y   Re latio n sh ip s. Acc t . C h e m.  R e s.   2 2 3 2 - 2 3 9 ,   1 9 6 9 .   [9 ] .   J.  De v il lers .   Ne u ra Ne tw o rk s an d   Dru g   De sig n .   A c a d e m i c   P re ss ,   1 9 9 9 .   [1 0 ] .   J.  Ge rtru d e sa ,   V .   M a lt a ro l lo b ,   R.   S il v a a ,   P .   Oliv e iraa ,   K.  Ho n ó ri o a   a n d   A .   d a   S il v a .   M a c h in e   L e a rn in g   T e c h n iq u e a n d   Dru g   De sig n ,   C u rr e n M e d ici n a C h e mistry ,   1 9 ,   4 2 8 9 - 4 2 9 7 ,   2 0 1 2 .   [1 1 ] .   J.  Hirst,   R.   Kin g   a n d   M .   S ter n b e rg .   Qu a n ti tativ e   S tru c tu re - A c ti v it y   Re latio n sh ip By   Ne u ra Ne tw o rk a n d   In d u c ti v e   L o g ic P ro g ra m m in g .   I.   T h e   In h ib it i o n   Of   Dih y d ro f o late   Re d u c tas e   b y   P y ri m id in e s .   J o u rn a o C o mp u ter - Ai d e d   M o lec u la r De sig n ,   v o l .   8 ,   n o .   4 ,   p p .   4 0 5 - 4 2 0 ,   1 9 9 4 .   [1 2 ] .   J.  T a y lo r.   Qu a n ti le  Re g re ss io n   N e u ra Ne tw o rk   A p p ro a c h   t o   Est i m a ti n g   T h e   Co n d it io n a De n sity   o f   M u lt i p e rio d   Re tu rn s .   J o u rn a o F o re c a stin g ,   V o l .   1 9 ,   p p .   2 9 9 - 3 1 1 ,   2 0 0 0 .   [1 3 ] .   L .   Ch in   Ye e   a n d   Y.  Ch u n   W e i,   Cu rre n M o d e li n g   M e th o d Us e d   in   QSA R/QS P R,   in   S tatisti c a M o d e ll i n g   o f   M o lec u lar  De sc rip to rs   in   QSA R /QS P R,   1 st,E d it e d   b y   M .   De h m e r,   K.  V a rm u z a ,   a n d   D.   Bo n c h e v ,   W il e y - V CH  V e rlag   Gm b H &   Co ,   2 0 1 2 .   [1 4 ] .   M .   El - T e lb a n y .   T h e   P re d ictiv e   Lea rn in g   Ro le  in   Dru g   De sig n .   In   Jo u rn a o f   Em e r g in g   T r e n d in   Co m p u ti n g   a n d   In f o rm a ti o n   S c ien c e s,  J ET CI S ,   Vo l.   5 ,   No . 3   M a rc h   2 0 1 4 .   [1 5 ] .   M .   M o h ri ,   A .   Ro sta m iza d e h ,   a n d   A . T a l w a l k a r,   F o u n d a ti o n s o f   M a c h in e   L e a rn in g ,   M IT   P re ss ,   2 0 1 2 .   [1 6 ] .   P .   L e e so n ,   A .   Da v is,   J.  S tee le,  Dru g - li k e   p ro p e rti e s:  g u i d in g   p r i n c ip les   f o d e sig n o c h e m ica p re ju d ice ?   Dru g   Disc o v e r y   T o d a y T e c h n o l o g ies ,   1 (3 ): 1 8 9 - 1 9 5 ,   2 0 0 4 .   [1 7 ] .   R.   Bu rb i d g e ,   M .   T ro tt e r,   B.   Bu x t o n   a n d   S .   Ho ld e n .   Dru g   De sig n   b y   M a c h in e   Lea rn in g S u p p o rt  Ve c to M a c h in e s   f o P h a rm a c e u ti c a Da ta  A n a l y sis .   Co mp u ter s a n d   C h e mistry ,   v o l.   2 6 ,   n o .   1 ,   p p .   4 - 1 5 ,   2 0 0 1 .   [1 8 ] .   R.   Ko e n k e a n d   J.   G il b e rt  Ba ss e tt ,   Re g re ss io n   q u a n ti les ,   Ec o n o me trica ,   4 6 ,   p p .   3 3 5 0 . ,   1 9 7 8 .   [1 9 ] .   R.   Ko e n k e r,   Qu a n t il e   Re g re ss io n ,   Ca mb ri d g e   Un ive rs it y   Pre ss ,   Ca m b rid g e ,   2 0 0 5 .   [2 0 ] .   S .   M a rsla n d   M a c h i n e   L e a rn in g   An   A lg o rit h m ic   P e rsp e c ti v e ,   ( Ch a p m a n   &   Ha ll /CRC,   2 0 0 9 .   [2 1 ] .   W .   Du c h ,   K.  S w a m in a th a n   a n d   J.  M e ll e r,   A rti f icia In telli g e n c e   A p p ro a c h e f o Ra ti o n a Dru g   De sig n   a n d   Disc o v e r y ,   Cu rr e n Ph a rm a c e u ti c a De sig n ,   1 3 ,   2 0 0 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.