I n t ern a t i o n a l   J o u rn a l   o f   A d v a n ces   i n   A p p l i ed   S ci en ces   ( I J A A S )   V o l .   7 ,   N o .   2,   J une   201 8 ,   p p.   1 77 ~ 1 90   I S S N 225 2 - 88 14 ,   D OI 10. 115 91 /ij a a s . v7 . i 2 . p p17 7 - 1 90             1 77       Jo u r n al   h om e pa ge h t t p : / / i a e s co r e . co m / o n l i n e / i n d e x . p h p / I J A A S   O t he H i g h D i me nt i o n a l   I nf o rma t i o n P r oce s s i ng   i Q u at ern i on i c D o m ai n   a n d   i ts A p p l i c a ti o n s       Sus hi l   K u m a r ,   Bi p i n   K u m a r   Tr i p a t h i   D e pa rt m e nt  o f C om put e r S c i e n c e  a nd  E ngi n e e ri n g,  H a r c ourt  Bu t l e r T e c hn i c a l  U ni ve rs i t y ,  K a npur,   Indi a       A rt i cl I n f o     A BS TR A C   A r t i c l e   h i s t o r y :   R ecei v ed   D es   28 ,   2 01 7   Re v i s e d   A p r   1 2 ,   20 1 8   A ccep t e d   Ma y   11 ,   2 01 8       T he re  a r e  va ri ou s  hi gh di m e ns i o na l  e ngi ne e ri ng  a nd s c i e nt i f i c  a p pl i c a t i ons  i n   c om m uni c a t i on,  c ont rol ,  robot i c s ,  c om put e r vi s i on,  bi om e t ri c s ,   e t c . ;  w he r e   r es ear ch er s   ar e f aci ng  probl e m   t o de s i gn  a n i n t e l l i g e nt  a nd rob us t  ne ura l   s y s t e m  w hi c c a n proc e s s  hi ghe r di m e ns i ona l  i nform a t i on e ff i c i e nt l y .  T h e   c onve nt i ona l  re a l - va l ue d ne ura l  ne t w orks  a re  t ri e d t o s ol ve  t h e  probl e m   a s s oc i a t e d w i t h  hi gh di m e ns i o na l  pa r a m e t e rs ,  but  t he  re qu i r e d ne t w ork   s t ruc t ure  pos s e s s e s  hi gh c om pl e xi t y  a nd  a re  ve r y   t i m e  c ons um i ng a nd w e a k   t o noi s e .   T he s e  ne t w orks  a re   a l s o not   a bl e  t o   l e a rn  m a gni t ud e  a nd ph a s e   v al u es  s i m u l t an eo u s l y   i n  s p ac e.  T h e  qua t e rni on i s  t he  num be r,  w hi c h   pos s e s s e s  t he  m a gni t ude  i n  a l l   four di r e c t i on s  a nd pha s e   i nf orm a t i on i s   e m be dde d w i t h i n i t .  T h i s  pa p e pre s e nt s  a  w e l l  g e ne ra l i z e l e a rn i ng m a c hi ne   w i t h a  qu a t e rn i o ni c  dom a i n n e ur a l  ne t w ork t ha t  c a n fi ne l y  proc e s s  m a gni t ude   a nd pha s e   i nfor m a t i on of hi gh  di m e ns i on da t a  w i t hout   a n y   ha s s l e. T h e   l e a rn i ng a nd g e ne ra l i z a t i on  c a p a bi l i t y  of t h e  pr opos e d l e a rn i ng  m a c hi ne   i s   pre s e nt e d t hrou gh a  w i de  s pe c t rum  of s i m ul a t i ons  w hi c h de m ons t ra t e  t h e   s i gni fi c a nc e  of  t he  w ork.   Ke y wo r d :   3D   i m a gi ng   3D   m ot i on   Q ua t e r ni on   Q ua t e r ni oni c   d om a i ne u r a l   n e t w o rk   Copy r i ght  ©  201 8   Ins t i t ut e  o f   A d v anc e d  E ngi n e e r i ng and S c i e nc e   A l l  ri g h t s re se rv e d .   C or r e s po n di n A u t h or :   S us hi l   K um a r ,     D e pa rt m e nt  o f C om put e r S c i e n c e  a nd  E ngi n e e ri n g,     H a rc ourt  Bu t l e T e c hn i c a l  U ni v e rs i t y ,  K a npu r,  In di a   E m a i l :   s us hi l 0 40 2 k5 @ gm a il . co m       1.   I N T R O D U C T I O N     T he  hi gh  di m e ns i o na l  i nf or m a t i on p r oc e s s i n g t hr o ug h ne ur a l  ne t wo r k i s  e m e r gi n g a s  a  f a s c i na t i n g   but  c ha l l e ngi n g f i e l d o f  r e s e a r c h i n t he  s e c on d ge ne r a t i o n ne ur oc om put i ng.  T he  r e c e nt  r e s e a r c he s  i n hi g h   di m e ns i ona l  n e ur a l   ne t w o r ks  ha ve  e s t a b l i s h e d  t h e i r  s u p e r i o r i t y  [ 1 ] ,   [ 2 ] ,   [ 3 ] ,   [ 4 ]  o v er   r eal - va l ue d o r   f i r s t   g e n e ra t i o n  n e u ra l   n e t wo rk s .  Al t h o u g h ,  re a l - va l ue d  ne ur a l   ne t w or ks   ( R V N N )   ha v e  b e e us e d t o  p r oc e s s  h i g h   di m e ns i ona l  d a t a ,  b ut  t he   ne t wo r ne e ds  t o e m pl oy  t oo   m a ny  ne u r ons  r e s ul t i ng  h ug e  s t r uc t ur e  a n d s l o w   l e a r ni n g.  T h e   R V N N  c a n a l s not   p r oc e s s   pha s e  i n f o r m a ti on  d ur i ng  l e a r ni n g a nd  ge ne r a l i z a t i on o f  m a ppi ng   on  t he  pl a ne  [ 2 ],  [ 5 ] ,   [ 6 ] .  T h e co m p l ex - va l ue d ne ur a l  ne t wo r ks  ( C VN N )  c a n p r om pt l y pr oc e s s  t wo   di m e ns i ona l  i nf o r m a ti on wi t h  pha s e   a s  a  s i n gl e  num be r ,   w hi c h l e a ds  t o a  dr a s t i c  r e d uc t i on i n t he  c om pl e xi t of  t he  ne t w o r k  a l on wi t h b e t t e r  pe r f o r m a nc e .  B ut ,  n e u r a l  ne t w or k o f   t hr e e   di m e ns i ona l  i nf o r m a ti on s t i l l   n e e d s  a n  e x h a u s t i v e  i n v e s t i g a t i o n .  T h e  a p p l i c a t i o n s  w i t h  t h r e e   d i m e n s i o n a l  i n f or m a t i on a r e   po p ul a r  i n   c om put e r  vi s i o n,  r ob ot i c s ,  bi om e t r i c s ,  bi oi nf o r m a ti c s  e t c .   T he  f e w  r e s e a r c he r s  a t t e m pt e d m a c hi ne  l e a r ni ng   w i t h  t h r e e   d i m e n s i o n a l  i n f o r m a t i on c ons i de r i n g i t  a s  a  ve c t or  [ 7 ] ,   [ 8 ] .  T h e  c or r e s p o ndi n g l e a r ni ng a l g o r i t hm s   h a v e  r e s t r i c t i o ns  o n we i g ht  m a t r i a n a  ve c t o r  doe s  n ot  pr ovi de  f r e e dom   l i ke   a  c om pl e x n um be r ,  a s  i n   C VN N [ 8 ] .  T h us ,  i t  i s   ve r y   d e m a ndi n g t o  h a ve   ne u r a l   ne t wo r k ,   whi c m a y  pr om pt l y  pr oc e s s   di f f e r e nt  hi g h   d i m en s i o n al  p ar am et er s  as  n u m b er s  an d  can  b e s i m p l y  i n co r p o r at ed  i n  v a r i o u s  a p p l i c a t i o n s  o f  i n t e l l i g e n t   m ach i n e d es i g n ,  l i k e C V N N  [ 9 ] ,   [ 2 ] - [ 3 ].   I n t he  e nha nc e m e nt  of   hi g he r  or de r   n um be r  s y s t e m s  t he  c om pl e num be r s  ( 2 D ) ,   qua t e r ni ons  ( 4D ) ,  oc t a ve s  ( 8D ) ,   s e de ni o ns   ( 1 6D )  w e r e  d e ve l o pe d by   m a t he m a ti c i a ns   i t he   p a s t  b u t  t h e r e   i s  no n um be r  s y s t e m   i n t hr e e  dim e ns i o n s  [ 1 0 ] .  T h e r es ea r ch es   [ 1 - 3,   6] a l s o  e l a b o r a t e  t h a t  t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN 2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   2 ,   J un e   201 8   177     1 90   1 78   C VN h a s  o u t p e rf o rm e d  o v e r R V N N e v e n  f o r  re a l - va l ue pr o bl e m s ,  t he r e f or e   we  pr o pos e  t o e xpl oi t   qua t e r ni ons   i ne u r a l   ne t w or k   t pr oc e s s   t hr e e   di m e ns i ona l   pr o bl e m s .   T he   ne ur oc om put i n w i t hi gh  di m e ns i ona l  num be r  s y s t e m s  w i l l  de f i ni t e l y  ove r c om e  f r om  l e a r ni n g   a nd  ge ne r a l i z a t i on o f  h u ge  c o nve nt i o na l  ne u r a l  ne t w or k a n d l e a d t o l owe r  c om pl e xi t y .  T he  q ua t e r ni o n i s  one   of  t he  hy pe r c o m pl e x num be r  i nt r od uc e d by  I r i s   m a t he m a ti c i a n H a m i l t on [ 11]  w hi c h h a s  be e n e xt e ns i ve l e m pl oy e d i n   t he  f i e l d  o f   qua nt um   m a the m a ti c s ,  p hy s i c s ,  c om put e r  g r a phi c s ,  s i gna l   p r o ces s i n g  an d   c ont r ol  [ 1 2 - 1 3 ,  1 8 - 1 7 ] .  T hi s   num be r  s y s t e m  ha s  r e c e nt l y  p op pe up  i n   ne u r a l   ne t w or k  t hr o ug q ua t e r ni oni c   ne u r on s ,  as  co m p l ex  o r   r eal   - va l ue d  ne u r o ns ,  t de ve l o p  e f f i c i e nt  m a c hi ne  l e a r ni ng  i hi g he r  di m e ns i o ns .   F e w  a t t e m pt s   ha ve   be e n m a de  i n t hi s  di r e c t i on,  t he   or t h og o na l  de c i s i o n b o un da r y   of  s i ngl e  q ua t e r ni o ni c   ne u r on   ha s  be e n ut i l i z e t o s ol ve  4 - b i t  p a r i t y   p r o b l e m   i n  [ 1 4 ];  q u a t e r ni o ni c  M L P s  p r o pos e d  i [ 15 h as  t h p r o b l e m  o f  e x i s t e n c e   o f  s i n g u l a r i t i e s ;   q ua t e r ni on - v al u ed   a l g o r i t h m s   a r e  p r o pos e d f or   a da pt i ve   f i l t e r i n g [ 1 8 ] .   [ 1 7 ] ;  a  ba s i c  wor k f or   q u a t e r n i o n i c - va l ue d n e ur a l  ne t wo r w i t h s i gm oi da l  a c t i va t i on f u n c t i on   i s  p r e s e n t e d  i n   [ 18 ,  1 9 ].   I n t hi s  pa pe r ,  we   pr e s e nt  n ot  onl y  s im pl e ,  s t r a i gh t f or wa r d ,  b ut  p ot e nt i a l   m a c hi ne  l e a r ni ng a l g or i t hm   f o r  s u f f i ci en t   g en er al  s t r u ct u r e o f  t h q ua t e r ni o ni c  d om a i n ne u r a l   ne t w or k  ( Q D NN )   but   a l s o d e m ons t r a t e  t he   e va l ua t i o n ove r   t he  wi de  s pe c t r um  of  a p pl i c a t i ons ,  l i ke  f unc t i o n a p pr o xi m a t i on,  m ot ion i nt e r pr e t a t i on  a n d   r eco g n i t i o n  i n  s p ace.  T h e  p ar am et er s  i n  Q D N N ,  l i k e s y n ap t i c w ei g h t s ,  b i as es ,  i n p u t s - ou tpu ts  s igna ls  a n i n t er n al   p o t en t i al s  ar e q u at er n i o n s  a n d  r e p r es en t e d  as   q u at er n i o n  m a t r i x ,  i n  m u l t i l a y e r  n e u r a l   n e t w o r k .   A l t ho u gh ,  H a m i lt on pr o pos e d qua t e r ni oni c   n um be r s   ( = 0 + 1 + 2 + 3   )   f or  4 D num be r   s y s t e m   [ 1 1] ,   but  i t  c a n a l s br i n g i n t o pl a y  a ny   3 D i n f or m a t i on i n t he  s pa c e   a f t e r  e qu a t i ng   i t s  r e a l  pa r t  z e r o .  T he   pr e s e nt e d  l e a r n i ng a l go r i t hm  ba s e d o n t he  e r r o r   ba c k pr o pa g a t i on  f o r   Q D N N c a n e f f i c i e nt l y  s ol ve  a ny  t y pi c a c l a s s  of  pr o bl e m s   i n 3D  a nd  4D .  T he  a na l y t i c  [ 1,  8 ]  o r  s p l i t  t y p e  [ 1 ] ,   [ 5 ] ,   [ 7 ]  a c t i va t i on f u nc t i o ns  ha ve  be e n   ch o s en  f o r   co m p l ex - va l ue ne u r on  w hi c ha ve  t he i r  o w n i s s ue s  c o nc e r ni ng  bo u nde d ne s s  a nd a na l y t i c it y .   T h er e f o r e,   s el e ct i o n   o f   s ui t a bl e   a c t i va t i on  f u nc t i on  f o r   ne ur on  de a l i n wi t q ua t e r ni o i s   one   of   t he   i m por t a nt   c onc e r ns .   T he   s pl i t   t y pe   f u nc t i on  m a y   not   be   a pp r op r i a t e   w he a na l y t i c i t i s   c onc e r ne d ,   s im i l a r ly   t he   a na l y t i c   f u n c t i o n  i s   n o t   s u i t a b l e   w h e n  t h e  s i n g u l a r i t y  a r i s e s .  T h e   p r e s e nt e d  Q D N N   pr e f e r  b o un de d ne s   ove r  a na l y t i c i t an d  u s e “s p l i t - t y p e”  act i v at i o n  f u n ct i o n .  T h Q D N N  o u t p er f o r m   w i t h   l e s s er  n u m b er   o f  n eu r o n s   an d  f as t e r   l e a r ni n g w he r e  c on ve nt i ona l  r e a l - va l ue n e ur a l  ne t w o r k  ( R V N N )  l a c ks .  T he  q ua t e r ni oni c - v al u ed  n eu r al   ne t w or k ( Q D N N )   ha s  a n a bi l i t y  t o l e a r n a n d ge ne r a l i z e  3 D  m ot i on o f  o bje c t s  a n d r e c og ni t i on  o f  t he  poi nt   c l ou ob je c t ,   but  R V N N  c a nn ot ,   be c a us e   Q D N N ha s  a b i l i ty  t o c a pt u r e  a n d m a i nt a i n pha s e  i n f o r m a ti on  of   e a c poi nt   d u r i ng   t he   l e a r ni ng   a n ge ne r a l i z a t i on .   Th i s  p a p e r  i n v e s t i g a t e s  t h e  g e n e r a l  s t r u c t u r e  o f   Q D N N  w i t h  l e a r n i n g  a l g o r i t h m  t h r o u g h  s i m u l a t i o n   on  va r i ous   be n c hm a r k pr o bl e m s  of  di f f e r e nt  s phe r e  o f  i nf l ue nc e .  T he  s e c t i ons  a n d s ub - s e c t i ons  o f  t he   pa pe r   ar e o r g a n i zed   as  f o l l o w s :  T h e s ect i o n   2 ,  p r es en t s  a co m pl e t e   m a c hi ne  l e a r ni ng  f r a m e wor k wi t h ps e u d o c o de   of  l e a r ni n g i qua t e r ni oni c   d om a i n.  S e c t i on  3 e va l ua t e s  t h e  l e a r ni n g a n d  ge ne r a l i z a t i on  c a pa bi l i t y  t hr ou g f u nc t i o n a p p r oxi m a t i ons ,  l i ne a r  t r a ns f or m a t i ons  a n 3D  f a c e   r e c o gni t i o n.   S e c t i o n 4  p r e s e nt s  t he  f i n a l   c onc l us i o a n d   f ut ur e   s c ope   o f   t he   w or k .         2.   MA CH I N E   L E AR NI NG   I N   Q U AT E R N I O NI C   D O MA I N   A  q ua t e r ni o ni c  num be r  s y s t e m  i s  t he  s t r a i ght f or wa r d e xt e ns i o n o f  r e a l  a nd c om pl e x n u m be r  s y s t e m ,   w he r e  f ou r  c o m pone nt s  a r e  i nc o r po r a t e d i s i ngl e  n um be r ;  t he  f i r s t  c om p o n e n t  act s  as  r eal  an d  o t h e r  t h r ee a s   im a gi na r y   wi t h uni t  ve c t or s  ( ,   ,   ) .  T he s e  i m a gi na r y  c om po ne nt s  o ve r l i e  o n t he  a xe s  i n t h r e e   di m e ns i ona l   s pa c e  [ 1 1,  1 2] .   A qua t e r ni oni c   va r i a bl e   ( = 0 + 1 + 2 + 3   )   c o n s i s t s   of   a  r e a l  c om pone nt   ( 0 )   a n t hr e e  i m a gi na r y  c om po ne nt s   ( 1 , 2 , 3 ) .  It b as es   ( , , )   a r e   or t ho g ona l  s pe c i a l  ve c t o r s .  T hus ,  t he y   f ol l o w   t h e  p r o p e r t i e s  a s     2 = 2 = 2 = 1   a n c r os s  pr o duc t  pr o pe r t i e s   a s   × = ( × ) = , × = ( × ) = , × = ( × ) = .  I n   a  pr om i ne nt  r e p r e s e nt a t i on ,  a  q ua t e r ni o ( )   can   b e  e xp r e s s e d in th e   f or m   o f   a   m a t r i x   ( q u a t e r n i o n i c   m a t r i x ) :     = 0 1 2 3     1 0 3 2     2 3 0 1     3 2 1 0 .     ( 1)     T he  b ol d t y p e  l e t t e r  de not e s  qua t e r ni oni c  va r i a bl e  or  qua t e r ni oni c   m a t r i x.  T he  c on j uga t e   o f   qua t e r ni oni c  v a r i a bl e   ( = 0 1 2 3 )   i s  s i m i l ar  t o  co m p l ex  co n j u g at an d  t h e c o n j u g at e o f   qua t e r ni oni c   m a t r i de n ot e s   t he   t r a ns po s e   of   t he   qua t e r ni on i c   m a t r i x,   de f i n e a s :     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       O n   t he   H i g D i m e nt i o nal   I nf o r mat i on   P r oc e s s i ng   i Q uat e r ni on ic   D om a in …    ( S u s h i l   Ku m a r )   1 79   = = 0 1 2 3     1 0 3 2     2 3 0 1     3 2 1 0 = 0 1 2 3     1 0 3 2     2 3 0 1     3 2 1 0 .     ( 2)     T h m ach i n e l ear n i n g  o p t i m i zat i o n   t ech n i q u i n c o r p o r at es   t h e b as i o p er at i o n s  o f  q u at er n i o n   a l ge b r a  [ 11 ,  1 2] .  T he  a d di t i on a n d s ubt r a c t i on  of  t w q ua t e r ni oni c  m a t r ic e s     a nd    c a be  o bt a i ne d s i m ply   a s  m a t r i x  o p e r a t i o n s .  T h e  m u l t i p l i c a t i o n   o f   t w o  q u a t e r n i o n i c   m a t r i c e s     a nd    d o e s   not  f ol l ow  t he   co m m u t at i v p r o p er t y   (   ).   T he   i nne r  pr o duc t   of   t w qua t e r ni oni c   m a t r i c e s     a n   i s   ex p r es s ed   b y :     = 0 1 2 3     1 0 3 2     2 3 0 1     3 2 1 0 0 1 2 3     1 0 3 2     2 3 0 1     3 2 1 0 = 0 0 1 1 2 2 3 3     1 1 0 0 3 3 2 2     2 2 3 3 0 0 1 1     3 3 2 2 1 1 0 0 .     ( 3)     T he   n or m  of   q ua t e r ni o ni c   m a t r i     i s   ex p r es s ed   a s:     = 1 2  ( ) = 0 2 + 1 2 + 2 2 + 3 2   ( 4)     2. 1.   Le a r n i n g   i n   Q u a t ern i o n i D o m a i n   N eu r a l   N et w o rk s   L et  a t h r ee l ay er   ( )   Q D N N  p os s e s s e s  L  i np ut s ;  M  a nd  q ua t e r ni o ni c   ne u r o ns  i n  hi dde n   a nd  out put  l a y e r s  r e s pe c t i ve l y .  A l l  i nput s ,   o ut p ut s ,  we i ght s  a nd bi a s e s  s i g na l s  a r e  c o ns i d e r e d a s  q ua t e r ni o ni c   m a t r i c e s ,   a s   r e pr e s e nt e i E q.   ( 1 ) .   T he   de r i va t i on  of   o pt i m i z a t i on  t e c hn i que   i nc o r p or a t e s   t he   ba s i c   o p e r a t i on s   o f  q u at er n i o n   al g eb r w h i c h  p r es en t  t h e c o m p act  an d  t h e g e n er a l i zed  d er i v at i o n   o f   t h e b ack p r o p a g at i o n   a l g o r i t h m   ( Q D BP )   o f   t h r e e - l a y e r   ne t w or k.   T he   b ol l e t t e r s   de n ot e   t he   qut e r ni oni c   m a t r i or   m a t r i c ont a i ni ng   q u at e r n i o n i m at r i ces   as   el em en t s .     2. 1. 1.   F or w ar d   P as s   L et   u s   co n s i d er   ,   ,   ,     be   t he   4 qua t e r ni oni c   i n put   of   ( = 1 )   ne ur on   i t he   i n p ut   l a y e r   o f  t h n et w o r k .   T h e   q u at er n i o n i i n p u t   c an   b ex p r es s ed   as   q u at er n i o n i m at r i x   ( ) :       =             .     ( 5)     T he   m a t r i o f   i np ut s   ( )   a t   t he   i np ut   l a y e r   of   t h e   ne t w o r k  i s   de f i ne by :     = [ 1   2   3   ]       (6 )   T h e   i n i t i a l i z a t i o n   o f   s y n a p t i c   c o n n e c t i o n   w e i g h t s     a nd    ar d ef i n e d   f o r     i n p u t   t o   ( = 1 )   hi dde n   ne u r on  pa i r   a nd f or     hi d de n  t ( = 1 )   out put  ne ur o pa i r  o f n e t wo rk   r es p ect i v el y .   T h es w ei g h t s  ar e p r es e n t ed  i n   q u at er n i o n i c m at r i ces  co n t ai n i n g  a  r eal  an d  o t h er  t h r e im a gi na r y   c om po ne nt s   a s   f ol l ow s :     =             .       ( 7)   =             .     ( 8)     S i m i l a r l y ,  t h e   i n i t i a l i z a t i o n  o f  b i a s e s     a nd     ar e d ef i n ed   f o r     hi d de n a nd     ou tpu t n e ur o n of   ne t w or k:     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN 2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   2 ,   J un e   201 8   177     1 90   1 80   =             .       ( 9)   =                 ( 10 )     T h e   i n t e r n a l   p o t e n t i a l   m a t r i x   ,   fo n e u r o n s   ( 1   . .   M )   a t   h i d d e la ye r  of   th e   ne tw or is   d e f in e d   a s :     = + .       ( 11 )     1 2 3 = 1 1 2 1 3 1   1 1 2 2 2 3 2   2 1 3 2 3 3 3   3   1 2 3   1 2 3   + 1 2 3   .       ( 12 )     w h e r e,  el em en t s  o f  w ei g h t  m at r i x     c o nt a i ns  c or r e s p o ndi ng  we i g ht s  be t w e e n i n put  t hi dde ne u r o ns   a n d   e l e m e n t s  o f   b i a s  m a t r i x     co n t ai n s   b i as es  o f   hi d de n  ne ur o ns .  L e t     be  a a c t i va t i on f u nc t i on a nd    b e  i t s   de r i va t i ve .  T he  o ut put  m a t r i x ( )   i s  o b t a i n e d  b y   s p l i t - t y p e  a c t i v a t i o n  f u n c t i o n   o v e r  i n t e r n a l  p o t e n t i a l  m a t r i x   ( )   a t   h i d d e n   l a y e r :       O = f (U ).       ( 13 )   [ 1   2       ] = [ ( 1 )   ( 2 )           ( ) ( ) ] .   ( 14 )     w h e re ,     = ( ) =   ( ) ( ) ( ) ( )     ( ) ( ) ( ) ( )     ( ) ( ) ( ) ( )     ( ) ( ) ( ) ( ) .     ( 15 )     T h e   i n t e r n a l   p o t e n t i a l   m a t r i x     a t  out put   l a y e r   of   t he   ne t w or i s   de f i ne d   a s :     = + .   ( 16 )     1 2 3 = 1 1 2 1 3 1   1 1 2 2 2 3 2   2 1 3 2 3 3 3   3   1 2 3   1 2 3   + 1 2 3   .       ( 17 )     w h e r e ,  e l e m e n t s  o f   w e i g h t  m a t r i x     p os s e s s e s   s t r e ngt h of   s y na pt i c   c on ne c t i ons  be t w e e n  hi d de n   a nd  ou t put   ne u r ons  a nd  c ol um n ve c t or     p os s e s s e s  a l l   qua t e r ni oni c  b i a s e s  o f   r e s pe c t i ve  o ut p ut   n e ur o ns .  T he   o ut p ut   m a t r i x  ( )  i s  o b t a i n e d  b y  a p p l y i n g   s p l i t - t y p e  a c t i v a t i o n   f u n c t i o n   o v e r  i n t e r n a l  p o t e n t i a l   m a t r i x   ( )   a t  t h e   out put   l a y e r :       = ( ) .     ( 18 )   [ 1   2   3 ] = [ ( 1 )   ( 2 )   ( 3 ) ( ) ] .   ( 19 )       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       O n   t he   H i g D i m e nt i o nal   I nf o r mat i on   P r oc e s s i ng   i Q uat e r ni on ic   D om a in …    ( S u s h i l   Ku m a r )   1 81   w h e re ,       = ( ) =   ( ) ( ) ( ) ( )     ( ) ( ) ( ) ( )     ( ) ( ) ( ) ( )     ( ) ( ) ( ) ( ) .       ( 20 )     2. 1. 2.   Ba c k w a r d   Pa ss       I or de r  t o d e ve l o p a  Q D NN  ba s e d l e a r ni ng m a c hi ne ,  w e  p r e s e nt  t he  de r i va t i o of  t he  e r r o r   ba c k p r o pa ga t i on l e a r ni n g a l go r i t hm  i n qu a t e r ni o n d om a i n ( Q D B P )  t hr ou g m i n i m i z at i o n  o f  av e r a g e m ean   s q u a re   e rr o ( )   of   t he   ne t w or k:     = 1 8    ( )    ( ) 4 = 1     = 1 8    1 2 3    1 2 3 4 = 1     = 1 8  1       0   2           3               0           1       0   2           3               0           4 = 1 .                           ( 21 )     w h e re ,     de n ot e s  qua t e r ni oni c  c on j uga t e   ( a s   de f i ne d  i n  E q.   ( 2 ) )  a nd  t he   o u t put  e r r o r  m a t r i ( )   p r e s e n t s  t h e   d i f f e r e n ce  b et w een   act u al   ( )   a n d e s ir e ( )   out put  a t   o ut p ut   l a y e r ,   de f i ne a s :     = .     ( 22 )   1 2 3 = 1 2 3 1 2 3 = 1 1 2 2 3 3 .       ( 23 )     T h e u p d at e q u at i o n s  o f  w ei g h t   a n d  b i as  m at r i ces   ar o b t ai n ed   b y  em p l o y i n g   a g r ad i en t   d ece n t   opt i m i z a ti on a pp r oa c o n M S E ,  m e a n s q u ar er r o r  ( ) .  T h e   w e i g h t  u p d a t e   m a t r i x   ( )   be t w e e n  hi dde n - out put   l a y e r s   a nd   bi a s   u p da t e   m a t r i ( )   a t   t he   o ut p ut   l a y e r   of   t he   ne t w or a r e   p r e s e nt e a s   f ol l ow s :     = 1 2 3 = 1 ( 1 ) 2 ( 2 ) 3 ( 3 ) ( ) .         ( 24 )   = 1 1 2 1 3 1   1 1 2 2 2 3 2   2 1 3 2 3 3 3   3   1 2 3   = 1 ( 1 ) 2 ( 2 ) 3 ( 3 ) ( ) 1 2 3 .       ( 25 )         Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN 2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   2 ,   J un e   201 8   177     1 90   1 82   w h e re ,   +   d en o t es  a l ear n i n g   r at e an d     d e n o t es  el em en t - w i s e   m u l t i p l i c a t i o n  o f   t w o   q u a t e r n i o n i c   m a t r i c e s  ( a s  d e f i n e d  i n  E q .  ( 3 ) ) .   S i m i l a r l y ,  w e i g h t  u p d a t e   m a t r i x   ( )   be t we e n i n p ut - h idd e l ay er s   an d   b i as   u p d at e m at r i x   ( )   at   h i d d en   l ay er   o f   t h e   n et w o r k   ar p r e s en t e d   as   f o l l o w s :     = 1 2 3 = 1 1 2 1 3 1   1 1 2 2 2 3 2   2 1 3 2 3 3 3   3   1 2 3   1 ( 1 ) 2 ( 2 ) 3 ( 3 ) ( ) ( 1 ) ( 2 ) ( 3 ) ( ) .       ( 26 )       = 1 1 2 1 3 1   1 1 2 2 2 3 2   2 1 3 23 3 3   3   1 2 3                           = 1 1 2 1 3 1   1 1 2 2 2 3 2   2 1 3 2 3 3 3   3   1 2 3   1 ( 1 ) 2 ( 2 ) 3 ( 3 ) ( ) ( 1 ) ( 2 ) ( 3 ) ( ) 1 2 3 .           ( 27 )       2. 2.   Le a r n i n g   a l g o r i t h m   i n   q u a t e r n i o n i c   d o m a i n   F or  t he  s a ke  of  s i m pl i c i ty  a nd be t t e r  un de r s t a n di n g,  w e   f u r t he r  pr e s e nt  a n  a l gor i t hm   Q D N N_ T R AI N(. f or  t r a i ni ng  of  q ua t e r ni oni c  d om a i n ne ur a l  ne t wo r k  ( QD N N ) ,   w h i c h i s  e l a bor a t e d by   p ro c e d u r e s   Q D N N_ IN I T ( . ) ,   Q D N N _ F O R WAR D ( . ) a n d   QD N N_ B AC K W A R D( . ) .   T h e   le a r n i ng   a nd  g e n e r a l i z a t i o n   a b i l i t y  o f  a  t h r e e - l ay er ed  n e u r al  s t r u ct u r e i s  o b t ai n e d  t h r o u g h   o p t i m i zat i o n  o f  m ean  s q u ar e r ro r.   T h e p r o ced u r e   Q DN N_ IN IT ( . )   r a n d o m l y  i n i t i a l i z e s  t h e  w e i g h t   a n d   b i a s  m a t r i c e s  i n  c o n s i d e r e d   ne t w or k.  I t  c a l l s  t h e  RA N D O M _ Q M ( a ,   b )   p r oc e d ur e  w hi c h r a nd om l y ge ne r a t e s  t he   qu a t e r ni o ni c  m a tr i x o f   e a c h i nt e r c o nn e c t i on w e i ght   a nd  bi a s  o f  n e ur o n i n t he  r a nge   f r om   a   to  b .   T h e  QD N N _ F O R W A R D (. pr oc e du r e  i s  i nt e n de d  t o  i m pl e m e nt  f or wa r d  pa s s   of   Q D NN ,   he nc e   ge ne r a t e  i nt e r n a l  p o t e n t i a l s   ( , )   a nd  he nc e  o ut p ut s   ( , )   m at r i ces  at  r es p ect i v e l ay er s .  T h A C T IV A T I O N_ F U N C T IO N( . ) l i m i t s  t h e  o u t p u t  o c or r e s po n di n g ne u r on   o f   t h e n et w o r k .   F o r  u p d at es  w ei g h t   an d  b i as   m at r i ces ,   Q D N N _ B AC K WAR D (. )   i de ve l ope d f or  t he   ba c k w a r d pa s s  of   Q D N N .  A l l   r e qu i r e d   p r o ced u r es  a r e p r es e n t ed  i n  p s e u d o  c o d ar e as   f o l l o w s :         Q DN N _ TR AI N ( , , , )        Q DN N _ IN IT ( , , ) ;                      >                  1      =     ( )              , , ,   Q DN N _ F O RW A RD ( , , , , ) ;                         ;                         1 8  (    ( )  ( ) ) ;   4 = 1                                 Q DN N _ BAC KW AR D ( , , , , , , , , , )           1 ; = 1                                    Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       O n   t he   H i g D i m e nt i o nal   I nf o r mat i on   P r oc e s s i ng   i Q uat e r ni on ic   D om a in …    ( S u s h i l   Ku m a r )   1 83       Q DN N _ IN IT ( , , )              1                       1                     RA ND O M _ Q M ( , ) ;               RA ND O M _ Q M ( , ) ;                     1                     1                 R A ND O M _ Q M ( , ) ;           RA ND O M _ Q M ( , ) ;            Q DN N _ F O RW A RD ( , , , , )            + ;         ACTI V ATI ON _ F UN C T IO N ( ) ;         +   ;         ACTI V AT I ON _ FU N C T IO N ( ) ;                  Q DN N _ BAC KW AR D ( , , , , , , , , , )        ( / ) DE R _ ACTI V AT I ON ( ) ;       ( / ) ( DE R _ ACTI V A TI ON ( ) ) ;           ( / ) ( ( DE R _ ACTI V A TI ON ( ) ) ) DE R _ ACTI V AT I ON ( ) ;         ( / ) ( ( ( DE R _ ACTI V AT I ON ( ) ) ) DE R _ ACTI V ATI O N ( ) ) ;           + ;     + ;     + ;     + ;            RA ND O M _ Q M ( , )        0     [ + ( ) ] RA ND ( 1 ) ;     1     [ + ( ) ] RA ND ( 1 ) ;     2     [ + ( ) ] RA ND ( 1 ) ;     3     [ + ( ) ] RA ND ( 1 ) ;       0 1 2 3     1 0 3 2     2 3 0 1     3 2 1 0 ;            ACT I V ATI ON _ F UN C T IO N ( )        = ( ) ;                                                                                                                               3.   P E R F O R MA NC E   E V A L U AT I O O F   L E A R N I N G   M A C H I N E   T H RO UG H   B E N CH MA R K   P R O BLEM S   I n t hi s  s e c t i on ,  w e  e va l ua t e  t he  e f f e c t i ve ne s s   of  l e a r ni ng m a c hi ne  t h r o u gh a   w i de   s pe c t r um  of   be nc hm a r k pr obl e m s :  f unc t i on a pp r oxi m a t i ons ,  l i ne a r  t r a ns f or m a t i ons ,  a nd  3D f a c e  r e c o gni t i o n.  T h e   c om pone nt s  o f  a l l  qua t e r ni o ni c  w e i g ht s  a nd  bi a s e s  a r e  r a n dom l y   i ni t i a l i z e d i n t he  r a n ge   - 1 t o 1.  T he   qua t e r ni oni c   v a r i a bl e   0 = 1 + + +   i a ssu m e d   a b i a i n p u t   a nd   t he   hy pe r b ol i c   t a nge nt   f u nc t i on   i s   u s e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN 2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   2 ,   J un e   201 8   177     1 90   1 84   a s  a c t i v a t i o n  f u n c t i o n .   A  c o m p ar at i v e p er f o r m an ce b et w e en  f i r s t   g en e r at i o n  ‘ r eal - va l ue d ne ur a l   ne t w o r k  a n d   s e c o nd   ge ne r a t i on ‘ q ua t e r ni o ni c - v al u e d   n e u r al  n et w o r k  w i t h  r es p ect i v e   al g o r i t h m s   r eal - va l ue b a c kpr op a ga t i on ( R VB P )   a nd qua t e r ni oni c - d om a i n ba c k pr o pa ga t i o n ( Q DB P )  i s  t ho r o u ghl y  e va l u a t e d f o r   f u n c t i o n   a p p r o x i m a t i o n s   b y   s t a t i s t i c a l   p a r a m e t e r s   l i k e   e r r o r   v a r i a n c e ,   c o r r e l a t i o n ,   a n d   A IC   [ 2 0 ].   A n o t h e r   c l a s s   of   be nc hm a r k pr o bl e m s ,   t he  l e a r ni n g o f  l i n e a r  t r a ns f o r m a t i o n s  ( r o t a t i o n ,  s c a l i n g ,  a n d  t r a n s l a t i o n  a n d  t h e i r   c om bi na t i ons ) ,  i s  pr om i s i ng one  a s  t r a i ni ng  i s  pe r f o r m e d t hr ou g h a  f e w   s e t s  of   p oi nt  l y i ng o n t he  l i n e  a nd   t r ai n ed   n et w o r k  i s  a b l e t o   g en er al i ze  o v e r  co m p l i cat ed  3 D   g e o m et r i c  s t r u ct u r es .  I n  l as t  s u b s ect i o n ,  t w o   p r i m a r y  e x p e r i m e n t s  a r e   p r e s e n t e d  f o r  3 D  f a c e  r e c o g n i t i o n ;  s u r e l y  i t   w i l l  b e   s t e p p i n g  s t o n e  f o r  p r o s p e c t i v e   r es ear c h er s  t o  ex t en d  t h i s   n o v el  t ech n i q u e  o v e r  a l ar g e d at a s et .  I n  l as t  t w o  ex p er i m en t s ,  each  p o i n t  i s   r e p r e s e nt e by  a  q ua t e r ni o w hi c h c ont a i n s  i nt e n de d  c o m pone nt s  a l o n g w i t h p ha s e  i nf or m a t i on e m be d d e d   w i t hi a   n um be r ,   t he r e f o r e   R VN i s   n ot   a bl e   t pe r f o r m   s uc e xpe r i m e nt s .     3. 1.     F unc t i o n   A pp r o x i m a t i o ns   3. 1. 1.   T h e   L or e n z   S y s t em   T he   dy na m i c s   of   t he   L o r e nz   s y s t e m   [ 21]   i s   p r e s e nt e by   t he   s y s t e m   of   t hr e e   di f f e r e nt i a l   e qua t i o ns   w hi c s h ow s   t he   c ha ot i c   be h a vi o r   de pe n di n on   i t s   pa r a m e t e r   va l ue s .     dx/ dt = σ ( y - x   d y/d t= x( ρ - z) -     dz / dt = xy - βz         ( 28 )     w he r e ,   t he   s y m bol s   ,     a nd    a re   p a ra m e t e rs   o t h e   L o re n z ’s   s y s t e m .   O n   t h e   b a s i s   o i t s   p a r a m e t e rs   ( = 15 ,   = 28   a nd  = 8 / 3 ) ,  t h i s   s y s t e m  ( E q .  ( 2 8 ) )  g e n e r a t e s   6 5 3 7  t e r m s  o f   t h e  t i m e  s e r i e s  w i t h  i n i t i al   c o n d i t i o n  ( = 0 . 7 ,   = 0 . 1 ,   = 0 . 1 )  us i n g f o ur t h or de r   R u nge - K ut t a   m e t hod.  E a c h t e r m  c a n be   c on s i de r e d   i n t he   f o r m  of   qua t e r ni oni c  i n put  a s   0 + + + .   F u r t he r ,  t he  n o r m a li z a t i on i s   pe r f o r m e d i n t he   r a n ge   f r o m   - 0. 8 t 0 . 8.  T he  f i r s t  5 00 t e r m s  of  t h e  t im e  s e r i e s  ha ve  be e us e d  f o r  t r a i ni n g a nd  r e s t  f or  t e s t i ng  of   t h r e e - l a y e re d  R VN ( 3 - 11 - 3 )  a n d   Q DN N  n e t w o rk s  (1 - 3 - 1)  s e pa r a t e l y .  E xpe r i m e nts  de m ons t r a t e  t ha t  t he   s eco n d   n et w o r k   r e q u i r es   l es s er   n u m b er   o f   t r ai n i n g   cy cl es   t o   ach i e v t h d es i r ed   M S E ,   as   p r e s e n t e d   i n   T a b l e   1 .   F i g u r e .   s h ow s   t he   t e s t i n g   r e s ul t s   of   t he   ne t w or ks   t r a i n e by   QD B P   f or   pr e di c t i o o f   t im e   s e r i e s   of   L or e nz   s y s t e m .  T a bl e  1  de m ons t r a t e s  t he  s i gni f i c a nt  o ut pe r f o r m a nc e  o f   Q D N N  i n t e r m s   of   ne t wo r k  t o pol ogy ,   t r a i n i n g   c y c l e s ,   t e s t i n g   M S E ,   er r o r   v a r i an ce ,   co r r el at i o n   an d   A I C .           F i g ur e .   1 .   3D   p l ot   o f   t he   L or e nz   s y s t e m   t e s t e by   t he   Q D N N   n e tw o r k   tr a i n e thr oug QD B P       T ab l 1 .     C om pa r i s on   o f   t r a i n i ng  a n t e s t i n pe r f o r m a nc e   f o r   L or e nz   s y s t e m   N e ur on T y pe   R eal - v alu ed   Qu ater n io n ic - v alu ed   Alg o r ith m   RV BP   QDB P   N e t w or k T opol ogy   3 - 11 - 3   1 - 3 - 1   MS E Tra i n i n g   0. 0015   0. 0006   Av er ag e E p o ch   1500 0   9000   M SE  T es tin g   0. 0042   0. 0012   E r r o r  Var ian ce   0. 0026   0. 0009   C o r r elatio n   0. 8732 7   0. 9323   A IC   - 6. 3329   - 7. 4503   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ A A S     I S S N 225 2 - 88 14       O n   t he   H i g D i m e nt i o nal   I nf o r mat i on   P r oc e s s i ng   i Q uat e r ni on ic   D om a in …    ( S u s h i l   Ku m a r )   1 85   3. 1. 2.   Th e   C hu a s   C i r c u i t   Ch u a s  c i r c u i t  i s  t h e   s i m p l e s t  a u t o n o m o u s  e l e c t r o n i c  c i r c u i t  c o n t a i n i n g  r e g i s t e r s ,  c a p a c i t o r s  a n d   i nd uc t o r s   t ha t   e xhi bi t   t he   c ha ot i c   be ha vi o r   u nde r   s pe c i f i c   pa r a m e t r i c   c ond i t i ons   [ 2 2] .   T h i s   c i r c u i t   s a t i s f i e s   t h e   c ha ot i c  c r i t e r i o n w hi c h c o nt a i ns   one  o r  m or e  n on - l i n e a r  e l e m e n t s ,   o n o r  m o r e act i v e r eg i s t er s  a n d  t h r ee o r   m or e  e ne r gy  s t or a ge  de vi c e s .   I t  us e s  t he   o ne  c hua s   di o de  a s  no n - l i n e a r  e l e m e n t ,  o n e  l o c a l l y  a c t i v e  r e g i s t e r   a nd  t w o c a pa c i t or s  a n one  i n duc t or  a s  e ne r gy  s t o r a ge  de v i c e s .  T he  dy na m i c s  of  C hua s  c i r c ui t  a r e  g o v e r n ed   b y   t h r ee  s t at e q u at i o n s   as     = [ ( ) ]         = +         =           ( 29 )   w h e re ,   ( )   p r es e n t s   t h el ect r i cal   r es p o n s o f   n o n - l i n e a r  r e g i s t e r   d e f i n e d   a s       ( ) = 1 + 1 2 ( 0 1 ) ( | + 1 | | 1 | )     an ,   ,   ,   0   a n 1   ar e t h e c o n s t an t  p ar am et er s .  T h e  s y m b o l s   ,     a nd    ar v o l t ag e s  acr o s s  t w o   cap aci t o r s  an d  an  i n d u ct o r  r es p ect i v el y ,  an d  t h ei r  co m b i n at i o n s  s h o w  t h e c h a o t i c at t r act o r  i n  t h r e e   di m e ns i ons .   T he   do u bl e  s c r o l l e d c ha ot i c  a t t r a c t or  [ 22]   i s  obt a i ne d wi t h t he   pa r a m e t e r s   = 15 . 6 ,   = 28 ,   = 0 ,   0 = 1 . 143   an d   1 = 0 . 714 .  T h e  c h a o t i c  t i m e  s e r i e s   h a s  b e e n   o b t a i n e d  f r o m  t h e  s i m u l a t i o n   o f   t h e  s y s t e m  ( E q .  2 9 )   w i t h  t i m e  s t e p  0 . 1  S e c  a n d  i n i t i a l  v o l t a g e s   = 0 . 1 ,   = 0 . 1   a n = 0 . 1   b y u s ing  f o ur th  or de r  R un ge - K u t t a  m e t h o d .  T he  n or m a l i z a t ion  of  i n p ut - ou t put  i m a gi na r y  qua t e r ni o ns  i s  do ne  i - 0. 8 t o 0. 8   ( r eal  p a r t  i s  zer o  an d  i m ag i n ar y  p ar t s  ( ,   ,   )  p r e s e nt  c o r r e s p o ndi ng  v ol t a ge s ) .  A t i m e  s e r i e s  c o nt a i ni n g 5 00  t e r m s  obt a i ne d  f r om  s im u l a t e d s y s t e m  ha s  be e n us e d t o t r a i n R V N N  a nd  QD N N .  T he  t r a i ni ng  r e s ul t s  of   bot h   ne t w or ks ,   i T a bl e   2,   de m ons t r a t e   t ha t   QD N N   t r a i ne by   t h e   Q DB P   a l go r i t hm   r e qui r e s   a   s i gni f i c a nt l y   s m a l l e r   num be r   of   a ve r a ge   e p oc hs   t a c hi e ve   t h e   t hr e s h ol t r a i ni ng   e r r or   t ha R V B P .   T he   ne xt   5 00  t e r m s   of   t ha t   t im e   s e r i e s   ha ve  be e n t e s t e d  t h r o ug ne t w o r ks   t r a i ne d  by   b ot h a l g o r i t hm s .   F ig ur e .  2  s ho ws  t he   3D  pa t t e r ns   o f   d e s i r e d  a n d  a c t u a l  d a t a  f o r  c h a o t i c  b e h a v i o r   o f  Ch u a s  c i r c u i t .  T h e  t e s t i n g  r e s u l t s  s h o w n  i n  T a b l e   2  i n  t e r m s   o e r ro r,   v a ri a n c e ,   c o rre l a t i o n ,   a n d   AIC   a g a i n   i n fe t h e   s u p e r i o ri t y   o f   Q D N N   o v e r  r eal - v a lu e n e ur a n e t w or k.           F ig ur e   2 .   T e s t i n g   r e s u l t   o f   Q V N N   n e t w o r k   t r a i n e d   b y   Q D BP   f o r   C h u a s   c i r c u i t       T ab l 2 .   C om pa r i s o of   t r a i ni ng   a n t e s t i n pe r f o r m a nc e   f o r   C h u a’ s   c i r c u i t   N e ur on T y pe   R eal - v alu ed   Qu ater n io n ic - v alu ed   Alg o r ith m   RV BP   QDB P   Netwo r k   T opol ogy   3 - 12 - 3   1 - 3 - 1   MS E Tra i n i n g   0. 0012   0. 0008   Av er ag e E p o ch   1000 0   7000   M SE  T es tin g   0. 0025   0. 0017   E r r o r  Var ian ce   0. 0020   0. 0008   C o r r elatio n   0. 9734   0. 9874   A IC   - 6. 5332   - 7. 0101   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S SN 2 252 - 88 14   IJ A A S     V o l .   7 ,   N o .   2 ,   J un e   201 8   177     1 90   1 86   3. 2.   Li n e a r   T r an s f or m a t i on s     I n  o r d e r  t o  ev al u at e t h e p er f o r m an ce o f   Q D N N ,   w e h a v e  co n s i d er e d  a t h r ee l ay er  n e u r al  s t r u ct u r e   (2 - M - 2) .  T hi s   s e c t i on  pr e s e nt s  t he  l e a r ni n of  l i ne a r  t r a ns f or m a t i ons  ( r ot a t i on,   s c a l i ng ,   a nd  t r a ns l a t i on  a n d   t he i r  c om bi na t i ons )  by   Q D N N  t h r o u gh a  f e w s e t s   of   poi nt s  o n t he  l i ne  a nd  ge ne r a l i z a t i on  o ve r  c om pl i c a t e 3 D   o b j ect s .   E a ch   q u at er n i o n i v ar i a b l = 0 + + +   un d e r g oe s   a   t r a ns f or m a t i on  f unc t i on  ( )   a nd   c or r e s po n di n gl y  y i e l ds  a  t r a ns f or m e q ua t e r ni oni c  va r i a bl e   = 0 + + +    r ep r e s en t e d  i n  t h qua t e r ni oni c   m a t r i a s   f ol l ow s :     = ( ) = +       = 1 , 2 , 3 ,                                                                                                                                                                                                                                                     0     0     0     0 = 0     0     0     0 0     0     0     0 + 0     0     0     0     w h e re     de n ot e s  t he  n um be r  of   poi nt s  t ha t  l i e s  on t he   s u r f a c e  of   3D  o bje c t s  a nd     a nd    ar e q u at er n i o n s   s uc h t ha t   n or m  of     . .   = 0 2 + 1 2 + 2 2 + 3 2   de n ot e s   t he   s c a l i n g   f a c t or .   Ar gum e nt  of      yie lds   r o t a t i o n  i n      w h i l e     pe r f or m s  t r a ns l a t i on  of   3D  o bje c t  i n t he  di s t a n c e  ( ) .  T he  c o m bi na t i ons   o f   t r a n s f o r m a t i o n s   f a c i l i t a t e   t h e   v i e w i n g   o f   3 D   o b j e c t s   f r o m   d i f f e r e n t   o r i e n t a t i o n s ,   i n t e r p r e t a t i o of   t he i r   m ot i on ,   et c.   F o r  t r ai n i n g   o n  a t h r e e l ay er ed   2 - 6 - Q D N N ,  a l l  e xpe r i m e nt s  c ons i de r  a  s t r a i g ht  l i ne  i n s pa c e   c ont a i ni ng  f e w   i n put  da t a  po i nt s   ( 2 1 p oi nt s )  o l i ne   a nd  a   r e f e r e nc e   p o i nt   (     ) .   T he  s e t  o f  p oi nt   ( , , )   l y i n g  o n  l i n e   goe s  t o t he  f i r s t  i np ut  a n d a   s e c o nd i np ut   p a s s e s  t he   r e f e r e nc e   poi nt  ( , , ) .  Th e   i nc o r p or a t i o of  t he  r e f e r e n c e  p oi nt  p r ovi de s  m or e  i n f o r m a ti on t o l e a r ni ng a  s y s t e m  w hi c h y i e l ds  be t t e r   accu r acy .  S i m i l ar l y ,  t h f i r s t  an d   s eco n d  o u t p u t   n e ur o ns   o f   o ut p ut   l a y e r  r e s ul t  t h e  t r a ns f or m e d p oi n t   ( , , )   o n  l i n e an d  t r an s f o r m ed  r ef e r en ce  p o i n t   ( , , )   r es p ect i v el y .  T h e l ear n i n g  o f  t h e   t r a ns f o r m a ti on  i s  a c hi e ve d b y  l e a r ni n g t he   a l go r i t hm  pr e s e nt e d i n  s e c t i o n 2 . wi t h a  s ui t ab l e l ear n i n g  r at e .   T h e t r ai n e d  Q D N N  i s  ab l e t o  g e n er al i ze o v er   h u g e n u m b er  o f   p o i n t s  cl o u d  d at a o f  co m p l i cat ed  g eo m et r i cal   s t r u c t u r e  l i k e  s p h e r e ,  c y l i n d e r ,  t o r u s  a n d  t h i s  a b i l i t y  o f  t h e  n e t w o r k  p r e s e n t s  t h e  3 D  m o t i o n  i n t e r p r e t a t i o n   o f   o b j e c t s .  I t  i s  w o r t hw hi l e  t o  m e nt i on   he r e  t ha t  l e a r ni n g  o f   p ha s e  i nf or m a t ion  i s   not  p os s i bl e   by  R V N N   he nc e   s uc t r a ns f or m a t i on  i s   not   po s s i bl e   t hr o ug R VN N ;   t he r e f or e   t hi s   s e c t i o n   onl y   pr e s e nt s   t he   r e s ul t   o bt a i ne d   by   Q DN N .     3 . 2 . 1 .   S i m i l a r i t y   T r an s f or m at i on   T he  l e a r ni n g of   QD N N (2 - 6 - 2 m ode l )  i s  pe r f o r m e d f or  s im il a r i t y   t r a ns f or m a t i on,  t hr o ug h i n put - out put  m a ppi n g f or  s c a l i ng  f a c t or  ½   ove r  t he  l i ne  c o nt a i n i ng  21  p oi nt s ,   r e f e r e nc e d i ( 0 , 0 , 0 ) ,  a s  s h o w n  i n   F ig ur e .  3 ( a) .  C o n v er g e n ce o f  m ean  s q u ar e er r o r  ( F igur e .  3( b) )  s h ow s  t he  s m a r t  l e a r n i n g  c a p a b i l i t y  o f  t h e   pr o pos e d ne t w or k.  T he  t r a i ni ng  of  Q D NN   wi t h 0. 0 00 0 5 l e a r ni ng r a t e  c on ve r ge s  t o M S E  =  1. 0 0 55 6 7e - 05   a f t e r  2 0 00 0 i t e r a t i ons .  T he  t r a i ne ne t w or i s  a bl e  t o ge ne r a l i z e  ove r  m a ny  c om pl i c a t e d s t a n da r ge o m e t r i c   s t r u c t u r e s   l i k e  s p h e r e   ( 4 1 41  d a t a  poi nt s ) ,   c y l i nde r  ( 2 92 da t a  poi nt s ) ,  a n t or us  ( 1 02 0 d a t a  poi nt s )   w hi c h i s   pr e s e nt e d   i F ig ur e .   4 ( a) ,   4 ( b ) ,   an d   4 ( c)   r es p ect i v el y .           ( a)   ( b)     F ig ur e   3 .   ( a )   T r a i ni n i np ut - o ut p ut   m a ppi n f o r   s c a l i n g   w i t h   s c a l i n g   f a c t o r   ½ ;   (b C on ve r ge n ce  o f   m ean   s q u ar er r o r   Evaluation Warning : The document was created with Spire.PDF for Python.