I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   16 N o .   2 N o v e m b e r   201 9 ,   pp.   701 ~ 708   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 6 .i 2 . pp701 - 708             701       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   A r t i f i c i a l   n e u r a l   n e t w o r k   a n d   p a r t i a l   l e a st   s q u a r e   in   p r e d i c t i n g   b l o o d   h e m o g l o b i n   u si n g   n e a r - i n f r a r e d   s p e c t r u m       M o h d   N az r u l   Ef fe n d M o h d   I d r u s 1 K i m   S e n g   C h i a 2   1 ,2 F a c ul t y   o f   E l e c t r i c a l   a nd   E l e c t r o ni c   E ng i ne e r i ng ,   U ni v e r s i t i   T u H us s e i n   O nn   M a l a y s i a ,   M a l a y s i a   2 S e ns o r   D e v i c e s   R e s e a r c L a bo r a t o r y ,   M i N T - S R C ,   U n i v e r s i t i   T un   H us s e i n   O nn   M a l a y s i a ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   J a 26 ,   2 019   R e v i s e M a y   9 ,   201 9   A c c e pt e M a y   22,   20 19       P r e d i c t i v e   m o de l s   a r e   c r uc i a l   i n   ne a r - i nf r a r e ( N I R )   s pe c t r o s c o pi c   a na l y s i s P a r t i a l   l e a s t   s qu a r e   -   a r t i f i c i a l   n e u r a l   ne t w o r ( P L S - A N N )   i s   a   hy br i m e t ho t ha t   m a y   i m pr o v e   t h e   p e r f o r m a nc e   o f   pr e d i c t i o i n   N I R   s pe c t r o s c o pi c   a na l y s i s .   T hi s   s t udy   i nv e s t i g a t e s   t h e   a dv a nt a g e   o f   P L S - A N N   ov e r   t he   w e l l - kno w l i n e a r   a n no n - l i n e a r   m o de l l i ng   a pp r o a c he s   i s pe c t r o s c o py   a na l y s i s   t ha t   a r e   pa r t i a l   l e a s t   s qu a r e   ( P L S )   a nd   a r t i f i c i a l   n e ur a l   ne t w o r ( A N N ) .   T he   r e s ul t s   s ho w   t h a t   A N N   t ha t   c o upl e w i t f i r s t   o r de r   S G   de r i v a t i v e s   a c hi e v e t he   b e s t   pr e d i c t i o w i t h   r o o t   m e a s qua r e   e r r o r   o f   pr e d i c t i o ( R M S E P )   o f   0. 35 17  g d / L   a nd   c o e f f i c i e n t   o f   de t e r m i na t i o n   (       )   o f   0. 9849   f o l l o w e by   P L S - A N N   w i t R M S E P   o f   0. 436 g d/ L   a nd          o f   0. 97 87 ,   a nd  P L S   w i t R M S E P   o f   0. 4669   g d/ L   a nd           o f   0. 9727 .   T hi s   s ug g e s t s   t ha t   t h e   s p e c t r um   i nf o r m a t i o m a y   una bl e   t o   be   t o t a l l y   r e pr e s e nt e by   t he   f i r s t   f e w   l a t e n v a r i a b l e s   o f   P L S   a nd  a   no nl i ne a r   m o de l   i s   c r uc i a l   t o   m o de l   t he s e   no nl i ne a r   i nf o r m a t i o n   i n   N I R   s pe c t r o s c o pi c   a na l y s i s .   Ke y w or d s :   A r t i f i c i a l   n e u r a l   n e t w o r k   H y b r i d   m o de l   N e a i n f ra r e s pe c t r o s c o p y     P a rt i a l   l e a s t   s qu a r e   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   K i m   S e n g   C hi a,   F a c ul t y   of   E l e c t r i c a l   a n d   E l e c t r o n i c   E n g i n e e r i ng,     U n i v e r s i t i   T u n   H us s e i O nn  M a l a y s i a ,   M a l a y s i a .   E m a i l :   ks c hi a @ ut hm . e du. m y       1.   I N TR O D U C TI O N     N ow a da y s ,   n e a r - i n f ra r e s pe c t r o s c o p y   (N IRS t e c hn o l o g y   s h ow e d   i n c r e a s i n g   num b e o a ppl i c a t i o n s   i v a r i o us   f i e l ds   s uc h   a s   m e di c a l ,   c h e m i c a l ,   a nd  f oo a n a l y s i s   [1 - 3] .   A pp l i c a t i o n s   t h a t   b a s e o n   N IR S   a r e   de v e l o p e t ove r c o m e   s e v e r a l   f a c t o r s   i n   t h e   c on v e n t i o na l   m e t h o ds   w h i c h   a r e   time - c o n s u m i n g de s t r uc t i v e ,   a n c o s t - e f fe c t i ve .   T h e   i nt e n s i t y   of   t h e   r e f l e c t i on   a n t r a n s m i s s i o o f   t h e   f un da m e nt a l   m o l e c ul a v i b r a t i o n s   o f   C H ,   O H ,   a n N H   p r o duc e s   a b s o r pt i o b a nds   m a ke   n e a r - i n f r a r e (N IR us e f ul   f o r   a n a l y z i n g   i n   t h e   b i o l o gi c a l   s y s t e m   [4] .   By   us i n a   w o r ki n g   ra n ge   o t he   e l e c t r o m a g n e t i c   s pe c t r um   (f r o m   a b o ut   780  nm   t o   2500  n m ) ,   N IR S   pr o duc e s   a   s pe c t r a l   d a t a   w h i c h   l i m i t   t h e   us a ge   b a s e o n   s e v e r a l   f a c t o r s   s uc h   a s   b a s e l i n e   d ri f t ,   i nt e r f e r e n c e   r e s ul t i n i a   po o r   s i g na l   t o   n o i s e   r a t i o ,   i m p r o pe r   w a v e l e n gt h   s e l e c t i o n ,   t h e rm a l   n o i s e ,   a n d   c a l i b ra t i o n   i s s ue s   [5] .   H ow e ve r ,   t h e s e   pr o b l e m s   of  n o n l i n e a r i t y   i n   s pe c t ra l   da t a   c a n   b e   s o l ve by   us i n a a pp r o pri a t e   p r e di c t i v e   m o de l l i n g   a n d   d a t a   p r e p r o c e s s i n m e t h o ds .   H y b r i di z a t i o n   o r   c o m b i n a t i o n   o t w o   pr e di c t i v e   m o de l l i ngs   i s   f r e que n t l y   us e i n   s pe c t r o s c o pi c   a n a l y s i s   t o   i m pr o v e   t h e   pe r f o r m a n c e   o f   t h e   m o de l l i n g .   T he   m a i pu r po s e   of   t h e s e   t e c hni que s   us e is   t o   i m p r o v e   w e a kn e s s   t ha t   o c c ur s   w i t h i n   s i ngl e   m o de l s   s uc h   a s   n o nl i n e a ri t y ,   r e du n da nt   s pe c t ra l   b a n d,   a n d   w a ve l e n gt h   s e l e c t i o n   p r o b l e m s .   E v o l v i n o f   pr e di c t i v e   m o d e l l i n g   t e c hn i q ue   w a s   a   be t t e r   s o l ut i o n   t o   i m p r o v e   t h e   a c c ur a c y   of   pe r fo r m a n c e   c o m pa r e t ha n   r e c r e a t i ng  n e w   m o de l l i n [6] F u r t h e rm o r e ,   h y b r i m o de l s   w e r e   us e t o   r e duc e   t h e   r i s o f   f a i l ur e   by   us i n t h e   s i ngl e   m o d e l   by   c o m b i n i n s e v e r a l   m o de l s   t o   ob t a i n   m o r e   a c c ur a t e   r e s ul t s   [7] .   H ow e ve r ,   t h e   h y b r i m o de l s   a r e   n o t   a e a s y   pr o c e s s   t o   b e   de v e l o pe a n n e e d   a   de e p   kn o w l e dge   t o   m a ni pul a t e   t h e   m o de l s   a n d   a v o i t h e   w r o n g   pa ra m e t e r   t o   b e   s e l e c t e d.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   16 ,   N o .   2 N o v e m be r   2 019  :     70 1   -   708   702   F o r   i n s t a n c e ,   a rt i f i c i a l   n e u r a l   n e t w o r (A N N c o m b i n e w i t h   m ul t i pl e   l i n e a r   r e g r e s s i o n   (M L R h a s   b e e n   de v e l o pe t o   ov e r c o m e   t h e   l i n e a r   m o de l l i ng   de f i c i e n c y   of   t h e   t ra di t i o na l   a r t i f i c i a l   n e u ra l   n e t w o r ks   [7] T h e   pr o po s e m o d e l s   s h ow e d   a   g oo r e s ul t   i n   c l a s s i f i c a t i o fo r   bo t h   s y n t h e t i c   a nd  r e a l - l i f e   b e n c h m a r d a t a   s e t s   a n d   t h e   m o de l   c o n s i s t e n t l y   o ut pe r f o r m s   w i t h   o t h e r   p re di c t i v e   m o de l s   s u c h   a s   m ul t i l a y e r   pe r c e pt r o n ,   l i n e a r   di s c r i m i na n t   a n a l y s i s ,   qua dra t i c   di s c r i m i na n t   a na l y s i s ,   K - n e a r e s t   n e i g h b o ur ,   a nd  s uppo r t   v e c t o r   m a c h i n e s .   H ow e v e r ,   M L m o de l l i ng   i s   n o t   a   pow e r f ul   l i n e a r   m o de l   a n c a n   b e   r e pl a c e w i t h   a n o t h e r   b e t t e l i n e a r   m o de l   s uc h   a s   P L S .   G e n e t i c   a l go r i t h m   (G A c o upl e w i t h   P L S   s h o w e d   t h e   c a pa b i l i t y   of   r e t ri e v i n g   c o m po n e n t s   o f   i n t e r e s t   f r o m   s pe c t ra l   da t a   [ 8] .   F u rt h e r m o r e ,   G A   c o m b i n e d   w i t h   A N N   s h o w s   a   r e l i a b l e   m e t h o in   c l a s s i fy i n a e gg’s   f r e s hn e s s   [9] .   I a d di t i o n,   A N N   h y b r i w i t G A   w a s   e s t a b l i s h e t o   pr e di c t   t r a v e l   a ge n c y   a i r   t i c ke t   s a l e s   r e v e n ue   [10] .   By   us i n ge n e t i c   o pe r a t o r s   s uc h   a s   r e p r o duc t i o n ,   m u t a t i o n   a n d ,   s e l e c t i o n ,   G A   c r e a t e s   a   n e w   ge n e r a t i o n   o f   t h e   po pul a t i o n   w hi c h   i s   b e t t e r   t ha n   t h e   ge n e r a t i o n   b e fo r e .   H ow e ve r ,   w i t h   a   l a rge   n u m b e r   o s pe c t r a l   da t a ,   G A   m e t h o fo r   s e l e c t i o n   of   v a r i a b l e   s pe c t r a l   da t a   c o ul l e a to   r i s k   o f   o ve r f i t t i n g .   P L S   c o m b i n e w i t h   b a c p r o pa ga t i o n   n e u r a l   n e t w o r (B P N N s h ow e d   e ff e c t i v e n e s s   i n   o v e r c o m i n t h e   p r o b l e m s   o f   r e dun d a n t   a nd  n o nl i n e a i n   s pe c t r a l   d a t a   [ 11] N um b e r   o f   l a t e nt   v a r i a b l e s   (L V s )   ge n e ra t e f r o m   P L S   w a s   us e a s   t h e   i n pu t   o f   B P N N   t e s t i m a t e   t h e   a b unda n c e   o f   m i n e ra l s   o n   t h e   l u na s ur f a c e .   F ur t h e rm o r e ,   P L S   c o m b i n e w i t h   B P N N   a c h i e v e d   t h e   b e s t   p e r f o r m a n c e   c o m pa r e w i t h   P L S   a n d   GA - P L S .   H ow e v e r ,   o pt i m i z a t i o n   o a   n um b e r   of  L V s   a n h i dde n   n e u r o n s   us e i n   t h i s   r e s e a r c h   i s   n o t   b r i e f l y   de s c r i b e d.   N e xt ,   t h e   qua l i t y   of   di ffe r e nt   m o de l s   of   P L S ,   A N N ,   a n P L S - A N N   t o   pr e di c t   c o n s um e r   i nt e r e s t   ra t i ng  o r e a dy   t o   dr i n g r e e n   t e a   b e ve r a ge s   w e r e   i n v e s t i ga t e [9] .   P L S - ANN  s h ow e d   a   b e t t e r   qua l i t y   c o m pa r e t o   P L S   i n   c o e ff i c i e n t   o f   d e t e r m i n a t i o a n m e a n   s qu a r e   e rr o r   v a l ue .   H ow e ve r ,   t h e   num b e r   o v a r i a b l e   i t h e   r e s e a r c h   w hi c h   i s   f a c t o r s   i s   v e r y   s m a l l   t o   b e   c o m pa r e w i t h   a   v a r i a b l e   i n   N IR S   a n a l y s i s .   W h e r e a s ,   t h e   w o r ki n ra n ge   o f   N I R S   i s   f r o m   780  nm   t o   25 00  nm   ha v e   390  t o   1250  v a r i a b l e s   w i t h   a   nm   i n t e r v a l .   A   c o m b i na t i o n   o f   P L S   a n A N N   a l s o   w a s   a ppl i e d   i n   m a n a ge m e nt   a n c h e m i c a l   a na l y s i s   s h o w e d   s a t i s fy   r e s ul t   [1 1,   1 2] .   E v e n   t h o ugh  t h e   l i m i t a t i o n   o f   of   P L S   ha s   b e e n   r e c t i f i e us i ng  t h e   P L S - A N N ,   t h e r e   i s   n o   c o m pa r i s o n   a m o n P L S ,   A N N ,   a n P L S - A N N .   T h e r e f o r e ,   t h i s   s t u dy   c o m pa r e s   t hr e e   t y pe s   of   pr e di c t i v e   m o de l l i n i . e .   l i n e a r   m o de l   (P L S ),   n o n l i n e a r   m o de l   (A N N ),   a n a   h y b r i d   m o de l   (P L S - A N N i n   p r e di c t i n g   h e m o gl o b i n   c o n c e nt ra t i o n   us i n n e a r - i n f r a r e d   s pe c t ra l   da t a .   W e   a l s o   i n v e s t i ga t e t h e   o pt i m a l   n u m b e r   o f   L V s   a n hi dde n e u r o n s   t o   a c h i e v e   o pt i m a l   p r e d i c t i o o f   pe r f o r m a n c e .       2.   M A TER I A L   AND   M ETH O D S   2. 1 .     S am p l e s   an d   R e fe r e n c e s   T h e   o r i g i n   s pe c t r a l   da t a s e t   w a s   a do pt e f r o m   ID R s h o o t o ut   2010  p r o v i de by   K a r l   N o rr i s .   T h e   B l oo s a m pl e s   w e r e   a na l y z e w i t h   a   N IR S y s t e m s   6500  s pe c t r o m e t e f r o m   199 t o   1992 .   A l l   s pe c t r a l   da t a   f o r   c a l i b ra t i o n   a n t e s t i n ha v e   700  v a ri a b l e s ,   w e r e   m e a s u r e w i t h   a   ra n ge   o f   w a ve l e n gt h s   t ha t   s pa t h e   i n f r a r e s pe c t r um   f r o m   11 00  t o   2498  nm   w a v e l e n gt w i t h   a   nm   i nt e r v a l .   T h e   d a t a s e t   c o n t a i n s   231  s e t s   o f   c a l i b ra t i o n   a n 194   t e s t i n da t a   s e t s   t o   m e a s u r e   p r e di c t i v e   a c c ura c y   o t h e   m o de l l i n g .   T a b l e   s h o w s   t h e   s um m a r y   o de s c r i pt i v e   c h a ra c t e ri s t i c s   o t h e   c a l i b ra t i o n   a n t e s t i n r e f e r e n c e s   da t a .   T h e   c h a ra c t e ri s t i c s   o c a l i b r a t i o n   a nd  t e s t i n d a t a   i n d i c a t e   t ha t   e xt ra po l a t i o n   s a m p l e s   w e r e   us e f o r   m o de l l i n g .   T h e r e f o r e ,   a n   a pp r o p r i a t e   m o de l l i ng   t e c hn i q ue   n e e ds   t o   b e   i m pl e m e nt e t o   p r e di c t   t h e   o ut   o f   ra nge   da t a   f r o m   t h e   t e s t i n g   p r o c e s s .   ID R s h o o t o ut   2010  ha s   us e d   t h e   s a m e   e xt ra po l a t i o d a t a   i n   t h e   t o u rna m e n t   [1 3 ] .       T a b l e   1 .   D e s c r i pt i v e   s t a t i s t i c s   o f   t h e   b l o o h e m o gl o b i n   D a t a   n   M i n   ( g / d L )   M a x   (g / d L )   M e a n   ( g / d L )   M e d i a n   ( g / d L )   S t d   Ca l i b ra t i o n   231   1 0 . 3 0   1 7 . 3 0   1 3 . 7 8   1 3 . 7 0   1 . 6 6   T e s t i n g   194   6 . 5 0   1 8 . 2 0   1 2 . 2 0   1 2 . 2 5   2 . 8 3   T o t a l   425   6 . 5 0   1 8 . 2 0   1 3 . 0 6   1 3 . 4 0   2 . 4 0       2. 2 .     D ata   P r e p r o c e s s i n g   S a v i t z ky - go l a y   (S G pr e pr o c e s s i n m e t h o w a s   us e a s   a   p re t r e a t m e n t   p r o c e s s   t o   r e m o ve   un w a n t e s i g n a l s   s uc h   a s   s i g n a l   t o   n o i s e   r a t i o ,   b a s e l i n e   s hi f t   e ff e c t ,   a n s l o pe   a ff e c t e f r o m   s pe c t r a l   d a t a .   B y   us i n a   s pe c i f i c   o dd  n u m b e r   o f   f r a m e   l e n gt h,   a   s i ngl e   s e t   o f   S G   c o e ffi c i e n t   w i t h   t h e   s a m e   num b e r   o f   f r a m e   l e n g t h   c a b e   a ppl i e t o   a l l   s ub s e t s ’  da t a   t o   e v a l ua t e   n e w   s m oo t h e o r   de r i v a t i v e s   s i gna l   o f   c e n t r a l   po i nt   da t a   o f   e a c h   s ub s e t .   M o r e o ve r ,   a n   o pt i m a l   num b e r   o f   f r a m e   l e n g t h   s ho ul b e   o pt i m i z e d   t o   a c h i e v e   a n   o pt i m um   o pr e di c t i o n   pe r f o r m a n c e   [1 3 ,   1 4 ] .   R a w   s pe c t r a l   d a t a   o f   h e m o gl ob i n   w a s   t r e a t e w i t h   a   d i f fe r e nt   t y pe   of   S G   pr e p r o c e s s i n g   s uc h   a s   s m o o t h i ng,   f i r s t   o r de r ,   a n s e c o n or de r   s de ri v a t i v e s   [1 5 ] .   S G   c o e ff i c i e n t   c a n   b e   a ppl i e to   e a c h   s ub s e t   d a t a   t o   o b t a i n e w   t r e a t e d a t a   b y   us i ng  E q ua t i o ( 1 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A r t i f i c i a l   n e ur al   n e t w or k   and  par t i al   l e as t   s q uar e   i n   pr e d i c t i ng  . . . .   ( Mohd  Naz r ul   E f f e ndy   Moh I dr us )   703                                                                                         (1)     w h e r e       a nd      i s   m e a s u r e n u m b e r   f ra m e   l e n g t h   a n t o t a l   n um b e r   of   v a r i a b l e s .   A l t h o ug h ,         i s   t h e   s e t   o f   s c oe ff i c i e n t .   W h i l e ,             a n       i s   a   r e l a t e s e t   o f   d a t a   b e f o r e   a nd  o b s e r v e v a l ue   a f t e t h e   t r e a t m e nt   p r o c e s s .     2. 3 .     P ar ti al   Le as t   S q u ar e   G e n e ra l   c o n c e pt   i de a   b e h i nd  o f   P L S   m o de l l i n g   i s   t o   de c o m po s e   bo t h   t h e   de s i g n   m a t r i x   p r e di c t o r   a n m a t ri o f   r e s po n s e   Y   a s   E qu a t i o n s   ( 2)  a n d   (3)                (2)                (3)     w h e r e       i s   a         m a t ri o f   pr e d i c t o r s ,       i s   a         m a t ri o f   r e s po n s e .     a n     i s           m a t r ix   t ha t   a re   pr o j e c t i o n s   o f       s c o r e   a n     s c o r e   r e s pe c t i v e l y .       a n d       a r e            a n d            o r t h o go na l   l o a d i n g   m a t ri c e s   r e s pe c t i v e l y .   T h e   a l go ri t hm   w i l l   y i e l t h e   P L S   r e g r e s s i o n   e s t i m a t e s       a n       a f t e r   e s t i m a t i ng  t h e   f a c t o r   a n l o a di n g   m a t ri c e s           a n     f o r   t h e   l i n e a r   r e g r e s s i o a s   E q ua t i o ns   (4)                    (4)     w h e r e       a n d         i s   P L S   r e g r e s s i o c o e ff i c i e n t .   I t h i s   r e s e a r c h,   t h e   c o e ff i c i e n t s   o f   P L S   r e gr e s s i o w e r e   ge n e ra t e b y   us i n t h e   M A T L A B   m a t r i x   r o ut i n e s   f un c t i o n .   L a t e nt   v a r i a b l e   ( L V s c a n   b e   e xt r a c t e f r o m   P L S   a l go ri t hm   a f t e r   t h e   m o de l   w a s   c o m pl e t e .   T h e   N IP A L S   a l go r i t h m   i s   t h e   de f a ul t   a l go r i t h m   a pp l i e i P L S   [1 6 ] T h e   L V s   f r o m   N IP A L S   a l go r i t hm   w e r e   f ur t h e r   f e t o   A N N   a s   t h e   i nput   t o   pr e di c t   b l o o h e m o gl ob i n   c o n c e n t r a t i o n s .     2. 4 .     A r t i fi c i a l   N e u r al   N e tw o r k   A N N   a s   o n e   o f   t h e   n o nl i n e a r   m e t h o ds   p r o v e t h e i r   s upe r i o r i t y   ove r   l i n e a r   m e t h o f o r   m a ki ng  a   c a l i b ra t i o n   m o de l   [1 7 ] .   I n   t h i s   r e s e a r c h ,   m ul t i - l a y e r   pe r c e pt r o n   (M L P t ra i n e w i t h   b a c kp r o pa ga t i o a l go ri t hm   w a s   us e a s   t h e   A N N   c o n f i gur a t i o n   [ 18 , 1 9 ] .   M L P   ha s   a n   i n put   l a y e r   o f   s o ur c e   n o de s ,   hi dde n   l a y e r   of   n e ur o n s ,   a n a n   o ut pu t   l a y e r   of   o ut c o m e   n e t w o r k .   E a c h   n e u r o n   i n   hi dde n   l a y e r   w i l l   r e c e i v e   i n pu t   pa r a m e t e r s   o f   l a t e n t   v a r i a b l e s   (L V s f r o m   P L S   m o de l .   H e r e ,   w e   h a v e   m e a s u r e t o   50  n um b e r   o f   L V s   f r o m   P L S   m o de l   a n d   t o   10  n u m b e r   o f   h i dde n   n e u r o n s   i n   o r de r   t o   o b t a i n   o pt i m a l   pe r f o r m a n c e   of   pr e di c t i o n s .   O ut put s   o f   e a c   t n e u r o       i hi dde l a y e r   w e r e   e s t a b l i s he by   m ul t i p l y i n g   t h e   c o rr e s po n di n g   w e i ght s   w i t h   i n p ut   pa ra m e t e r s   b e f o r e   pa s s e t h r o ug h   a   t ra n s f e r   f unc t i o n   t o   ge t   t h e   de s i r e o ut put .   T h e   p r o c e s s   of  t r a n s f e r i ng  i n f o r m a t i o b e t w e e n   t h e   i n pu t   l a y e r   a nd  hi dde n   l a y e r s   i s   a s   i E qua t i o n   ( 5).                                                         (5)     w h e r e         i s   t h e   h i d de l a y e r   t r a n s f e r   f u n c t i o n ,                   i s   t h e   w e i ght   o f   t h e     t n o de   i n   t h e   hi dde n   l a y e r   c o n n e c t e w i t h   t h e     t n o de   i t h e   i n pu t   l a y e r .   W h i l e         i s   t h e   b i a s   b e t w e e n   hi dde n   l a y e r   a n d   i nput   l a y e r .   I t h i s   st udy ,   w e   us e   t a n - s i gm o i t ra n s f e r   f un c t i o n s   fo r   hi dde n   l a y e r   a n l i n e a r   t ra n s f e r   f un c t i o n   f o r   o ut put   l a y e r   t o   r e c e i v e   s um s   o f   w e i gh e a nd  b i a s   i nput .   T o   o pt i m i z e   t h e   ra n do m   i ni t i a l   w e i ght s ,   t h e   n e t w o r w a s   t ra i n e 1000  t i m e s   t o   a c h i e v e   gl o b a l   pr e di c t i o n   pe r f o r m a n c e   [2 0 ] .   L e ve n b e r M a rqua rdt   (L M b a c kpr o pa ga t i o n   a l go ri t hm   w a s   s e l e c t e a s   t r a i n i ng  a l go r i t hm   i n   t hi s   s t udy   [2 1 ] .   T h e   t ra i ni n p r o c e s s   w i l l   s t o w h e n   e i t h e r   t h e   m a x i m u m   num b e r   o f   e poc h s   i s   r e a c h e d,   t h e   go a l   pe r f o r m a n c e   i s   a c h i e v e d,   t h e   pe r f o r m a n c e   o f   gr a d i e nt   i s   b e l ow   m i n i m um   g r a di e n t   v a l ue ,   t h e   m o m e nt u m   upd a t e   i s   e xc e e d e d,   o r   t h e   f a i l u r e   v a l i d a t i o n   i s   m o r e   t ha n   t h e   m a x i m u m   a m o unt .     2. 5 .     P e r fo r m an c e   V al i d ati o n   T r a i n i ng  a nd  t e s t i ng  pe r f o r m a n c e   o f   pr e di c t i o n   w e r e   e v a l ua t e us i ng  r o o t   m e a n   s qua r e e rr o o c a l i b ra t i o n   (R M S E C)  a nd  r o o t   m e a n   s q ua r e e rr o r   o f   pr e di c t i o n   (R M S E P ),   r e s pe c t i v e l y .   R M S E a n d   R M S E P   a r e   c o m put e us i ng  E qu a t i o n   ( 6 ) .                                       ̂                         (6)     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   16 ,   N o .   2 N o v e m be r   2 019  :     70 1   -   708   704   w h e r e       i s   t h e   t o t a l   num b e o f   s a m pl e s ,   w h i l e     ̂     a n d         de n o t e   t h e   pr e di c t e d   b l o o h e m o gl o b i a n d   r e f e r e n c e   b l oo h e m o gl ob i n ,   r e s pe c t i v e l y .   T i n t e r p r e t   p r o po r t i o n   o f   t h e   v a r i a n c e   i n   t h e   pr e di c t e da t a   f r o m   t h e   r e f e r e n c e   v a l ue   a n t o   de s c r i b e   t h e   r e l a t i o n s hi b e t w e e n   b l oo h e m o gl o b i n   a n n e a r - i n f r a r e s pe c t rum ,   t h e   c oe ff i c i e n t   o f   de t e rm i na t i o (     w a s   us e a s   E qu a t i o ( 7 ) .                                          ̂                 ̅       (7)     w h e r e     ̅   i s   m e a o f   r e f e r e n c e   da t a ,     ̂     a nd        de n o t e   t h e   u ns e e n   p r e di c t e a n d   r e f e r e n c e   b l oo H b ,   r e s pe c t i v e l y .       3.   R ES U LTS   A ND  D IS C U S S I O N     3. 1 .   Late n t   V ar i ab l e   F i gu r e   s h o w s   t h e   v a l ue   of   R M S E P   of   P L S   a n P L S - A N N   w h e n   a   di f f e r e n t   num b e r   o f   l a t e n t   v a r i a b l e s   (L V s w e r e   a ppl i e w i t h   a   d i f fe r e nt   t y pe   of   S G   pr e pr o c e s s i n g.   P L S - A N N   w i t h o ut   S G   p r e p r o c e s s i n g   t e n ds   t o   r e a c h   m i ni m um   0 . 4368  gd / L   of   R M S E P   w h e n   2 n u m b e r   of   t h L V s   w a s   us e d.   A f t e r   t ha t ,   t h e   n e t w o r b e c o m e s   ove r f i t   w h e n   i n c r e a s i ng  m o r e   t ha n   23  n u m b e r   o f   L V s .   M e a n w h i l e ,   P L S   w i t h o ut   S G   pr e p r o c e s s i n s h o w s   t h e   f ur t h e r   l o w   p e r f o r m a n c e   pr e di c t i o n   w i t h   0. 5 307  gd/ L   o R M S E P   w h e n   14  n um b e r   o L V s   w e r e   us e d.   H ow e ve r ,   t h e r e   a r e   n o t   m a n y   di ff e r e n t   v a l u e s   of   R M S E P   fo r   P L S   a n P L S - A N N   w h e n   t h e   n u m b e r   o L V s   us e i s   be t w e e n   11  a nd  16.   T h e   e f fe c t s   of   S G   pr e p r o c e s s i n c a n   b e   s e e n   w h e n   s m o o t h i ng  S G   pr e p r o c e s s i n c o upl e w i t h   P L S - A N N   ha s   i m p r o v e d   i t s   pr e di c t i o n   pe r f o r m a n c e   w i t h   0 . 420 gd/ L   o f   R M S E P   w h e n   26  num b e r   o f   L V s   us e d.   In   a dd i t i o n,   s m o o t h i ng  S G   c oupl e w i t P L S   s h o w s   i m pr o v e m e n t   w i t h   0. 5114   gd/ L   o f   R M S E P   w h e n   1 n u m b e r   o f   L V s   us e d.   H ow e ve r ,   t h e   m o de l   b e c a m e   o ve r f i t   w h e m o r e   t ha n   1 n u m b e r   o L V s   w e r e   us e d.   M e a n w h i l e ,   f i r s t   o r de r   S G   de r i v a t i v e s   c o upl e w i t h   P L S - A N N   s h ow s   a n   i m p r o v e m e n t   o f   pr e di c t i o w h e n   a c h i e v e s   0. 4089  gd/ L   o f   R M S E P   w h e n   27  n u m b e r   o f   L V s   w e r e   us e d.   A i m p r o v e m e n t   a l s o   o c c ur s   w h e n   f i r s t   o r de r   S G   de r i v a t i v e s   c oupl e w i t h   P L S   t e n ds   t o   a c h i e v e   0. 5024  gd/ L   of  R M S E P   w h e n   11   n u m b e r   o f   L V s   w e r e   us e d.   P L S   c o upl e w i t s e c o n o r de r   S G   de r i v a t i v e   s h o w s   i n c r e a s i n g   of   pr e di c t i o n   w h e n   0. 4669  gd/ L   o R M S E P   w h e n   14  num b e r   of   L V s   w e r e   us e d.   H ow e ve r ,   P L S - A N N   c o upl e d   w i t h   s e c o n o r de r   S G   de r i v a t i v e   s h o w s   de c r e a s i n o f   pr e di c t i o n   w h e n   0. 42 95  gd/ L   o R M S E P   w h e n   19   n u m b e r   o f   L V s   w e r e   us e d.           (a )   (b )       (c )   (d)     F i gu r e   1 .   T h e   r o o t   m e a s qua r e   e rr o r   o f   pr e d i c t i o o f   a rt i f i c i a l   n e ura l   n e t w o r (A N N )   a nd  p a r t i a l   l e a s t   s qua r e     a rt i f i c i a l   n e u ra l   n e t w o r (P L S - A N N v e r s us   t h e   c ha n ge   o f   a   n u m b e r   o f   hi dde n e ur o n s   w i t di f f e r e n t   S a v i t z ky - go l a y   (S G pr e p r o c e s s i n g:   (a )   w i t h o ut   S G   p r e p r o c e s s i n g ,   (b s m o o t h i ng  S G ,   (c f i r s t   o r de r   SG  de r i v a t i v e ,   a n d   (d)   s e c o n o r de r   S G   de r i v a t i v e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A r t i f i c i a l   n e ur al   n e t w or k   and  par t i al   l e as t   s q uar e   i n   pr e d i c t i ng  . . . .   ( Mohd  Naz r ul   E f f e ndy   Moh I dr us )   705   F r o m   t h e   r e s ul t s ,   w e   c a n   s um m a ri z e   t ha t   P L S   c o upl e w i t h   o r   w i t h o ut   S G   p r e pr o c e s s i n g   t e n ds   t o   a c hi e v e   o pt i m a l   p r e di c t i o n   o pe r fo r m a n c e   w h e n   11  t o   17  n um b e r   o f   L V s   w e r e   us e d.   W h i l e   P L S - A N N   c o upl e w i t h   o r   w i t h o ut   S G   p r e p r o c e s s i n t e n ds   t o   a c h i e v e   o pt i m a l   p r e di c t i o n   o f   pe r f o r m a n c e   w i t a   hi g h   n u m b e r   o f   a   L V s   w h e n   19   t o   26  n u m b e r   o f   L V s   w e r e   us e d .   T hi s   i ndi c a t e t ha t   t h e   n u m b e r   o f   L V s   us e i P L S - A N N   n e e t o   be   o pt i m i z e t o   a c h i e v e   o pt i m a l   p r e di c t i o n   of   pe r fo r m a n c e .   T h e s e   r e s ul t s   a l s o   i n d i c a t e t h a t   P L S - A N N   o ut pe r f o r m s   P L S   pe r f o r m a n c e   o f   pr e di c t i o n .   W e   a l s o   ob s e r v e t ha t   w i t i n c r e a s i n g   n u m b e r   o f   L V s ,   P L S - A N N   t e n ds   t o   m a i n t a i t h e   v a l ue   o R M S E P   c o m pa r e t o   P L S .   F o i n s t a n c e ,   P L S - A N N   w i t h o ut   pr e p r o c e s s i n o v e r f i t t e d   w h e 23  num b e o f   L V s   w e r e   us e d.   H ow e v e r ,   t h e   o v e r f i t   pe r c e n t a ge   o f   P L S - A N N   w i t h o ut   p r e p r o c e s s i n (i n c r e a s i ng  49 . 9%  f r o m   0. 4368  t o   0. 6547  gd / L   of   R M S E P i s   l ow e s t   c o m pa r e t o   P L S   w i t h o ut   pr e p r o c e s s i n (i n c r e a s i ng  57. 7 f r o m   0. 5307  t o   0. 8369  gd / L   o R M S E P ).   I n   a dd i t i o n,   t h e   o ve r f i t   pe r c e nt a ge   o f   P L S - A N N   w i t h   s m o o t h i ng  S G   (i n c r e a s i n 21. 7%  f r o m   0. 42 08  t o   0. 5122  gd/ L   o f   R M S E P )   i s   l ow e s t   c o m pa r e t o   P L S   w i t h   f i r s t   o r de r   S G   (i n c r e a s i n 6 7. 9 f r o m   0 . 51 14  t o   0 . 8588   gd / L   o f   R M S E P ).   F urt h e rm o r e ,   t h e   o v e r f i t   pe r c e nt a ge   o f   P L S - A N N   w i t h   f i r s t   o r de r   S G   de r i v a t i v e s   (i n c r e a s i n 33 . 9%  f r o m   0. 4089  t o   0. 5477  gd/ L   o f   R M S E P i s   l ow e s t   c o m pa r e t o   P L S   w i t h   f i r s t   o r de r   S G   de r i v a t i v e s   (i n c r e a s i n 69. 2%  f r o m   0. 5024  t o   0. 85  gd / L   of   R M S E P ).   T h e n,   t h e   o ve r f i t   pe r c e n t a ge   o f   P L S - A N N   w i t h   s e c o n o r de r   S G   de r i v a t i v e s   (i n c r e a s i ng  27 . 4%  f r o m   0. 4 295  t o   0. 5473  gd / L   o f   R M S E P i s   l ow e s t   c o m pa r e t o   P L S   w i t h   s e c o n o r de r   S G   de ri v a t i v e s   (i n c r e a s i ng  77%   f r o m   0. 4669  t o   0. 8263  gd/ L   o R M S E P ).   T h e s e   f i n di n gs   i n d i c a t e t ha t   P L S - A N N   h a s   t h e   m i n i m u m   po t e n t i a l   t o   be   ov e r f i t t e c o m pa r e t o   P L S .   M o r e ov e r ,   P L S - ANN   m a na ge d   t o   ob t a i n   a   b e t t e r   r e s ul t   c o m pa r e t o   P L S .   T h i s   s h o w s   t ha t   f e e d fo r w a r b a c kp r o pa ga t i o n   o f   A N N   h a s   ha a   go o i m pa c t   o n   i m p r o v i n p r e di c t i o n   o n   P L S   m o d e l .   T h e s e   f i n di ngs   a g r e e   w i t h   p r e v i o us   r e s e a r c h   t ha t   P L S - A N N   r e s ul t s   i n   a   b e t t e r   pe r f o r m a n c e   t ha n   t h a t   o f   P L S   [10,   2 1 ] .     3. 2 .   H i d d e n   N e u r o n s   F i gu r e   s h o w s   t h e   R M S E P   of   P L S   a n P L S - A N N   w h e n   d i f fe r e n t   num b e r   o f   h i dde n   n e u r o n s   w a s   a ppl i e w i t h   d i f f e r e n t   t y pe   of   S G   pr e p r o c e s s i n g.   P L S - A N N   w i t h o ut   S G   p r e p r o c e s s i n t e n ds   t o   a c h i e v e   o pt i m u m   pe r f o r m a n c e   of   pr e di c t i o n   w i t h   0. 43 68  gd/ L   o f   RM S E P   w h e n   n um b e r   o f   h i dde n   n e ur o n s   w e r e   us e d.   A f t e r   t ha t ,   t h e   n e t w o r i s   o ve r f i t t i ng  w h e n   m o r e   t ha n   num b e r   o f   hi dde n   n e u r o n s   w e r e   us e d.   M e a n w hi l e ,   A N N   w i t h o ut   S G   pr e p r o c e s s i n is   a b l e   t o   a c hi e v e   o pt i m um   pe r f o r m a n c e   of   pr e di c t i o n   w i t h   0. 4607  gd/ L   o f   R M S E P   w h e n   num b e r   o f   h i dde n   n e u r o n s   w e r e   us e d.   S m o o t h i n S G   c o upl e w i t h   A N N   a nd  s m o o t h i n S G   c o upl e w i t h   P L S - A N N   t e nds   t o   a c h i e v e   o pt i m a l   p r e d i c t i o pe r f o r m a n c e   w h e n   n u m b e r   o hi dde n   w e r e   us e w i t h   0 . 420 gd / L   a nd  0 . 449 gd / L   o f   R M S E P   r e s pe c t i v e l y .   H ow e v e r ,   t h e   n e t w o r i s   ov e r f i t t e d   w h e n   m o r e   t h a num b e r   o f   h i dde n   n e u r o n s   w e re   us e d.   F i r s t   o r de S G   de r i v a t i v e s   c o upl e w i t h   A N N   s h o w   a   b e t t e r   r e s ul t   w i t h   o pt i m u m   pe r f o r m a n c e   of   p r e di c t i o n   w i t h   0. 4089  gd / L   of   R M S E P   w h e n   5   n u m b e r   o f   hi dde n   n e u r o n s   w a s   us e c o m pa r e w i t f i r s t   o r de r   S G   de r i v a t i v e s   c o upl e w i t P L S - ANN.   S e c o n o r d e r   S G   de ri v a t i v e s   c o upl e w i t h   P L S - A N N   t e n t o   a c h i e v e   o pt i m a l   p r e di c t i o pe r f o r m a n c e   0. 429 gd/ L   of   R M S E P   w h e n   num b e r   o h i d de n   n e ur o n s   w e r e   us e d.   A f t e r   t ha t ,   t h e   n e t w o r i s   ov e r f i t t e d   w h e m o r e   t ha n   n u m b e r   o f   hi dde n   n e u r o n s   w e r e   us e d.   M e a n w h i l e ,   s e c o n o rde S G   de r i v a t i v e s   c o upl e w i t h   A N N   a c hi e v e   t h e   l o w e r   pe r f o r m a n c e   of   pr e di c t i o n   w i t 0. 4571   gd/ L   o f   R M S E P   w h e n   3   hi dde n   n e u r o n s   w e r e   us e c o m pa r e t o   s e c o n o r de S G   de r i v a t i v e s   c o upl e w i t h   P L S - A N N .     D e s pi t e   w i t h   d i f f e r e n t   S G   p r e p r o c e s s i n g,   P L S - A N N   c o ul ob t a i n   a   b e t t e r   pe r f o r m a n c e   of   pr e di c t i o n   c o m pa r e t o   A N N   e xc e pt   f i r s t   o r de r   S G   de ri v a t i v e s   pr e p r o c e s s i n g.   H ow e ve r ,   f i r s t   o r de r   S G   de ri v a t i v e s   c o upl e w i t h   A N N   c a n   b e   c o n s i de r e a s   t h e   b e s t   m o d e l   w i t t h e   h i g h   pe r f o r m a n c e   of   pr e di c t i o n   0. 4089  gd/ L   of   R M S E P   w h e n   n u m b e r   o f   h i dde n   n e u r o n s   w e r e   us e d.   T hi s   f i n d i n i n d i c a t e s   t ha t   t h e   n u m b e r   o f   L V s   w a s   us e a s   i n pu t   o f   A N N   i s   n o t   e n o ugh  t o   r e pr e s e nt   i m po r t a n t   i n f o r m a t i o n   t h e   w h o l e   s pe c t ra l   da t a   i t s e l f .   T h e r e f o r e ,   A N N   w i t h   di r e c t l y   r e c e i v i n g   i nput   f r o m   s pe c t ra l   da t a   a f t e t r e a t e t e n ds   t o   a c h i e v e   a   b e t t e r   pe r f o r m a n c e   of   pr e di c t i o c o m pa r e t o   P L S - A N N   w i t h   L V s   a s   t h e   i n p ut s   o f   A N N .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   16 ,   N o .   2 N o v e m be r   2 019  :     70 1   -   708   706       (a )     (b )         (c )   (d)     F i gu r e   2 .   T h e   r o o t   m e a s qua r e   e rr o r   o f   pr e d i c t i o o f   a rt i f i c i a l   n e ura l   n e t w o r (A N N )   a nd  p a r t i a l   l e a s t   s qua r e     a rt i f i c i a l   n e u ra l   n e t w o r   (P L S - A N N v e r s us   t h e   c h a nge   o f   a   n u m b e r   o f   hi dde n e ur o n s   w i t di f f e r e n t   S a v i t z ky - go l a y   (S G pr e p r o c e s s i n g:   (a )   w i t h o ut   S G   p r e p r o c e s s i n g ,   (b s m o o t h i ng  S G ,   (c f i r s t   o r de r   SG  de r i v a t i v e ,   a n d   (d)   s e c o n o r de r   S G   de r i v a t i v e       3. 3 .   P r e d i c t i o n   P e r fo r m an c e   T a b l e   s h o w s   t h e   a c c ura c y   of   t h e   P L S ,   A N N ,   a nd  P L S - A N N   w i t h   d i f f e r e n t   S G   pr e p r o c e s s i n g   m e t h o ds   us i ng  f i xe n u m b e r   o f   f r a m e   l e n g t h   t ha t   i s   s m o o t hi n g = 77  nm ,   f i r s t   o r de r   S G   de ri v a t i v e s = 27  n m ,   a n s e c o n o r de r   S G   de r i v a t i v e s = 79  nm   w i t h   t h e   o pt i m a l   n u m b e r   l a t e n t   v a ri a b l e s   (L V s ).   B e s t   pr e di c t i o n   o pe r f o r m a n c e   w a s   a c h i e v e by   A N N   c o upl e t ha t   w i t h   f i r s t   o r de r   S G   de ri v a t i v e s   w i t h   R M S E P   of   0. 3517  gd/ a n d           o f   0. 9849 ,   f o l l ow e by   P L S - A N N   t h a t   c o upl e w i t h   f i rs t   o r de r   S G   de ri v a t i v e   w i t R M S E P   o f   0. 4089  gd/ L   a nd          o f   0. 9792,   a nd  t h e P L S   t ha t   c o upl e s e c o n o r d e r   S G   de ri v a t i v e   w i t R M S E P   o f   0. 4669  gd / a n         o f   0. 9727.   T hi s   u n us u a l   r e s ul t   w h e r e a s   c o n v e nt i o na l   m o de l   t e nds   t o   gi v e   a   b e t t e r e s ul t   c o m pa r e h y b r i m o de l   i s   a   n o rm a l   f i n di ng  i m ul t i v a r i a t e   c a l i b r a t i o n   a n a l y s i s .   F o r   i n s t a n c e ,   a ut o   r e g r e s s i v e   i n t e g ra t e m o v i n a v e r a ge   a n A N N   (A R IM A _A N N a r e   m a r g i na l l y   s h ow e d   be t t e r   pe r f o r m a n c e   t h e n   h y b r i A N N _A R IM A   i n   I n di a n   s t o c t r e n f o r e c a s t i n r e s e a r c h   [2 2 ] .   M o r e o v e r ,   A N N   s h o w e a   s l i g h t l y   h i g h e pe r f o r m a n c e   i n   t e rm   o f         a n d   l o w e r   R M S E   c o m pa r e t o   P L S - A N N   i n   c o n s um e r   l i ki ng  s c o r e s   of   r e a dy - to - dri n g r e e n   t e a   b e ve r a ge s   p r e di c t i o n s   [9] .   F u rt h e rm o r e ,   t h e   c r i t e r i a   o f   da t a s e t s   w i t h   e xt ra po l a t i o n   s a m p l e s   m a y   i n f l ue n c e t h e   p r e di c t i o n   pe r f o r m a n c e   o f   di ff e r e n t   p r e di c t i v e   m o de l l i n g.   H ow e v e r ,   P L S - A N N   t h a t   c o upl e w i t h   s m o o t h i ng,   f i r s t   o r de r ,   s e c o n o r de r   S G   de ri v a t i v e   a n w i t h o ut   S G   pr e p r o c e s s i n s h o w e d   s a t i s f i e r e s ul t   by   d o m i n a t i n t o b e s t   f i ve   of   RM S E P   t h a t   w e r e   0. 4208,   0 . 408 9,   0 . 4295 ,   a n 0 . 4368  gd / L ,   r e s pe c t i v e l y .   A l t h o ug h   A N N   o ut pe r fo r m e P L S - A N N ,   P L S - A N N   i s   s i m pl e r   t ha n   A N N   w i t h   t hr e e   h i dde n e u r o n s   c o m pa r e t o   t h e   f o r m e r   t h a t   n e e de f i v e   h i d de n e u ro n s   t o   a c hi e v e   t h e   o pt i m a l   pe r f o r m a n c e .     T h e   r e s ul t   a l s o   i n di c a t e t h a t   t h e   P L S   m o de l   w a s   fo un t o   ha v e   t h e   l ow e s t   pr e di c t i o n   pe r f o r m a n c e   w h i l e   A N N   a nd  P L S - A N N   h y b r i m o de l s   w e r e   fo un t o   h a v e   c o m pa r a b l e   qu a l i t i e s   b a s e o n   t h e   v a l ue s   o f           a n R M S E P .   T h i s   r e s ul t   s ug ge s t e t h a t   t h e   l i n e a P L S   m o de l   c a nn o t   ge n e r a l i z e   n o n l i n e a ri t y   of   s p e c t r a l   da t a   a n t h e s e   f i n di n gs   a r e   i n   l i n e   w i t h   t h e   r e s ul t s   o f   t h e   pr e v i ous   s t ud y   [9] W h i l e   t h e   c ha ra c t e ri s t i c s   o A N N   m o de l l i n g   t h a t   c a a d a pt   a nd  ge n e ra l i z e   d a t a   s e t s   h a v i n g   n o n - l i n e a r   r e l a t i o n s h i ps   m a ke s   A N N   a c h i e v e   a   b e t t e r   r e s ul t   i n   t hi s   r e s e a r c h.   I n   a d di t i o n,   P L S   t ha t   c o upl e w i t h   s e c o n o r de r   S G   de r i v a t i v e   a c hi e v e t h e   o pt i m a l   a c c ur a c y   c o m pa r e t o   t ha t   c o upl e w i t h   s m o o t h i ng  a n d   f i r s t   o r de r   S G   de ri v a t i v e s   i s   i l i n e   w i t pr e v i o us   s t ud y   [1 4 ] .   M o r e o v e r ,   A N N   t ha t   c o upl e w i t t h e   f i r s t   o r de r   S G   de r i v a t i v e   w i t h   a   p r o pe r   o pt i m i z a t i o w a s   a b l e   t o   a c h i e v e   a   b e t t e r   p r e di c t i v e   a c c ur a c y   i n   p r e d i c t i n g   t h e   b l o o h e m o gl o b i n   us i n n e a r - i n f r a r e d   s pe c t ra l   da t a   w i t R M S E P   o f   0. 3517  gd/ L   a n d   o f   0. 9 849,   c o m pa r e w i t t h e   p r e v i o us   w o r ks   [1 3 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A r t i f i c i a l   n e ur al   n e t w or k   and  par t i al   l e as t   s q uar e   i n   pr e d i c t i ng  . . . .   ( Mohd  Naz r ul   E f f e ndy   Moh I dr us )   707   T a b l e   2 .   T h e   a c c u r a c y   of   t h e   P L S ,   A N N ,   a n d   P L S - A N N   w i t di f f e r e n t   S G   p r e p r o c e s s i n m e t h o ds   us i n g   t h e   o pt i m a l   t u na b l e   pa ra m e t e r s   o f   f r a m e   l e n gt h,   L V s ,   a nd  hi dde n e u r o n s       4.   C O N C LU S I O N     T h i s   s t udy   s h o w s   t h a t   t h e   h y b r i m o de l   (i . e .   P L S - A N N t h a t   c o m b i n e l i n e a r   m o de l   (i . e .   P L S a n d   n o n l i n e a r   m o de l   (i . e .   A N N a c h i e v e s a t i s fy i n g   r e s ul t s   i pr e di c t i n t h e   b l oo H e m o gl ob i n   us i ng  n e a r - i n f r a r e s pe c t ra l   d a t a .   A N N   t h a t   c o upl e w i t h   f i r s t   o r de r   S G   de r i v a t i v e s   a c h i e v e t h e   be s t   pr e di c t i o n   w i t h   R M S E P   of   0. 351 gd/ L   a n d           o f   0. 9849 ,   f o l l ow e by   P L S - A N N   t ha t   c o upl e w i t f i r s t   o rde S G   de ri v a t i v e   w i t h   R M S E P   o f   0. 4368  gd / L   a nd          of   0. 9787 ,   a nd  P L S   c o upl e s e c o n o r de r   S G   de ri v a t i v e   w i t h   R M S E P   of  0. 4669   gd/ L   a n         o f   0. 9727.   T h i s   s ugge s t s   t ha t   t h e   r e l a t e s pe c t r u m   i n f o r m a t i o n   m a y   be   e xc l ude i n   t h e   f i r s t   f e w   l a t e n t   v a ri a b l e s   of   P L S .   N e ve r t h e l e s s ,   f i n d i n gs   i nd i c a t e t h a t   P L S - A N N   w a s   a b l e   t m i n i m i z e   t h e   ov e r f i t t i n p r o b l e m   c o m pa r e t o   P L S   w i t h   f e w e r   i nput   v a ri a b l e s .   F ur t h e rm o r e ,   t h e   s t r uc t u r e   o f   P L S - A N N   i s   s i m pl e r   t h a A N N ,   i n   w hi c h,   t h e   f o r m e r   n e e de t hr e e   h i d d e n   n e u r o n s   c o m pa r e w i t h   t h e   l a t t e r   n e e de f i ve   hi dde n   n e u r o n s   i a c h i e v i n t h e i o pt i m a l   p r e di c t i o n   pe r f o r m a n c e .   T h us ,   a   n o n l i n e a r   m o de l   i s   c r uc i a l   t m o de l   t h e s e   n o n l i n e a r   i n f o r m a t i o n   i N IR   s pe c t r o s c o pi c   a na l y s i s   a n d   m o r e   r e s e a r c h e s   a r e   r e qu i r e i unde r s t a n d i n g   t h e   po t e n t i a l   o f   h y b r i d   m o de l s   i i n   N IR   s pe c t r o s c o pi c   a na l y s i s .         A C K N O WL ED G M EN TS   T h e   a ut h o r   w o ul l i ke   t o   a c kn ow l e dge   t h e   M i ni s t r y   of   E duc a t i o n   M a l a y s i a   a n R e s e a r c M a n a ge m e nt   Ce n t r e   (R M C),   U ni v e r s i t i   T u n   H us s e i n   O nn  M a l a y s i a   (U T H M f o r   f i n a n c i a l   s uppo rt   G P P   H 312  a n p r o v i di n g   f a c i l i t i e s   f o r   t h i s   s t udy .       R EF ER EN C ES     [ 1]   V .   G o m e s ,   e t   a l . ,   C ha r a c t e r i z a t i o o f   ne ur a l   ne t w o r g e ne r a l i z a t i o i t h e   de t e r m i n a t i o o f   pH   a nd  a nt ho c y a ni c o nt e nt   o f   w i n e   g r a pe   i n e w   v i n t a g e s   a nd   v a r i e t i e s ,”   F ood   C he m i s t r y ,   v o l .   218 ,   pp .   40 - 46 20 17 .   [ 2]   Y .   Z ha ng ,   e t   a l . ,   C o m pa r i s i o o f   S e v e r a l   P r e p r o c e s s i ng   A l g or i t hm s   B a s e o N e a r   I nf r a r e d   S pe c t r o s c o pi c   M e a s u r e m e n t   o f   G l uc o s e   i A que o us   G l uc o s e   S o l ut i o ns ,”   T E L K O M N I K A   T e l e c om m uni c a t i o C om pu t i ng   E l e c t r oni c s   an C ont r o l ,   v o l .   12 ,   pp .   268 3 - 2689 2014 .   [ 3]   H .   A .   G .   A l - ka f ,   e t   a l . ,   A   c o m pa r i s o b e t w e e n   s i ng l e   l a y e r   a nd  m ul t i l a y e r   a r t i f i c i a l   n e ur a l   ne t w o r ks   i n   p r e d i c t i ng   di e s e l   f ue l   pr o pe r t i e s   u s i ng   ne a r   i nf r a r e d   s p e c t r um ,”   P e t r ol e um   Sc i e nc e   and   T e c hn ol o gy ,   v o l .   646 6 ,   pp .   1 - 8 20 18 .   [ 4]   M .   P o j i ć ,   e t   a l . ,   T he   A ppl i c a t i o o f   N e a r   I nf r a r e S pe c t r o s c o p y   i W he a t   Q ua l i t y   C o nt r o l ,”   I n f r a r e Spe c t r os c opy   -   L i f e   and   B i om e di c a l   Sc i e nc e s ,   v o l .   1 ,   pp .   167 - 18 4 20 12 .   [ 5]   J .   Y a da v ,   e t   a l . ,   P r o s p e c t s   a nd  l i m i t a t i o ns   o f   no n - i nv a s i v e   bl o o g l uc o s e   m o ni t o r i ng   us i ng   ne a r - i nf r a r e d   s pe c t r o s c o p y ,”   B i om e di c al   S i gna l   P r oc e s s i ng   and   C on t r ol ,   v o l .   18 ,   pp.   21 4 - 227 2 015 .   [ 6]   K .   D C hi t o ,   e t   a l . ,   I nc r e m e nt a l   m o de l   l e a r n i ng   f o r   s pe c t r o s c o p y - ba s e f oo a na l y s i s ,”   C he m om e t r i c s   a nd   I nt e l l i ge nt   L abo r a t or y   Sy s t e m s ,   v o l .   1 67 ,   p p.   12 3 - 131 2017 .   [ 7]   M .   K ha s he i ,   e t   a l . ,   A   no v e l   hy br i c l a s s i f i c a t i o m o de l   o f   a r t i f i c i a l   n e ur a l   ne t w o r ks   a nd   m u l t i p l e   l i ne a r   r e g r e s s i o m o de l s ,”   E x pe r t   S y s t e m s   w i t h   A p pl i c a t i ons ,   v o l .   39 ,   pp .   260 6 - 2620 201 2 .   [ 8]   K .   S o ng ,   e t   a l . ,   R e m o t e   s e n s i ng   o f   c hl o r o ph y l l - a   c o n c e nt r a t i o f o r   dr i nk i ng   w a t e r   s o ur c e   us i ng   g e ne t i c   a l g o r i t hm s   ( G A ) - pa r t i a l   l e a s t   s qua r e   ( P L S )   m o de l i ng ,”   E c ol ogi c a l   I n f or m a t i c s ,   v o l .   10 ,   p p.   25 - 36 201 2 .   [ 9]   P .   Y u ,   e t   a l . ,   D e v e l o pm e nt   o f   a   p a r t i a l   l e a s t   s qua r e s - a r t i f i c i a l   ne ur a l   n e t w o r ( P L S - A N N )   h y br i m o de l   f o r   t he   pr e d i c t i o o f   c o ns um e r   l i k i ng   s c o r e s   of   r e a dy - to - dr i nk  g r e e t e a   b e v e r a g e s ,”   F ood  R e s e ar c I n t e r na t i ona l ,   v o l .   103 pp.   68 - 75 201 8 .   [ 10]   H .   H ua ng ,   A   H y br i N e u r a l   N e t w o r P r e di c t i o M o de l   o f   A i r   T i c ke t ,”   T E L K O M N I K A   T e l e c om m u ni c at i on   C om put i ng   E l e c t r oni c s   an C o nt r o l ,   v o l .   11 ,   pp .   641 3 - 6419 2013 .   M o d e l l i n g   M e t h o d   S G   p re p r o c e s s i n g   m e t h o d   F ra m e   l e n g t h   L a t e n t   v a ri a b l e   H i d d e n   n e u r o n s   T ra i n i n g   P re d i c t i o n   RM S E C   (g d / L )           RM S E P   (g d / L )           P L S   W i t h o u t   p r e p r o c e s s i n g   N / A   14   N / A   0 . 3 3 5 4   0 . 9 5 8 8   0 . 5 3 0 7   0 . 9 6 4 8   S G   s m o o t h i n g   77   17   N / A   0 . 3 5 1 8   0 . 9 5 4 7   0 . 5 1 1 4   0 . 9 6 7 3   F i r s t   o r d e S G   d e ri v a t i v e   27   11   N / A   0 . 3 3 3 5   0 . 9 5 9 2   0 . 5 0 2 4   0 . 9 6 8 4   S e c o n d   o r d e S G   d e ri v a t i v e   79   14   N / A   0 . 3 2 8 7   0 . 9 6 0 4   0 . 4 6 6 9   0 . 9 7 2 7   A N N   W i t h o u t   p r e p r o c e s s i n g   N / A   N / A   3   0 . 1 8 3 0   0 . 9 8 9 0   0 . 4 6 0 7   0 . 9 7 3 4   S G   s m o o t h i n g   77   N / A   2   0 . 1 1 1 5   0 . 9 9 5 6   0 . 4 4 9 9   0 . 9 7 6 1   F i r s t   o r d e S G   d e ri v a t i v e   27   N / A   5   0 . 1 3 6 4   0 . 9 9 3 8   0 . 3 5 1 7   0 . 9 8 4 9   S e c o n d   o r d e S G   d e ri v a t i v e   79   N / A   3   0 . 1 1 9 0   0 . 9 9 5 0   0 . 4 5 7 1   0 . 9 7 4 6   P L S - ANN   W i t h o u t   p r e p r o c e s s i n g   N / A   23   5   0 . 1 3 6 4   0 . 9 9 3 3   0 . 4 3 6 8   0 . 9 7 8 7   S G   s m o o t h i n g   77   26   2   0 . 1 5 8 6   0 . 9 9 0 8   0 . 4 2 0 8   0 . 9 7 8 4   F i r s t   o r d e S G   d e ri v a t i v e   27   27   3   0 . 1 4 7 3   0 . 9 9 2 3   0 . 4 0 8 9   0 . 9 7 9 2   S e c o n d   o r d e S G   d e ri v a t i v e   79   19   2   0 . 2 5 5 4   0 . 9 7 6 0   0 . 4 2 9 5   0 . 9 7 8 2   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   16 ,   N o .   2 N o v e m be r   2 019  :     70 1   -   708   708   [ 11]   S .   L i ,   e t   a l . ,   H y br i di z a t i o o f   pa r t i a l   l e a s t   s qu a r e s   a nd   ne u r a l   ne t w o r m o de l s   f o r   qua n t i f y i ng   l una r   s ur f a c e   m i ne r a l s ,”   I c ar u s ,   v o l .   221 ,   pp.   2 08 - 225 2012 .   [ 12]   S .   H o s s e i n po ur ,   e t   a l . ,   E xa c t   e s t i m a t i o o f   bi o di e s e l   c e t a ne   n um be r   ( C N )   f r o m   i t s   f a t t y   a c i m e t hy l   e s t e r s   ( F A M E s )   pr o f i l e   us i ng   pa r t i a l   l e a s t   s qu a r e   ( P L S )   a da p t e by   a r t i f i c i a l   ne u r a l   ne t w o r ( A N N ) ,”   E ne r gy   C onv e r s i o n   and  M a nage m e nt ,   v o l .   24 ,   pp .   38 9 - 398 2 016 .   [ 13]   B .   I g ne ,   e t   a l . T he   20 10   I D R C   s o f t w a r e   s ho o t - o ut   a t   a   g l a nc e ,”   N I R   ne w s ,   v o l .   21 ,   p p.   14 201 0 .   [ 14]   K .   S .   C h i a ,   e t   a l . ,   E v a l ua t i o o f   c o m m o pr e - pr o c e s s i ng   a p pr o a c he s   f o r   v i s i bl e   ( V I S )   a nd  s ho r t w a v e   ne a r   i nf r a r e d   ( S W N I R )   s pe c t r o s c o p y   i s o l ubl e   s o l i ds   c o nt e nt   ( S S C )   a s s e s s m e n t ,”   B i o s y s t e m s   E ng i ne e r i n g ,   v o l .   115 ,   pp .   82 - 88 2013 .   [ 15]   J .   L uo ,   e t   a l . ,   P r o pe r t i e s   o f   S a v i t z k y - G o l a y   di g i t a l   di f f e r e nt i a t o r s ,”   D i g i t al   S i g nal   P r oc e s s i n g:   A   R e v i e w   J our na l ,   v o l .   15 ,   p p.   12 2 - 136 2 005 .   [ 16]   S .   W o l d ,   e t   a l . ,   P L S - r e g r e s s i o n:   A   ba s i c   t o o l   o f   c he m o m e t r i c s ,”   C h e m om e t r i c s   and  I nt e l l i ge nt   L abo r a t or y   Sy s t e m s ,   v o l .   58 ,   p p.   10 9 - 130 2 001 .   [ 17]   R .   M .   B a l a b i n ,   e t   a l . ,   C o m pa r i s o o f   l i ne a r   a n no nl i ne a r   c a l i br a t i o m o de l s   ba s e o ne a r   i nf r a r e ( N I R )   s pe c t r o s c o p y   da t a   f o r   g a s o l i ne   p r o pe r t i e s   pr e d i c t i o n ,”   C he m om e t r i c s   and  I n t e l l i ge nt   L abor at or y   S y s t e m s ,   v o l .   88 pp.   18 3 - 188 2 007 .   [ 18]   D .   S v o z i l ,   e t   a l . ,   I nt r o duc t i o t o   m ul t i - l a y e r   f e e d - f o r w a r ne ur a l   ne t w o r ks ,”   C he m om e t r i c s   a nd  I nt e l l i ge nt   L abor at o r y   Sy s t e m s ,   v o l .   39 ,   pp .   43 - 62 19 97 .   [ 19]   S .   H a y ki n ,   F e e df o r w a r d   N e u r a l   N e t w o r k s :   A I nt r o duc t i o n ,”   C on v e r ge nc e ,   pp .   1 - 16 19 98 .   [ 20]   G .   B i n e t t i ,   e t   a l . ,   C ul t i v a r   c l a s s i f i c a t i o o f   A pul i a o l i v e   o i l s :   U s e   o f   a r t i f i c i a l   ne u r a l   ne t w o r ks   f o r   c o m pa r i ng   N M R ,   N I R   a nd  m e r c e o l o g i c a l   da t a ,”   F ood  C he m i s t r y ,   v o l .   21 9 ,   pp .   131 - 138 201 7 .   [ 21]   H .   K a r i m ,   e t   a l . ,   C o m pa r i s o o f   N e ur a l   N e t w o r T r a i n i ng   A l go r i t hm s   f o r   C l a s s i f i c a t i o o f   H e a r t   D i s e a s e s ,”   I A E S   I nt e r n at i on al   J o ur n al   o f   A r t i f i c i a l   I n t e l l i ge nc e ,   v o l .   7 ,   pp .   185 - 189 2018 .   [ 22]   N .   M e r h ,   e t   a l . ,   “A   C o m pa r i s o B e t w e e H y br i A ppr o a c he s   o f   A nn  a nd  A r i m a   f o r   I ndi a S t o c k   T r e n d   F o r e c a s t i ng ,”   B us i ne s s   I nt e l l i ge nc e   J o ur n al ,   pp.   23 - 43 20 10 .   Evaluation Warning : The document was created with Spire.PDF for Python.