I n te r n ati o n al   Jo u r n al   o El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   9 ,   N o .   6 D e c e m be r   20 1 9 ,   pp .   5604 ~ 5614   IS S N :   2088 - 8708 D O I :   10. 1 1591 / i j e c e . v9 i 6 . pp5604 - 5 614             5604       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ I J E C E   Im p r o v e   o f   c o n t r a st - d i s t o r t e d   i m a g e   q u a l i t y   a ssessm e n t   b a sed  o n   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s       I s m ai l   Tah A h m e d 1 ,   C h e n   S o o n D e r 2 ,   N o r z i an a   Jam i l 3 ,   M o h am ad   A fe n d e e   M o h am e d 4     1 C o l l e g e   o f   C o m put e r   S c i e nc e s   a nd   I nf o r m a t i o T e c hno l o gy ,   U ni v e r s i t y   o f   A nba r ,   I r a q   2 C o l l e g e   o f   G r a du a t e   S t ud i e s ,   U n i v e r s i t i   T e n a g a   N a s i o na l ,   M a l a y s i a   3 C e nt e r   o f   I nf o r m a t i o a nd   N e t w o r k   S e c ur i t y ,   U ni v e r s i t i   T e na g a   N a s i o na l ,   M a l a y s i a   4 F a c ul t y   of   I n f o r m a t i c s   a n d   C o m pu t i ng ,   U n i v e r s i t i   S u l t a Z a i na l   A bi d i n ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   A pr   5 ,   201 9   R e v i s e J ul   19 ,   201 9   A c c e pt e J ul   27 ,   201 9       M a ny   i m a g e   qua l i t y   a s s e s s m e n t   a l g o r i t hm s   ( I Q A s )   ha v e   be e de v e l o pe d   dur i ng   t h e   p a s t   d e c a de .   H o w e v e r ,   m o s t   o f   t h e m   a r e   de s i g ne d   f o r   i m a g e s   di s t o r t e by   c o m pr e s s i o n,   no i s e   a nd  bl ur r i ng .   T he r e   a r e   v e r y   f e w   I Q A s   de s i g ne d   s p e c i f i c a l l y   f o r   C o nt r a s t   D i s t o r t e d   I m a g e s   ( C D I ) ,   e . g .   R e duc e d - r e f e r e nc e   I m a g e   Q ua l i t y   M e t r i c   f o r   C o nt r a s t - c ha ng e d   i m a g e s   ( R I Q M C )   a nd   NR - I Q A   f o r   C o nt r a s t - D i s t o r t e I m a g e s   ( N R - I Q A - C D I ) .   T he   e x i s t i ng     NR - I Q A - C D I   r e l i e s   o f e a t ur e s   de s i g ne by   hum a n   o r   ha ndc r a f t e f e a t ur e s   be c a us e   c o ns i de r a b l e   l e v e l   o f   s ki l l ,   do m a i n   e xpe r t i s e   a n d   e f f o r t s   a r e   r e qui r e t o   de s i g g o o ha ndc r a f t e f e a t u r e s .   R e c e n t l y ,   t he r e   i s   g r e a t   a dv a n c e m e nt   i n   m a c hi ne   l e a r n i ng   w i t h   t he   i n t r o duc t i o n   o f   de e p   l e a r ni ng   t h r o ug C o nv o l ut i o na l   N e ur a l   N e t w o r k s   ( C N N )   w h i c e n a b l e   m a c h i ne   t o   l e a r g o o f e a t ur e s   f r o m   r a w   i m a g e   a ut o m a t i c a l l y   w i t ho ut   a ny   hum a i nt e r v e nt i o n.   T he r e f o r e ,   i t   i s   t e m p t i ng   t o   e xp l o r e   t he   w a y s   t o   t r a n s f o r m   t he   e x i s t i ng   N R - I Q A - C D I   f r om   us i ng   ha n dc r a f t e d   f e a t ur e s   t o   m a c hi ne - c r a f t e d   f e a t ur e s   u s i ng   de e p   l e a r ni ng ,   s pe c i f i c a l l y   C o n v o l ut i o na l   N e ur a l   N e t w o r k s   ( C N N ) .   T h e   r e s ul t s   s ho w   t ha t   NR - I Q A - C D I   ba s e o no n - pr e - t r a i n e C N N   ( N R - I Q A - C D I - N onP r e C N N )   s i g ni f i c a n t l y   o ut pe r f o r m s   t ho s e   w hi c a r e   ba s e o h a ndc r a f t e d   f e a t u r e s .   I a ddi t i o t o   s ho w i ng   be s t   pe r f o r m a nc e ,   N R - I Q A - C D I - N o nP r e C N N   a l s o   e nj o y s   t he   a dv a nt a g e   o f   z e r o   hum a n   i n t e r v e nt i o i n   d e s i g ni ng   f e a t u r e ,   m a k i ng   i t   t he   m o s t   a t t r a c t i v e   s o l u t i o f o r   N R - I Q A - C D I .   Ke y w or d s :   CD   CN N     NR - IQ A - CD   NR - IQ A - CD I - N o n P r e CN N   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e   A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   N o r z i a n a   J a m i l ,     Ce n t e o f   In f o r m a t i o a n N e t w o r S e c uri t y ,     U n i v e r s i t i   T e na ga   N a s i o n a l ,   J a l a Ik ra m - U n i t e n,   I n s t i t ut   L a t i ha n   S u l t a n   A hm a S ha h,   4 3 000  K a j a n g,   M a l a y s i a .   E m a i l :   n o r z i a na @ u ni t e n . e du . m y       1.   I N TR O D U C TI O N     Im a ge   qua l i t y   c a n   b e   de gra de due   t o   v a ri o us   t y pe s   of   di s t o rt i o s uc a s   n o i s e ,   b l u rr i ng,   f a s t   f a di ng,   b l oc ki n g   a rt i f a c t s   a n c o nt r a s t   d i s t o rt i o n.   T h e s e   di s t o r t i o n s   m a y   oc c ur   du ri n g   o pe r a t i o n s   s uc a s   a c qui s i t i o n ,   c o m pr e s s i o n ,   s t o ra ge ,   t r a n s m i s s i o n ,   d i s pl a y   a nd   po s t - p r o c e s s i n g.   Co n t ra s t   d i s t o rt i o i s   a m o n g   t h e   m o s t   c o m m o n   a n d   f unda m e nt a l   di s t o r t i o n.   Co nt r a s t - di s t o r t e d   i m a g e   (CD I)   i s   a i m a ge   w i t l o w   r a n ge   o f   g r a y s c a l e   a s   s h o w n   i n   F i gu r e   1 .   Co n t ra s t   di s t o r t i o n   m a y   b e   c a us e by   po o r   l i g h t i n c o n d i t i o n   a n d   po o r   qu a l i t y   i m a ge   a c qui s i t i o de v i c e .     M a n y   i m a ge   qu a l i t y   a s s e s s m e n t   a l go ri t hm s   (IQ A s )   h a v e   b e e n   de v e l o pe duri n g   t h e   p a s t   de c a de .   H ow e ve r ,   m o s t   of   t h e m   a r e   de s i g n e f o r   i m a ge s   di s t o r t e by   c o m pr e s s i o n ,   n o i s e   a n d   b l urri n g .   S uc h   di s t o r t i o n s   c a us e   s t r uc t u ra l   c ha n ge   i n   i m a ge   [1]  w h i c h   do e s   n o t   ha ppe n   i n   c o nt r a s t   di s t o r t i o n .   H e n c e ,   i t   i s   n o t   s u i t a b l e   t o   us e   t h e   a b ov e   m e n t i o n e IQ A s   t o   a s s e s s   c o n t ra s t - d i s t o rt e i m a ge s   (C D I).   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Im pr ov e   of   c ont r as t - di s t or t e d   i m a ge   qua l i t y   as s e s s m e nt   bas e on   c o nv o l ut i ona l   . . .   ( Is m ai l   T aha   A hm e d)   5605     (a )   (b )     F ig u r e   1 .   ( a )   G o o c o n t r a s t   i m a ge ;   (b P o o r   c o n t r a s t   i m a ge       T h e r e   a r e   v e r y   fe w   IQ A s   de s i gn e s pe c i f i c a l l y   fo r   CD I .   T h e   f i r s t   IQ A   f o r   CD i s   a   R e duc e d - Re f e r e n c e   IQ A   (R R - IQ A c a l l e R IQ M [2].   T h e   d i s a dv a n t a ge   o f   R IQ M i s   t ha t   i t   r e qu i r e s   p a rt i a l   a c c e s s   t o   r e fe r e n c e   i m a ge ,   w h i c h   i s   i m p ra c t i c a l   i r e a l - l i f e   a pp l i c a t i o n.   U n l i ke   di s t o r t i o c a us e by   i m a ge   c o m pr e s s i o w h e r e   t h e   o r i g i n a l   i m a ge   c o ul b e   us e a s   r e f e r e n c e   i m a ge ,   c o n t r a s t   di s t o r t i o n   i s   c a us e by   poo r   i m a ge   a c qu i s i t i o c o n di t i o n s   s uc a s   po o l i g h t i n g   o po o de v i c e   s o   t h e   o ri gi na l   i m a ge   i t s e l f   i s   di s t o r t e d   a nd   r e f e r e n c e   i m a ge   i s   pra c t i c a l l y   n o t   a v a i l a b l e .   T h e   f i r s t   p r a c t i c a l   s o l ut i o n   i s   p r o po s e by   Y a m i n e t   a l .   w h i c h   i s   c a l l e N o - R e f e r e n c e   IQ A   fo r   CD I   (N R - IQ A - CD I)  [3].   It   i s   de v e l o p   b a s e o n   t h e   p r i n c i pl e s   o N a t u ra l   S c e n e   S t a t i s t i c s   (N S S i n   t h a t   t h e r e   a r e   c e r t a i n   r e gu l a ri t i e s   i t h e   s t a t i s t i c s   o f   n a t u ra l   s c e n e s   w h i c c o ul b e   m i s s i n g   f r o m   t h e   s t a t i s t i c s   d i s t o rt e i m a ge s .   T h e   f i v e   f e a t ur e s   us e i N R - IQ A - CD a r e   t h e   gl o b a l   s pa t i a l   s t a t i s t i c s   o f   a i m a ge   i n c l ud i n g     t h e   m e a n,   s t a n d a r d   de v i a t i o n,   e nt r o p y ,   ku r t o s i s   a n d   s ke w n e s s .   U n f o r t u n a t e l y ,   t h e   pe r f o r m a n c e   of   N R - IQ A - CD I   a r e   n o t   e n c o ura gi ng  i t w o   of   t h e   t hr e e   t e s t   i m a ge   da t a b a s e s ,   T ID 2013  a n d   CS IQ ,   w h e r e   t h e   P e a r s o n   L i n e a Co rr e l a t i o n   Co e ff i c i e n t s   a r e   o n l y   a r o un d   0 . 57   a nd  0 . 76 ,   r e s pe c t i v e l y .   T h e   e xi s t i n g   N R - IQ A - CD I   r e l i e s   o f e a t u r e s   de s i g n e d   b y   h u m a o ha n dc r a f t e f e a t u r e s   b e c a us e   c o n s i de r a b l e   l e v e l   o f   s ki l l ,   do m a i e xpe r t i s e   a nd   e ff o r t s   a r e   r e qui r e d   t o   de s i g go o ha n dc r a f t e f e a t u r e s .   R e c e n t l y ,   t h e r e   i s   g r e a t   a dv a n c e m e nt   i m a c h i n e   l e a rni n g   w i t t h e   i nt r o duc t i o o f   de e l e a rni n g   t hr o ug Co n v o l ut i o n a l   N e ura l   N e t w o r ks   ( CN N w h i c e na b l e   m a c h i n e   t o   l e a rn  go o f e a t u r e s   f r o m   r a w   i m a ge   a ut o m a t i c a l l y   w i t h o ut   a n y   h u m a i nt e r v e n t i o n .   T h e r e f o r e ,   i t   i s   t e m pt i n g   t o   e xpl o r e   t h e   w a y s   t o   t ra n s f o r m     t h e   e xi s t i n g   N R - IQ A - CD f r o m   us i n ha n dc ra f t e f e a t ur e s   t o   m a c hi n e - c ra f t e f e a t ur e s   us i n de e l e a rni n g ,   s pe c i f i c a l l y   Co n vo l ut i o na l   N e ura l   N e t w o r ks   (CN N ).   T h e   e v a l ua t i o r e s ul t s   i n d i c a t e d   t ha t   N R - IQ A - CD I   b a s e o n   m a c hi n e - c ra f t e f e a t ur e s   ge n e r a l l y   pe r f o r m e b e t t e t ha N R - IQ A - CD b a s e o n   ha n dc ra f t e f e a t u r e s   w hi l e   e n j oy i n t h e   a dv a nt a ge   o f   r e qu i r i n g   z e r o   h u m a i n t e r v e n t i o i i de nt i f y i n t h e   f e a t u r e s .   I t h e   n e xt   s e c t i o (S e c t i o 2) ,   B r i e f   o ve r v i e w   o n   CN N   f o r   NR - IQ A .   S e c t i o n   D e s i g ni n N R - IQ A - CD B a s e o N o n - P r e - T ra i n e CN N   M o de l s   a r e   de s c r i b e d.   S e c t i o de s c r i b e s   t h e   pe r f o r m a n c e   e v a l ua t i o n   a n d   S e c t i o n   5   c o n c l u de s   t h e   c u rr e nt   w o r k.       2.   C O N V O LU TI O N A N EU R A L   N ET WO R K S   (C N N s )   F O R   N R - I Q A   A r t i f i c i a l   n e u ra l   n e t w o r ks   ha s   b e e n   t h e   m o s t   po pul a r   t o o l s   fo r   m a c hi n e   l e a rni n [4 ],   w hi c i n   m o r e   ge n e ra l   s e n s e   f o r   de e l e a rni n g .   A m o n g   s e v e r a l   de e l e a rni n g   a r c hi t e c t u r e s ,   s t a c ke d   de n o i s i ng   a ut o e n c o de r s   [ 5 ],   de e b e l i e f   n e t w o r ks   [ 6 - 7 ] ,   a nd   c o n v o l ut i o na l   n e u ra l   n e t w o r ks   [ 8 - 1 3 ]   a r e   t hr e e   o f   t h e   m o s t   po pul a r   a r c hi t e c t u r e s   ut i l i z e f o r   di f f e r e n t   t y p e   of   a ppl i c a t i o n s .   Co n v o l ut i o n a l   n e u r a l   n e t w o r ks   (CN N s a r e   a   s pe c i a l   ki nd   o f   de e l e a rn i ng   m e t h o d,   CN N s   r u m uc f a s t e o G P U s ,   s uc a s   N V i d i a ‘s   T e s l a   K 80   p r o c e s s o r ,   a n d   h a s   a c hi e v e s t a t e   o f   t h e   a rt   pe r f o r m a n c e   o v a ri o us   c o m put e v i s i o t a s ks ,   s uc a s   o bj e c t   de t e c t i o n,   r e c o gn i t i o n,   r e t r i e v a l ,   a nn o t a t i o n,   i m a ge   c l a s s i f i c a t i o n,   a n d   s e gm e n t a t i o [ 14 - 1 6] .   T h e   f u n da m e n t a l   d i f fe r e n c e   b e t w e e c o n v o l ut i o n a l   n e u r a l   n e t w o r (CN N )   a n d   c o n v e n t i o na l   m a c h i n e   l e a rn i ng   i s   t ha t ,   ra t h e t ha us i n g   ha n d - c r a f t e d   f e a t ur e s ,   s uc a s   S IF T   [1 7 ]   a n d   H o G ,   CN N   c a a ut o m a t i c a l l y   l e a rn   f e a t u r e s   f r o m   d a t a   (i m a ge s a n d   a c qu i r e   s c o r e s   f r o m   t he   o ut put   o f   i t   [1 8 ].   F i g u r e   2   s h o w s   t h e   d i f f e r e n c e   b e t w e e n   m a c h i n e   l e a rn i n a n d   de e l e a rni n g .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   9 ,   N o .   6 D e c e m b e r   2019   :     56 0 -   5614   5606       F i gu r e   2 .   T h e   d i f fe r e n c e   b e t w e e n   CN N   a n d   m a c hi n e   l e a rn i ng       G e n e ra l l y ,   a   CN N   a r c h i t e c t ur e   c o m pri s e s   di f f e r e n t   l a y e r   t y pe s   s uc a s   c o n v o l ut i o na l   l a y e r ,   R e c t i f i e d   L i n e a U n i t   (R e L U l a y e r ,   c r o s s   c ha nn e l s   n o r m a l i z a t i o n   l a y e r ,   po o l i n g   l a y e r ,   f ul l y   c o n n e c t e l a y e r ,   d r o po ut   l a y e r ,   S o f t M a l a y e r ,   a n d   o ut pu t   c l a s s i f i c a t i o l a y e r .   E a c l a y e r   o b t a i n s   t h e   d a t a   f r o m   t h e   p r e v i o us   l a y e r .   T h e n,   t h e   da t a   i s   t ra n s f o r m e a n d   p a s s e t o   t h e   s ub s e que n t   l a y e r .   CN N   a r c h i t e c t u r e   v a r i e s   i n   t e r m s   of    t h e   n u m b e r   o f   o ut put s   pe l a y e r ,   t h e   s i z e   a n d   t y pe   of   s pa t i a l   po o l i n g,   t h e   n u m b e r   o f   l a y e r s ,   a n d   t h e   s i z e   o   t h e   c o n v o l ut i o na l   f i l t e r s .   I ge n e ra l ,   CN N s   a r e   t ra i n e d   i a   s upe r v i s e p a t t e rn  us i n g   t h e   s t a n d a r d   b a c kpr o pa ga t i o [19 ].   F i gu r e   s h o w s   t h e   t y pi c a l   a r c h i t e c t u re   of   a   CN N   m o de l .           F i gu r e   3 .   T h e   t y pi c a l   a r c h i t e c t u r e   o f   c o n vo l ut i o na l   n e u r a l   n e t w o r ks   (CN N s )       T h e   a pp l i c a t i o o f   CN N   i n   IQ A   w a s   f i r s t   p r o po s e by   K a n e t   a l .   [ 20 ] .   T h e y   t r e a t e i m a ge   p a t c h e s   a s   i n put   a nd  e m p l oy e CN N   t o   p r e di c t   t h e   i m a ge   qu a l i t y .   A s   a   r e s ul t ,   CN N   c o ul p r e di c t   t h e   qua l i t y   s c o r e   o n   s m a l l   i m a ge   p a t c h e s   i a a c c u r a t e   m a nn e r .   A l s o ,   i n s t e a d   o f   us i n g   h a ndc ra f t e f e a t ur e s ,   i t   c o ul m e rge     t h e   f e a t u r e   l e a rni n g   a nd  r e g r e s s i o p r o c e s s e s   i nt o   a   s i n gl e   o p t i m i z a t i o p r o c e s s .     In  o r de t o   e l i m i na t e   t h e   n e e f o r   m a n u a l   f e a t u r e   e xt ra c t i o n,   de e l e a rn i ng  i s   pe r f o r m e t o   l e a rn    t h e   f e a t u r e s   f r o m   ra w   da t a   (i m a ge s a ut o m a t i c a l l y .   F o e xa m pl e ,   N R - IQ A   l e a rn s   i m po rt a nt   f e a t u r e s   a ut o m a t i c a l l y   f r o m   ra w   i m a ge s   [21] .   M o s t   o f   t h e   c o n v e n t i o na l   N R - IQ A   de pe n ds   o t w o   m a i s t e ps :   f e a t u r e   e xt ra c t i o a nd  s c o r e   p r e di c t i o n,   w hi l e   i N R - IQ A   b a s e on   m a c hi n e - c ra f t e f e a t ur e s ,   l e a rn i ng  a nd  f e a t u r e   e xt ra c t i o a r e   i nt e g r a t e i nt o   o n e   s i ngl e   s t e p .       3.   D ES I G N I N G   N R - I Q A - C D I   B A S ED   O N   N O N - P R E - TR A I N ED   C N N   M O D ELS   T h e   p r o po s e N R - IQ A - CD b a s e o n o n - p r e - t ra i n e d   CN N   (N R - IQ A - CD I - N o n P r e CN N )   i s   t ra i n e d   f r o m   s c r a t c i s   i l l us t ra t e i F i g u r e   4.   T h e   de t a i l s   o f   t h e   n e t w o r a r c h i t e c t u r e   a n d   t h e   t r a i n i ng  p r o c e dur e s   a r e   a s   p r e s e nt e i t h e   f o l l ow i n t w o   s e c t i o n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Im pr ov e   of   c ont r as t - di s t or t e d   i m a ge   qua l i t y   as s e s s m e nt   bas e on   c o nv o l ut i ona l   . . .   ( Is m ai l   T aha   A hm e d)   5607       F i gu r e   4 .   T h e   d i a g ra m   o f   N R - IQ A - CD I - n o n p r e CN N   b a s e o CN N   a r c h i t e c t ur e       3. 1 .   N e tw o r k   ar c h i t e c tu r e   In s t e a o f   fe e di n t h e   e nt i r e   i m a ge   a s   a n   i n pu t   t o   t h e   pr o po s e n e t w o r k,   g ra y s c a l e   i m a ge   i s   de c o m po s e i nt o   n o n - o ve r l a ppi ng   pa t c h e s   o f   s i z e   N   x   M ,   w h e r e   N   >   H ,   i m a ge   h e i g ht   a n d   M   >   W ,   i m a ge   w i dt h.   T h e s e   n o n - o ve r l a ppi ng  p a t c h e s   o f   t h e   i m a ge   a r e   g i v e n   t o   n e t w o r a s   i n p ut   s i n c e   t h i s   w o ul i n c r e a s e   n u m b e r   o t r a i ni n g   s a m pl e s   t r e m e n do us l y   a n d   c o ul d   h e l p   t o   i m p r o v e   t he   pe r f o r m a n c e .   E x pe ri m e n t s   w e r e   c o n d uc t e o n   v a r i o us   pa t c s i z e   ( 32,   64 ,   128 ,   2 56) .   T h e   e xpe r i m e n t s   s how e t h a t   t h e   o pt i m u m   p a t c h   s i z e   i s   64  64.   E a c h   i m a ge   pa t c h   i s   c o n s i de r e a s   a n   i n de pe n de nt   i m a ge   s a m pl e   du r i n g   t h e   t ra i ni n s t e p,   a n i t   i s   l a b e l e w i t t h e   qu a l i t y   v a l ue   of   t h e   c o r r e s po n d i n g   s o ur c e   i m a ge .   T h e r e   i s   n o   go l de r u l e   i de s i g ni n g   CN N   m o de l   i t e rm s   of   t h e   num b e o f   l a y e r s   a n d   t h e   s i z e   o f i l t e r s .   T h i s   w o r s t a r t e d   w i t de s i g ni n g   t h e   n e t w o r w i t c o n v o l ut i o n a l   l a y e r s .   E a c h   l a y e r   c o n t a i n s   96 ,   256,   a n 384  f i l t e r s   o f   s i z e   12x12 ,   5x 5,   3x3   r e s pe c t i v e l y .   T hi s   w or k   w a s   a l s o   t e s t e o v a r i o us   s e t t i ngs   o f   n u m b e r   of   l a y e r s   a n d   f i l t e r   s i z e   a n d   t h e   r e s ul t s   a r e   a s   p r e s e nt e i n   t h e   c o m i n s e c t i o 4,   F i gu r e s   a n d   8.     T h e   R e L U   (Re c t i f i e L i n e a r   U ni t )   a c t i v a t i o f un c t i o n s   w e re   e m b e dde a s   w e l l .   T h e   f i r s t   t w o   c o n v o l ut i o n a l   l a y e r s   w e r e   s ubj e c t e t o   2x2   m a po o l i n g   w h i l e   n o   po o l i n w a s   a pp l i e t o   t h e   t h i rd  l a y e r .   T h e   t hr e e   c o n vo l ut i o n a l   l a y e r s   w e r e   a t t a c h e d   t o   a   f ul l y - c o n n e c t e l a y e r   c o n t a i ni n g   960 hi dde n   u ni t s   a n d   a   l i n e a r   r e g r e s s i o n   l a y e r   (f o r   i m a ge   qua l i t y   s c o r e   pr e d i c t i o n ) .   T h e   n e t w o r l a y e r s   a r e   o r ga ni z e d   a s   f o l l o w s :   I n put   pa t c h   25 6 × 256 ,   Co n v   96x62x 6 2−   M a x   31x3 1x96   Co n v   256x14x 14−   M a x   7x7x 256−   Co n v   38 4x5x5   F C   5 x5x384 = 9600   O u t put   (F C - 1) .   ( Co n v   de n o t e s   t h e   c o n vo l ut i o n   l a y e r ;   m a de n o t e s   t h e   m a x - po o l i ng  l a y e r ;   F C   de n o t e s   t h e   f ul l - c o nn e c t e l a y e r . F i gu r e   s h o w s   t h e   a r c h i t e c t ur e   o f   pr o po s e (N R - IQ A - C DI - N o n P r e CN N ),   w hi c i s   b a s e o n   Co n v o l ut i o na l   N e u ra l   N e t w o r ks   w i t l a y e r s .     3. 2 .   Tr ai n i n th e   C N N   S i n c e   t h e   i nput   s i z e   ( i m a ge   s i z e o f   CN N   i s   f i xe d,   t h e   i n pu t   i m a ge s   f o r   a l l   da t a b a s e s   w e r e   r e s i z e t o   512x512 .   D u r i ng  t h e   t r a i n i ng   p h a s e ,   t h e   qu a l i t y   l a b e l   o f   t h e   w h o l e   i m a ge   w a s   a s s i g n e d   t o   a l l   pa t c h e s   of    t h e   s a m e   i m a ge .   T h e   p r o po s e n e t w o r ks   w e r e   t r a i n e d   r e pe a t e dl y   by   pe r f o r m i n g   b a c kp r o pa ga t i o o ve s e v e r a l   e poc h s .   H e r e ,   o n e   e po c i s   de f i n e d   a s   t h e   pe r i o du r i ng   i w h i c e a c s a m pl e   f r o m   t h e   t ra i ni n g   s e t   h a s   b e e n   us e o n c e .   W h i l e   f i xi n g   t h e   l e a rni n g   ra t e   a s   0 . 000 1,   a l l   m o d e l s   w e r e   t ra i n e d   f o 150   e po c h s .   U po i n s e r t i n g   t h e   t ra i n i n g   i m a ge   a s   i nput ,   t h e   f o r w a r d   p r o pa g a t i o s t e p   (c o n s i s t i n g   o f   c o n v o l ut i o n ,   R e L U   a n d   po o l i ng  o pe r a t i o n s   i n   t h e   f c   l a y e r w a s   pe r f o r m e d   t o   i de n t i fy   t h e   o ut put   p r o b a b i l i t y   of   e a c h   c l a s s .   A   l a pt o (I nt e l   (R Co r e   ( T M 2   D uo   CP U ,   8G   R A M   m e m o r y   a n d   N V D IA   G T X   950M   G P U   w i t h   a   M A T L A B   R 2017a   p l a t f o r m w a s   us e t o   pe r f o r m   t h e   e xpe r i m e nt .       4.   P ER F O R M A N C EV A LU A TI O N   In  t h i s   s e c t i o n,   t h e   pe r f o r m a n c e   e v a l ua t i o o f   t h e   p r o po s e N R - IQ A - CD b a s e o n o n - p r e - t r a i n e CN N   (N R - IQ A - CD I - N o n P r e CN N i s   t r a i n e f r o m   s c ra t c h   i s   p r e s e n t e d .   T h e   p r e s e nt a t i o n   b e gi n s   w i t h     t h e   de t a i l s   o f   t h e   e v a l ua t i o m e t h o do l o g y   s uc a s   t h e   t e s t   i m a ge   d a t a b a s e s ,   pe r f o r m a n c e   m e t ri c s   a n d   e v a l ua t i o p r o c e dur e s .   T hi s   i s   f o l l o w e by   di s c us s i o n s   o n   t h e   e v a l ua t i o r e s ul t s   a nd  c o n c l us i o n s   f r o m   t h e   pe r f o rm a n c e   e v a l ua t i o n .     4. 1 .   Ev al u ati o n   m e th o d o l o gy   T h e   t e s t   i m a ge   da t a b a s e s   us e f o r   t h e   e v a l ua t i o a r e   s i m i l a t o   t h o s e   us e t o   e v a l ua t e   t h e   e xi s t i ng   NR - IQ A - CD fo r   f a i c o m pa r i s o n .   T h e y   a r e   CS IQ   d a t a b a s e   [ 22 ],   T ID 2 013  da t a b a s e   [ 23 ]   a nd  C ID 2013   da t a b a s e   [2].   T h e   t e s t   i m a ge s   us e i n c l ude   o n l y   t h e   c o nt r a s t   di s t o r t e i m a ge s   i t h e   t hr e e   d a t a b a s e s   w i t h o ut   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   9 ,   N o .   6 D e c e m b e r   2019   :     56 0 -   5614   5608   t h e   r e f e r e n c e   i m a ge s .   A   t o t a l   o f   116 ,   250 ,   a nd   400   d i s t o r t e d   i m a ge s   a r e   s e l e c t e f r o m   CS IQ   [ 22 ],   T ID 2013   [ 23 ] ,   a n d   CID 201 [2 ],   r e s pe c t i v e l y .   S ubj e c t i v e   s c o r e s   a r e   r e p r e s e n t e b y   e i t h e m e a o pi n i o n   s c o r e   (M O S o r   di f f e r e n t i a l   m e a n   o pi ni o s c o r e   (D M O S ).     Cr o s s - v a l i da t i o n   w a s   us e i t h e   pe r f o r m a n c e   e v a l ua t i o n .   It   i s   a   m o de l   v a l i d a t i o n   m e t h o t o   e v a l ua t e   h o w   w e l l   t h e   pe r f o r m a n c e   o f   t h e   m o de l   c o ul ge n e ra l i z e   t o   a i n de pe n de n t   da t a   s e t .   k - f o l c r o s s - v a l i da t i o n   (k - f o l c v w a s   c h o s e n   fo r   t hi s   w o r k.   T hi s   m e t h o a l l o w s   pe r f o r m a n c e   e v a l ua t i o n   w i t h   m a n y   di f fe r e nt   c o m b i na t i o n s   o f   da t a   s e t   t o   m i ni m i z e   b i a s .   I n   t hi s   m e t h o d ,   da t a   a r e   d i v i de i n t o   s ub s e t s   a n pe r f o r m a n c e   e v a l ua t i o i s   r e pe a t e f o r   k   t i m e s .   D u r i ng   t h e   k   t i m e s   o e v a l ua t i o n,   e a c o f   t h e   k   s ub s e t s   i s   us e d   f o r     t e s t i n g   f o r   o n e   t i m e   w hi l e   t h e   r e s t   us e d   f o r   t r a i ni n g .   T h e   f i n a l   e v a l u a t i o r e s ul t   i s   t h e   a v e ra ge   r e s ul t s   o   t h e   t i m e s   o f   e v a l ua t i o n.   It   i s   w e l l - kn o w t ha t   t h e   pe r f o r m a n c e   o f   a   m a c hi n e   l e a rn i ng   m o de l   t e n ds   t o   i m p r o v e   w i t   t h e   i n c r e a s e   n u m b e r   o f   t r a i ni n g   d a t a .   T h e r e f o r e ,   k - f o l c v   w i t h i g h e t e nd s   t o   s h o w   b e t t e r   pe r f o r m a n c e .   In  t h i s   w o r k,   t h e   k - f o l c v   w a s   r e pe a t e d   f o r   k   ra n ge   f r o m   2   t o   10   t o   r e duc e   b i a s   due   t o   t h e   s i z e   o f   t r a i ni n g   da t a .   H ow e ve r ,   o n l y   10  t ra i n - t e s t   i t e r a t i o n s   a r e   c o n duc t e a s   t h e   t ra i ni n o f   CN N   i s   v e r y   t i m e   c o n s um i n g .     In  o r de t o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   IQ A ,   t h e   pe r f o r m a nc e   m e t r i c s   s uc a s   (1)   S pe a rm a R a nk - O r de Co rr e l a t i o Co e ff i c i e n t   (S R O CC),   (2)   P e a r s o n ’s   (L i n e a r Co rr e l a t i o n   Co e f f i c i e n t   (P L CC)  a n d   (3)   R o o t   M e a S qu a r e   E rr o (R M S E )   b e t w e e n   t h e   p r e d i c t e o b j e c t i ve   s c o r e s   a n d   t h e   s ub j e c t i ve   M e a O pi ni o S c o r e s   (M O S w e r e   e m pl o y e d.   Co n d i t i o n s   s uc a s   S R O CC~ 1 ,   P L CC~ 1   a nd   R M S E ~ 0   i n d i c a t e   go o pe r f o r m a n c e   i n   t e rm s   o f   c o r r e l a t i o n   w i t h u m a pe r c e pt i o n .     4. 2 .   Ev al u ati o n   o N R - I Q A - CDI - n o n p r e C N N   T h e   e v a l ua t i o w a s   r e pe a t e w i t h   v a r i o us   p a t c h   s i z e s   M   x   N   s uc a s   2 56  x   256 ,   128  12 8,   64  64 ,   a n d   32   x   3 2   a s   w e l l   a s   w i t h o ut   p a t c h e s   ( t h e   i m a ge   w a s   r e s i z e b e fo r e   i nput   t o   CN N )   t o   de t e rm i n e   t h e   b e s t   s e t t i n g.   T a b l e s   1 - 5   s h o w   t h e   a v e ra ge   r e s ul t   o f   a s s e s s m e n t   u s i ng  p a t c h   s i z e   25 x   256 ,   128   1 28 ,   64   64,   32  x   32   a n d   w i t h o ut   us i n g   pa t c h,   r e s pe c t i v e l y .         T a b l e   1 .   T h e   a v e ra ge   P L CC,   S R O CC  a nd  R M S E   a c r o s s   10  t ra i n - t e s t   r o u n ds   f o r   t hr e e   da t a b a s e s   us i n N R - IQ A - CD I - no n p r e CN N   o f   pa t c h   s i z e   25 x   256       T a b l e   2 .   T h e   a v e ra ge   P L CC,   S R O CC  a nd  R M S E   a c r o s s   10  t ra i n - t e s t   r o u n ds   f o r   t hr e e   da t a b a s e s   us i n N R - I QA - CD I - n o n p r e CN N   o f   p a t c h   s i z e   12 x   128   K   CS IQ   T ID 2 0 1 3   CID 2 0 1 3   A l l   D a t a b a s e d   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   2   0 . 7 6 1 2   0 . 7 5 8 9   0 . 8 3 9 8   0 . 8 1 8 9   0 . 7 6 7 9   0 . 6 8 9 2   0 . 8 8 9 2   0 . 8 9 2 1   0 . 3 0 4 1   0 . 9 0 8 9   0 . 9 5 7 9   0 . 6 7 0 9   3   0 . 7 9 2 6   0 . 7 9 9 6   0 . 8 4 1 8   0 . 8 1 7 4   0 . 8 0 9 3   0 . 6 3 0 2   0 . 9 1 2 5   0 . 9 1 2 7   0 . 2 9 5 9   0 . 9 1 8 1   0 . 9 2 8 2   0 . 8 3 1 1   4   0 . 8 4 6 9   0 . 8 9 8 8   0 . 8 1 2 3   0 . 8 4 2 6   0 . 8 1 8 2   0 . 6 6 8 6   0 . 9 2 9 5   0 . 9 3 9 7   0 . 2 3 1 2   0 . 9 0 1 3   0 . 8 9 3 8   0 . 9 5 3 2   5   0 . 8 7 8 4   0 . 9 3 2 1   0 . 7 5 0 2   0 . 8 5 8 4   0 . 8 3 6 7   0 . 5 6 1 1   0 . 9 3 1 2   0 . 9 5 5 8   0 . 2 3 1 7   0 . 9 2 9 4   0 . 9 4 7 6   0 . 7 0 4 5   6   0 . 9 1 1 6   0 . 8 8 9 2   0 . 6 879   0 . 8 4 9 3   0 . 8 2 6 5   0 . 5 7 2 3   0 . 9 2 8 9   0 . 9 4 6 4   0 . 2 2 1 9   0 . 9 0 1 2   0 . 9 3 2 4   0 . 8 4 3 9   7   0 . 9 3 2 8   0 . 9 2 6 9   0 . 5 7 9 2   0 . 8 4 9 4   0 . 8 3 2 6   0 . 5 6 3 9   0 . 9 3 7 2   0 . 9 5 5 3   0 . 2 0 3 4   0 . 8 7 1 9   0 . 8 9 9 3   0 . 9 2 5 6   8   0 . 9 1 7 9   0 . 9 3 9 4   0 . 6 7 7 9   0 . 8 5 6 8   0 . 8 3 9 8   0 . 5 6 1 2   0 . 9 3 8 5   0 . 9 5 9 2   0 . 2 0 1 2   0 . 9 2 7 8   0 . 9 3 9 1   0 . 8 5 7 1   9   0 . 9 7 2 3   0 . 9 4 1 6   0 . 5 0 2 6   0 . 8 5 3 8   0 . 8 3 5 6   0 . 5 5 7 9   0 . 9 3 6 9   0 . 9 4 8 9   0 . 2 0 4 9   0 . 9 2 8 3   0 . 9 0 8 9   0 . 9 3 3 6   10   0 . 9 4 1 7   0 . 9 5 1 9   0 . 6 4 6 3   0 . 8 6 8 4   0 . 8 4 9 7   0 . 5 2 3 1   0 . 9 4 4 8   0 . 9 6 5 6   0 . 1 9 6 1   0 . 9 5 2 1   0 . 8 6 9 8   0 . 9 5 4 1   Av   0 . 8 8 3 9   0 . 8 9 3 1   0 . 7 0 4 2   0 . 8 4 6 1 1   0 . 8 2 4 0   0 . 5 9 1 9   0 . 9 2 7 6   0 . 9 4 1 7   0 . 2 3 2 2   0 . 9 1 5 4   0 . 9 1 9 6   0 . 8 5 2 6               K   CS IQ   T ID 2 0 1 3   CID 2 0 1 3   A l l   D a t a b a s e d   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   2   0 . 7 6 2 9   0 . 7 0 9 8   0 . 8 8 6 2   0 . 7 9 4 0   0 . 7 6 8 9   0 . 7 1 8 3   0 . 8 4 7 6   0 . 8 6 4 7   0 . 3 2 4 6   0 . 8 9 6 9   0 . 9 4 2 7   0 . 6 8 7 8   3   0. 7610   0 . 7 5 8 7   0 . 8 9 7 4   0 . 8 1 8 2   0 . 8 0 4 1   0 . 6 3 9 8   0 . 8 8 3 9   0 . 8 8 7 6   0 . 3 0 2 3   0 . 9 0 8 3   0 . 9 1 4 8   0 . 8 4 1 0   4   0 . 8 2 7 6   0 . 8 8 1 9   0 . 8 5 0 1   0 . 8 1 0 2   0 . 7 8 8 4   0 . 7 5 0 1   0 . 9 1 7 9   0 . 9 3 3 2   0 . 2 4 3 3   0 . 8 8 9 3   0 . 8 7 9 1   0 . 9 7 9 3   5   0 . 8 6 8 2   0 . 9 0 9 7   0 . 7 9 5 6   0 . 8 1 7 6   0 . 7 8 5 3   0 . 6 2 3 6   0 . 9 1 9 8   0 . 9 4 2 9   0 . 2 3 9 8   0 . 9 1 8 4   0 . 9 3 1 0   0 . 7 2 0 8   6   0 . 8 8 9 3   0 . 8 6 6 3   0 . 7 1 0 3   0 . 8 2 1 9   0 . 7 7 9 7   0 . 5 8 7 9   0 . 9 1 5 5   0 . 9 3 5 3   0 . 2 3 1 1   0 . 8 8 9 1   0 . 9 1 9 7   0 . 8 5 1 0   7   0 . 9 2 8 2   0 . 9 1 2 0   0 . 6 0 1 4   0 . 8 2 9 9   0 . 7 8 9 9   0 . 6 2 1 7   0 . 9 2 8 5   0 . 9 4 2 1   0 . 2 2 2 9   0 . 8 5 9 5   0 . 8 8 2 9   0 . 9 3 2 6   8   0 . 8 9 9 7   0 . 9 2 2 9   0 . 7 0 6 8   0 . 8 2 0 2   0 . 7 9 3 1   0 . 6 0 7 2   0 . 9 2 9 9   0 . 9 4 7 2   0 . 2 1 4 2   0 . 9 0 7 6   0 . 9 2 0 6   0. 8638   9   0 . 9 5 1 3   0 . 9 2 9 3   0 . 5 1 0 3   0 . 8 3 1 9   0 . 7 9 3 2   0 . 6 1 6 3   0 . 9 2 7 6   0 . 9 3 9 5   0 . 2 1 1 9   0 . 9 0 8 5   0 . 8 9 0 1   0 . 9 4 2 9   10   0 . 9 3 5 1   0 . 9 3 8 4   0 . 6 8 9 2   0 . 8 3 5 8   0 . 7 9 8 9   0 . 5 9 0 9   0 . 9 3 9 2   0 . 9 5 2 8   0 . 2 0 2 4   0 . 9 3 5 4   0 . 8 5 8 7   0 . 9 6 9 2   Av   0 . 8 6 9 2   0 . 8 6 9 8   0 . 7 3 8 5   0 . 8 1 9 9   0 . 7 8 9 0   0 . 6 3 9 5   0 . 9 1 2 2   0 . 9 2 7 2   0 . 2 4 3 6   0 . 9 0 1 4   0. 9044   0 . 8 6 5 3   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Im pr ov e   of   c ont r as t - di s t or t e d   i m a ge   qua l i t y   as s e s s m e nt   bas e on   c o nv o l ut i ona l   . . .   ( Is m ai l   T aha   A hm e d)   5609     T a b l e   3 .   T h e   a v e ra ge   P L CC,   S R O CC  a nd  R M S E   a c r o s s   10  t ra i n - t e s t   r o u n ds   f o r   t hr e e   da t a b a s e s   us i n g     NR - IQ A - CD I - no n p r e CN N   o f   pa t c s i z e   64   64   K   CS IQ   T ID 2 0 1 3   CID 2 0 1 3   A l l   D a t a b a s e d   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   2   0 . 7 8 4 1   0. 7828   0 . 8 2 1 2   0 . 8 2 9 4   0 . 7 8 9 3   0 . 6 7 3 2   0 . 9 0 7 5   0 . 9 0 6 8   0 . 2 8 0 8   0 . 9 2 5 8   0 . 9 7 1 1   0 . 6 3 7 1   3   0 . 8 0 6 2   0 . 8 0 9 5   0 . 8 3 3 7   0 . 8 2 8 1   0 . 8 2 7 8   0 . 6 0 8 8   0 . 9 3 2 5   0 . 9 3 1   0 . 2 7 1 1   0 . 9 3 7 2   0 . 9 4 7 6   0 . 8 1 6 1   4   0 . 8 6 2 6   0 . 9 1 7 4   0 . 8 0 1 1   0 . 8 4 9 6   0 . 8 3 4 8   0 . 6 3 7 9   0 . 9 4 9 7   0 . 9 5 9 4   0 . 2 1 0 2   0 . 9 2 4 5   0 . 9 1 8 2   0 . 9 3 2 9   5   0 . 8 9 7 9   0 . 9 3 9 1   0 . 7 3 1   0 . 8 6 7 4   0 . 8 5 2 3   0 . 5 4 4 3   0 . 9 5 1 2   0 . 9 7 2 1   0 . 2 1 1 3   0 . 9 4 9 1   0 . 9 6 5 3   0 . 6 7 8 4   6   0 . 9 2 5 3   0 . 9 0 9 8   0 . 6 7 2 5   0 . 8 5 8 3   0 . 8 4 1 7   0 . 5 5 3 2   0 . 9 4 8 9   0 . 9 6 2 5   0 . 2 0 1 9   0 . 9 2 8 2   0 . 9 5 2 7   0 . 8 1 2 6   7   0 . 9 4 4 1   0 . 9 4 1 1   0 . 5 5 0 9   0 . 8 5 8 1   0 . 8 4 7 4   0 . 5 4 3 9   0 . 9 5 6 5   0 . 9 6 8 6   0 . 1 9 3 2   0 . 9 0 2 6   0 . 9 2 8 8   0 . 8 9 7 9   8   0 . 9 3 3 2   0 . 9 5 3 2   0 . 6 5 1 3   0 . 8 6 7 8   0 . 8 5 8 2   0 . 5 4 3 7   0 . 9 5 7 7   0 . 9 7 1 4   0 . 1 9 3 9   0 . 9 4 8 7   0 . 9 5 2 9   0 . 8 2 7 4   9   0 . 9 7 9 8   0 . 9 5 6 1   0 . 4 9 2 4   0 . 8 6 8 5   0 . 8 5 2 5   0 . 5 3 2 6   0 . 9 5 6 2   0 . 9 6 6 7   0 . 1 9 4 3   0 . 9 4 9 5   0 . 9 2 9 8   0 . 9 0 1 7   10   0 . 9 6 0 2   0 . 9 6 8 7   0 . 6 1 8 7   0 . 8 8 5 9   0 . 8 6 1 2   0 . 5 0 1   0 . 9 6 7 1   0 . 9 7 9 8   0 . 1 7 9 4   0 . 9 7 1 2   0 . 9 0 2 8   0 . 9 2 6 8   Av   0 . 8 9 9 2   0 . 9 0 8 6   0 . 6 8 5 8   0 . 8 5 7 0   0 . 8 4 0 5   0 . 5 7 0 9   0 . 9 4 7 4   0 . 9 5 7 5   0 . 2 1 5 1   0 . 9 3 7 4   0 . 9 4 1 0   0 . 8 2 5 6       T a b l e   4 .   T h e   a v e ra ge   P L CC,   S R O CC  a nd  R M S E   a c r o s s   10  t ra i n - t e s t   r o u n ds   f o r   t hr e e   da t a b a s e s   us i n g     NR - IQ A - CD I - n o n p r e CN N   o f   pa t c s i z e   32   32   K   CS IQ   T ID 2 0 1 3   CID 2 0 1 3   A l l   D a t a b a s e d   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   2   0 . 7 8 9 2   0 . 7 8 7 8   0 . 8 1 2 3   0 . 8 3 9 5   0 . 7 9 9 2   0 . 6 6 2 6   0 . 9 1 7 9   0 . 9 1 7 5   0 . 2 7 3 2   0 . 9 3 6 8   0 . 9 7 9 5   0 . 6 2 9 6   3   0 . 8 0 8 7   0 . 8 1 6 9   0 . 8 1 6 7   0 . 8 3 8 9   0 . 8 3 6 7   0 . 6 0 0 7   0 . 9 3 6 4   0 . 9 3 9 7   0 . 2 6 2 7   0 . 9 4 6 4   0 . 9 5 6 9   0 . 8 0 8 3   4   0 . 8 6 9 4   0 . 9 1 8 2   0 . 7 8 1 2   0 . 8 5 8 6   0 . 8 4 1 2   0 . 6 2 5 1   0 . 9 5 5 8   0 . 9 6 2 4   0 . 2 0 1 9   0 . 9 3 2 7   0 . 9 2 8 8   0 . 9 2 4 1   5   0 . 9 1 2 1   0 . 9 4 2 7   0 . 7 1 1 9   0 . 8 6 9 3   0 . 8 6 2 3   0 . 5 2 4 6   0 . 9 5 6 9   0 . 9 7 8 1   0 . 2 0 3 6   0 . 9 5 7 6   0 . 9 7 2 2   0 . 6 7 0 2   6   0 . 9 2 8 4   0 . 9 1 6 6   0 . 6 5 2 5   0 . 8 6 7 9   0 . 8 5 1 7   0 . 5 3 4 4   0 . 9 5 4 7   0 . 9 6 9 2   0 . 1 9 2 1   0 . 9 3 8 1   0 . 9 6 1 9   0 . 8 0 6 3   7   0 . 9 4 6 7   0 . 9 4 7 2   0 . 5 3 0 9   0 . 8 6 6 8   0 . 8 5 3 7   0 . 5 2 5 8   0 . 9 6 3 1   0 . 9 7 2 6   0 . 1 8 1 4   0 . 9 1 2 1   0 . 9 3 7 9   0 . 8 9 0 9   8   0 . 9 3 8 9   0 . 9 5 6 5   0 . 6 2 1 1   0 . 8 7 3 4   0 . 8 6 9 8   0 . 5 2 4 7   0 . 9 6 5 5   0 . 9 7 4 9   0 . 1 8 0 7   0 . 9 5 8 7   0 . 9 6 2 4   0 . 8 1 7 8   9   0 . 9 8 3 1   0 . 9 5 9 6   0 . 4 8 3 4   0 . 8 7 7 2   0 . 8 5 8 9   0 . 5 1 2 9   0 . 9 6 4 9   0 . 9 7 4 2   0 . 1 8 3 2   0 . 9 5 9 5   0 . 9 3 9 7   0 . 8 9 3 5   10   0 . 9 6 7 9   0 . 9 8 2 7   0 . 6 0 0 7   0 . 8 9 3 8   0 . 8 7 4 6   0 . 4 9 6 5   0 . 9 7 4 2   0 . 9 8 9 5   0 . 1 7 6 5   0 . 9 8 1 6   0 . 9 1 8 3   0 . 9 1 4 2   Av   0 . 9 0 4 9   0 . 9 1 4 2   0 . 6 6 7 8   0 . 8 6 5 0   0 . 8 4 9 7   0 . 5 5 6 3   0 . 9 5 4 3   0 . 9 6 4 2   0 . 2 0 6 1   0 . 9 4 7 0   0 . 9 5 0 8   0 . 8 1 7 2       T a b l e   5 .   T h e   a v e ra ge   P L CC,   S R O CC  a nd  R M S E   a c r o s s   10  t ra i n - t e s t   r o u n ds   f o r   t hr e e   da t a b a s e s   us i n g     NR - IQ A - CD I - n o n p r e CN N   w i t h o ut   p a t c h e s   K   CS IQ   T ID 2 0 1 3   CID 2 0 1 3   A l l   D a t a b a s e d   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   2   0 . 5 9 4 8   0 . 6 2 0 4   1 . 4 7 7 5   0 . 7 7 1 7   0 . 7 1 7 7   0 . 7 7 2 0   0 . 7 8 5 2   0 . 8 3 7 1   0 . 4 2 0 8   0 . 9 3 7 5   0 . 9 3 9 3   0 . 7 0 3 1   3   0 . 6 1 8 3   0 . 7 1 0 9   1 . 4 8 1 5   0 . 7 9 0 4   0 . 7 4 2 3   0 . 7 4 1 1   0 . 8 6 1 8   0 . 9 0 1 8   0 . 3 3 5 2   0 . 8 8 4 5   0 . 8 9 6 2   0 . 8 7 7 8   4   0 . 7 7 8 8   0 . 8 3 9 5   0 . 9 8 5 0   0 . 7 8 8 6   0 . 7 3 8 5   0 . 7 3 5 8   0 . 8 8 0 4   0 . 9 0 8 7   0 . 3 0 3 6   0 . 8 3 4 0   0 . 8 4 7 4   1 . 0 4 0 9   5   0 . 8 3 9 1   0 . 8 8 0 7   0 . 8 5 1 8   0 . 7 8 4 2   0 . 7 2 8 3   0 . 7 3 0 0   0 . 8 7 7 1   0 . 9 1 0 5   0 . 3 0 7 2   0 . 9 0 9 4   0 . 9 1 6 5   0 . 7 5 60   6   0 . 8 5 8 1   0 . 8 4 8 9   0 . 7 7 2 5   0 . 7 8 5 1   0 . 7 2 0 3   0 . 7 4 0 2   0 . 8 7 5 5   0 . 9 0 6 6   0 . 3 1 5 7   0 . 8 7 7 7   0 . 8 9 6 7   0 . 8 9 9 7   7   0 . 8 8 6 7   0 . 8 9 0 5   0 . 6 4 2 2   0 . 7 8 8 0   0 . 7 3 3 7   0 . 7 4 2 0   0 . 8 9 4 6   0 . 9 1 5 0   0 . 2 9 2 0   0 . 8 4 9 0   0 . 8 6 7 8   1 . 0 5 3 0   8   0 . 8 7 1 6   0 . 9 0 4 4   0 . 7 3 2 8   0 . 7 8 5 5   0 . 7 3 4 4   0 . 7 4 3 2   0 . 8 7 7 7   0 . 9 1 1 0   0 . 3 1 3 4   0 . 8 9 0 6   0 . 9 0 4 1   0 . 8 9 2 2   9   0 . 9 2 4 4   0 . 9 1 5 2   0 . 5 8 5 4   0 . 7 9 4 2   0 . 7 3 6 5   0 . 7 2 7 6   0 . 8 9 7 1   0 . 9 2 1 3   0 . 3 0 1 1   0 . 8 5 3 7   0 . 8 6 8 5   0 . 9 6 4 6   10   0 . 8 8 1 3   0 . 9 0 6 6   0 . 7 1 6 7   0 . 7 9 0 7   0 . 7 3 6 0   0 . 7 3 7 8   0 . 8 9 2 7   0 . 9 1 5 6   0 . 2 8 7 8   0 . 7 2 9 1   0 . 7 9 4 6   1 . 2 7 2 6   Av   0 . 8 0 5 9   0 . 8 3 5 2   0 . 9 1 6 1   0 . 7 8 6 4   0 . 7 3 1 9   0 . 7 4 1 0   0 . 8 7 1 3   0 . 9 0 3 0   0 . 3 1 9 6   0 . 8 6 2 8   0 . 8 8 1 2   0 . 9 3 9 9       F i gu r e   ( a ) - (c p r e s e n t s   t h e   c o m pa r i s o o f   t h e   r e s ul t s   o f   di f f e r e n t   pa t c s i z e s   o ve r   t h e   t hr e e   da t a b a s e s   i n   f o r m   o f   b a r   c h a rt .   N o t i c e   t h a t   t h e   pe r f o r m a n c e   c l e a rl y   i m pr o v e w i t t h e   de c r e a s e   o f   pa t c h   s i z e .   T h e   N R - IQ A - CD I - N o n P r e CN N   o f   pa t c h   s i z e   32  3 o ut pe r f o r m s   t h e   r e s t   a c r o s s   a l l   da t a b a s e s   a n a l l   t hr e e   pe r f o r m a n c e   m e t r i c s .   It   i s   a ppa r e nt   t ha t   i n c r e a s i n t h e   n um b e r   o f   t ra i ni n s a m p l e s   by   di v i di ng  t h e   i m a ge   i n t o   pa t c h e s   c o ul a f fe c t   t h e   pe r f o r m a n c e   o f   CN N - b a s e N R - IQ A - CD I.   F o e x a m p l e ,   t h e r e   w e r e   o nl y   400  i m a ge s   i CID 20 13  da t a b a s e   b ut   t h e r e   a r e   a b o ut   2400   i m a ge   pa t c h e s   o f   pa t c s i z e   256   x   256   us e d,   a n d   a b o ut   153 600   i m a ge   p a t c h e s   w h e pa t c 32   x   3 2   w a s   us e d   a s   s h o w n   i T a b l e   6 .   T h e   a v e ra ge   r e s ul t s   o f   k - f o l c r o s s - v a l i da t i o (k =   2   t o   10)   a r e   s um m a ri z e i n   T a b l e   w h e r e   t h e   pa t c h   s i z e   ra n ge s   f r o m   32  t o   256  p i xe l s .   It   i s   o b s e r ve t ha t   t h e   p r o po s e d   m e t h o s h o w s   b e t t e r   pe r f o r m a n c e   w i t i n c r e a s e n u m b e of   pa t c h e s   a s   s h o w n   i F i gu r e   6.   I t   c a a l s o   b e   ob s e r ve t ha t   t h e   pe r f o r m a n c e   o f   N R - IQ A - CD I - N o n P r e CN N   of   s m a l l   p a t c s i z e   3 2   x   32   w e r e   n o t   s i g ni f i c a n t l y   i m p r o v e a s   c o m pa r e d   t o   t h o s e   o f   pa t c s i z e   64   x   64   t o   j us t i fy   t h e   e xpo n e n t i a l   i n c r e a s e   i t h e   num b e o f   t r a i n i ng  s a m pl e s .   T h e r e f o r e ,   t h e   pa t c s i z e   o f   64  64  w a s   c h o s e n   a s   t h e   o pt i m u m   pa t c s i z e.       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   9 ,   N o .   6 D e c e m b e r   2019   :     56 0 -   5614   5610     (a )     (b )     (c )     F i gu r e   5 .   Co m p a r i s o o f   S R O CC,   P L CC,   a n d   R M S E   o f   N R - IQ A - CD I - n o n p r e CN N   o f   pa t c s i z e   256   2 56,   128  x   128 ,   64  6 4,   32   32,   a nd  w i t h o ut   pa t c o CS IQ ,   T I D 2013,   a nd  C ID 2013   da t a b a s e s   (a ,   b ,   a nd  c )     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Im pr ov e   of   c ont r as t - di s t or t e d   i m a ge   qua l i t y   as s e s s m e nt   bas e on   c o nv o l ut i ona l   . . .   ( Is m ai l   T aha   A hm e d)   5611   T a b l e   6 .   T h e   p a t c h   num b e r s   a c r o s s   di f fe r e n t   p a t c h   s i z e s   f o r   I Q A   da t a b a s e s   P A T CH   S I Z E   CS IQ   T ID 2 0 1 3   CID 2 0 1 3   A L L   D A T A B A S E S   P A T CH   N O   P A T CH   N O   P A T CH   N O   P A T CH   N O   RE S I Z E D   116   250   400   766   256   464   1000   2400   3864   128   1856   3000   9600   1 4 4 5 6   64   7424   1 2 0 0 0   3 8 4 0 0   5 7 8 2 4   32   2 9 6 9 6   4 8 0 0 0   1 5 3 6 0 0   2 3 1 2 9 6       T a b l e   7 .   P e r f o r m a n c e   e v a l ua t i o o f   P L CC,   S R O CC,   a n d   R M S E   o di f f e r e n t   p a t c h e s   n u m b e r   P a t c h   S i z e   CS IQ   T ID 2 0 1 3   CID 2 0 1 3   A l l   D a t a b a s e s   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   Re s i z e d   0 . 8 0 5 9   0 . 8 3 5 2   0 . 9 1 6 1   0 . 7 8 6 4   0 . 7 3 1 9   0 . 7 4 1 0   0 . 8 713   0 . 9 0 3 0   0 . 3 1 9 6   0 . 8 6 2 8   0 . 8 8 1 2   0 . 9 3 9 9   256   0 . 8 6 9 2   0 . 8 6 9 8   0 . 7 3 8 5   0 . 8 1 9 9   0 . 7 8 9 0   0 . 6 3 9 5   0 . 9 1 2 2   0 . 9 2 7 2   0 . 2 4 3 6   0 . 9 0 1 4   0 . 9 0 4 4   0 . 8 6 5 3   128   0 . 8 8 3 9   0 . 8 9 3 1   0 . 7 0 4 2   0 . 8 4 6 1   0 . 8 2 4 0   0 . 5 9 1 9   0 . 9 2 7 6   0 . 9 4 1 7   0 . 2 3 2 2   0 . 9 1 5 4   0 . 9 1 9 6   0 . 8 5 2 6   64   0 . 8 9 9 2   0 . 9 0 8 6   0 . 6 8 5 8   0 . 8 5 7 0   0 . 8 4 0 5   0 . 5 7 0 9   0 . 9 4 7 4   0 . 9 5 7 5   0 . 2 1 5 1   0 . 9 3 7 4   0 . 9 4 1 0   0 . 8 2 5 6   32   0 . 9 0 4 9   0 . 9 1 4 2   0 . 6 6 7 8   0 . 8 6 5 0   0 . 8 4 9 7   0 . 5 5 6 3   0 . 9 5 4 3   0 . 9 6 4 2   0 . 2 0 6 1   0 . 9 4 7 0   0 . 9 5 0 8   0 . 8 1 7 2       (a )   (b )     ( c )   (d)     F i gu r e   6 .   P L CC   a n d   S R O CC  r e s ul t s   w i t h   v a ri o us   pa t c h e s   n u m b e r     (a :   CS IQ ,   b :   T ID 2013 ,   c :   CID 2 0 13   D B ,   d:   a l l   d a t a b a s e s )       F i gu r e   s h o w s   t h e   v a r i a t i o n   o f   pe r f o r m a n c e   w i t h   r e s pe c t   t o   t h e   n u m b e r   o f   c o n v o l ut i o n   ke rn e l s .     In  ge n e ra l ,   t h e   us e   o f   m o r e   ke rn e l s   w o ul l e a d   t o   b e t t e r   pe r f o r m a n c e .   I t h e   c a s e   o f   CS IQ ,   t h e   ke rn e l   n um b e of   t h e   t hr e e   c o n v o l ut i o n   l a y e r s   i n   s e t t i n g   1 - 4   a r e   (8 ,   16,   3 2),   (16 ,   3 2,   64) ,   (32 ,   64, 1 28) ,   a n d   (96 , 256 , 384 ),   r e s pe c t i v e l y .   It   c a n   b e   c o n c l ude t ha t   t h e   pe r f o r m a n c e   c o ul b e   i m pr o v e by   i n c r e a s i n g   t h e   num b e r   o f   ke rn e l .   S i m i l a c o n c l us i o a l s o   a pp l i e s   t o   d a t a b a s e s   T ID 2013   a n d   CI D 2 013.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   9 ,   N o .   6 D e c e m b e r   2019   :     56 0 -   5614   5612       F i gu r e   7 .   T h e   S R O CC  a nd  L CC   w i t h   v a ri o us   n um b e o f   ke rne l s   (8,   16 ,   3 2),   (16 ,   32,   64 ),   (32 ,   64, 1 28),     a n (96, 256 , 384)   w h i c c o rr e s po n t o   1 , 2 , 3 , 4,   r e s pe c t i v e l y       G e n e ra l l y ,   h i g h e r   l a y e r s   c o ul e xt r a c t   b e t t e f e a t ur e s .   H ow e ve r ,   hi g h - l e v e l   fe a t ur e s   a r e   n o t   n e c e s s a r i l y   b e t t e r   t h a t h e   l o w - l e v e l   o n e s .   F r o m   F i gu r e   8,   pe r f o r m a n c e   i n c r e a s e a s   t h e   n u m b e r   o f   c o n v o l ut i o l a y e r s   w a s   i n c r e a s e d   f r o m   o n e   t o   t hr e e .   H ow e v e r ,   t h e   pe r f o r m a n c e   s t a rt e t o   de c r e a s e   w h e t h e   n u m b e r s   o f   l a y e r s   w e r e   f ur t h e i n c r e a s e d.   S i m i l a r e s ul t s   w e r e   f o un d   T ID 20 13   a nd   C ID 2013.   T h e r e fo r e ,   CN N   w i t t hr e e   c o n v o l ut i o n   l a y e r s   w a s   o pt i m a l   f o r   N R - IQ A - CD I.           F i g u r e   8 .   P r o po s e CN N   p r e di c t i o a c c u r a c y   fo r   CS IQ   d a t a b a s e   a c r o s s   v a r i o us   la y e r s       4. 3 .   C r o s s - d atab as e   e v al u ati o n   T h e   c r o s s - da t a b a s e   e v a l ua t i o m e t h o us e d   t o   i de nt i fy   t h e   g e n e ra l i z a t i o a b i l i t y   of   a   N R - IQ A - CD a c r o s s   di f f e r e n t   d a t a b a s e s   ha s   b e e n   i nt r o duc e i n   t h e   c u rr e nt   w o r k.   I n   t h i s   e v a l u a t i o n ,   a l l   i m a ge s   i o n e   o   t h e   da t a b a s e s   a r e   us e f o r   t r a i n i ng  w hi l e   t h e   i m a ge s   i t h e   o t h e r   t w o   da t a b a s e s   a r e   us e f o r   t e s t i ng.   F o r   c o n s i s t e n c y ,   t h e   M O S   a nd  D M O S   s c o r e s   ha v e   b e e n   r e s c a l e (0 - 10) .   T h e   r e s ul t s   o f   t h e   c r o s s - da t a s e t   t e s t   ha v e   be e n   r e po rt e i T a b l e   8.   I t   m a y   b e   ob s e r v e t ha t   r e s ul t s   w h e n   o u r   m e t h o t r a i n e o CS IQ   i s   de c r e a s e c o m pa r e d   t o   b e i n g   t ra i n e d   o CID 2013 .   T h e r e f o r e ,   l a rge t ra i ni n g   s e t   w o ul l e a d   t o   b e t t e ge n e r a l i z a t i o n.   H e n c e ,   t h e   ge n e ra l i z a t i o n   c a pa b i l i t y   of   a   de e n e u r a l   n e t w o r i s   de pe nde nt   o n   t h e   s i z e   a n d   di v e r s i t y   o   t h e   t ra i ni n g   s e t .       T a b l e   8 .   C r o s s   da t a b a s e   e v a l ua t i o n   T ra i n e d   o n :   CID 2 0 1 3   T ID 2 0 1 3   CS IQ   T e s t e d   o n :   CS IQ   T ID 2 0 1 3   CID 2 0 1 3   CS IQ   CID 2 0 1 3   T ID 2 0 1 3   NR - I Q A - CD I - N o n P r e CN N   P L CC   S RO CC   P L CC   S RO CC   P L CC   S RO CC   P L CC   S RO CC   P L CC   S RO CC   P L CC   S RO CC   0 . 8 1 6 9   0 . 8 3 7 2   0 . 7 9 3 5   0 . 7 7 8 2   0 . 8 2 7 3   0 . 8 3 0 2   0 . 8 0 9 2   0 . 8 1 6 3   0 . 8 0 2 8   0 . 8 1 7 2   0 . 6 5 8 4   0. 6419     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Im pr ov e   of   c ont r as t - di s t or t e d   i m a ge   qua l i t y   as s e s s m e nt   bas e on   c o nv o l ut i ona l   . . .   ( Is m ai l   T aha   A hm e d)   5613   4. 4 .   NR - I Q A - CDI - n o n p r e C N N   v s   NR - I Q A - CDI  b as e d   o n   h an d c r aft e d   f e atu r e s   T h e   p r o po s e N R - IQ A - CD I - N o n P r e CN N   i s   c o m pa r e d   a ga i n s t   N R - IQ A - CD I   b a s e o h a ndc ra f t e f e a t ur e s .   T h e   c o m pa r i s o n   r e s ul t s   s h o w n   i n   T a b l e   9.   T h e   b e s t   s c o r e   fo r   e a c h   pe r f o r m a n c e   m e t r i c   a nd  d a t a b a s e   i s   h i g h l i g h t e d   by   bo l di n g   t h e   n um b e r s .       T a b l e   9 .   P L CC,   S R O CC,   a n d   R M S E   c o m pa ri s o n   a m o n g   e nha n c e v e r s i o n s   o f   N R - IQ A - CD I   M e t h o d s   CS IQ   T ID 2 0 1 3   CID 2 0 1 3   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   P L CC   S RO CC   RM S E   E x i s t i n g   N R - IQ A - CD I   0 . 7 6 2 3   0 . 7 6 5 7   0 . 1 1 0 2   0 . 5 7 3 9   0 . 4 9 4 3   0 . 8 1 4 6   0 . 8 7 9 7   0 . 8 7 9 8   0 . 2 9 8 1   NR - I Q A - CD I - N o n P r e CN N   0 . 8 9 9 2   0 . 9 0 8 6   0 . 0 6 8 6   0 . 8 5 7 0   0 . 8 4 0 5   0 . 5 7 0 9   0 . 9 4 7 4   0 . 9 5 7 5   0 . 2 1 5 1       T h e   r e s ul t s   s h o w   t ha t   N R - IQ A - CD b a s e d   o n o n - p re - t ra i n e CN N ,   N R - I Q A - C D I - N o n P r e CN N   s i g ni f i c a nt l y   o ut pe r f o r m s   t h o s e   w hi c a r e   b a s e d   o ha ndc ra f t e d   f e a t u r e s .   I a d di t i o t o   s h o w i n g   b e s t   pe r f o rm a n c e ,   N R - IQ A - CD I - N o n P r e CN N   a l s o   e n j o y s   t h e   a d v a nt a ge   o f   z e r o   hu m a i nt e r v e n t i o i de s i g ni ng   f e a t u r e ,   m a k i ng   i t   t h e   m o s t   a t t ra c t i v e   s o l u t i o f o N R - IQ A - C D I.       5.   C O N C LU S I O N   In   t h i s   pa pe r ,   a   s t udy   o n   t ra n s f o r m i n t h e   e xi s t i ng  N R - IQ A - CD us i n m a c h i n e - c r a f t e f e a t ur e s   b a s e o n   CN N   ha s   b e e n   p r e s e nt e d.   It   w a s   a b l e   t o   a c c ura t e l y   p r e di c t   t h e   qu a l i t y   s c o r e   f r o m   a i m a ge   a nd   i nt e gra t e   t h e   f e a t ur e   l e a rni n a n d   r e g r e s s i o n   i nt o   o n e   o pt i m i z a t i o p r o c e s s .   O ur   m e t h o do e s   n o t   r e qu i r e   a n y   r e f e r e n c e   i m a ge ,   a n a n y   h a ndc ra f t e f e a t ur e s   a nd  d i r e c t l y   l e a rn s   d i s c r i m i na t i o n   f e a t u r e s   f r o m   ra w   i m a ge   pi xe l s   t a c hi e v e   m uc h   b e t t e r   pe r f o r m a n c e .   T h e   e v a l ua t i o n   r e s ul t s   i n d i c a t e t ha t   N R - IQ A - CD b a s e o n   m a c h i n e - c r a f t e f e a t ur e s   ge n e ra l l y   pe r fo r m e b e t t e t ha N R - IQ A - CD b a s e o n   h a nd c ra f t e f e a t ur e s   w hi l e   e n j oy i n g   t h e   a dv a nt a ge   o f   r e qu i r i ng  z e r o   h u m a n   i n t e r v e n t i o i i de n t i f y i n t h e   f e a t u r e s .       A C K N O WL ED G E M EN TS   T h i s   r e s e a r c h   i s   f u n de by   2018  S m a rt   F u nd  o f   U n i v e r s i t i   T e na ga   N a s i o n a l .       R EF ER EN C ES     [ 1]   Z .   W a ng ,   e t   a l . ,   I m a g e   qua l i t y   a s s e s s m e n t :   f r o m   e r r o r   v i s i b i l i t y   t o   s t r uc t ur a l   s i m i l a r i t y ,   I E E E   T r a ns a c t i on s   on   I m a ge   P r oc e s s i ng ,   v o l .   13 ,   pp .   600 - 61 2,   20 04.   [ 2]   K .   G u ,   e t   al . ,   S ub j e c t i v e   a nd   o bj e c t i v e   qu a l i t y   a s s e s s m e n t   f o r   i m a g e s   w i t h   c o nt r a s t   c ha ng e ,   201 I E E E   I nt e r n at i ona l   C onf e r e nc e   on   I m age   P r oc e s s i ng ,   M e l bo ur ne ,   V I C 20 13 ,   p p.   38 3 - 387   [ 3]   Y .   F a ng ,   e t   a l . ,   N o - r e f e r e nc e   qua l i t y   a s s e s s m e nt   o f   c o nt r a s t - di s t o r t e i m a g e s   ba s e d   o na t u r a l   s c e n e   s t a t i s t i c s ,   I E E E   Si gn al   P r oc e s s i ng   L e t t e r s v o l .   22 p p.   83 8 - 842 ,   2 01 5.   [ 4]   S .   J um a ,   e t   al .,   M a c hi ne   l e a r n i ng   t e c hn i qu e s   f o r   i n t r us i o d e t e c t i o s y s t e m :   A   r e v i e w ,   J our nal   of   T he or e t i c a l   and   A ppl i e I nf or m a t i on  T e c hno l og y ,   v o l .   7 2,   pp .   422 - 42 9,   20 15 .   [ 5]   P .   V i nc e nt ,   e t   a l . ,   S t a c ke de no i s i ng   a ut o e nc o de r s :   L e a r ni ng   u s e f ul   r e p r e s e n t a t i o ns   i n   a   de e n e t w o r k   w i t a   l o c a l   de no i s i ng   c r i t e r i o n,   J ou r na l   O f   M ac h i ne   L e ar n i n R e s e ar c h ,   v o l .   1 1,   pp .   3371 - 34 08,   2 010 .   [ 6]   Y .   B e ng i o ,   e t   al . ,   G r e e dy   l a y e r - w i s e   t r a i ni ng   o f   de e ne t w o r ks ,   I A dv anc e s   i ne ur a l   i n f or m at i on  pr o c e s s i ng   s y s t e m s ,   pp .   153 - 160 20 06.   [ 7]   S .   N a r e j o ,   e t   a l . ,   E E G   B a s e E y e   S t a t e   C l a s s i f i c a t i o u s i ng   D e e B e l i e f   N e t w o r a nd  S t a c ke A ut o E nc o de r ,   I nt e r n at i on al   J o ur n al   o f   E l e c t r i c al   a nd  C om pu t e r   E n gi ne e r i n g   ( I J E C E ) ,   v o l .   6 ( 6 ) pp .   31 31 - 3141 ,   201 6.   [ 8]   D .   G r a upe ,   e t   a l . ,   A ppl i c a t i o ns   o f   n e ur a l   ne t w o r ks   t o   m e di c a l   s i g na l   pr o c e s s i ng ,   P r oc e e di ng s   o f   t he   27 t h   I E E E   C onf e r e nc e   on   D e c i s i o and   C on t r o l 1 988 ,   pp .   343 - 347 .   [ 9]   N .   J a m i l ,   e t   a l . ,   C a C o nv o l ut i o n   N e u r a l   N e t w o r k   ( C N N )   T r i um ph   i n   E a r   R e c o g ni t i o o f   U ni f o r m     I l l u m i na t i o n   I nv a r i a nt ?   I ndone s i an   J our na l   of   E l e c t r i c al   E ng i ne e r i ng  and   C om put e r   S c i e nc e   ( I J E E C S) ,   v o l .   1 1 ( 2 )   pp.   55 8 - 566,   2 018 .   [ 10]   J .   G u,   e t   al . ,   R e c e n t   a dv a nc e s   i n   c o nvo l ut i o na l   ne u r a l   ne t w o r ks ,   P at t e r n   R e c og ni t i on ,   v o l .   77 ,   p p.   3 54 - 377 ,   2018 .   [ 11]   S .   J i ,   e t   a l . ,   3D   C o nv o l ut i o na l   N e ur a l   N e t w o r ks   f o r   H um a n   A c t i o R e c og ni t i o n ,   I E E E   T r ans ac t i o ns   on   P at t e r n   A nal y s i s   and   M ac hi ne   I n t e l l i ge nc e ,   v o l .   3 5,   pp .   221 - 23 1,   20 13.   [ 12]   W .   R a w a t   a nd   Z .   W a ng ,   D e e p   C o nv o l ut i o na l   N e ur a l   N e t w o r ks   f o r   I m a g e   C l a s s i f i c a t i o n:   A   C o m pr e he n s i v e   R e v i e w ,   N e ur al   C om pu t a t i o n ,   v o l .   29,   p p.   23 52 - 2449 ,   201 7.   [ 13]   M .   N i m b a r t e   a nd   K .   B hoy a r ,   A g e   I n v a r i a n t   F a c e   R e c o g ni t i o us i n g   C o n v o l ut i o na l   N e ur a l   N e t w o r k ,   I n t e r na t i ona l   J our nal   o f   E l e c t r i c a l   a nd   C om pu t e r   E ngi ne e r i ng   ( I J E C E ) ,   v o l .   8 ( 4 ) pp.   2 126 - 213 8,   20 18.   [ 14]   Y .   L i ,   e t   al . ,   N o - r e f e r e nc e   i m a g e   qu a l i t y   a s s e s s m e n t   w i t h   d e e c o nvo l ut i o na l   ne ur a l   n e t w o r ks ,”   2016   I E E E   I nt e r n at i on al   C on f e r e nc e   on   D i g i t al   S i gn al   P r oc e s s i ng 201 6 ,   pp .   6 85 - 689 .   [ 15]   Y .   L e C un ,   e t   a l . ,   D e e p   l e a r ni ng , ”  N at u r e   52 1 ,   G o og l e   S c ho l a r ,   v o l .   75 53 ,   pp .   436 ,   201 5.   Evaluation Warning : The document was created with Spire.PDF for Python.