I A ES   I n te r n at i o n al   Jo u r n al   o f  A r ti fi c i al   I n te l l i ge n c e   (I J - AI )   V o l .   9 ,   N o .   4 ,  D e c e m be r   20 20 ,   pp .   670 ~ 683   IS S N :   2252 - 8938 ,   D O I :   10. 1 1591 / i j a i . v 9 .i 4 . pp 670 - 683             670       Jou r n al   h o m e pa ge :  ht t p: / / i j ai . i ae s c or e . c om   M a c h i n e   l e a r n i n g   f o r   p l a n t   d i s e a se  d e t e c t i o n :   a n   i n v e st i g a t i v e   c o m p a r i s o n   b e t w e e n   su p p o r t   v e c t o r   m a c h i n e   a n d   d e e p   l e a r n i n g       A l i yu   M .   A b d u ,   M u s a  M .   M o k j i ,   U s m an   U .   S h e i k h   S c hoo l   o f   E l e c t r i c a l   E ng i n e e r i ng ,   U n i v e r s i t i   T e k no l o g i   M a l a y s i a ,   8 1310   S ku da i ,   J o ho r ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  F e b   8 ,   20 20   R e v i s e d  J ul   14 ,   20 20   A c c e pt e d  O c t   15 ,   2 0 20       I m a g e - ba s e d  p l a n t   d i s e a s e   d e t e c t i o n  i s   a m o ng   t he   e s s e n t i a l   a c t i v i t i e s   i n   pr e c i s i o n  a g r i c u l t u r e   f o r   o bs e r v i ng   i nc i d e nc e   a n d  m e a s u r i ng   t he   s e v e r i t y   of   v a r i a b i l i t y   i n  c r o ps .   70 %   t o   80 %   o f   t he   v a r i a b i l i t i e s   a r e   a t t r i but e d  t o   di s e a s e s   c a us e d  by   pa t ho g e ns ,   a nd  60 %   t o   70 %   a ppe a r   o n  t he   l e a v e s   i n  c o m pa r i s o n  t o   t he   s t e m   a nd  f r u i t s .   T h i s   w o r k  pr o v i de s   a   c o m pa r a t i v e   a n a l y s i s   t h r o ug h  t he   m o de l   i m p l e m e n t a t i o n  o f   t he   t w o   r e no w ne d  m a c hi ne   l e a r n i ng   m o de l s ,   t he   s uppo r t   v e c t o r   m a c hi ne   ( S V M )   a n d  de e p  l e a r n i ng   ( D L ) ,   f o r   pl a nt   d i s e a s e   de t e c t i o n  u s i ng   l e a f   i m a g e   da t a .   U n t i l   r e c e n t l y ,   m o s t   o f   t he s e   i m a g e   pr o c e s s i ng   t e c hn i qu e s   h a d  be e n,   a nd  s o m e   s t i l l   a r e ,   e x pl o i t i ng   w ha t   s o m e   c o ns i de r e d  a s   " s ha l l o w "   m a c hi ne   l e a r ni ng   a r c hi t e c t ur e s .   T he   D L   n e t w o r k  i s   f a s t   be c o m i ng   t he   be nc hm a r k  f o r   r e s e a r c h  i n  t h e   f i e l d  o f   i m a g e   r e c og ni t i o n  a nd  pa t t e r n  a n a l y s i s .   R e g a r d l e s s ,   t he r e   i s   a   l a c k  o f   s t ud i e s   c o nc e r n i ng   i t s   a ppl i c a t i o n  i n  p l a nt   l e a v e s   di s e a s e   de t e c t i o n.   T hus ,   bo t h  m o de l s   ha v e   be e n   i m pl e m e n t e d   i n   t hi s   r e s e a r c h  o n  a   l a r g e   p l a nt   l e a f   di s e a s e   i m a g e   da t a s e t   u s i ng  s t a nda r d  s e t t i ng s   a nd  i n  c o ns i de r a t i o n  o f   t he   t hr e e   c r uc i a l   f a c t o r s   o f   a r c hi t e c t u r e ,   c o m put a t i o na l   po w e r ,   a nd  a m o unt   o f   t r a i n i ng   da t a   t o   c om pa r e   t he   d uo s .   R e s ul t s   o bt a i n e d  i nd i c a t e d  s c e na r i o s   by   w hi c h  e a c h  m o de l   be s t   pe r f o r m s   i n  t h i s   c o nt e x t ,   a nd  w i t h i n  a   p a r t i c ul a r   do m a i n  o f   f a c t o r s   s ug g e s t s   i m pr o v e m e nt s   a nd  w h i c h  m o de l   w o ul d  b e   m o r e   pr e f e r r e d .   I t   i s   a l s o   e nv i s a g e d  t h a t   t h i s   r e s e a r c h  w o ul d   pr o v i de   m e a n i ng f ul   i ns i g ht   i n t o   t he   c r i t i c a l   c ur r e nt   a nd  f u t u r e   r o l e   o f   m a c hi ne   l e a r n i ng   i n  f o o d  s e c ur i t y .   Ke y w or d s :   D e e p  l e a rni n g   Im a ge   p r o c e s s i n g   M a c hi n e   l e a rni n g   P l a n t   d i s e a s e   de t e c t i o n   SVM   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   A l i y u  M .   A b du   S c h o o l   of   E l e c t ri c a l   E ngi n e e ri n g   U n i v e r s i t i   T e kn o l o gi   M a l a y s i a   J o h o r ,   M a l a y s i a   E m a i l :   a l i y u104 @ y a h o o . c o m       1.   I N TR O D U C TI O N   P l a n t   di s e a s e   de t e c t i o n  i s   a   c r uc i a l   pa rt   o f   pr e c i s i o n  a g ri c ul t u r e   t h a t   p ri m a ri l y   de a l s   w i t h  t h e   ob s e r v a t i o n   o f   t h e   e a r l i e s t   s t a ge s   o f   di s e a s e s   i n   pl a n t s   [ 1] .   A s   di s e a s e   o ut b r e a ks   a r e   a l s o   i n c r e a s i ngl y   b e c o m i n g  r a m p a n t   a c r o s s   t h e   gl o b e ,   t h e   o ut c o m e   of   e a r l y   di s e a s e   de t e c t i o n   c a n   b e   us e d  fo r   di s e a s e   di a g n o s i s ,   c o n t r o l ,   a n d  da m a ge   a s s e s s m e nt ,   e s pe c i a l l y   s i n c e   s o m e   a re   e xt r e m e l y   di ff i c ul t   t o   c o n t r o l   a n d  c a n   l e a d  t o   f a m i n e   [2 - 3] .   F u rt h e r m o r e ,   t h e   i n f o r m a t i o n   c a n  a l s o   h e l p  w i t h   t h e   a pp l i c a t i o n  o f   di s e a s e - s pe c i f i c   r e m e d y   o r   c h e m i c a l   a pp l i c a t i o n s   s uc h   a s   pe s t i c i de   a n d  f un g i c i de   fo r   i m p r o v e d  pr o duc t i v i t y   a n d  a v e r t   l o s s e s   t h a t   c a n   ra n ge   i nt o   b i l l i o n s   [4 ] .   F r o m   l i t e ra t u r e ,   pl a n t   di s e a s e   de t e c t i o n   i s   a b o ut   m e a s u ri n g  t h e   di s e a s e   i n c i de n c e ,   i t s   s e v e r i t y ,   a n d  c o n s e que n c e   [4] .   D i s e a s e   i n c i de n c e   i s   t h e   p r o p o r t i o n  o f   pl a n t s   i n   a   f a rm   o r  l e a v e s   o n   a   di s e a s e d  pl a nt .   S e v e r i t y ,   s o m e t i m e s   i n t e r c h a n ge d   w i t h   i nt e n s i t y ,   c a n   b e   e xpr e s s e d  a s   t h e   r a t e   a t   w hi c h  t h e   di s e a s e   a r e a   of   t h e   pl a n t   m a n i f e s t   (i . e . ,   r e l a t i v e   o r   a b s o l ut e   a r e a   da m a ge d   by   di s e a s e ).   A t   t h e   s a m e   t i m e ,   t h e   c o n s e que n c e   i s   t h e   o ut c o m e   i n  t h e   f o rm   o f   a   pe r c e n t a ge   o f   y i e l d  l o s t   o r  qu a l i t y   of   y i e l d  dr o p  i n  t h e   h a r v e s t .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A r t i f   I n t e l l   IS S N :   2252 - 8938       Mac h i ne   l e ar ni n g  f or   p l an t   d i s e as e   d e t e c t i on :  an   i nv e s t i g at i v e   c om par i s on   b e t w e e n . . .   ( A l i y u   M.   A bdu )   671   P l a n t   di s e a s e   de t e c t i o n   m e t h o ds   a r e   c l a s s i f i e d  i n t o   de s t r uc t i v e   (s e r o l o g y   a n d  m o l e c ul a r   m e t h o ds )  a n d  n o n - de s t r uc t i v e   (b i o m a r ke r - b a s e d  a n d  p l a nt   p r o pe r t i e s   i m a g e   pr o c e s s i n g - b a s e d  t e c h ni que s   i n c l ude d)  [ 4] .   T h e   us e   of   i m a ge - b a s e d  t e c hn i que s   i n   p r e c i s i o n   a g r i c ul t u r e   h a s   gr o w n   t r e m e n do us l y   t hr o ug h   m a c h i n e   l e a rn i ng - b a s e d  m e t h o ds .   T h i s   c a n  b e   a t t r i b ut e d  t o   t h e   a v a i l a b i l i t y   o f   h i g h e r - qua l i t y   m e a s ur e m e nt s ,   c o upl e d  w i t h   m o de rn   a l go ri t hm s   a n d  a n   i n c r e a s e d  po s s i b i l i t y   t o   f us e   m ul t i pl e   s o ur c e s   of   i m a ge s .   T h e s e   i m a ge s   c a n   e i t h e r   b e   f r o m   s a t e l l i t e   i m a ge r y ,   s e n s o r s ,   o r   e v e n   c a m e ra s   po s i t i o ne d  i n   f i e l ds .   E a rl i e r   i m a gi ng  t e c hni que s   w e r e   n o t   c os t - e ffe c t i ve ,   w h i c h   i n c l ude   h y pe r s pe c t r a l   i m a g i n g ,   f l uo r e s c e n c e   i m a gi ng,   s pe c t r o s c o p y ,   i n f r a r e d ,   a n d  e v e n   x - ra y   i m a gi n g  [5 - 7] .   N o w a da y s ,   i m a ge   p r o c e s s i n g  t e c hni que s ,   t o ge t h e r   w i t h   m a c h i n e   l e a rni n g  c l a s s i f i e r s ,   c a n  e ff i c i e n t l y   i de n t i fy   s uc h   di s e a s e s   i n   c o l o r   i m a ge s   a t   a dv a n c e d  l e v e l s   w i t h   e xc e l l e nt   p r e c i s i o n   [7] .   A l s o ,   c l a s s i f i c a t i o n  b a s e d  o n   p l a n t   p r o pe r t i e s   c a n   b e   m i m i c ke d  t hr o ug h   c o l o r ,   s ha pe ,   a n d   t e xt u r e   f e a t u r e s   t o   e nh a n c e   c l a s s i f i c a t i o n   a c c ura c y .   T h e   e n o rm o us   po t e n t i a l   f or   t h e   s uc c e s s   of   t h e s e   a l go r i t hm s   ha s   m o t i v a t e d   f ur t h e r   de v e l o pm e n t   i n   h e r b i c i de   a pp l i c a t i o n s   [6] .   F uz z y   a l go r i t hm s   b a s e d  o n   g r e e n   c o l o r   a na l y s i s   of   pl a n t s   ha v e   a l l o w e d  fo r   t h e   i n t e g ra t i o n   o f   t hi s   k n o w l e dge   i n t o   f a r m   m a n a ge m e nt   p l a n s   a n d   p r o v i de d  di s e a s e   c ove r a ge   e s t i m a t i o n   [6] .   H e n c e ,   f r o m   t h e   a pp l i c a t i o n s   i n   p r e c i s i o n   a g ri c ul t u r e   l i s t e d  a b o ve ,   w e   c a n   e a s i l y   i m a gi n e   t h e   f ut u r e   o f   t h e   r o l e   o f   m a c h i n e   l e a rni n g  i n   a g ri c ul t u r a l   p r o c e s s e s ,   pa rt i c ul a r l y   i n   t hi s   a s pe c t   of  di s e a s e s   a s s o c i a t e d  w i t h  p l a nt   l e a v e s .   T h e   m a c h i n e   l e a r ni n g  p r o c e s s   c a n   e i t h e r   b e   s upe r v i s e d  or   u n s u pe r v i s e d.   S upe r v i s e d  l e a rni n g  i s   w h e r e   t h e   m a c h i n e   i s   t a ug ht   a nd  t r a i n e d  us i n g  a   w e l l - l a b e l e d  i m a ge   da t a s e t   o f   di s e a s e d  pa i r .   T ha t   i s   t h e   da t a   t h a t   i s   a l r e a dy   t a gge d  w i t h   t h e   c o r r e c t   di s e a s e   c l a s s i f i c a t i o n s   o r   a b s e n c e   t h e r e o f .   T h e   h i g h e r   o r   l a r ge r   t h e   da t a s e t ,   t h e   m o r e   a c c u r a t e   t h e   m a c h i n e   l e a rn s   [5] .   I n  p ra c t i c e ,   t w o   m a i n  c l a s s i f i c a t i o n   a pp r o a c h e s   e xi s t ,   w h i c h   a r e   a   de e p  l e a rn i ng  a pp r o a c h   a n d  a   c o n v e n t i o na l   c l a s s i f i e r   a pp r o a c h   [8 - 9] .   I n   t h e   D L   a ppr o a c h ,   a   D L   c l a s s i f i e r   i n c o r po ra t e s   s e v e r a l   l a y e r s   of   i n f o r m a t i o n   p r o c e s s i ng  s t a ge s   t h a t   a r e   a rra n ge d  i n   a   hi e ra r c h y   o f  n e u r a l   n e t w o r k  l a y e r s .   T h e s e   l a y e r s   a r e   t h e n   e xpl o i t e d  f o r   f e a t u r e   l e a rni n g ,   a n a l y s i s ,   a n d   pa t t e rn   c l a s s i f i c a t i o n  [10] .   T h e   D L   c l a s s i f i e r s   c a n   a ut o m a t i c a l l y   l e a rn   100 0s   of   gl ob a l   f e a t ur e   r e p r e s e nt a t i o n s   f r o m   t h e   w h o l e   l e a f ,   a   r e gi o n   o r   n e i g h b o rh o o d,   o r   a   s e gm e n t e d  r e gi o n   o f   i n t e re s t   [10 - 12] .   T h e   e xa m p l e s   fo r   t h e s e   c l a s s i f i e r s   i n c l ude   c o n vo l ut i o na l   n e u r a l   n e t w o r ks   (CN N s ),   r e c urr e nt   n e ura l   n e t w o r ks   (R N N s ),   a n d  de e p  n e u ra l   n e t w o r ks   (D N N s ),   a m o n g   w h i c h   CN N   i s   m o s t   po pul a r  a nd  ha s   s h o w n   e xc e l l e n t   pe r f o r m a n c e   f o r   o bj e c t   a n d  i m a ge   c l a s s i f i c a t i o n   [9,   13 - 14] .   O n  t h e   o t h e r  h a nd,   a   c o n v e n t i o na l   c l a s s i f i e r  a na l y z e s   t h e   i n p ut   l a b e l e d  da t a   a n d  ob s e r ve s   t h e   c o r r e l a t i o n   b e t w e e n   f e a t ur e   a t t ri b ut e s   t ha t   a r e   e xt ra c t e d  f r o m   a   r e gi o n   o f   i n t e r e s t   w i t h i n   t h e   i m a ge   duri n g  t ra i ni n g .   T h e s e   fe a t u r e s   a r e   t h e n   us e d  a s   t he   l e a rn e d  pa ra m e t e r s   t o   pr e di c t   t h e   s ub s e que n t   unl a b e l e d  da t a   du ri n g  di s e a s e   c l a s s i f i c a t i o n   [6,   15] .   T h e r e   a r e   a l s o   m a n y   di ffe r e nt   c o n v e n t i o na l   t e c hni que s   fo r   b ui l di n g   m a c hi n e   l e a rni n g   m o de l s   s uc h  a s   t h e   K - n e a r e s t   n e i g h b o r   (K - N N ) ,   na i v e   b a y e s ,   s uppo r t   v e c t o r   m a c h i n e s   (S V M s ),   a n d  l i n e a r   di s c ri m i n a nt   a na l y s i s   (L D A ).   H ow e ve r ,   m o s t   r e s e a r c h   i n   p l a nt   di s e a s e   de t e c t i o n   ha s   e m p h a s i z e d  t h e   us e   of   t h e   S V M   l e a rni n g  a l go ri t hm   a b o ve   t h e   o t h e r   c o n v e n t i o na l   c l a s s i f i e r s   [7,   1 6] .   S V M   ha s   b e e n   w i de l y   us e d  i n   s o l v i n g  m a n y   w e l l - c o n s t ra i n e d  pl a nt   di s e a s e   de t e c t i o n   pr o b l e m s   i n   s m a l l e r   da t a .   In  m o r e   o f t e n   c a s e s   t h a n   n o t ,   i t   i s   h i g hl y   l i ke l y   t o   h a v e   a   t ra d e - off   b e t w e e n   l i m i t e d  m o de l i n g  w i t h   S V M   a n d   r e p r e s e n t a t i o na l   po w e r   w i t h   D L .   F urt h e r m o r e ,   t h e   D - CN N   n e t w o r k,   e v e n   t h o ugh   i t   ha s   b e e n   v e r y   m uc h   a r o un d   f o r   de c a de s ,   o nl y   r e c e n t l y   h a s   j us t   b e gun   i t s   de b ut   i n  i m a ge   p r o c e s s i n g  a pp l i c a t i o n s   f o r   pl a n t   di s e a s e   de t e c t i o n   [9 ,   17 - 19] .   M o s t   of   t h e   c urr e n t   m a c hi n e   l e a rni n g  m e t h o ds   a r e   y e t   t o   b e   r ob us t   e n o ugh   t o   b r i dge   t h e   ga p  b e t w e e n   t h e   r e a l - w o r l d  m e t h o ds   o f   pl a n t   di s e a s e   de t e c t i o n ,   o f t e n   due   t o   t h e   c h o i c e   of   pr o c e s s   o r   i t s   s pe c i f i c i t y   t o   o n e   s y m pt o m   [5,   17] .   O n e   of   t h e   m o s t   di ff i c ul t   c h a l l e n ge s   i s   t ha t   pl a nt   s pe c i e s   h a v e   s o m e   di s e a s e s   w i t h   a   s i g n i f i c a n t   de gr e e   o f   s i m i l a ri t y   a n d  c a n  a ppe a r  s i m ul t a n e o us l y   o n   a   s i ngl e   p l a nt .   T hi s   a f f e c t s   n o t   o n l y   t h e   i m a ge   p r o c e s s i n g  a n d  m a c h i n e   l e a rn i ng  m e t h o ds   b ut   e qua l l y   h u m a n  e xpe rt s   a s   w e l l .   T h us ,   i t   i s   pa ra m o unt   f o r   t h e   c h o i c e   o f   m e t h o d  t o   b e   r e l e v a n t   f o r   t h e   t a r ge t   di s e a s e   de t e c t i o n .     T h e   l i t e r a t u r e   o n  r e l a t e d  w o r ks   S e ve r a l   r e s e a r c h  s t ud i e s   o n   m a c hi n e   l e a rni n g  f o r   i m a ge - b a s e d  pl a nt   d i s e a s e   c l a s s i f i c a t i o n   ha v e   b e e n   r e po rt e d  [1,   7,   20 - 21 ] .   I n  s um m a r y ,   a   l a rge   po r t i o n   f o c us e d  o n   c o n v e n t i o na l   c l a s s i f i c a t i o n   t e c hn i que s   s uc h   a s   S V M   w h i l e   o t h e r s   o n   D L .   K a u r   e t   a l .   m a de   a   m o r e   c o m pre h e n s i v e   s um m a r y   of   m a c h i n e   l e a rni n g  m e t h o ds   a ppl i e d  i n   di f f e r e n t   p l a nt   c ul t u r e s .   O n e   of   t h e   b a s e s   fo r   t h e i r   o b s e r v a t i o n s   w a s   t o   i de n t i fy   t h e   m o s t   po pul a r   c l a s s i f i e r   [3] .   W o r k  f r o m   Ca m a rgo   a n d  S m i t h   i s   o n e   o f   t h e   e a rl i e s t   p r o po s e d  w o r ks   o n   pa t t e rn  r e c o gn i t i o n  us i n g  S V M .   D i s e a s e d  r e gi o n s   s uc h  a s   s po t s ,   l e s i o n s   o r   s t a i n s ,   a n d  s t ri ke s   w e r e   i de n t i f i e d  a n d  s e g m e nt e d,   a n d   f e a t ur e s   w e r e   l a t e r   e xt ra c t e d  a nd  f e d   a s   i n pu t s   t o   t h e   c l a s s i f i e r   [22] .   W i t h   a   da t a s e t   of   117  i m a ge s ,   t h e   t ra i n e d  c l a s s i f i e r   r e c o r de d  93%  a c c ur a c y .   T h e y   pr ov e d  t h e   hy po t h e s i s   of   us i n g  t e xt u r e   f e a t ur e s   a s   v a l i d   di s c r i m i na t o r s   f o r   pl a nt   d i s e a s e   i de nt i f i c a t i o n,   f urt h e r m o r e ,   s e t   a   p r e c e de n t   f o r   us i n g   t h e   e xt ra c t e d  f e a t u r e s   a s   i n put s   t o   t h e   m a c h i n e   l e a rni n g  a l go r i t h m   t o   i de n t i fy   pl a n t   d i s e a s e   v i s ua l   s y m pt o m s .   Ca m a rgo   a n d   S m i t h,   i n  s e pa ra t e   r e s e a r c h ,   p r e s e n t e d  t h e   i m a ge   r e gi s t r a t i o n   p r o c e du r e   o n   h o w   pr e pr o c e s s i n g  (f i l t e r i ng  a nd  i nt e n s i t y   di s t r i b ut i o n ) ,   i de n t i f i c a t i o n ,   a n d  s e gm e n t a t i o n   o f   t h e   di s e a s e   s y m pt o m s   r e gi o n s   (R O Is )  w e r e   m a de   [23] .   T h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8938     I n t   J   A rt i f   I nt e l l ,   V o l .   9 ,   N o .   4 ,  D e c e m be r   20 20 :     6 7 0   –   6 83   672   f e a t ur e s   w e r e   ob t a i n e d  f r o m   h ue   s a t u ra t i o n   a n d  v a l ue   (H S V )  c o l o r   c h a nn e l s   o f   t h e   R O I  us i n g  c o - o c c urr e n c e   m a t r i x  m e t h o do l o g y .   B e r na r de s   e t   al .   a l s o   us e d  t h e   S V M   fo r   t h e   a ut o m a t i c   c o t t o n   fo l i a r   di s e a s e   c l a s s i f i c a t i o n,   a l t h o ug h   t h e   w a v e l e t   t r a n s f o r m   w a s   e m pl oy e d  a s   t h e   f e a t u r e   e xt ra c t o r   [2 4] .   T h e   i m a ge   d a t a s e t   us e d  c o n t a i n e d   a   t o t a l   n u m b e r   o f   420  i m a ge s   o f   v a r y i n g  s c a l e s   a n d  i nt e n s i t i e s .   H ow e v e r ,   t h e   w o r k  di d  n o t   r e po r t   t h e   m e t h o ds   us e d  f o r   t h e   pr e p r o c e s s i n g,   n o r   d i d  i t   s pe c i fy   t h e   us e   o f  s e gm e n t a t i o n   a l go ri t hm s .   It   i s   i n   t h i s   r e ga r d  t ha t   de s pi t e   ha v i n g  a   t o t a l   o f   216  fe a t ur e   v e c t o r s ,   t h e   r e po r t e d   c l a s s i f i c a t i o n   ra t e   ra n ge d  f r o m   80 %  t o   96. 2% .   B a r b e do   et   al .   p r o po s e d  a   pa i r - w i s e   b a s e d  c l a s s i f i c a t i o n   s y s t e m   w h e r e   t h e   m a i n   f e a t u r e s   w e r e   de t e r m i n e d   us i n g  c o l o r   t ra n s f o r m a t i o n s   a n d  r e l e v a n c e   hi s t o gra m s   [25] .   T h e   i m a g e   da t a s e t   w a s   c o m po s e d  of   82  (74  di s e a s e s ,   f o ur   pe s t s ,   a n d   f o ur   a b i o t i c   di s o r de r s )  di s o r de r s   s p re a d  a c r o s s   12  pl a n t   s pe c i e s ,   w i t h   o nl y   15%  o f   t h e   t o t a l   i m a ge s   r e po r t e d  t a ke n   u n de r   c o nt r o l l e d  c o n di t i o n s   w hi l e   t h e   r e s t   u nde r  r e a l   c o n d i t i o n s   f r o m   de s i g n a t e d  e xpe r i m e nt a l   f i e l ds .   T h e   g ui de d  a c t i v e   c o n t o ur   (G A C)  m e t h o d  w a s   us e d  fo r   l e a f   s e gm e n t a t i o n,   w h i c h   e m pl oy e d  t w o   m a s ks   ge n e r a t e d  b a s e d  o n   di s c o l o r a t i o n.   T h e   p r o po s e d  m e t h o d  r e po r t e d  a   l o w   a v e r a ge   a c c ur a c y   of   58%  a c r o s s   a l l   t h e   s pe c i e s ,   m a i n l y   t o   t h e   a b s e n c e   o f   di s t i n c t   s i m i l a ri t i e s   be t w e e n   s o m e   di s e a s e s ,   s pa r s e   i m a ge   da t a s e t s ,   a n d   l a c k  o f   pr e pr o c e s s i n g  o n   i n pu t   i m a ge s .   S i n g h   a n d  M i s r a ,   i n  a   s i m i l a r   a pp r o a c h,   m a de   us e   o f   a   ge n e t i c   a l go r i t h m   (G A )  f o r   t h e   s e gm e n t a t i o n   o f   di s e a s e d  r e gi o n s   a f t e r   f i r s t   pe r f o r m i ng  pr e p r o c e s s i n g  [26 ] .   B o t h  t e xt u r e   a n d   c o l o r   f e a t ur e s   w e r e   us e d  fo r   t h e   s e gm e n t a t i o n   a n d  s ub s e que n t   i de nt i f i c a t i o n   o f  di s e a s e   pr e s e n c e   o r   a b s e n c e   t h e r e of   us i n g  t he   S V M   c l a s s i f i e r .   A   da t a s e t   o f   106  c a pt u r e d  l e a f  i m a ge s   w a s   s pl i t   i nt o   t r a i n i ng  a nd  t e s t i ng.   T h e   a v e ra ge   c l a s s i f i c a t i o n   a c c u r a c y   w a s   r e po r t e d  a t   97 %  w h e n  t e s t e d  o n   f o ur   pl a n t   s pe c i e s   a n d  f i v e   di s e a s e s .   T h e   r e s e a r c h   o v e r r u l e d  us e   of   s h a pe   f e a t u r e s   s uc h   a s   e xt e n t   a n d   c i r c ul a r i t y   due   t o   s h a pe   v a ri a t i o n   o f   a s   di s e a s e s   e vo l v e   i n t o   s e v e r e   s t a ge s .   T h e   p r o po s e d  m e t h o d  t a i l o r e d  t h e   s e gm e n t a t i o n   a n d  f e a t u r e   e xt ra c t i o n  p r o c e s s   t o   b e   l e s s   c o m pr o m i s i n g .   H ow e ve r ,   t h e   l a c k  o f   us i n g  a   p r o pe r  i m a ge   da t a s e t   r e duc e d  t h e   r e l e v a n c e   of   t h e   w o r k.   A l t h o ug h   w o r ks   a r e   s t i l l   r e po r t e d  o n   t h e   a pp l i c a t i o n   o f   t h e   S V M ,   e n s u r i ng  s i m p l i c i t y   a n d  r o b us t n e s s   of   t h e   s e gm e n t a t i o n   p r o c e s s   fo r   di s e a s e d  R O I  s e e m   t o   b e   t h e   pri o r i t y .   D h i n g ra   e t   a l .   p r e s e n t e d  a   n e ut r o s o ph i c   a pp r o a c h   t h a t   ut i l i z e s   t h e   CIE L a b   c o l o r   s pa c e   t o   de t e c t   c o l or   h o m o ge n e i t y   c h a n ge s   pr o duc e d  by   t h e   di s e a s e   s y m pt o m s   [27] .   A l s o ,   B a r b e do  pr e s e n t e d  a   l e s s   c o m pl i c a t e d  i m a ge   p r o c e s s i n g  a pp r o a c h   by   e x e r t i ng  c ha n ge s   t o   t h e   R G B   c o l o r   c ha nn e l   t o   f o r m   4  b i n a r y   m a s ks   a n d  t h e n   a pp l y i n g  B o o l e a n   o pe ra t i o n s   o n   t h e   m a s ks   t o   ob t a i n   c ut - o ff   t hr e s h o l ds   [24 - 2 5] .   W u  e t   al .   p r o po s e d  a n   e ff e c t i v e   s e gm e n t a t i o n   m e t h o d  fo r   R G B   di s e a s e d   l e a f   i m a ge s   b a s e d  o n   c o l o r   t ra n s f o r m a t i o n ,   us i n g   l i n e a r  di s c ri m i na nt   a n a l y s i s   (L D A )  c o m b i n e d  w i t h   d i f f e r e n t   c o l o r   s e pa r a t i o n   m o de l s   (L a b ,   Y Cb Cr,   I 1I2I3 ,   R G B ,   a n d   H S V )  [28] .   T h e   i m a ge   d a t a   ( t o t a l   o f   100  i m a ge s )  c o m pr i s e s   o f   pi c t ur e s   t a ke n   f r o m   a   f a rm   f i e l d   c a pt u r e d   us i n g   a   hi g h - r e s o l ut i o n   d i gi t a l   c a m e ra .   B a s e d  o n   r e s ul t s   o b t a i n e d  (a v e r a ge   a c c ur a c y   of  91%),   t h e y   c o n c l ude d  t ha t   t h e   R G B ,   Y C b Cr ,   I1I2I3 ,   a n d  H S V   i n   t h a t   o r de r   w e r e   s ui t a b l e   m o de l s   t o   e m pl oy   fo r   pr o pe r   s e gm e n t a t i o n   o f   di s e a s e d  pi xe l s   f r o m   t h e   i m a ge s .   X u  e t   a l . ,   i n   t h e i r   p r o po s e d  w o r k,   i n c o r po r a t e d  a   s y n e r ge t i c   m e t h o d  by   c o m b i n i ng  b a s i c   i m a ge   pr o c e s s i n g  a l go r i t hm s   s uc h   a s   e dge   de t e c t i o n   a n d  m o r p h o l o g y   fo r   s e gm e n t a t i o n  a n d  e xt ra c t i ng  f e a t u r e s   fo r   w h e a t   r us t   di s e a s e   de t e c t i o n   [29] .   Co n c l us i v e l y ,   t h e   R O I  s e gm e nt a t i o n   p r o c e s s   i s   e xc e e di n g l y   i m po r t a n t   w h e n  i t   c o m e s   t o   t h e   S V M   us e   c a s e .   T h e   p r o c e s s   of   s e gm e n t a t i o n ,   h o w e v e r ,   i s   n o t   a   n e c e s s a r y   s t e p  w h e n   us i n g  a   D L   n e t w o r k.   M o h a nt y   e t   a l .   a n d   S l a do j e v i c   e t   al .   b o t h   us e d  D L   n e t w o r k - b a s e d  a ppr o a c h  f o r   t h e   di s e a s e   c l a s s i f i c a t i o n   us i n g  t r a n s f e r  l e a rn i ng  a n d  g a t h e r e d  i m a ge s   t h a t   f o r m e d  l a rge   da t a s e t s   [30 - 31] .   T h e   f o r m e r   p r e s e nt e d  pe rha ps   t h e   f i r s t   a ppl i c a t i o n   o f   D L   t o   pl a nt   di s e a s e   de t e c t i o n   a n d  c l a s s i f i c a t i o n   o n   a   r e l a t i v e l y   c o m pr e h e n s i v e   P l a n t V i l l a ge   i m a ge   da t a s e t   [ 30] .   It   c o n s t i t ut e d  o v e r   54 , 000   i m a ge s   o f   14  di f f e r e n t   c r o p  s pe c i e s   (t o m a t o ,   po t a t o ,   a pp l e ,   pe ppe r ,   e t c . )  a nd  26  d i s e a s e s   (h e a l t h y   a n d   u nh e a l t h y ).   In  bo t h   w o r ks ,   a   de e p  c o n vo l ut i o n   n e u ra l   n e t w o r k  (D CN N )  m o de l   w a s   d e v e l o p e d  a n d  t ra i n e d  t o   pe r f o r m   t h e   d i s e a s e   c l a s s i f i c a t i o n .   U s i n g  t w o  di ff e r e n t   s e t s   of  t r a i ni n g  w hi c h   a r e   t ra n s f e r   l e a rn i ng  (us i n g  A l e xN e t   a n d  G oo gL e N e t   [32] )  a n d  t ra i n i n g  f r o m   s c ra t c h ,   t h e y   a c hi e v e d  ov e r   95%  a c c u r a c y   o n   bo t h   a c c o un t s   us i n g  t h e   da t a s e t .   T h e   p r o c e s s   o f   s e gm e n t a t i o n   i s   o v e r r a t e d  i n  t h e s e   a pp r o a c h e s .   A n o t h e r   r e po rt e d  w o r k  by   X u  e t   al .   us i n g   t h e   s a m e   P l a n t V i l l a ge   d a t a s e t   s h o w e d  a   t e s t   a c c ur a c y   of   90. 4%  us i n g  a   V G G - 16  m o de l   t ra i n e d  w i t h   t ra ns fe r   l e a rni n g  [29 ] .   F ue n t e s   e t   a l .   a l s o   a ppl i e d  t h e   D L   a r c hi t e c t u r e   f o r   r e a l - t i m e   i m pl e m e nt a t i o n  o n  t o m a t o   c r o ps   [33] .   A l l   t h e   l i s t e d  w o r ks   o n  D L   w e r e   t r a i n e d   us i n g  po w e r f ul   G P U s ,   a n d ,   e xc e pt   f o r   [30 ] ,   a l l   e m pl o y e d  o n l y   t r a n s f e r   l e a rn i ng.   In   r e f e r e n c e   t o   t h e   r e v i e w e d  l i t e r a t u r e ,   c o n v e n t i o na l   m a c h i n e   l e a rni n g  c l a s s i f i e r s   a r e   s t i l l   i n  c o n s i s t e n t   us e   [21] .   O ut   o f   a l l   t h e   r e s e a r c h   a rt i c l e s ,   t h e y   s um m a ri z e d  t ha t   4 1%  h a d  e m pl o y e d  t h e   us e   of   S V M   w h i l e   t h e   n e xt   po pul a r   w a s   a t   17%  a n d  14%  f o r   N N   a n d  K - ne a r e s t   n e i g h b o r   (K - N N ),   r e s pe c t i v e l y .   T h e   r e s t   of  t h e   c l a s s i f i e r s   c o m b i n e d  de e p  l e a rni n g  i n c l ude d  w e r e   a t   28% .   T hus ,   t h i s   w i de   m a r g i n   p r o v e s   t h e   po pul a ri t y   of  S V M   a m o n g  a l l   o t h e r   c o n v e n t i o na l   c l a s s i f i e r s .   D e e p  c o n vo l ut i o n   n e u r a l   n e t w o r k  ga v e   r i s e   t o   D L ,   a nd  i t s   c urr e n t   po pul a r i t y   i n   t h i s   c o n t e xt   i s   f a s t   b e i n g   c o n s i de r e d  a s   a   b e n c hm a r k .   H e n c e   t h e r e   i s   s o m e   c o n f us i o n   o n   t h e   t y pe   of   m o d e l   m o s t   pr e f e r r e d  f o r   a ppl i c a t i o n   i n   pl a n t   d i s e a s e   de t e c t i o n .   T hi s   o f t e n   pl a gue s   r e s e a r c h e r s   t o   c h o o s e   a m o n g   t h e   t w o ,   pa r t i c ul a rl y   w i t h   r e g a r ds   t o   t h e   a m o un t   o f   c o m put a t i o n a l   po w e r ,   t ra i ni n g   da t a   a nd  r e qui r e d   m e m o r y   f o r   e xpe r i m e nt a l   i m p l e m e n t a t i o n s .   D e s pi t e   t h e   p r o gr e s s   b e i n g   m a de   i n  m a c h i n e   l e a rn i ng  Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A r t i f   I n t e l l   IS S N :   2252 - 8938       Mac h i ne   l e ar ni n g  f or   p l an t   d i s e as e   d e t e c t i on :  an   i nv e s t i g at i v e   c om par i s on   b e t w e e n . . .   ( A l i y u   M.   A bdu )   673   a l go ri t hm s ,   pa rt i c ul a r l y   t h e   D L ,   i t   i s   y e t   t o   be   a s   po pul a r   i n   p l a nt   di s e a s e   de t e c t i o n   r e s e a r c h.   H ow e v e r ,   w h y   i s   t h a t ?   A r e   t h e r e   c o m pl i c a t i o n s   o r  l i m i t a t i o n s   a s s o c i a t e d  w i t h   t h e   D L   n e t w o r k?   O r ,   a r e   t h e r e   c e rt a i n   c o n di t i o n s   w h e r e   t h e   us e   of   i t   i s   n o t   p r e f e r a b l e ?   If   s o ,   w h a t   c o ul d  t h e y   b e ?   If   D L   i s   s upe r i o r,   w h y   d o   s o m e   r e s e a r c h e r s   s t i l l   p r e f e r   t o   us e   c o n v e n t i o na l   c l a s s i f i e r s   s uc h   a s   S V M   f o r   pl a nt   di s e a s e   de t e c t i o n ?   Ca n   t h e   t w o  be   c o m b i n e d  fo r   b e t t e r   c l a s s i f i c a t i o n   a c c ura c y ?   It   m a y   b e   c h a l l e n gi ng  t o   e xa m i n e   a n d  a n s w e r   a l l   t h e s e   que s t i o n s   a n a l y t i c a l l y .   N e ve r t h e l e s s ,   w e   c a n   e xpe r i m e nt a l l y   c o m pa re   t h e   c o n v e n t i o na l   m e t h o d  S V M   a n d  t h e   D L   n e t w o r k   t o w a r ds   de t e r m i n i ng  t h e   e xt e nt   o r   c o n d i t i o n s   b o t h  s y s t e m s   pe r f o r m   b e s t   i n  a   pl a nt   d i s e a s e   i m a ge   da t a s e t .   A   c o m pa r i s o n   o f   t h e   r e s ul t s   c o ul d  a l s o  h i g hl i g ht   w h i c h   w i l l   b e   b e s t   s ui t e d  i n   s pe c i f i c   s c e n a ri o s .   T h e r e   ha s   b e e n   a   s e pa r a t e   qua n t i t a t i v e   a n a l y s i s   fo r   bo t h   n e t w o r ks ,   pa r t i c ul a rl y   S V M .   H ow e v e r ,   t o   t h e   b e s t   of   o ur   kn o w l e dge ,   n o   s t udi e s   s y s t e m a t i c a l l y   i n v e s t i ga t e   t h e i r   c o m pa r i s o n s   i n   t hi s   do m a i n.   F urt h e r m o r e ,   t h e r e   i s   n o   c o n s e n s us   a m o ng  r e s e a r c h e r s   r e ga rdi n g  w hi c h   m a c hi n e   l e a rn i ng  m e t h o d  c a n   b e   a ppl i e d  i n   d i f f e r e n t   c o n di t i o n s   t o   de t e c t   pl a nt   di s e a s e   [25] .   T h us ,   t h i s   p a pe r   a na l y z e d  t h e   t w o   e x c e pt i o n a l   m e t h o ds ,   S V M   a nd  D L ,   w i t h   t h e   o bj e c t i ve s   t o   c o n f i r m   h o w   c o m pe t i t i v e   a   s h a l l o w   a ppr o a c h   i s   (S V M )  c o m pa r i n g  t o   t h e   m o r e   c o m pl e x  o n e   (D L ).   T h i s   go e s   a   l o n g  w a y   i n   pr o v i di n g  s ugge s t i o n s   o n  t h e   c h o i c e   of   t h e   m e t h o d  de pe n di n g  o n   s pe c i f i c   s c e n a r i o s .   T h e   a na l y s i s   foc us e s   o n   di s e a s e - pa i r   ( h e a l t h y   a nd  unh e a l t h y )  de t e c t i o n   b ut   w i t h   m o r e   e m p ha s i s   o n  c l a s s i f i c a t i o n.       2.   R ES EA R C H   M ET H O D     2 . 1 .     Ex p e r i m e n ta l   s e t - u p   an d   d atas e t   A l l   e xpe r i m e n t s   w e r e   c o n duc t e d  us i n g  M A T L A B   s of t w a r e   i n c o r po r a t e d  w i t h   D L   a n d  n e u r a l   n e t w o r k  T o o l b o x  (M A T L A B ® ,   201 7).   T h e   e xpe r i m e n t s   w e r e   c a rri e d  o ut   o n  a n   HP ®   L a p t o p;   I n t e l   Co r e   i 7 - 7500U   pr o c e s s o r ,   a   c l o c k  r a t e   of   2. 70  G H z   a n d  4  M b   C a c h e ;   i n c o r po r a t e d  w i t h   N V ID IA ®   G E F O R CE   940M X   G P U   ru nn i ng  o n   W i ndo w s   10.   D a t a   a c qu i s i t i o n   i s   t h e   f i r s t   i m po rt a nt   s t e p  i n   e v e r y   M L - b a s e d  pl a nt   d i s e a s e   de t e c t i o n   m e t h o d  t h a t   i n v o l ve s   a c qu i ri n g  a n d   r e gi s t e r i ng  o r  p r e p r o c e s s i n g  o f   t h e   l e a f   i m a ge s   t o   fo r m   a n  i m a ge   da t a s e t .   H ow e ve r ,   m o s t   r e c e nt   r e po rt e d  w o r ks   ha v e   us e d  a v a i l a b l e   l a b e l e d  da t a s e t s   t h a t   ha v e   un de r go n e   p r e p r o c e s s i n g  a t   v a ri o us   l e v e l s .   T h e s e   i n c l ude   pl a n t v i l l a ge   (P V )  a n d  d i gi p a t h o s   [25,   30] .   T h e i r   a dv a n t a ge s   ov e r   s e l f - a c qui r e d  i m a ge s   i n c l ude   t h o us a n ds   o f  l a b e l e d  i m a ge   da t a ,   m ul t i pl e   v a r i e t i e s   of   c r o p  s pe c i e s ,   a n d  d i f f e r e n t   a s pe c t s   of   pl a nt   di s e a s e s   a t   v a r i o us   l e v e l s   of   s e v e r i t y .   T hi s   w a rr a nt s   t h e   a do pt i o n   o f   a v a i l a b l e   da t a s e t s   by   s e v e r a l   s t udi e s   a s   a   b e n c h m a r k  i m a ge   d a t a b a s e   i n   t hi s   c o n t e xt   [34 - 3 6] .   T h e   P V   da t a s e t   c o l l e c t s   i m a ge s   o f   di s e a s e d  a n d  h e a l t h y   pl a nt   l e a v e s   s pr e a d  a c r o s s   38  a s s i g n e d  l a b e l s ,   e a c h   w i t h   d i s e a s e   pa i r   (d i s e a s e d  o r   h e a l t h y ).   T hi s   da t a s e t   of  i m a ge s   s h o w i n g  e a r l y   a n d  l a t e   b l i g h t   di s e a s e s   w a s   c o n s i de r e d  due   t o   t h e i r   s i g ni f i c a n t   de g r e e   of   s y m pt o m   s i m i l a ri t y .   F urt h e rm o r e ,   b o t h  di s e a s e s   s h o w   t h e   s a m e   s y m pt o m s   a c r o s s   t h e   v e ge t a b l e   s p e c i e s   (po t a t o ,   t o m a t o ,   pe ppe r ,   a n d  e ggp l a nt )  [3 7 - 38] .   E a r l y   b l i ght   a nd  l a t e   b l i g h t   a re   s o m e   of   t h e   m o s t   s e ve r e   (de s t ruc t i v e )  di s e a s e s   t h a t   r e duc e   t h e   o ve r a l l   y i e l d  of   t h e   po t a t o   c r o p ,   a f f e c t i n g   b o t h   h o m e   ga rde n e r s   a nd  l a r ge   p r o duc t i o n s   [37] .  T h e   l a t e   b l i g h t   s y m pt o m s   a r e   qui t e   l i ke   t h o s e   of   e a r l y   b l i ght ,   b ut   f a r   m o r e   s e ve r e   a s   t h e   e n t i r e   ga r de n   o r   f a r m   f i l e d  c a n   b e   l o s t   w i t h i n   a   f o r t n i g ht   [38] .   R e l e v a n c e   t o  t h i s ,   t h e   ut i l i z e d  c r o p  w a s   p o t a t o   i m a ge s   l a b e l e d  a s   e i t h e r   " E a r l y   b l i ght , "   " L a t e   b l i gh t , "   o r   " H e a l t h y . "   A   t o t a l   of   2, 152  i m a ge s   w e r e   us e d,   w i t h   s o m e   of   t h e m   b e i n g  o f   t h e   s a m e   l e a f   t a ke n   a t   d i f fe r e nt   (a ug m e n t e d)  o ri e nt a t i o n s   t o   a l l o w   fo r   r e a l - w o r l d  s c e n a ri o s .   T h e   da t a s e t   us e d  w a s   i n  c o l o r   (R G B )  f o r m a t ,   r e p r e s e nt i ng  v a r i o us   de g r e e s   of   di s e a s e   s e ve r i t y .   T h e   i m a ge s   w e r e   o f   t h e   s a m e   s c a l e   s i z e   o f   256 ×   256   pi xe l s   us e d  f o r   t h e   m o de l   o pt i m i z a t i o n  a nd  pr e di c t i o n s   o f   bo t h   t h e   m a c h i n e   l e a rni n g  a l go ri t hm s .   F u rt h e rm o r e ,   a l l   t h e   e xpe ri m e n t s   w e r e   pe r f o r m e d  o n   t h e   v e r s i o n   o f   t h e   po t a t o   da t a s e t   w i t h  a   s e gm e nt e d  b a c kg r o u nd  t o   a l l o w   fo r   a   p r o pe r   b a s i s   f o r   c o m pa ra t i v e   a n a l y s i s   w i t h   S V M   a n d  D L .   F i gu r e   1  s h o w s   o n e   e xa m pl e   o f   e a c h   i m a ge   c l a s s .   T h e   w h o l e   da t a s e t   w a s   s pl i t   ra n do m l y   fo r   e a c h   c l a s s   (l a t e   b l i g ht   -   L B ,   e a rl y   b l i ght   -   E B ,   a n d  h e a l t h y   -   H L )  i n t o   t h e   t ra i n - o pt i m i z e - t e s t    (T - O - T )  s c e na r i o   t o   a l l o w   fo r   p r o pe r   a s s e s s m e n t   o f   c l a s s i f i c a t i o n   a c c ura c y   o n   u n s e e n   da t a .   A l s o   c o n s i de r e d  w e r e   t h e   a ug m e n t e d  s a m p l e s ,   w h i c h   w e r e   s e pa r a t e l y   s pl i t   a s   w e l l .   T h o s e   s pl i t s   w e r e   50 - 20 - 30  (50%  t ra i n,   20%  o pt i m i z e ,   a n d  30%  t e s t ) ,   a nd  60 - 20 - 2 0  ( 60%  t ra i n,   20 %  o pt i m i z e ,   a nd  20%  t e s t )  f o r   bo t h   S V M   a n d  D L   a s   s h o w n   i n   T a b l e   1.   T hi s   i s   t o   a l l o w   fo r   e xpe r i m e n t s   o n   t h e   e ff e c t   o f  t h e   a m o u n t   o f   t r a i ni n g  d a t a   o n   t h e i r  a c c ur a c y .   A t   e a c h   pe r i o d  of  t r a i n i ng  i n t e r v a l ,   i . e . ,   a t   t h e   e n d   of  e v e r y   12  i t e r a t i o n s   (e poc h ),   m e a n   p r e c i s i o n,   m e a n   r e c a l l ,   a n d  m e a n  F 1  s c o r e ,   w h i c h   i s   t h e   m e a s u r e   o f   t h e   t e s t   a c c u r a c y ,   a r e   c o m put e d.               Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8938     I n t   J   A rt i f   I nt e l l ,   V o l .   9 ,   N o .   4 ,  D e c e m be r   20 20 :     6 7 0   –   6 83   674   T a b l e   1 .   T  –   O  –   T   da t a s e t   s h o w i n g   t h e   num b e r  o f   s a m pl e s   f o r   e a c h  s pl i t   E X P E RIM E N T   1   2   CL A S S   T - O - T   (S V M   &   D L )   T - O - T   (S V M   &   D L )   50  –   20  –   30   60  –   20  –   20   L B  ( s a m p l e   i m a g e s )   500   200   300   600   200   200   E B  ( s a m p l e   i m a g e s )   500   200   300   600   200   200   H L   ( s a m p l e   i m a g e s )   76   30   46   91   30   31   T O T A L   2 , 1 5 2   T O T A L   2 , 1 5 2         F i gu r e   1 .   E xa m p l e   o f   po t a t o   l e a f   i m a ge   s a m pl e s   f r o m   t h e   s e gm e nt e d  v e r s i o n  o f   t h e   P l a nt V i l l a ge   d a t a s e t .   F r o m   ri g ht :   h e a l t h y ,   e a rl y   b l i gh t ,   a n d   l a t e   b l i g h t       2 . 2 .     S e gm e n tat i o n   an d   fe a tu r e   e x tr ac t i o n   T h e   P l a nt V i l l a ge   da t a s e t   i m a ge s   us e d  w e r e   a l r e a dy   r e gi s t e r e d.   T hus ,   t h i s   ha d   c o n v e n i e nt l y   t a ke n   c a r e   o f   t h e   f i r s t   s t a ge   a n d  na rr o w e d  dow n   t h e   s e c o n d.   F o r  t h e   D L   n e t w o r k  t r a i n i ng,   t h e   i m a ge s   w e r e   fe d   di r e c t l y   a s   i nput .   R e pr e s e nt a t i v e   di s e a s e   f e a t ur e s   n e e de d  t o   b e   e xt r a c t e d  f r o m   t h e   i m a ge s   a n d  f e d  a s   i n put   t o   t h e   m ul t i c l a s s   S V M   a r c h i t e c t u r e   m o de l   w i t h   a   de f a ul t   l i n e a r   ke rn e l .   A ddi t i o na l l y ,   t h e   R B F   k e rn e l   c l a s s i f i e r  w a s   a l s o   i m pl e m e n t e d .   T h e   m o s t   c o m m o n l y   a s s oc i a t e d  f e a t ur e   c a t e go r i e s   a r e   c o l o r ,   t e xt u r e ,   a nd  s ha pe ,   m o s t   di s t i n c t   f o r   e a c h   p a r t i c ul a r   p l a nt   di s e a s e   s y m pt o m   [22] .   T h o ugh   m i n i m a l   di s t i n c t i o n s   a r e   ob s e r v e d  be t w e e n   e a rl y   a n d  l a t e   b l i g h t ,   t h i s ,   i n  t u rn ,   m a ke s   de t e rm i ni n g   t h e   b e s t   m e t h o d  f o r   d i s e a s e d  r e gi o n   (R O I)  s e gm e n t a t i o n   t o   b e   qui t e   t ri c ky .   F ur t h e r m o r e ,   t h e   s y m pt o m s   do   n o t   ha v e   w e l l - de f i n e d  e dge s .   I n s t e a d ,   t h e y   gr a dua l l y   f a de   i n t o   h e a l t h y   t i s s ue .   In  a n  a t t e m pt   t o   de a l   w i t h   t h e s e   c o m pl e x  s i t ua t i o n s   f o r   R O I  s e gm e n t a t i o n ,   v a r i o us   a p p r o a c h e s   ha v e   b e e n   de ve l o pe d  t h r o ug h   c o m put e r - a i de d  s e gm e n t a t i o n   c a t e go r i z e d  a s   1)  m a n u a l   w h e n   t h e   us e r   ha s   t o   t un e   o n e   o r   s e ve r a l   p a r a m e t e r s   i n   t h e   s of t w a r e   t o   a c h i e v e   t h e   de s i r e d  s e gm e n t a t i o n ,   2)  s e m i - a ut o m a t i c   w h e r e   t h e   us e r   m a n ua l l y   i n i t i a l i z e s   t h e   s e gm e n t a t i o n   w hi c h   t h e n   p r o c e e d s   a ut o m a t i c a l l y ,   o r   3)  a u t o m a t i c   w h e r e   n o   i n t e r v e n t i o n   b y   t h e   us e r  o t h e r  t ha n   s ub m i t t i n g   t h e   i m a ge   t o   b e   a n a l y z e d.   T h e   a u t o m a t i c   s e gm e n t a t i o n   m e t h o d  us e d  i n   t hi s   s t udy   h a d  e a r l i e r   b e e n   pr e s e nt e d  [39] .   T h e   t hr e e   c h a nn e l s   o f  RG B  c o l o r   s pa c e   w e r e   ut i l i z e d  t o   ge n e ra t e   f o ur   b i na r y   m a s ks   t h a t ,   i n   t u rn,   a r e   c o m b i n e d  i n t o   a   s i n g l e   s e gm e n t a t i o n   m a s k .   T hi s   m e t h o d  w o r ks   w e l l   i n   s e gm e nt i n g  t h e   R O I  fo r   b e t t e r   f e a t ur e   e xt ra c t i o n   w i t h   p r e c i s i o n.   F i gu r e   2  s h o w s   a   s a m pl e   of   t h e   s e gm e n t a t i o n   r e s ul t .             F i gu r e   2 .   S a m p l e   i nput   i m a ge   (l e f t )  a nd  i t s   s e gm e nt e d  d i s e a s e d  r e gi o n   ( r i g ht )       E xt ra c t i n g  t h e   f e a t ur e s   c a n   b e   do n e   s t a t i s t i c a l l y   us i n g  di f fe r e nt   i m a ge   p r o c e s s i n g  a l go r i t h m s   de pe n di n g   o n   w h a t   f e a t u r e s   b e s t   de s c r i b e   t h e   di s e a s e   s y m pt om s .   W hi l e   m o s t   m e t h o ds   w o ul d  s e l e c t   c o l o r   a nd  t e xt u r e ,   s o m e   m a y   c h oo s e   t e xt ur e   a n d  s ha pe ,   a n d  o t h e r s   m a y   pr e f e r   a l l   t hr e e .   It   i s   a l l   de pe n de n t   o n   w h a t   ki n d   of   f e a t ur e s   t h e   di s e a s e s   i n   f o c us   e xh i b i t .   F u rt h e rm o r e ,   e a c h   f e a t u r e   c a t e go r y   h a s   i t s   o w n   s e t s   of   v a l ue s ,   us ua l l y   w o r ki n g   w e l l   f o r   t h o s e   s pe c i f i c   di s e a s e s   b ut   l i ke l y   l a c k i n g  s uf f i c i e n t   ge n e r a l i t y   t o   be   e xt e n de d  t o   o t h e r   s y m pt o m   t y pe s .   It   i s   i n   t h i s   e f fe c t   t h a t   t h e   c o m b i n a t i o n   of   n i n e   f un d a m e n t a l   f e a t u r e   v a l ue s   f o r   c o l o r   a n d  t e xt u r e   c o m m o n l y   us e d   fo r   t h e   c a s e s   of  b l i gh t   w a s   a do pt e d  fo r   t hi s   r e s e a r c h.   T h e   gra y - l e v e l   c o - oc c ur r e n c e   m a t r i x  (G L CM )   m e t h o do l o g y   [40]   w a s   e m pl oy e d  fo r   t h e   e xt r a c t i o n   o f   t e xt ura l   f e a t u r e s   i n  t h e   R O I.   A t   t h e   s a m e   t i m e ,   t h e   c o l o r   m o m e n t   w a s   us e d  fo r   t h e   c o l o r   f e a t ur e   e xt r a c t i o n.   T w o   pa ra m e t e r s   a r e   us u a l l y   e m pl oy e d   i n   G L CM   c o m put a t i o n ,   t h e   r e l a t i v e   di s t a n c e   b e t w e e n   t h e   pi xe l   pa i r   d   m e a s u r e d  i n   t h e   n u m b e r   o f  pi xe l s   a nd  t h e i r  r e l a t i v e   o r i e n t a t i o n s   .   F o r  a n  R O I  i m a ge   ,   l e t   m   de n o t e   t h e   pi xe l s   ( , )  g ra y   l e v e l s   a nd    t h e   g r a y   l e v e l   o f   pi xe l s   o r i e n t e d  a t   0   a n d  1   w i t h     l e v e l   of   gr a y   t o n e s .   W h e r e   0 ≤ ≤ − 1 , 0 ≤ ≤ − 1 ,   a nd   0 ≤ , ≤ − 1 .   F r o m   t h e s e   r e p r e s e nt a t i o n s ,   t h e   G L CM   ,   f o r   di s t a n c e     a n d   di r e c t i o n    c a n  b e   gi v e n   a s   (1)   [40] :                        Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A r t i f   I n t e l l   IS S N :   2252 - 8938       Mac h i ne   l e ar ni n g  f or   p l an t   d i s e as e   d e t e c t i on :  an   i nv e s t i g at i v e   c om par i s on   b e t w e e n . . .   ( A l i y u   M.   A bdu )   675   , , ∅ = ∑ ∑ { ( , ) =   &   ( + ∅ 0 , − ∅ 1 ) = }   (1)     W h e r e   { . } = 0   i f   t h e   a r gu m e n t   i s   n o t   t r ue   a n d   { . } = 1   o t h e r w i s e .   T h e   e xt ra c t e d  f e a t u r e   v a l ue s   i n c l ude   c o n t ra s t ,   c o r r e l a t i o n ,   e n e r gy ,   e n t r o p y ,   h o m o ge n e i t y ,   v a r i a n c e   a s   t e xt ur e   f e a t ur e s ,   a nd  m e a n ,   s ke w n e s s ,   a n d  ku rt o s i s   a s   c o l o r   f e a t ur e s .   R e f e r   t o   (2 - 7)  fo r   t h e   m a t h e m a t i c a l   f o r m u l a e   f o r   t h e   t e xt u r e   f e a t u r e   [41] .       =   ∑ ( , ) 2 ( , ) − 1 , = 0   (2)       =   ∑ ∑ (  ) ( , ) − ⁄ − 1 − 1     (3)      = ∑ ( , ) 2 − 1 , = 0   (4)      =   ∑ ( , ) ( 1 + ( , ) 2 ) ⁄ − 1 , = 0   (5)       =   − ∑ ( , ) l o g   ( . ) − 1 , = 0   (6)       =   ∑ ∑ ( − ) 2 ( , ) − 1 − 1   (7)     w h e r e     i s   t h e   num b e r  o f   gr a y   l e v e l s ,   ( , )   i s   t h e   ( , ) t h  e n t r y   i n   , .    i s   t h e   m e a n  o f   ( , )   w h e r e   , , , a n d     a r e   t h e   a v e ra ge   s t a n da rd  de v i a t i o n  o f     a n d     r e s pe c t i v e l y .     2. 3 .     C l as s i f i c a ti o n   T h e   pe r f o r m a n c e   of   bo t h   S V M   a n d  D L   a r c h i t e c t u r e s   o n   t h e   P l a nt V i l l a ge   po t a t o   da t a s e t   w a s   a na l y z e d   by   t r a i n i ng  t h e   S V M   m o de l   o n   t h e   e xt r a c t e d  f e a t ur e s   o n   o n e   s i de   a nd  t h e n   t h e   D L   b a s e d  o n   t ra n s f e r   l e a rn i ng  o n   t h e   o t h e r  s i de .     S uppo r t   v e c t o r   m a c h i n e   (S V M )   S V M   i s   a   l i n e a r  c l a s s i f i e r ,   a   s e t   o f   r e l a t e d  s upe r v i s e d  l e a rni n g  m e t h o ds .   T h e   i n pu t   d a t a   i s   l i n e a r l y   m a ppe d  t o   n o n - l i n e a r l y   s e pa r a t e d  da t a   i n   s o m e   h i g h  di m e n s i o n a l   s pa c e   p r o v i di ng  e xc e l l e n t   c l a s s i f i c a t i o n   pe r f o r m a n c e   [42] .   S pe c i f i c a l l y ,   i t   a na l y z e s   t h e   i n put   l a b e l e d  da t a   a n d  o b s e r v e s   t h e   a t t r i b ut e s   (t r a i n i ng  da t a )  t o   c l a s s i fy   s u b s e que n t   unl a b e l e d  da t a   (t ra i ni n g  d a t a ).   It   do e s   s o   i n   a   w a y   t o   m a xi m i z e   t h e   m a r g i n a l   di s t a n c e   (s o - c a l l e d  f un c t i o na l   m a rgi n )   b e t w e e n   t h e   t w o   o r   m o r e   i nt ra   c l a s s e s ,   a n d  t h o s e   po i n t s   c l o s e s t   t o   t h e   m a r gi na l   l i n e   a r e   kn o w n   a s   t h e   s uppo rt   v e c t o r s   [42] .   F i gu r e   3  s h o w s   t h e   un de r l y i n g  a r c h i t e c t ur e   o f   t h e   S V M   [43] .   T h e   di v i s i o n   o f  c l a s s e s   i s   c a rr i e d  o ut   w i t h   di f f e r e n t   ke rn e l s ,   s uc h   a s   l i n e a r   a n d  ra di a l   b a s i s   f un c t i o n s   (R B F ).   F r o m   F i gu r e   1 ,   t h e   t w o   c l a s s e s   (c l a s s   1  a n d   2)   r e p r e s e n t e d   i n  a   2D   i n put   s p a c e   (   a n d   )  a r e   s e pa ra t e d   w i t h  a   l i n e a r   ke rn e l   a s   t h e   o pt i m a l   h y pe r pl a n e   i n - b e t w e e n   t h e   t hr e e   s uppo r t   v e c t o r s .   L i ke   n e ura l   n e t w o r ks ,   t h e   c o m put a t i o n a l   c o m pl e xi t y   of   S V M s   doe s   n o t   de pe n d  o n   t h e   di m e n s i o na l i t y   o f  t h e   i n pu t   s pa c e ,   b ut   i n   S V M ,   i t   i s   o f t e n   di f f i c ul t   t o   un de r s t a n d  t h e   l e a rn e d  f un c t i o n   [ 42] .   T h o ug h   S V M   w a s   i n i t i a l l y   de s i gn e d  t o   w o r k  w i t h  o n l y   t w o  c l a s s e s ,   m ul t i c l a s s   S V M   c l a s s i f i c a t i o n   h a s   b e c o m e   w i de l y   a ppl i c a b l e .   S e v e r a l   t w o - c l a s s   S V M s   c a n   b e   i m pl e m e n t e d  t o   p r o v i de   a   v a l i d  pr e d i c t i o n,   e i t h e r   by   us i ng  o n e - v e r s us - a l l   o r   o n e - v e r s us - o n e .   T h e   w i nn i ng  c l a s s   i s   t h e n   de t e rm i n e d  b y   t h e   hi g h e s t   o ut pu t   f u n c t i o n   o r   t h e   m a xi m u m   v o t e s ,   r e s pe c t i v e l y .           F i gu r e   3 .   T h e   b a s i c   a r c hi t e c t u r e   o f   t h e   S V M   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8938     I n t   J   A rt i f   I nt e l l ,   V o l .   9 ,   N o .   4 ,  D e c e m be r   20 20 :     6 7 0   –   6 83   676   D e e p  l e a rni n g   (D L )  o r  d e e p  c o n v o l ut i o n   n e u ra l   n e t w o r k  (D C N N )   D - CN N   a r e   b e i n g  a p pl i e d  i n   d i v e r s e   do m a i n s   o f   pl a nt   di s e a s e   de t e c t i o n   a s   pa r t   o f   a ut o m a t e d  e n d - to - e n d  l e a rn i ng  [12] .   T h e   w o r ds   " de e p  l e a rni n g "   (D L )  r e f e r   t o   a   c l a s s   o f   m a c h i n e   l e a rni ng  t e c hni que s   w h e r e   s e v e r a l   l a y e r s   of   i n fo r m a t i o n   p r o c e s s i n g  s t a ge s   a r e   a rra n g e d  i n   a   h i e r a r c h y   of   n o de s   t o  be   e xpl o i t e d  fo r   un s upe r v i s e d  f e a t ur e   l e a rni ng,   a na l y s i s ,   a n d  p a t t e rn  c l a s s i f i c a t i o n .   T h e   n o de s   a s   s h o w n   i n   F i gu r e   4  (a ) ,   a l s o   kn o w n   a s   n e u r o n s   i n   t h e   D N N ,   a r e   m a t h e m a t i c a l   f un c t i o ns   t ha t   t a ke   num e r i c a l   v a l ue s   f o r   i n put s   a n d  a s   i n c o m i ng  e dge s   a n d  n u m e r i c a l   o ut put   v a l ue s   a s   a n   o ut go i n g   e dge   [12] .   E a c h   n e u r o n   i n   t h e   hi dde n   l a y e r   ha s   w e i ght   c o nn e c t i o n s   ( 1 , 2 , 3 , … , )   a nd  a n  a c t i v a t i o n   f u n c t i o n   ( … )   a s   s h o w n   i n  F i g u r e   4   (b ) ,   a dd i n g   l a y e r s   m e a n s   m o r e   i n t e r c o nn e c t i o n s   a n d  w e i gh t s   b e t w e e n   a n d  w i t h i n   t h e   l a y e r s   [44] .   D L   c o m put e s   t h e   f e a t ur e s   of   t h e   ob s e r v a t i o na l   d a t a   hi e ra r c h i c a l l y   so   t h a t   t h e   hi g h e r - l e v e l   fe a t ur e s   a r e   pr e s e r v e d  i n   t h e   de e pe r   l a y e r s .   T h e y   a r e   a l s o   d e f i n e d  i n   t e rm s   o f  t h o s e   f r o m   t h e   s ur f a c e   o r   l ow - l e v e l   l a y e r s .   S uc h   a   hi e r a r c h y   o f  f e a t ur e s   i s   r e f e r r e d  t o   a s   t h e   de e p  a r c h i t e c t ur e   [45] .   A n   o b s e r v a t i o n a l   d a t a   o f   a n   i m a ge ,   f o r   e xa m pl e ,   c a n   b e   r e p r e s e n t e d  i n   m a n y   w a y s   (e . g. ,   a n   a rra y   of   pi xe l s ),   b ut   s o m e   f e a t ur e s   m a ke   i t   e a s i e r   t o   l e a rn   s pe c i f i c   t a s ks   o f  i n t e r e s t   (e . g. ,   i s   i t   a n   i m a ge   of   a   t o m a t o   l e a f ? )  f r o m   s a m pl e s .   R e s e a r c h   i n   t hi s   a r e a   a t t e m pt s   t o   de f i n e   w h a t   m a ke s   b e t t e r  r e p r e s e n t a t i o n s   a n d   t h e   b e s t   w a y   t o   l e a rn  t h e m .           F i gu r e   4 .   T h e   b a s i c   a r c hi t e c t u r e   o f   a   de e p  l e a rni n g   c o n v o l ut i o n   n e t w o r k   ( a )  l a y e r   c o n f i gu r a t i o n  a nd    (b )  a c t i v a t i o n s       T h e r e   a r e   t w o   m e t h o ds   of   t r a i n i ng  a   D L   n e t w o r k  f o r   f e a t ur e   l e a rni n g :   t ra i ni n g   f r o m   s c ra t c h   a nd  t r a n s f e r   l e a rn i ng.   T r a i n i n g  a   D L   f r o m   " s c r a t c h "   i s   of t e n   a   c o m pl e x  a n d  t i m e - c o n s um i n g  p r o c e s s   due   t o   t h e   de e p  a r c h i t e c t u r e   de s i gn   [9 ,   46] .   T r a n s f e r   l e a rn i ng,   o n   t h e   o t h e r   ha n d ,   i n v o l v e s   t h e   a pp l i c a t i o n   o f   a n   a l r e a dy   e s t a b l i s h e d  a r c h i t e c t u r e   t ha t   ha s   b e e n   s uc c e s s f ul   i n   o t h e r   c om put e r   v i s i o n   do m a i n   p r o b l e m s   a n d  c a n   a da p t   t o   t h e   pr o b l e m   un de r   c o n s i de ra t i o n   [30] .   M o s t   p o pul a r   t ra n s f e r   l e a rn i ng  a r c h i t e c t ur e s   i n c l ude   A l e xN e t   [47] ,  V G G   N e t   [48] ,   R e s N e t   [49] ,   a n d   G o o gl e N e t   [32] ,   a m o n g   o t h e r s .   I n   m o s t   c a s e s ,   t h e   p r o c e s s   of   t r a n s f e r  l e a rn i ng  w i t h   t h e   A l e xN e t   ha s   b e c o m e   m o r e   f a vo r a b l e   f o r   o pt i m i z i n g   f e a t u r e   r e pr e s e nt a t i o n   a nd  r e duc i n g   t h e   l i m i t a t i o n  o f   a r c h i t e c t ur e   c o m pl e xi t y   [6] .   H e n c e ,   t hi s   n e t w o rk  i s   us e d  i n  t hi s   r e s e a r c h .     T r a n s f e r   l e a rni n g   w i t h   A l e xN e t   In   t h e   A l e xN e t   a r c hi t e c t u r e ,   t h e   v a ri a nt s   o r   l o c a l   r e c e p t i v e   f i e l ds   us ua l l y   a r e   a rr a nge d  c o n vo l ut i o n   l a y e r s   s uc c e e d e d  by   o n e   o r   m o r e   f ul l y   c o nn e c t e d  l a y e r s   [32] .   T h o s e   s a m e   c o n v o l ut i o n   l a y e r s   c a n   a l s o   ha v e   n o rm a l i z a t i o n   a nd  po o l i n g  l a y e r s   r i g h t   a f t e r  t h e m ,   a n d  t r a d i t i o n a l l y   a l l   t h e   l a y e r s   a r e   i ni t i a t e d  o r   a c t i v a t e d  us i n g  t h e   R e c t i fy i n g  l i n e a r   u ni t   o r   f u n c t i o n   (R e L U ).   T h e   R e L U   a ppl i e s   a   t r a n s f o r m a t i o n   t o   t h e   o ut put   of   e a c h   n e u r o n   a n d  t h e n   m a ps   t h e   o ut put   t o   t h e   h i g h e s t   po s s i b l e   va l ue   o r   z e r o   i f   n e ga t i v e .   It   a da pt i v e l y   l e a rn s   t h e   pa r a m e t e r s   o f   r e c t i f i e r s ,   t h e r e by   i m p r o v i n g  a c c u r a c y   a t   a   n e gl i g i b l e   e xt ra   c o m put a t i o na l   c o s t .   R e L u  i s   gi v e n   a s   (8) .     ( ) = ma x   ( 0 , )   (8)     W h e r e     r e p r e s e n t s   t h e   i n pu t   o f   t h e   n o n l i n e a r   a c t i v a t i o n  f un c t i o n     o n  t h e   ℎ   c ha nn e l .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A r t i f   I n t e l l   IS S N :   2252 - 8938       Mac h i ne   l e ar ni n g  f or   p l an t   d i s e as e   d e t e c t i on :  an   i nv e s t i g at i v e   c om par i s on   b e t w e e n . . .   ( A l i y u   M.   A bdu )   677   T h e   po o l i n g  l a y e r   f ur t h e r   t ra n s f o r m s   t h e   o ut put   o f   t h e   a c t i v a t i o n   s t e p  by   r e duc i n g  t h e   di m e n s i o n a l i t y   of   t h e   f e a t ur e s   m a p  c o n s i de ri n g  t h e   o ut put   o f   t h e   s m a l l   r e gi o n   o f   n e ur o n s   i nt o   a   s i ngl e   o ut put .   T h e   A l e xN e t   c o m pr i s e s   o f   5  c o n vo l ut i o n   l a y e r s   a n d   t hr e e   f ul l y   c o nn e c t e d  l a y e r s   w i t h   a   s o f t M a x  l a y e r   a s   t h e   f i n a l   l a y e r .   E a c h  c o n v o l ut i o n   l a y e r      h a s   m a ps   o f   t h e   s a m e   s i z e   f o r   t h e   t w o   di r e c t i o n s   o f     &     o f   t h e   i m a ge   g i v e n   a s            w i t h  ke rn e l   s i z e s            r e s pe c t i v e l y .   T h e n,   gi v e n  t h e   n u m b e r  o f   pi xe l s   t o   s ki p   du r i ng   t h e   t r a v e r s e   a t   b o t h  di r e c t i o n s ,   de n o t e d  a s         .   T h e   f i n a l   o ut p ut   m a p  s i z e   c o ul d  b e   gi v e n   a s   (9 - 10)  [50] .      =  − 1 −   + 1 + 1   (9)      =  − 1 −   + 1 + 1   (10)     W h e r e     de n o t e s   t h e   l a y e r s .     T h e   l a s t   f ul l y - c o n n e c t e d  l a y e r   ri g h t   b e f o r e   t h e   S o f t M a x  (f c 7)  l a y e r   t a g ge d  " f c 8 "   h a s   t hr e e   o ut put s   i n   t h i s   a do pt e d  v e r s i o n   e qua l i n g  t h e   n u m b e r   o f   c l a s s e s   o r   l a b e l s .   T h e   o ut put s   a r e   f e d  a s   i n put   t o   t h e   s of t M a x  l a y e r ,   w h i c h   e xpo n e n t i a l l y   n o r m a l i z e s   t h e m ,   t h e r e by   gi v i n g  o ut   a   di s t ri b ut i o n   o f   v a l ue s   a c r o s s   t h e   t hr e e   c l a s s e s   t ha t   a dd  up  t o   1.   F i gu r e   5  s h o w s   t h e   A l e xN e t   a r c hi t e c t u r e   [51] .           F i gu r e   5 .   T h e   A l e xN e t   a r c h i t e c t ur e       T h e   w e i gh t s   o f   t h e   f i na l   f ul l y   c o nn e c t e d  l a y e r   f c 8  of   t h e   A l e xN e t   n e t w o r k  w e r e   r e - i ni t i a l i z e d .   I n  s um m a r y ,   a   t o t a l   of   2   e xpe r i m e nt a l   c o n f i gura t i o n s   w e r e   c o n duc t e d  o n   e a c h   m o de l   w i t h   T - O - T   1  (50% - 20 % - 30%)  a n d  T - O - T   2  (6 0% - 20 % - 20%) .   T h e   S V M   w a s   i m p l e m e nt e d  w i t h   t h e   t w o   ke r n e l   f u n c t i o n s ,   l i n e a r   a n d   RB F .   F o r   D L ,   e a c h   e xpe r i m e n t a l   r u n   w a s   s e t   t o   12  i t e ra t i o n s   pe r   e po c h s .   E a c h   e po c h   i s   t h e   num b e r   o f  i t e ra t i o n s   f o r   t h e   n e u r a l   n e t w o r k  t h a t   c o m pl e t e s   a   f ul l - p a s s   o v e r   t h e   w h o l e   t ra i ni n g  da t a .   T w e l ve   e p o c h s   w e r e   s ub s t a n t i a l l y   e n o ugh   f o r   t h e   l e a rn i ng  p r o c e s s   t o   c o n v e r ge   w e l l - e n o ug h   f o r   c l a s s i f i c a t i o n .   F u r t h e rm o r e ,   t o  a l l o w   fo r   a   v a l i d ,   f a i r   c o m pa ri s o n   w i t h   S V M ,   t h e   D L   w a s   a l s o   c o n s t ra i n e d  t o   a   T O T   o f   50 - 20 - 30 ,   a n d   s t a n d a r di z e d  t ra i n i n g   p a r a m e t e r s   w e r e   us e d  a s   f o l l ow s :     S o l ve r   t y pe :   s t o c h a s t i c   g r a d i e nt   de s c e n t   (s gd ),     B a s e   l e a rni n g   r a t e :   0 . 00 01,     L e a rn i ng  ra t e   po l i c y :   s t e p  (de c r e a s e   by   a   f a c t o r  o f   10),     W e i gh t   de c a y :   0. 004 ,     Ga m m a :   0 . 9 ,     B a t c h   s i z e :   100       3.   R ES U LTS   It   w a s   o bs e r v e d  t h a t   s a m pl e s   w i t h   e a rl y   s y m pt o m s   of   t h e   l a t e   b l i ght   di s e a s e   w e r e   t h o s e   t h a t   l a r ge l y   l e a d  t o   t h e   s l i g ht   m i s c l a s s i f i c a t i o n   i n   b o t h   m o de l s .   T h e   S V M   m o de l   w a s   f i r s t   t ra i n e d  a n d  o pt i m i z e d  o n   t h e   60 - 20 - 20   T O T   d i s t r i b ut i o n .   T h e   t r a i n i ng  d a t a   w a s   m a ppe d  us i n g  t h e   do t   o r   l i n e a r  ke rn e l   s p a c e   w i t h   s e que n t i a l   m i ni m a l   o pt i m i z a t i o n   (S M O )  f o r   s e pa r a t i ng  t h e   h y pe r pl a n e .   T h e   s a m e   pr o c e dur e   w a s   r e pe a t e d  fo r   50 - 20 - 30  di s t r i b ut i o n .   T h e   c l a s s i f i c a t i o n   c o n f us i o n   m a t r i xe s   a r e   s h o w n   i n   F i gu r e   6 .   T h e   o v e r a l l   t i m e   t a ke n   f o r   t r a i ni n g   a n d  v a l i d a t i o n   o n   t h e   CP U   w a s   a v e r a ge l y   40  s e c s   f o r   b o t h   c a s e s .   T h e   t r a i n i ng  a c hi e v e d  a n   a v e r a ge   r e c a l l   ra t e   of   92. 5%  a n d   a   m e a n  p r e c i s i o n   o f   92. 3 %.   E x t r a c t i n g  t h e   f e a t u r e s   i s   t h e   m o s t   t a s k i n g  p r o c e s s   fo r   t h e   S V M   m o de l   i m pl e m e n t a t i o n ,   b ut   t h e   t ra i ni n g   a nd  v a l i da t i o n  p r o c e s s e s   w e r e   c o m pa ra b l y   f a s t .   O v e r a l l ,   S V M   60 - 20 - 20  a c h i e v e d  a n   F 1 - s c o r e   o f   88%  a nd  99 %  f o r   E B   c l a s s ,   9 0%  a nd  9 2%  f o r   L B   c l a s s   w i t h   l i n e a r  a nd  R B F   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8938     I n t   J   A rt i f   I nt e l l ,   V o l .   9 ,   N o .   4 ,  D e c e m be r   20 20 :     6 7 0   –   6 83   678   ke rn e l s .   W hi l e   f o r   S V M   50 - 20 - 30 ,   84 %  a n d  9 7 %  ( E B   c l a s s ) ,   92 %  a nd  92 %  (L B   c l a s s )  w i t h   l i n e a r   a n d   R BF   ke rn e l s ,   r e s pe c t i v e l y .   100%  ra t e s   w e r e   r e c o r de d  f o r   H L   c l a s s   a l l   t hr o ug h.         (a )     (b )       (c )       (d)     F i gu r e   6 .   ( a )   Co n f us i o n   M a t ri x   f o r   t h e   S V M   c l a s s i f i e r  o n  T - O - T   6 0 - 20 - 20   l i n e a r ,   ( b )  R B F ,     ( c )  T - O - T   5 0 - 20 - 30   l i n e a r ,   ( d )  R B F       F i gu r e   7  s h o w s   t h e   t r a i n i ng  c h a rt   f o r   t h e   D L   m o de l   f o r   t h e   t ra i ni n g  pe r i o d  o f   12  e poc h s   (w h i t e   a n d   gr e y   b a r s ),   w h i c h   s h o w s   t h e   t w o  pr o c e s s e s   s e e m i n g l y   c o n ve r ge   b e t w e e n   t h e   6t h   a n d  t h e   7t h   e po c h .   D e s pi t e   t h e   t ra i ni n g  a nd  o pt i m i z a t i o n   ru nn i ng  o n   t h e   G P U ,   t h e   r u nni n g  t i m e   w a s   m o de r a t e l y   f a s t   gi ve n   t h e   a m o unt   of  da t a ,   p r e c i s e l y   6  m i n s   46  s e c s   (50 - 20 - 30)  a n d  8  m i n s   12  s e c s   (60 - 20 - 20 ).   R e ga r d l e s s ,   bo t h   t h e   T O T   v a l i da t i o n  a c c ur a c i e s   w e r e   a t   98 . 14%   (i n  t h e   c a s e   o f   60 - 20 - 20)   a nd  9 7. 4 4%   (i n  t h e   c a s e   o f   50 - 20 - 30).   Cl a s s i f i c a t i o n  a c c ur a c y   fo r   t h e   D L   a s   s h ow n   i n   F i gu r e   8  60 - 20 - 20  v a ri e d  f r o m   98. 7%  ( E B   c l a s s ),   99. 7 %  (L B   c l a s s ),   t o   95. 7%  (H L   c l a s s ).   A c c ur a c y   fo r   50 - 20 - 30  f r o m   88. 2%  (H L   c l a s s )  t o   100%  (fo r   bo t h   E B   a n d  L B   c l a s s e s ).   M e a n   F 1 - sc o r e s   w e r e   96. 1%  60 - 20 - 20  a nd  98. 92%  50 - 20 - 30.   T h e   f o r m e r   F 1 - s c o r e   i s   l ow e r   due   t o   t h e   r e s ul t i n g   l o w e r   a c c ura c y   of   H L   c l a s s i f i c a t i o n,   a s   s h o w n   i n   t he   c o n f us i o n   m a t r i x  i n   F i gu r e   8 .   In  a d di t i o n  t o   T - O - T   s e gm e nt s ,   t h e   S V M   w a s   f urt h e r  e va l u a t e d  o n  t h e   qua l i t y   a n d  num b e r  o f  f e a t ur e s   us i n g  k - f o l d  c r o s s - v a l i da t i o n   o n   60 - 20 - 20  di s t r i b ut i o n .   T h e   c o r r e l a t i o n   o f   a l l   f e a t ur e s   t o   t h e   t a rge t   w a s   f i r s t   c o m put e d .   T h e   f e a t ur e s   w e r e   t h e n   r a n ke d  f o l l ow i n g  t h e i r   c o rr e l a t i o n   w e i gh t :   t h e   h i g h e r   t h e   c o r r e l a t i o n   w e i gh t   o f  a   fe a t u r e ,   t h e   m o r e   e xc e pt i o n a l   q ua l i t y   i t   h a s   a s   a   di s c r i m i na n t   f o r   i m p r o v e d   pe r f o r m a n c e .   T h e n   t h e   f i r s t   s ub s e t   of   a l l   r a ke d  f e a t u r e s   w a s   fi r s t   us e d  t o   b ui l d  a n d  e v a l ua t e   t h e   c l a s s i f i e r ,   a n d  a t   e a c h   s ub s e que n t   r o u n d ,   t h e   l e a s t   ra n ke d  f e a t u r e   i s   r e m o ve d,   a n d   t h e   p r o c e s s   r e pe a t e d  u n t i l   o n l y   t h e   t w o  m o s t   r a nke d  f e a t u r e s   r e m a i n e d.   T h e   r e s ul t s   a r e   d i s pl a y e d  i n   T a b l e   2 .     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A r t i f   I n t e l l   IS S N :   2252 - 8938       Mac h i ne   l e ar ni n g  f or   p l an t   d i s e as e   d e t e c t i on :  an   i nv e s t i g at i v e   c om par i s on   b e t w e e n . . .   ( A l i y u   M.   A bdu )   679   F i gu r e   7 .  T r a i n i ng  a n d   v a l i d a t i o n  p r o gr e s s i o n  f o r   t h e   D L   n e t w o r k       (a )   (b )     F i gu r e   8 .   D L   n e t w o r k  Co n f us i o n   M a t ri x  f o r   T O T :   50 - 20 - 30  ( l e f t ),   a nd  T O T :   60 - 20 - 2 0  ( ri g ht )       T a b l e   2 .   S V M   pe r f o r m a n c e   o n   di f f e r e n t   c o m b i n a t i o n  a nd  nu m b e r   o f   f e a t ur e   s ub s e t s   F e a t u r e   s u b - s e t   A c c u r a c y   -   R B F   ( 1 0 0 % )   A c c u r a c y   -   l i n e a r   ( 1 0 0 % )   A l l   9   9 5 . 7 8   9 4 . 9 3   Be s t   8   9 5 . 7 8   9 4 . 9 9   Be s t   7   9 5 . 5 6   9 4 . 8 7   Be s t   6   9 6 . 6 7   9 6 . 2 1   Be s t   5   9 7 . 0 0   9 6 . 3 3   Be s t   4   9 6 . 2 2   9 6 . 0 1   Be s t   3   9 5 . 7 8   9 5 . 2 2   Be s t   2   9 5 . 5 6   9 4 . 9 6       4.   A N A LY S I S   AND   DISCUSSIO N   A s   r e s ul t s   i n d i c a t e d,   D L   i s   s upe r i o r   i n  t e r m s   o f   pe r f o r m a n c e   a nd  d i s e a s e   c l a s s i f i c a t i o n   a c c ura c y   i n  t h i s   s e t - up   due   t o   i t s   a dv a n c e d  a r c hi t e c t u r e .   H ow e v e r ,   w i t h   l e s s   t r a i n i ng  d a t a   ( a b o ut   16%  d r o p),   t h e   c l a s s i f i c a t i o n   a c c u r a c i e s   of   E B   a n d  L B   dr o ppe d   by   2. 8%.   T h e s e   r e s ul t s   c o n f i r m e d  t h e   D L   a n d  t ra i ni n g  da t a       A c c ur a c y   Lo ss       T r a i ni ng   ( s m o o t hed )   T r a i ni ng   V a l i da t i o n   T r a i ni ng   ( s m o o t he d )   T r a i ni ng   V a l i da t i o n   A c c ur a c y   L o s s   Evaluation Warning : The document was created with Spire.PDF for Python.