I n te r n ati o n al   Jo u r n al   o El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   10 ,   N o .   1 F e b r ua r y   2020 ,   pp .   575 ~ 5 80   IS S N :   2088 - 8708 D O I :   10. 1 1591 / i j e c e . v 10 i 1 . pp575 - 5 80             575       Jou r n al   h o m e pa ge ht t p: / / i j e c e . i ae s c or e . c om / i nd e x . php / IJ E CE   s u r v e y   o f   b i g   d a t a   a n d   m a c h i n e   l e a r n i n g       S u r e n d e r   R e d d y   S al k u ti   D e pa r t m e n t   o f   R a i l r o a d   a nd   E l e c t r i c a l   E ng i n e e r i ng ,   W o o s o n g   U ni v e r s i t y ,   R e pub l i c   o f   K o r e a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d   A pr   3 ,   2019   R e v i s e S e p   1 2 ,   20 19   A c c e pt e S e p   27 ,   20 19       T hi s   p a pe r   pr e s e n t s   a   d e t a i l e a na l y s i s   o f   bi g   da t a   a nd  m a c hi n e   l e a r n i ng   ( M L )   i t he   e l e c t r i c a l   po w e r   a n e ne r gy   s e c t o r .   B i g   da t a   a na l y t i c s   f o r   s m a r t   e ne r g y   o pe r a t i o ns ,   a pp l i c a t i o ns ,   i m pa c t ,   m e a s u r e m e nt   a nd   c ont r o l ,   a nd   c ha l l e ng e s   a r e   pr e s e nt e i t h i s   pa p e r .   B i g   da t a   a nd  m a c hi ne   l e a r n i ng   a ppr o a c he s   ne e t o   be   a p pl i e d   a f t e r   a na l y z i ng   t he   po w e r   s y s t e m   pr o bl e m   c a r e f ul l y .   D e t e r m i n i ng   t he   m a t c be t w e e t h e   s t r e ng t h s   o f   bi da t a   a n m a c hi ne   l e a r ni ng   f o r   s o l v i ng  t he   po w e r   s y s t e m   pr o bl e m   i s   o f   ut m o s t   i m po r t a nt .   T he y   c a be   o f   g r e a t   he l t o   pl a a nd  o pe r a t e   t h e   t r a d i t i o na l   g r i d/ s m a r t   g r i ( S G ) .   T h e   b a s i c s   o f   bi g   da t a   a nd  m a c hi ne   l e a r ni ng   a r e   de s c r i be i de t a i l e m a nn e r   a l o ng   w i t t he i r   a pp l i c a t i o ns   i v a r i o us   f i e l d s   s uc a s   e l e c t r i c a l   po w e r   a nd  e ne r gy ,   he a l t c a r e   a nd  l i f e   s c i e nc e s ,   g ov e r nm e nt ,   t e l e c o m m uni c a t i o ns ,   w e b   a n d i g i t a l   m e d i a ,   r e t a i l e r s ,   f i n a nc e ,   e - c o m m e r c e   a nd  c us t o m e r   s e r v i c e ,   e t c .   F i na l l y ,   t he   c ha l l e ng e s   a nd   o ppo r t uni t i e s   o f   bi g   da t a   a nd   m a c hi n e   l e a r n i ng   a r e   p r e s e n t e d   i t h i s   pa pe r .   Ke y w or d s :   B i da t a   D i s t r i b ut i o n   s y s t e m s   M a c hi n e   l e a rni n g   M i c r o gri d     P ow e r   a n d   e n e r gy     S m a r t   g ri d   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e   A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   S ur e n de r   R e dd y   S a l ku t i ,   D e pa rt m e n t   o f   R a i l r o a a nd  E l e c t r i c a l   E n g i n e e r i ng,   W oo s o n U n i v e r s i t y ,   17 - 2,   J a y a n g - D o n g,   D o n g - G u ,   D a e j e o n   34606 ,   R e pub l i c   o f   K o r e a .   E m a i l :   s u r e n de r@ w s u. a c . k r       1.   I N TR O D U C TI O N     A r t i f i c i a l   i nt e l l i ge n c e   (A I)  t e c hn o l o gi e s   c a i m p r o v e   t h e   c o n v e r s a t i o a n d   c o o p e r a t i o n   o f   h u m a n   a n d   m a c h i n e .   T h e s e   t e c hn o l o gi e s   a r e   us e f o r   b e t t e r   i n t e r a c t i o n s   b e t w e e n   h u m a a nd  m a c h i n e s .   N o w ,   w e   a r e   l i v i n i n   a   t i m e   of   h uge   i n f o r m a t i o n ,   i . e . ,   a n   a ge   de s c r i b e by   qui c ga t h e r i ng  o f   p e r v a s i v e   da t a .   I n   n u m e r o us   e n t e r p r i s e s ,   i t   i s   de v e l o pi n a n gi v i n a   w a y   t o   e nh a n c e   a n s t r e a m l i n e   b us i n e s s .   N u m e r o us   f i e l ds   a n d   s e gm e n t s ,   go i n f r o m   f i na n c i a l   a nd  b us i n e s s   e xe r c i s e s   t o   o p e n   o r g a n i z a t i o n ,   f r o m   n a t i o n a l   s e c ur i t y   t o   l o gi c a l   r e s e a r c h   i n   n u m e r o us   t e rri t o r i e s ,   a r e   a s s o c i a t e w i t h   h uge   i n f o r m a t i o n   i s s ue s   [1].   H uge   i n f o r m a t i o n   ha s   c h a nge t h e   w o r l a s   f a r   a s   a nt i c i p a t i n c l i e n t   c o n duc t .   T h e   i n t r o duc t i o n   o f   h uge   i n f o r m a t i o n   c a nn o t   a b s t a i n   f r o m   s pe c i fy i n a n o t h e r   c u rr e n t   p r o m i n e n t   t e rm ,   i n t e r pe r s o n a l   o rga ni z a t i o n s   a n t h e   c o nn e c t i o n   b e t w e e n     t h e   t w o   i s   s e l f - e v i de n t ,   y e t   c o n v o l ut e d.   D ur i ng  t h e   l a s t   f e w   y e a r s ,   w i n d ,   s o l a r ,   h y dr o   a n n uc l e a r   po w e r   c o m pa ni e s   ha v e   gr e a t l y   be n e f i t e f r o m   t h e   po w e r   o f   A I,   b i da t a ,   m a c hi n e   l e a r n i ng  a nd  p r e di c t i v e   m o de l s .   T h e y   us e t h e s e   t e c hn o l o gi e s   t o   m a ke   b e t t e r   p r e di c t i o n s ,   t o   i n c r e a s e   t h e i po rt f o l i o ’s   r a t e   o f   r e t u rn  a nd  t l o w e r   t h e i c o s t s   [2].   A c a m e   i nt o   pi c t u r e   i n   e a rl y   f i f t i e s   a n s i x t i e s .   It   w a s   m o s t l y   a bo ut   e n a b l i n m a c hi n e s   t o   do  t h i ngs   o n   t h e i r   o w n   i n   p r o gra m m i n m a c h i n e s   w h i c h   l a t e r   i n c r e a s e i n t o   s o m e t h i ng  l i ke   r o b o t i c s   a n t h e n   i e a r l y   90s   t i l l   201 w e   h a t h i s   m a c hi n e   l e a rn i ng  c o m i n i nt o   pi c t ur e   w h e r e   s o   m a n y   di ff e r e n t   ki nd  of   a l go r i t hm s   a n a p p r o a c h e s   a n d i f fe r e nt   ki n o f   t h e o r i e s   w e r e   di s c ove r e a n r e nt e i n   o r de r   t o   b e gi n   m a c hi n e   t o   s t a r t   l e a rn i ng  o n   t h e i r   ow n   a n t h e n   f r o m   2010  o n w a r ds   a   n e w   f i e l w h i c h   i s   a   s ub s e t   of   a r t i f i c i a l   i n t e l l i ge n c e   (A I),   a n m a c h i n e   l e a rni n (M L i s   t h e   s ub s e t   of   A I,   a nd  de e l e a rni n i s   a   s ub s e t   of   M L   w h i c h   s t a rt e   i n   e a r l y   2010.   M L   i s   a n   i n t e r d i s c i pl i na r y   f i e l w h i c h   a l l ow s   us   t o   a c h i e v e   s o m e   s o r t   o f   A by   us i n g     s t a t i s t i c a l   t e c hn i que s   [3] .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   1 F e b r ua r y   2020   :     5 7 5   -   5 8 0   576   H uge   i n fo r m a t i o n   a nd  i n t e r pe r s o na l   o r g a n i z a t i o n s   a r e   r e l i a nt ,   o n   t h e   gr o u n ds   t ha t   t h e   m a j o r i t y   of  pr e s e nt   i n f o r m a t i o n   i s   p r o duc e f r o m   pe r s o n   t o   pe r s on   c o m m u n i c a t i o n   de s t i n a t i o n s ,   y e t   e n o r m o us   i n f o r m a t i o n   i s   n o t   ge n e ra l l y   h e l pf ul .   T h e   r e a l   t e s t   o f   h uge   i n f o r m a t i o n   i s   n o t   i n   g a t h e r i ng  i t ,   h o w e ve r   i n   ov e r s e e i n i t   a n d   a l s o   c o m pr e h e n d i n i t .   A   f e w   i n s t r um e nt s   a r e   b e i n g   i nt e n de d   t o   b e t t e r   c o m p r e h e n d   t h e   pa rt   of   gi ga n t i c   m e a s u r e   o f   i n f o r m a t i o n   i n   e nha n c i n b us i n e s s .   A n a l y s t s   a n s pe c i a l i s t s   a r e   e nde a v o ur i n t o   i n v e s t i ga t e   t h e   e v e n t u a l   f a t e   o f   h uge   i n f o r m a t i o n   t o   e xt r i c a t e   m o r e   a dv a n t a ge s .   N u m e ri c a l   c o n v e n t i o na l   a pp r o a c h e s   a r e   c o m put a t i o n a l l y   e xpe n s i v e ,   a n h e n c e   i t   i s   di ff i c ul t   t o   us e   fo r   t h e   o n - l i n e   s e c ur i t y   a s s e s s m e n t .   M L   a ppr o a c h e s   w i t h   t h e i r   l e a rni n c a p a b i l i t i e s ,   h i g s pe e of   i de n t i f y i n t h e   po t e n t i a l   s e c ur i t y   bo un da r i e s   a n pa t t e rn   r e c o gn i t i o n   c a o ff e r   a n   a l t e rna t i v e   m e t h o [ 4].     R e fe r e n c e   [5]  p r e s e n t s   t h e   de f i n i t i o n   o f   b i da t a   a ppl i c a t i o n   s c e n a r i o s   t hr o ugh   e x a m p l e s   i n   di f f e r e n t   s e gm e n t s   o f   t ra n s po rt a t i o a n d   e n e r gy   s e c t o r s .   R e fe r e n c e   [6]  p r o po s e s   a   pl a t f o r m   w h i c h   c a n   p r o v i de   a   t e c hn i c a l   s o l ut i o n   t o   m ul t i di s c i pl i na r y   c oo pe r a t i o n   o s m a rt   gri (S G m o n i t o r i ng  a n b i da t a   t e c hn o l o g y .   A n   a s s e s s m e n t   o f   di s t i n gu i s h e a s pe c t s   i b i d a t a   a n a l y t i c s   de v e l o pm e n t s   i n   t h e   do m a i n   o f   pow e r   s y s t e m s   ha s   b e e n   p r e s e n t e d   i [7] .   A   n e w   c o r e - b r o ke r - c l i e nt   s y s t e m   a r c hi t e c t u r e   f o r   b i d a t a   a n a l y t i c s   i s   pr o po s e d     i n   [8 ].   A n   o v e r v i e w   a n po t e n t i a l   o f   b i da t a   f o r   s m a r t   e n e r g y   m a na ge m e nt   s y s t e m   i s   p r e s e nt e i n   [ 9].     T h e   o n go i n w o r o f   a ppl i c a t i o n   o f   M L   o n   dy n a m i c   s e c uri t y   a s s e s s m e n t   o f   p ow e r   s y s t e m s   i s   a dd r e s s e i n   [10] .   A   c o m pr e h e n s i v e   r e v i e w   of   a ppl i c a t i o n s   of   de e l e a rn i n a pp r o a c h e s   o n   m a c hi n e   h e a l t m o n i t o ri n t a s ks   i s   p r e s e n t e i n   [11] .   M a c hi n e   l e a rni n f o r   h o u r l y   s o l a r   f o r e c a s t i n a ppl i c a t i o n   i s   p r o po s e d     i n   [12] .   R e f e r e n c e   [13]  r e v i e w s   t h e   M L   m o de l s   t ha t   a r e   us e fo r   c o n di t i o m o n i t o r i ng   in   w i n t u r b i n e s .   R e fe r e n c e   [14]   p r e s e n t s   a a t t a c k   de t e c t i o n   m o de l   f o r   po w e r   s y s t e m s   b a s e o n   M L   t ha t   c a b e   t ra i n e by   us i n i n f o r m a t i o n   a n l o gs   c o l l e c t e by   ph a s o r   m e a s u r e m e n t   u ni t s .   A   m e t h o t o   a dd r e s s   t h e   p r o b l e m   o s ugge s t i n t h e   m o s t   s ui t a b l e   c o m po n e n t s   f o r   e a c h   us e r   b y   c r e a t i n a   r e c o m m e nde s y s t e m   us i n i n t e l l i ge nt   da t a   a n a l y s i s   i s   pr o po s e d   i n   [15] .   R e f e r e n c e   [16]  t r a i n s   a   M L   m o de l   t o   pr e di c t   t h e   du r a t i o n   of   b i da t a   w o r kl o a ds .   F i r s t ,   t h i s   p a pe r   p r e s e nt s   t h e   c o n c e pt s   of   b i da t a   a n a l y t i c s   a n M L   t e c hni que s .   O n e   n e e t o   de t e r m i n e   t h e   po w e r   s y s t e m   pr o b l e m   w h e r e   w e   n e e t o   a ppl y   t h e   M L   o r   b i da t a .   If   t h e   p r o b l e m   c a n   b e   s o l ve w i t h   c l a s s i c a l   m e t h o ds   w i t h   de s i r e a c c ura c y   w i t h i t h e   t i m e   f r a m e ,   t h e n   t h e r e   i s   n o   r e qu i r e m e n t   o t h e s e   A t e c hn i que s .   G e n e ra l l y ,   t h e   M L   i s   us e fo r   fo r e c a s t i n g ,   a s   t h e r e   i s   a n   a v a i l a b i l i t y   of   l o t   of  da t a .   If   w e   h a v e   a   ri c h   d a t a   s e t ,   t h e   M L   c a na rr o w   dow n   t h e   d a t a   b a s e o n   m o de l   b a s e a pp r o a c h   o o b s e r v e d   da t a .   M L   w i l l   n o t   gi v e   s a t i s f a c t o r y   r e s ul t s   fo r   hi g hl y   c o m pl e a n dy n a m i c   pr o b l e m s   of  pow e r   s y s t e m s ,   s uc h   a s   l o a f l o w ,   c o n t i nge n c y   a na l y s i s ,   t ra n s i e n t   s t a b i l i t y   a na l y s i s ,   e t c .       2.   C O N C EP TS   O F   B I G   D A TA   A N D   M A C H I N L EA R N I N G   2. 1 .   Bi d a ta   B i da t a   i s   t h e   l a r ge   s e t s   o f   da t a   t ha t   a r e   c o m put a t i o na l l y   a na l y z e d   t o   r e v e a l   t h e   t r e nds   a nd  p a t t e rn s   r e l a t e t o   a   c e rt a i a s pe c t   o f   da t a .   I t   i s   t h e   p r o c e s s   t o   de l i ve r   de c i s i o n - m a ki n i n s i g ht s .   It   us e s   t e c hn o l o g y   a n d   pe o pl e   t o   a n a l y z e   l a r ge   a m o u n t s   o f   da t a   o f   v a r i o us   t y p e s   (s t r uc t u r e d ,   u n s t r uc t u r e a n s e m i - s t r uc t u r e da t a )   qui c kl y   f r o m   a   v a r i e t y   of   s o ur c e s   t o   pr o duc e   a   s t r e a m   o a c t i o n a b l e   kn o w l e dge .   G e n e r a l l y ,   t h e   b i da t a   i s   fo un i f o r m s ,   i . e . ,   s t r uc t u r e d ,   u n s t r uc t u r e a n s e m i - s t ruc t u r e [17] .   T h e   da t a   w hi c h   c a n   b e   s t o r e d,   a c c e s s e a n pr o c e s s e d   i n   t h e   fo r m   o f   f i xe d   fo r m a t   i s   de f i ne a s   s t r uc t u r e da t a .   W h e r e a s ,   t h e   un s t ruc t u r e da t a   i s   i n   u nk n o w n   f o r m / s t ruc t u r e ,   a n a s   t h e   s i z e   o f   t h i s   da t a   i s   huge ,   i t   po s e s   s e ve r a l   c ha l l e n ge s   i t e r m s   of  i t s   p r o c e s s i n f o r   e xt r a c t i n v a l ue   o ut   o f   i t .   S e m i - s t ruc t u r e da t a   c a n   c o nt a i n   b o t h   s t ruc t u r e a nd  u n s t ruc t u r e fo r m s   o f   da t a   [18] .   B i da t a   a na l y t i c s   e xa m i n e s   t h e   l a rge   da t a   s e t s   t h a t   c o n t a i n   v a r i o us   da t a   t y pe s   t o   r e v e a l   un s e e pa t t e rn s ,   m a r ke t   t r e n ds ,   hi dde n   c o r r e l a t i o n s ,   c us t o m e r   p r e f e re n c e s ,   a nd  o t h e r   us e f ul   i n f o r m a t i o n .   T h e   a c c e s s   a n ut i l i z a t i o n   o f   t h i s   h uge   da t a   c a n   b e   s pl i t   i n t o   s i pa rt s ,   a n t h e y   a r e   da t a   e xt r a c t i o n,   s t o ra ge ,   c l e a n i ng,   m i ni n g ,   a n a l y s i s ,   a n f i na l l y   da t a   v i s ua l i z a t i o n.   T h e   c h a ra c t e ri s t i c s   of   b i da t a   i n c l u de   vo l um e ,   v a r i e t y ,   v e l o c i t y ,   v a r i a b i l i t y   a n d   v a l ue   [19] .   V o l um e   i s   t h e   s i z e   o f   d a t a   c o n t e n t   ge n e r a t e t ha t   n e e ds   t o   b e   a na l y z e d.   V e l o c i t y   i s   t h e   s pe e a t   w h i c h   n e w   da t a   i s   ge n e r a t e d,   a nd  t h e   s pe e d   a t   w h i c h   d a t a   m o v e s .   V a ri e t y   i s   t h e   t y p e s   of   da t a   t h a t   c a n   b e   a n a l y z e d.   V e r a c i t y   i s   t h e   t r us t w o r t h i n e s s   of   t h e   da t a .   V a l ue   i s   t h e   a b i l i t y   t o   t urn   b i da t a   i n t o   c l e a r   b us i n e s s   v a l ue ,   w h i c r e qui r e s   a c c e s s   a n d   a na l y s i s   t o   pr o duc e   m e a ni n gf ul   o ut p ut .     2. 2 .   M ac h i n e   l e ar n i n g   ( M L)   M L   i s   t h e   s c i e n c e   w h i c h   gi v e   t h e   c o m put e r s   t h e   a b i l i t y   t l e a rn   a n p r e di c t   f r o m   t h e   e xpe ri e n c e   w i t h o ut   e xpl i c i t l y   pr o gra m m e d.   If   a   c o m put e r   p r o g r a m   c a n   i m p r o v e   i t s   pe r f o r m a n c e   by   l e a r ni n f r o m   pr e v i o us   e xpe r i e n c e   t h e n   o n e   c a n   s a y   t h a t   i t   ha s   l e a rn e d .   M a c hi n e   l e a rni n i s   m o r e   c l o s e t o   da t a   a na l y s i s   ra t h e r   t ha n   A I.   M a c h i n e   l e a rn i ng  us e s   a l go r i t hm s   t h a t   a l l o w   c o m put e r s   t o   i t e r a t i v e l y   l e a rn   f r o m   da t a .   I n   pa s t   de c a de s ,   M L   ha s   r e a c h e t o   a   n e w   l e v e l .   M L   ha s   gi v e us   s e l f - dr i v i n c a r,   e f f e c t i v e   w e b   s e a r c h ,   h u m a v o i c e   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       A   s ur v e y   o f   b i g   dat a   an m a c hi n e   l e ar ni ng   ( Sur e nd e r   R e dd y   Sal k u t i )   577   r e c o gn i t i o n,   i m a ge   r e c o gn i t i o n   a n m a n y   m o r e   [20].   E v e r y   da y   w e   us e   i t   s e v e r a l   t i m e s   w i t h o ut   k n o w i n g   i t .   T h e   p r o c e s s   of   M L   i s   de pi c t e i F i gu r e   1.       T r a i n i n g   D a t a M a c h i n e   L e a r n i n g   A l g o r i t h m H y p o t h e s i s M a c h i n e   L e a r n i n g   R e p r e s e n t a t i o n P e r f o r m a n c e     F i gu r e   1 .   M a c hi n e   l e a rni n g   (M L p r o c e s s       It   i s   l i ke   p r e di c t i n t h e   f ut u r e .   T h e   c o m pa ni e s   w o ul a l r e a d y   kn o w   w h a t   k i n d   o f   de c i s i o n   y o a r e   go i n t o   t a ke   a n y   gi v e n   c e r t a i s i t u a t i o n s .   If   c e r t a i pa ra m e t e r s ,   t h e y   a r e   p r o v i de t o   y o w h a t   w o ul be   y o ur   r e a c t i o n   b e c a us e   t h e y   kn o w   i n   pa s t   y o h a v e   d o n e   s o m e t h i ng  l i ke   t h i s   a n y o h a v e   a   s e t   of  da t a   y o ur   da t a   i s   w i t h   t h e m   t ha t   e v e r y   t i m e   w h e n   y o h a v e   i n t o   s uc ki nd  of   e n v i r o n m e n t ,   y o do   c e r t a i n   k i n d   o f   a c t i o n s   c o m pa ni e s   c a p r e di c t   i t   a n t h i s   i s   w ha t   i s   do n e   a s   a   pa rt   o f   m a c h i n e   l e a rn i ng,   w h e r e   d a t a   i s   p r o v i de fe a t ur e   e xt ra c t i o t a ke s   pl a c e .   T h e n   a   p r e di c t i v e   m o de l   i s   c a l c ul a t e a n t h i s   p r e d i c t i v e   m o de l   i s   t h e n   r o l l e o ut   fo r   t h e   us e r s   f o r   w h i c h   da t a   w a s   t a ke [21] .   M L   c o n s i s t s   o f   t w o   ph a s e s ,   i . e . ,   l e a rni n g   a n d   p r e di c t i o n   p ha s e s .   F i gu r e   de p i c t s   l e a rni n p ha s e   o M L   pr o c e s s .   S upe r v i s e d,   u n s upe r v i s e d,   s e m i - s upe r v i s e a nd  r e i n f o r c e m e n t   l e a rn i ngs   a r e   t h e   s o m e   po pul a r   m a c h i n e   l e a rni n t y p e s .   S upe r v i s e l e a rni n r e qui r e s   h u m a n s   t o   t r a i n   by   pr o v i di n i n put s   a n de s i r e   o ut put   [22] .   U n s u pe r v i s e l e a rni n i s   o ppo s i t e   t o   t h e   s upe rv i s e l e a rni n g,   w h i c h   l e a rn s   b y   i t s   ow n   w i t h o ut   a n y   l a b e l e r e s po n s e .   I n   t h e   s upe r v i s e a nd  u n s u pe r v i s e l e a ni n gs   t h e r e   i s   e i t h e r   l a b e l e da t a   o r   u nl a b e l e da t a ,   w h e r e a s   s e m i - s upe r v i s e l e a rni n us e s   bo t h   l a b e l e a n u nl a b e l e da t a   f o r   t ra i ni n g .   R e i n f o r c e m e nt   l e a rn i ng  a l go ri t hm s   l e a rns   by   t r i a l   a nd  e rr o r   m e t h o i w h i c a c t i o n s   y i e l gr e a t e s t   r e w a r d .   T hi s   a l go r i t hm   i s   a   M L   a s   w e l l   a s   b r a n c h   o f   A I.   T h e   pr e di c t i o n   p h a s e   of   M L   u s e s   t h e   de v e l o pe m o de l   a n t h e   n e w   da t a   i s   f e d   t o   t h i s   m o de l .   T h e   p r e di c t e d a t a   i s   go i n g   t o   b e   a v a i l a b l e   by   us i n t h e   M L   a l go ri t hm   [23] .       T r a i n i n g   D a t a P r e - p r o c e s s i n g N o r m a l i z a t i o n I m a g e   p r o c e s s i n g D i m e n s i o n   r e d u c t i o n L e a r n i n g S u p e r v i s e d U n s u p e r v i s e d S e m i - s u p e r v i s e d R e i n f o r c e d E r r o r   A n a l y s i s P r e c i s i o n   O v e r   f i t t i n g T e s t   a n d   v a l i d a t i o n     F i gu r e   2 .   L e a rn i ng  p h a s e   o f   m a c h i n e   l e a rni n g   (M L p r o c e s s       S o m e   o f   t h e   c o m m o n   M L   a l go ri t hm s   us e i n c l ude   r e g re s s i o n   a n a l y s i s ,   c l us t e r i n g ,   a s s o c i a t i o   r u l e   m i n i ng  a n c o l l a b o r a t i v e   f i l t e ri n g .   R e gr e s s i o n   a na l y s i s   h e l ps   t o   pr e di c t   t h e   r e l a t i o n   b e t w e e n   t w v a r i a b l e s   (i . e . ,   de pe n de n t   a n d   i n de pe n de n t   v a ri a b l e s ).   I t h e   c l us t e ri n g   a l go r i t hm ,   t h e   c l a s s i f i e r   t r i e s   t o     f i n s o m e   s t r uc t u r e   f r o m   gi v e da t a   s e t   w i t h o ut   k n o w n   c l a s s i f i c a t i o n .   A s s o c i a t i o n   rul e   m i ni n t r i e s   t o   f i n d     t h e   a s s o c i a t i o n   b e t w e e n   ob j e c t s ,   a l s o   kn o w n   a s   a f f i n i t y   a n a l y s i s .   It   i s   us e t o   f i n w ha t   go e s   w i t h     w h a t   [24 - 25 ].   It   i s   b a s i c a l l y   a   s e t   o f   a na l y t i c a l   t e c hni que s   t h a t   i s   us e t o   u n c o ve r   c o nn e c t i o n s   a n d   a s s o c i a t i o n s   b e t w e e n   o bj e c t s .   Co l l a b o r a t i v e   f i l t e r i n i s   a   t e c hni que   o f   pr e di c t i n us e r   p r e f e r e n c e s   b a s e o n   t h e   p r e f e r e n c e   of   gr o up  o f   us e r s .   T hi s   t e c hn i que   i s   us e w h e n   w e   n e e m o r e   c o m pl e i n f o r m a t i o t ha n   ke y w o r d.       3.   B I G   D A TA   A N D   M A C H I N E   L EA R N I N G   ( M L)  A P P LI C A TI O N S   In d us t r i e s   w h i c h   u s e s   l a r ge   a m o u n t s   o da t a   h a v e   r e c o g ni z e t h e   v a l ue   of  b i da t a   a nd  M L .     By   w o r ki n w i t h   b i da t a   a n M L   o r ga n i z a t i o n s   c a n   w o r e ff i c i e n t l y   a n c a n   ga i n   a dv a n t a ge   ov e r   c o m pe t i t o r s   [18] .   T h e   a pp l i c a t i o n s   o f   b i da t a   a n d   M L   a r e   p re s e n t e i t h e   f o l l ow i n s ub s e c t i o n s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   1 F e b r ua r y   2020   :     5 7 5   -   5 8 0   578   3. 1 .   Bi d a ta  ap p l i c ati o n s   T h e   m a j o r   a pp l i c a t i o n s   o f   b i da t a   a r e   p r e s e n t e d   i T a b l e   [ 26].       T a b l e   1 .   A pp l i c a t i o n s   of   b i da t a   i n   v a ri o us   i n dus t ri e s   In d u s t r i e s   A p p l i c a t i o n s   o Bi g   d a t a   E l e c t ri c a l   p o w e r   a n d   e n e r g y   G e n e ra t i o n   s y s t e m s ,   d i s t ri b u t i o n   a n d   u t i l i t i e s   s y s t e m s :   e l e c t ri c i t y   t h e ft   d e t e c t i o n ,   d e t e c t i o n   o e l e c t ri c   v e h i c l e s ,   p h a s e   c o n n e c t i v i t y   i d e n t i f i c a t i o n ,   t ra n s fo r m e t o   c u s t o m e a s s o c i a t i o n ;   s m a rt   g ri d   a p p l i c a t i o n s   s u c h   a s   w i d e   a re a   s i t u a t i o n a l   a w a re n e s s ,   e v e n t   c l a s s i fi c a t i o n   a n d   d e t e c t i o n ,   t r a n s i e n t   p o w e p r e d i c t i o n ,   f a u l t   d e t e c t i o n /   p re v e n t i o n ,   fo r e c a s t i n g   w e a t h e r ,   l o a d   d e m a n d ,   w i n d   s p e e d   a n d   s o l a i rra d i a t i o n   d a t a ,   c o n t r o l   p ro b l e m s ,   s t a t e   e s t i m a t i o n   a n d   t o   s u p p o rt   t h e   p a rt i c i p a t i o n   o f   m a rk e t   a g e n t s   i n   e l e c t ri c i t y   m a rk e t s   [2 7 ].   H e a l t h   c a r e   a n d   l i fe   s c i e n c e s   D i s e a s e   p a t t e rn   a n a l y s i s ,   c h a i n   m a n a g e m e n t ,   c l i n i c a l   t ri a l s   d a t a   a n a l y s i s ,   d ru g   d i s c o v e r y   a n d   d e v e l o p m e n t   a n a l y s i s ,   p a t i e n t   c a r e   q u a l i t y   a n d   p ro g ra m   a n a l y s i s .   Bi g   d a t a   u s e s   p a t i e n t s   d a t a   t h a t   h e a l t h c a r e   o r g a n i z a t i o n s   h a v e   t o   i m p r o v e   p h a r m a c e u t i c a l   s a l e s ,   p a t i e n t   a n a l y s i s ,   a n d   a l l o w   fo b e t t e r   p a y e s o l u t i o n s .   G o v e r n m e n t     G o v e r n m e n t   u s e s   b i g   d a t a   t o   h a n d l e   t h e   s e c u ri t y   t h r e a t s ,   p o p u l a t i o n   d y n a m i c s ,   b u d g e t i n g   a n d   f i n a n c e   o p e ra t i o n s ,   e t c .   T e l e c o m m u n i c a t i o n s   Bi g   d a t a   i s   r e q u i r e d   fo n e t w o rk   c a p a c i t y   p l a n n i n g   a n d   o p t i m i z a t i o n   b y   c o rr e l a t i n g   n e t w o rk   u s a g e ,   s u b s c ri b e d e n s i t y ,   a l o n g   w i t h   t ra ff i c   a n d   l o c a t i o n   d a t a .   Ca l l   d e t a i l   re c o r d   a n a l y s i s ,   m o b i l e   u s e l o c a t i o n   a n a l y s i s ,   c u s t o m e c h u rn   p r e v e n t i o n ,   r e v e n u e   a s s u ra n c e   a n d   p ri c e   o p t i m i z a t i o n   a n d   n e t w o rk   p e r fo r m a n c e   a n d   o p t i m i z a t i o n .   W e b   a n d   d i g i t a l   m e d i a   A b u s e   a n d   c l i c k - fra u d   p r e v e n t i o n ,   l a rg e   s c a l e   c l i c k   s t r e a m   a n a l y t i c s ,   c a m p a i g n   m a n a g e m e n t   a n d   l o y a l t y   p ro g ra m s ,   s o c i a l   g ra p h   a n a l y s i s   a n d   p ro fi l e   s e g m e n t a t i o n .   Re t a i l / c o n s u m e r s   Bi g   d a t a   i s   re q u i r e d   fo a n a l y z i n g   c u s t o m e b u y i n g   b e h a v i o u r,   c u rre n t   p r o d u c t s ,   p ri c i n g ,   a n d   p ro m o t i o n s .   M a rk e t   a n d   c o n s u m e s e g m e n t a t i o n s ,   e v e n t   a n d   b e h a v i o u r - b a s e d   t a rg e t i n g ,   s u p p l y   c h a i n   m a n a g e m e n t   a n d   a n a l y t i c s ,   m e r c h a n d i z i n g   a n d   m a rk e t   b a s e d   a n a l y s i s .   F i n a n c e   a n d   f ra u d   s e r v i c e s   F ra u d   d e t e c t i o n   a n d   s e c u ri t y   a n a l y t i c s ,   ri s k   a n a l y s i s   a n d   m a n a g e m e n t ,   c re d i t   ri s k ,   s c o ri n g   a n d   a n a l y s i s ,   c o m p l i a n c e   a n d   r e g u l a t o ry   r e p o rt i n g .   E - c o m m e rc e   a n d   c u s t o m e s e r v i c e   E v e n t   a n a l y t i c s ,   r i g h t   o ffe r   a t   ri g h t   t i m e ,   n e x t   b e s t   o p t i o n   o n e x t   b e s t   a c t i o n ,   c r o s s - c h a n n e l   a n a l y t i c s .       3. 2 .   M ac h i n e   l e ar n i n g   ( M L)   ap p l i c at i o n s   A s   e xpl a i n e e a r l i e r,   M L   i s   a   t y p e   o A t h a t   p r o v i de s   c o m put e r s   t h e   a b i l i t y   t o   l e a r n   w i t h o ut   b e i n g   e xpl i c i t l y   pr o gra m m e d.   I t   i s   a   s ub s e t   of   A I,   w h i c h   ha s   b e h a v i o ur a l   r u l e s   by   e xa m i ni n a nd  c o m pa r i n l a r ge   da t a   s e t s   t o   de t e r m i n e   t h e   c o m m o n   p a t t e rn s   [2 8].   T h i s   a pp ro a c h   i s   v e r y   e ff e c t i v e   fo r   s o l v i n c l a s s i f i c a t i o pr o b l e m s .   N ow a da y s ,   s e n s o r s   ge n e ra t e   a   l o t   o f   da t a ,   a nd  i t   i s   ve r y   di ff i c ul t   t o   a na l y z e   t h i s   da t a   f o r   pra c t i c a l   a ppl i c a t i o n s   us i ng  c l a s s i c a l   a pp r o a c h e s .   I n   t h i s   c a s e ,   M L   i s   t h e   b e s t   o pt i o n .   It   i s   us e f o r   de ve l o pi n s t o c h a s t i c   m o de l s .   M L   h a s   m a n y   pr a c t i c a l   a pp l i c a t i o n s   t ha t   r e s ul t s   i t i m e   a n d   m o n e y   s a v i n g.   W i t M L   t h i n gs   c a b e   do n e   m o r e   qui c k l y   a n e f f i c i e n t l y .   It   a u t o m a t e s   t h e   t a s s uc h   a s   c ha n gi ng  p a s s w o r d,   c h e c ki n g   b a l a n c e   w h i c h   w o ul o t h e r w i s e   n e e a   l i v e   a ge n t ,   w h i c h   a s   a   r e s ul t   s a v e   t h e   v a l ua b l e   t i m e   of   t h e   a ge n t   t ha t   c a b e   us e t o   f oc us   o n   o t h e i m po rt a nt   t a s ks   t ha t   h u m a n s   pe r f o r m   b e s t   [29].   In  m o s t   c l a s s i c a l   m o de l s ,   t h e r e   a r e   u nde rl y i n a s s um p t i o n s   t ha t   t h e y   a r e   m a de   t o   l e n t h e   p r o b l e m   t c l a s s i c a l   a na l y s i s .   M L   m a ke s   t h e   pe r f o r m a n c e   b e t t e r   by   us i n h e u ri s t i c s   t o   r e pl a c e   t h e s e   a s s um p t i o n s .   M L   t e c hn i q ue   i s   a ppl i e t o   a   da t a   d ri v e n   e s t i m a t e m o de l .   T h e r e f o r e ,   a c c ura c y / e rr o r   l i m i t   i s   a n   i m po rt a nt     f a c t o r   [30].   T h e   ke y   f a c t o r s   w h i c h   i n c r e a s e t h e   i m po r t a n c e   of   m a c hi n e   l e a rni n g   a r e   t h e   da t a   a v a i l a b i l i t y   a n d   c o m put a t i o n   po w e r .   T h e s e   t w o   f a c t o r s   h a v e   i n c r e a s e t h e   e xc e s s i v e   a ppl i c a t i o n s   o f   M L   a c r o s s   v a r i o us   f i e l ds .   T h e   m a j o r   a pp l i c a t i o n s   o f   m a c hi n e   l e a rni n g   f o r   v a r i o us   f i e l ds   a r e   p r e s e n t e i n   T a b l e   [31 ].       T a b l e   2 .   A pp l i c a t i o n s   o f   m a c hi n e   l e a r n i ng  (M L )   i v a r i o us   i ndus t r i e s   In d u s t r i e s   A p p l i c a t i o n s   o M a c h i n e   L e a rn i n g   E l e c t ri c a l   P o w e r   a n d   E n e r g y   L o a d   m o d e l l i n g ,   a n o m a l y   d e t e c t i o n   a n d   c o n t r o l ,   f o r e c a s t i n g   (l o a d ,   w i n d   a n d   s o l a P V ),   i m a g e   r e c o g n i t i o n ,   n o n l i n e a p ro g ra m m i n g ,   r e c o m m e n d a t i o n ,   f a u l t   l o c a t i o n   e s t i m a t i o n ,   l o a d   a n d   g e n e ra t o c i rc u i t   m o d e l ,   d y n a m i c   m o d e l   p a ra m e t e e s t i m a t i o n ,   e x c i t e r   a n d   g o v e r n o r   m o d e l s ,   e t c .     T ra n s p o r t a t i o n   T ra n s p o r t a t i o n   i s   t h e   m a i n   i n d u s t r y   w h i c h   i s   v e r y   m u c h   a ffe c t e d   b y   M L .   M a n y   b i g   c o m p a n i e s   l i k e   G o o g l e ,   T e s l a   a n d   o t h e r s   a r e   i n v e s t i n g   t o o   m u c h   i n   s e l f - d ri v i n g   c a r s .   T e s l a   c a r s   a r e   a l r e a d y   e q u i p p e d   w i t h   a u t o p i l o t   fe a t u r e   w h i c h   u s e s   a   s y s t e m   o 8   c a m e ra s   a n d   1 2   s e n s o r s   w h i c h   p r o v i d e s   3 6 0   d e g r e e   v i e w   t o   a   ra n g e   o f   2 5 0   m e t e r s   [3 2 ].   E d u c a t i o n   M L   h e l p s   t o   o r g a n i z e   a n d   o p t i m i z e   t h e   c o n t e n t   m o d u l e   a n d   t ra c k   s t u d e n t   k n o w l e d g e   a n d   r e c o m m e n d   n e x t   s t e p .   M L   a n d   A c a n   e a s i l y   i d e n t i f y   t h e   l e a r n i n g   d i s a b i l i t y .   I t   c a n   c o l l e c t   s t u d e n t s   w o rk   a n d   a n a l y z e   t h e   d i ff i c u l t i e s   f a c e d   b y   t h e   s t u d e n t s .   It   c a n   b e   u s e d   t o   g e n e ra t e   t e s t s   a n d   a s s i g n m e n t s .   F i n a n c i a l   S e r v i c e s   F i n a n c i a l   s e r v i c e s   l i k e   b a n k s   a n d   o t h e b u s i n e s s   u s e d   M L   t o   i n c r e a s e   p r o f i t ,   i n v e s t m e n t   a n d   t o   p r e v e n t   fra u d .   M L   a l g o r i t h m s   c a n   e a s i l y   d e t e c t   fra u d s   a n d   c a n   f l a g   t h e m   t o   t h e   s e c u ri t y   t e a m .   M a rk e t i n g   a n d   S a l e s   M L   i s   u s e f u l   fo f ra u d   d e t e c t i o n   i n   t ra n s a c t i o n s   b e t w e e n   b u y e r s   a n d   s e l l e r s .   E - c o m m e r c e   w e b s i t e s   u s e s   M L     t o   r e c o m m e n d   i t e m s   b a s e d   o n   p r e v i o u s   i t e m s   p u rc h a s e d   o s e a r c h e d .     H e a l t h c a re   M L   i s   u s e f u l   f o e a rl y   d e t e c t i o n   o f   d i s e a s e   a n d   t o   u n d e r s t a n d   ri s k   f a c t o r s   f o a   d i s e a s e .   T h e s e   a l g o r i t h m s   c a n   e a s i l y   i d e n t i f y   d i s e a s e s   w i t h i n   a   f ra c t i o n   o f   t i m e   t a k e n   b y   d o c t o r s .   I t   t a k e s   y e a r s   o f   t ra i n i n g   fo d o c t o r s   t o   i d e n t i fy   a n y   d i s e a s e   a   m a c h i n e   c a n   l e a r n   t o   i d e n t i f y   i t   i n   h o u rs .   A a l s o   w o rk s   a s   v i rt u a l   d o c t o r .   It   l i s t e n s   t o   t h e   p a t i e n t s   p ro b l e m   a n d   s u g g e s t s   t h e   t re a t m e n t   [3 3 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       A   s ur v e y   o f   b i g   dat a   an m a c hi n e   l e ar ni ng   ( Sur e nd e r   R e dd y   Sal k u t i )   579   4.   C H A LLEN G ES   A N D   O P P O R TU N I TI ES   O F   B I G   D A T A   A N D   M A C H I N LEA R N I N G   (M L)   B i da t a   b ri n gs   n e w   c h a l l e n ge s ,   a nd  r e qui r e s   n e w   a ppr o a c h e s   t o   de a l   w i t h   t h e   c h a l l e n ge s .     T h e   c ha l l e n ge s   t o   b i da t a   i n c l ude   pe r f o r m a n c e ,   da t a   f e de r a t i o n,   d a t a   c l e a n s i ng,   s e c uri t y   a nd  t i m e   t o   v a l ue .   M o s t   c o m m o n   a c t i o n s   pe r f o r m e o n   da t a   s e t s   us i n b i da t a   a n a l y s i s   i n c l ude s   c a pt uri n da t a ,   s t o r i ng  da t a ,   da t a   a n a l y s i s ,   upda t i n g ,   que r y i n a n v i s ua l i z i ng  t h e   da t a .   Cha l l e nge s   of  b i da t a   fo r   e l e c t r i c a l   po w e r   a n d   e n e r gy   i n d us t r y   i n c l ude   p r i v a c y ,   da t a   m i n i ng,   i n t e g ra t i o n   of   da t a ,   c y b e r   s e c ur i t y ,   a n de m a nd  p r e di c t i o n   t hr o ugh  a na l y t i c s   pr o c e s s i n i s m a r t   g r i d   (S G a ppl i c a t i o ns ,   da t a   qua l i t y   a n c o s t   b a l a n c e ,   i ndus t ri a l   f a ul t   di a g n o s i s   us i ng  b i da t a   a n qua nt u m   c r y pt o gr a p h y   fo r   da t a   s e c ur i t y   i n   s m a r t   g r i ds .   S o m e   c h a l l e n ge s   l y i n a h e a i n   t h e   t e rm s   o f   S G   b i da t a   t e c hn o l o g y   i n c l ude s   m u l t i s o u r c e   da t a   i nt e g r a t i o n   a n s t o r a ge ,   r e a l - t i m e   da t a   p r o c e s s i n t e c hn o l o g y ,   da t a   c o m pr e s s i o n,   b i da t a   v i s ua l i z a t i o n   t e c hn o l o g y ,   a nd  da t a   p ri v a c y   a n d   s e c ur i t y   [ 34 ].   S t a t e   o f   a rt ,   c u rr e nt   s t a t us   a n d   r e c e n t   de v e l o pm e n t s   o f   b i da t a   a r e :   a.   B i da t a   t e c hni que   t o   h a n d l e   a   l a r ge   a m o u n t   o f   i n f o r m a t i o i a   s h o rt   t i m e   us i n g   m e t e da t a   m a na ge m e n t .   b.   B i da t a   r e qui r e m e n t s   a nd  e nh a n c e m e n t s   t hr o ug h o ut   t h e   po w e r   n e t w o r d i s pa t c hi n g   a nd  p l a nni n g .   c.   S c h e dul a b l e   c a p a c i t y   fo r e c a s t i n t e c hni que   f o r   t h e rm o s t a t i c a l l y   c o n t r o l l e l o a by   b i da t a   a na l y s i s .   d.   Co n c e pt   o f   de v i c e   e l e c t r o c a rdi o gra m   i n   f a ul t   di a g n o s i s   us i n g   b i d a t a .   e.   T e n s o b a s e b i d a t a   m a na ge m e n t   s c h e m e   i s m a r t   g ri (S G s y s t e m s .   f.   A r t i f i c i a l   n e u r a l   n e t w o r (A N N a pp r o a c i e f f i c i e n t   e l e c t ri c i t y   ge n e r a t i o f o r e c a s t i n g.   S o m e   of   t h e   b e n e f i t s   f r o m   b i da t a   a na l y t i c s   i n   S G   i nc l ude s   i n c r e a s e s y s t e m   s t a b i l i t y   a n r e l i a b i l i t y ,   i n c r e a s e a s s e t   ut i l i z a t i o n   a n e ff i c i e n c y ,   a n b e t t e r   c us t o m e r   e xpe ri e n c e   a n s a t i s f a c t i o n   [3 5 ].   M a c hi n e   l e a rn i ng  i s   a   s ub s e t   of   A w h i c h   i n c l ude s   a b s t r us e   s t a t i c a l l y   a ppr o a c h e s   t h a t   e na b l e   m a c hi n e s   t i m p r o v e   a t   t a s k s   w i t h   e xpe ri e n c e .   T h e   c a t e go r y   i n c l ude s   de e l e a rni n g .   H e n c e ,   i t   i s   a   s ub s e t   of   A i n   w h i c m a c h i n e   t h e y   ge t   i m p r o v e ki n o f   de c i s i o n   m a k i n e xpe ri e n c e   de pe n di ng  upo n   t h e   t ra i ni n o r   t h e   d a t a   t h e y   ha v e   a n i t   i s   b a s e upo n   de e l e a rn i ng  [36 ].   T h e   m a i n   c h a l l e n ge s   o m a c hi n e   l e a rn i ng  a r e :   ge n e ra t i v e   v s   di s c r i m i na t i v e   l e a rni n g ,   b e y o n c l a s s i f i c a t i o n   a n r e g r e s s i o n ,   l e a rni n f r o m   n o n - v e c t o r i a l   d a t a ,   m a c h i n e   l e a rn i ng  b o t t l e n e c ks ,   i n t e l l i g i b l e   m o de l s ,   c o m b i n i ng  l e a rni n g   m e t h o ds ,   di s t ri b ut e da t a   m i n i ng,   u n s u pe r v i s e l e a rn i ng  c o m e s   o f   a ge ,   a n d   m o r e   i n f o rm e i n f o r m a t i o a c c e s s .       5.   C O N C LU S I O NS   A   de t a i l e a na l y s i s   of   b i da t a   a nd  m a c h i n e   l e a rni n g   (M L i n   e l e c t r i c a l   po w e r   a nd  e n e r gy   s e c t o r   i n c l udi ng  t h e   s m a rt   gri h a s   b e e n   pr e s e nt e i n   t h i s   pa pe r.   B i da t a   a n a l y t i c s   i n v o l v e s   t h e   pr o c e s s e s   of  s e a r c h i n a   da t a b a s e ,   m i n i ng,   a n a na l y s i n d a t a   de di c a t e t o   i m p r o v e   t h e   pe r f o r m a n c e   of   t h e   c o m pa n y .     M L   foc us e s   o n   t h e   de v e l o pm e n t   o f   c o m put e p r o gra m s   t h a t   c a n   t e a c t h e m s e l v e s   t o   gr o w   a n c ha n ge   w h e n   e xpo s e t t h e   n e w   da t a .   A pp l i c a t i o n s   o b i da t a   a n M L   i n   v a r i o us   i n d us t r i e s   s uc h   a s   e l e c t r i c a l   po w e r   a nd  e n e r gy   i n c l udi ng  s m a r t   g r i d ,   t r a n s po r t a t i o n ,   h e a l t h   c a r e ,   e duc a t i o n ,   e - c o m m e r c e ,   f i na n c i a l   s e r v i c e s ,   m a r ke t i ng  a n s a l e s ,   e t c .   V a ri o us   c ha l l e n ge s   a n o ppo rt u n i t i e s   r e l a t e t o   b i da t a   a n d   m a c h i n e   l e a rn i ng  a r e   a l s r e v i e w e i n   t h i s   pa pe r.       A C K N O WL ED G E M EN TS   T h i s   r e s e a r c h   w o r ha s   b e e n   c a rri e o ut   b a s e o n   t h e   s uppo rt   o f   W oo s o n U n i v e r s i t y 's   A c a de m i c   R e s e a r c F u n d i n g   -   2 019 .       R EF ER EN C ES     [ 1]     R.   J .   B e s s a ,   C ha p t e r   10   -   F u t u r e   T r e n ds   f o r   B i g   D a t a   A ppl i c a t i o i P o w e r   S y s t e m s ,”   B i D at a   A pp l i c at i o i n   P o w e r   Sy s t e m s ,   pp.   2 23 - 242 ,   2018 .   [ 2]     Y .   Z ha ng ,   e t   al . A   bi g   da t a   dr i v e a na l y t i c a l   f r a m e w o r f o r   e ne r gy - i nt e ns i v e   m a nuf a c t u r i ng   i nd us t r i e s ,   J our n al   of   C l e ane r   P r od uc t i o n ,   v o l .   1 97 ,   p p.   57 - 72 ,   201 8.   [ 3]     H o w   M a c hi n e   L e a r ni ng ,   B i g   D a t a ,   &   A I   A r e   C ha ng i ng   E ne r gy ,”   [ O n l i ne ] ,   A v a i l a bl e :   ht t p s : / / r a pi dm i n e r . c o m /   bl o g / m a c hi ne - l e a r ni ng - bi g - da t a - ai - e ne r gy /   [ 4]     N.   V .   T o m i n,   e t   al . M a c hi ne   L e a r n i ng   T e c hni qu e s   f o r   P o w e r   S y s t e m   S e c ur i t y   A s s e s s m e nt ,   I F A C - P ape r s O nL i ne v o l .   49,   p p.   44 5 - 450 ,   2 016 .   [ 5]     S .   R us i t s c hka   a nd   E .   C u r r y ,   B i D a t i t he   E ne r gy   a nd  T r ans p or t   Se c t or s ,   in   C a v a n i l l a s   J . ,   C u r r y   E . ,   W a hl s t e r   W .   ( e d s ) ,   N e w   H o r i z o ns   f o r   a   D a t a - D r i v e n   E c o no m y ,”   S pr i ng e r ,   C ha m ,   2 016 .   [ 6]     Y .   G uo ,   e t   al . C o m pl e P o w e r   S y s t e m   S t a t us   M o ni t o r i ng   a nd  E v a l u a t i o U s i ng   B i g   D a t a   P l a t f o r m   a nd  M a c h i ne   L e a r ni ng   A l g o r i t hm s :   A   R e v i e w   a nd   a   C a s e   S t udy ,   C om p l e x i t y v o l .   20 18,   p p.   1 - 21 ,   2018 .   [ 7]     H .   A H e j a z i   a nd   H .   M R a d,   P o w e r   s y s t e m s   bi g   da t a   a na l y t i c s :   A a s s e s s m e n t   o f   pa r a di g m   s hi f t   ba r r i e r s   a nd  pr o s pe c t s ,   E ne r g y   R e po r t s ,   v o l .   4,   pp .   91 - 100 ,   201 8 .   [ 8]     T .   W i l c o x,   e t   al . A   B i g   D a t a   pl a t f o r m   f o r   s m a r t   m e t e r   d a t a   a na l y t i c s ,   C om put e r s   i I ndu s t r y ,   v o l .   105,     pp.   25 0 - 259,   2 019 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   1 F e b r ua r y   2020   :     5 7 5   -   5 8 0   580   [ 9]     K .   Z ho u,   e t   a l . B i g   da t a   d r i v e s m a r t   e n e r g y   m a na g e m e nt :   F r o m   bi g   da t a   t o   bi g   i ns i g ht s ,   R e ne w abl e   and  Sus t ai nab l e   E ne r gy   R e v i e w s ,   v o l .   56 ,   pp .   215 - 225 ,   201 6.   [ 10]     E.   M .   V o um vo ul a ki s ,   e t   a l . A ppl i c a t i o o f   M a c hi ne   L e a r n i ng   o P o w e r   S y s t e m   D y na m i c   S e c ur i t y   A s s e s s m e n t ,   I nt e r n at i on al   C onf e r e nc e   on   I n t e l l i ge n t   Sy s t e m s   A pp l i c at i on s   t P ow e r   Sy s t e m s ,   T o ki   M e s s e ,   N i i g a t a ,     pp.   1 - 6 2 007 .   [ 11]     R .   Z ha o ,   e t   al . D e e l e a r n i ng   a nd  i t s   a pp l i c a t i o ns   t o   m a c hi ne   h e a l t m o ni t o r i ng ,   M e c h an i c a l   Sy s t e m s   and  S i gn al   P r oc e s s i ng ,   v o l .   11 5,   pp .   21 3 - 237,   2 019 .   [ 12]     G.   M .   Y a g l i ,   e t   a l . A ut o m a t i c   ho ur l y   s o l a r   f o r e c a s t i ng   us i n g   m a c hi ne   l e a r ni ng   m o de l s ,   R e ne w abl e   and   Sus t ai nab l e   E ne r gy   R e v i e w s v o l .   10 5,   pp .   487 - 49 8,   20 19.   [ 13]     S t e t c o ,   e t   al . M a c hi ne   l e a r ni ng   m e t ho ds   f o r   w i nd  t u r bi ne   c o ndi t i o m o ni t o r i ng :   A   r e v i e w ,   R e ne w abl e   E ne r gy v o l .   133 ,   pp.   6 20 - 635 ,   2019 .   [ 14]     D .   W a ng ,   e t   al . D e t e c t i o o f   po w e r   g r i di s t u r b a nc e s   a n c y be r - a t t a c ks   ba s e o m a c hi n e   l e a r ni ng ,   J o ur n al   o f   I nf or m a t i on  Se c ur i t y   and   A pp l i c a t i o ns ,   v o l .   46 ,   pp .   4 2 - 52,   2 019 .   [ 15]     A.   J.   F .   G a r c í a ,   e t   a l . A   r e c o m m e nde r   s y s t e m   f o r   c o m po ne nt - ba s e a pp l i c a t i o ns   us i ng   m a c hi ne   l e a r n i ng   t e c hni que s ,   K now l e dge - B as e S y s t e m s ,   v o l .   16 4,   pp .   68 - 84 ,   201 9.   [ 16]     Á.   B .   H e r n de z ,   e t   al . U s i ng   m a c hi ne   l e a r n i ng   t o   o pt i m i z e   pa r a l l e l i s m   i b i g   da t a   a ppl i c a t i o ns ,   F ut ur e   G e ne r at i on   C om p ut e r   Sy s t e m s ,   v o l .   86 ,   p p.   10 76 - 1092 ,   201 8.   [ 17]     R .   A r g ha nde h   a nd   Y .   Z ho u,   B i g   D at A pp l i c at i on   i P ow e r   Sy s t e m s ,   E l s e v i e r   S c i e nc e ,   201 8.   [ 18]     J .   L e e e t   al . D a t a   A na l y s i s   f o r   S o l a r   E ne r gy   G e ne r a t i o i a   U ni v e r s i t y   M i c r o g r i d ,   I nt e r na t i ona l   J ou r na l   of   E l e c t r i c al   an C om put e r   E ng i ne e r i ng   ( I J E C E ) ,   v o l .   8 ,   pp.   1 324 - 13 30,   20 18.   [ 19]     ht t ps : / / w w w 2. m i c r o s t r a t e gy . c om / pr o duc t he l p/ 10 . 10 / W e bU s e r / W e b H e l p / L a ng _1033 / C o nt e n t / m s t r _b i g _da t a . ht m   [ 20]     M .   F a r h a d i   a nd   N .   M o l l a y i ,   A ppl i c a t i o o f   t he   l e a s t   s q ua r e   s uppo r t   v e c t o r   m a c hi ne   f o r   po i nt - to - po i nt     f o r e c a s t i ng   o f   t he   P V   po w e r ,   I nt e r n at i on al   J our na l   of   E l e c t r i c a l   and  C om pu t e r   E ng i ne e r i ng  ( I J E C E ) ,   v o l .   9   pp.   22 05 - 2211 ,   201 9.   [ 21]     V .   M a l ba s a ,   e t   al . V o l t a g e   S t a bi l i t y   P r e di c t i o U s i ng   A c t i v e   M a c hi ne   L e a r n i ng ,   I E E E   T r a ns a c t i on s   on  Sm ar t   G r i d ,   v o l .   8 ,   pp.   3 117 - 312 4,   20 17.   [ 22]     R a hm a n ,   e t   a l . P o w e r   di s a g g r e g a t i o o f   c om bi ne H V A C   l o a ds   us i ng   s upe r v i s e m a c hi ne   l e a r n i ng   a l g o r i t hm s ,   E ne r gy   and   B u i l di n gs ,   v o l .   172 ,   pp .   57 - 66 ,   2 018 .   [ 23]     M d .   A .   R a hm a n,   e t   al . A   S ur v e y   o f   M a c hi ne   L e a r n i ng   T e c hni que s   f o r   S e l f   -   t uni ng   H a do o P e r f o r m a nc e ,   I nt e r n at i on al   J o ur n al   o f   E l e c t r i c al   a nd  C om pu t e r   E n gi ne e r i n ( I J E C E ) ,   v o l .   8 ,   pp .   1854 - 18 62 ,   2018 .   [ 24]     S .   P r e da e t   a l . P V   F o r e c a s t i ng   U s i ng   S uppo r t   V e c t o r   M a c hi n e   L e a r n i ng   i a   B i g   D a t a   A na l y t i c s   C o nt e xt ,   Sy m m e t r y ,   v o l .   10 ,   201 8.   [ 25]     C.   S .   S i nd hu   a nd   N.   P .   H e g de ,   A   N ov e l   I nt e g r a t e F r a m e w o r t o   E ns ur e   B e t t e r   D a t a   Q ua l i t y   i B i g   D a t a   A na l y t i c s   o v e r   C l o ud  E nv i r o nm e nt ,   I n t e r na t i o nal   J ou r na l   of   E l e c t r i c al   and  C om pu t e r   E ng i ne e r i ng  ( I J E C E )   vol .   7,   pp .   279 8 - 2805 ,   2017 .   [ 26]     R .   E s ka nd a r po ur   a n d   A .   K ho da e i ,   M a c hi ne   L e a r n i ng   B a s e P o w e r   G r i d   O u t a g e   P r e di c t i o i n   R e s po ns e   t E xt r e m e   E v e nt s ,   I E E E   T r a ns a c t i on s   on   P ow e r   Sy s t e m s ,   v o l .   3 2,   pp .   3315 - 33 16,   2 017 .   [ 27]     G .   B a t h l a ,   e t   a l . A   N o v e l   A ppr o a c f o r   C l us t e r i ng   B i g   D a t a   b a s e d   o M a pR e duc e ,   I n t e r na t i o nal   J o ur na l   o f   E l e c t r i c al   an C om put e r   E ng i ne e r i ng   ( I J E C E ) ,   v o l .   8 ,   pp.   1 711 - 17 19,   20 18.   [ 28]     W .   X i a ng ,   e t   a l . M a c hi ne   l e a r ni ng   ba s e o pt i m i z a t i o f o r   v e hi c l e - to - i nf r a s t r uc t ur e   c o m m uni c a t i o ns ,   F ut u r e   G e ne r at i on   C om p ut e r   Sy s t e m s ,   v o l .   94 ,   p p.   48 8 - 495 ,   2 019 .   [ 29]     C .   T u ,   e t   al . B i g   da t a   i s s ue s   i s m a r t   g r i   r e v i e w ,   R e ne w abl e   and  S us t ai nab l e   E ne r gy   R e v i e w s ,   v o l .   79,     pp.   10 99 - 1107 ,   201 7.   [ 30]     B.   A.   S .   L e e c h,   e t   a l . B i g   D a t a   i s s ue s   a nd  o ppo r t un i t i e s   f o r   e l e c t r i c   ut i l i t i e s ,   R e ne w abl e   and  S us t a i nab l e   E ne r gy   R e v i e w s ,   v o l .   52 ,   pp .   937 - 947 ,   201 5.   [ 31]     R.   Y .   Z ho ng ,   e t   a l . B i g   D a t a   f o r   s upp l y   c ha i m a na g e m e n t   i t h e   s e r v i c e   a nd   m a nuf a c t u r i ng   s e c t o r s :   C ha l l e ng e s ,   o ppo r t uni t i e s ,   a nd   f ut u r e   p e r s pe c t i v e s ,   C om pu t e r s   &   I ndus t r i a l   E n gi ne e r i ng ,   v o l .   10 1,   pp .   572 - 59 1,   20 16 .   [ 32]     D .   R a dh i ka   a n d   D.   A .   K um a r i ,   M i s u s a b i l i t y   M e a s ur e   B a s e d   S a ni t i z a t i o o f   B i g   D a t a   f o r   P r i v a c y   P r e s e r v i ng  M a pR e duc e   P r o g r a m m i ng ,   I n t e r na t i o na l   J ou r na l   o f   E l e c t r i c a l   and  C om pu t e r   E ng i ne e r i ng  ( I J E C E ) ,   v o l .   8,     pp.   45 24 - 4532 ,   201 8.   [ 33]     R.   A .   A r c ha na ,   e t   a l . A   S t udy   o B i g   D a t a   P r i v a c y   P r o t e c t i o M o de l s   us i ng   D a t a   M a s ki ng   M e t ho ds ,   I nt e r n at i on al   J o ur n al   o f   E l e c t r i c al   a nd  C om pu t e r   E n gi ne e r i n ( I J E C E ) ,   v o l .   8 ,   pp .   3976 - 39 83 ,   2018 .   [ 34]     E .   H o s s a i n,   e t   al . A ppl i c a t i o o f   B i g   D a t a   a nd  M a c hi ne   L e a r ni ng   i S m a r t   G r i d,   a nd  A s s o c i a t e S e c ur i t y   C o nc e r ns :   A   R e v i e w ,   I E E E   A c c e s s v o l .   7 ,   pp .   139 60 - 1398 8,   20 19.   [ 35]     T .   Y u a n ,   e t   al . H y pe r O X N :   A   N ov e l   D a t a   C e n t e r   T o po l o gy  D r i v e by   M a c hi n e   L e a r ni ng ,   13t A P C A   I nt e r n at i on al   C on f e r e nc e   on   A u t om a t i c   C o nt r o l   a nd   So f t   C om p ut i n g ,   pp .   573 - 578 201 8.   [ 36]     M.   K .   S a g g i   a nd   S .   J a i n,   A   s ur v e y   t o w a r ds   a i n t e g r a t i o o f   bi g   d a t a   a na l y t i c s   t o   bi g   i ns i g ht s   f o r   v a l ue - c r e a t i o n,   I nf or m a t i on  P r o c e s s i ng  &   M ana ge m e nt ,   v o l .   54 ,   pp .   758 - 790 ,   201 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.