I nte rna t io na l J o urna l o f   Adv a nces in Applie d Science s   ( I J AAS)   Vo l.  1 5 ,   No .   3 ,  Sep tem b er   20 2 6 ,   p p .   1 0 9 8 ~ 1 1 1 1   I SS N:  2252 - 8 8 1 4 ,  DOI :  1 0 . 1 1 5 9 1 /ijaas . v 1 5 . i 3 . pp 1 0 9 8 - 1 1 1 1           1098       J o ur na l ho m ep a g e :  h ttp : //ij a a s . ia esco r e. co m   A nov el comb ined  deep  l ea rning - ba sed tec hnique  f o r  elect rici ty  thef t  de tect io n  in  a  sma rt  g rid       E t ienne F ra nço is   M o uck o m e y 1 ,   J a cques   B ik a i 2 ,   Ca m ille F ra nk lin   M bey 1 ,   F elix   G is la in   Yem   So uh e 1 ,  Alex a nd re   T epla ira   B o um 1 ,   Vinn y   J un io r  F o ba   K a k eu 1   1 D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g ,   EN S ET ,   U n i v e r si t y   o f   D o u a l a ,   D o u a l a ,   C a mero o n   2 D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g ,   U n i v e r si t y   o f   N g a o u n d e r e ,   N g a o u n d e r e ,   C a m e r o o n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma r   1 2 ,   2 0 2 5   R ev is ed   Au g   8 ,   2 0 2 6   Acc ep ted   Au g   1 3 ,   2 0 2 6       En e rg y   th e ft  re p re se n ts  a   m a jo r  c h a ll e n g e   fo r  e lec tri c it y   d i strib u ti o n   c o m p a n ies   wo rl d wid e   a n d   c o n st it u tes   a   k e y   c o m p o n e n t  o f  n o n - tec h n ica l  lo ss e s   ( NTLs ) ,   a lo n g si d e   fa u lt y   m e ters   a n d   b il li n g   in a c c u ra c ies .   De sp it e   th e   ri se   o f  a rt ifi c ial  i n telli g e n c e   t e c h n iq u e s  fo r   e lec tri c it y   th e ft   d e tec ti o n ,   e x isti n g   a p p ro a c h e s  e x h i b it   li m i tatio n s   in   c las sifica ti o n   a n d   d a t a   a n a ly sis  wh e n   a p p l ied   to   lar g e - sc a le   d a tas e ts.  Th e se   sh o rtco m in g s  c a n   r e d u c e   th e   e ffe c ti v e n e ss   a n d   p re c isio n   o f  t h e   th e ft  d e tec ti o n   sy ste m s.  Th e r e fo re ,   th is   a rti c le  p ro p o se s  a   b i d irec ti o n a l   l o n g   sh o r t - term   m e m o ry   (Bi - LS TM )  with   th e   lo o k a h e a d   a d a p ti v e   m o m e n t  e stim a ti o n   (LADA M )  o p ti m ize r  a n d   a   su p p o rt   v e c to r  m a c h in e   (S VM)  with   a   b id irec ti o n a l  g a ted   re c u rre n t  u n it   (Bi - G RU )  fo r  th e   d e tec ti o n   o f   e n e rg y   t h e ft  in   a   sm a rt  e lec tri c it y   g rid   to   a ss e ss   e n e rg y   su p p l ier  c o m p a n ies .   I n   th is  wo rk ,   th e   p r o p o se d   m o d e l  is  imp lem e n ted   on   th e   S tate   G rid   C o rp o ra ti o n   o f   C h in a   (S G CC)  d a tas e t.   In   th e   p ro p o se d   fra m e wo rk ,   th e   Bi - LS TM   is  u se d   fo r  f e a tu re   e x trac ti o n ,   wh il e   t h e   LADA M   o p ti m ize r  is  e m p l o y e d   fo r   fe a tu r e   se lec ti o n   a n d   n o rm a li z a ti o n .   T h e   re fin e d   fe a tu re   se t  is su b se q u e n tl y   fe d   i n t o   th e   S VM  c las sifier t o   d isti n g u is h   b e twe e n   th e ft  a n d   n o n - t h e ft  i n sta n c e s.  T h e   o b tai n e d   fin d i n g s  h i g h li g h t  t h e   su p e ri o r  e fficie n c y   o f   t h e   p r o p o se d   stra teg y   c o m p a re d   with   th o se   i n   th e   li tera tu re ,   h ig h li g h ti n g   it s  p o ten t ial  fo r  p ra c ti c a l  d e p lo y m e n t  i n   re a l - wo rld   sm a rt  g rid   sy ste m s.   K ey w o r d s :   ADAM   Bi - L ADAM - SVM - G R U  m o d el   Dee p   lear n in g   E lectr icity   th ef t   L o n g   s h o r t - ter m   m e m o r y   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E tien n e  Fra n ço is   Mo u c k o m e y   Dep ar tm en t o f   E lectr ical  E n g i n ee r in g ,   E NSET ,   Un iv er s ity   o f   Do u ala   Do u ala,   C am er o o n     E m ail: e m o u ck o @ g m ail. co m       1.   I NT RO D UCT I O N   T h e  g lo b al  d e m an d   f o r   elec t r ical  en er g y   h as  b ee n   in cr ea s in g   s tead ily   d u e  to   p o p u latio n   g r o wth ,   in d u s tr ial  ex p a n s io n ,   a n d   th e  elec tr if icatio n   o f   n ew  s ec to r s   o f   ac tiv ity .   T h is   g r o win g   d em an d   r e q u ir es  p o wer   g r id   o p e r ato r s   to   en s u r e  a  co n tin u o u s ,   s tab le,   an d   r elia b le  elec tr icity   s u p p ly   to   co n s u m er s   [ 1 ] .   Ho wev er ,   m ain tain in g   s u c h   r eliab ilit y   r e m ain s   a  ch allen g e  d u e   to   v ar i o u s   lo s s es  o cc u r r i n g   with in   th e  p o wer   g r i d ,   w h ich   d ir ec tly   im p ac t  th e   ef f icien c y   an d   p r o f itab ilit y   o f   elec tr icit y   d is tr ib u tio n   s y s tem s .   Po wer   lo s s es  in   elec tr ical   g r id s   ca n   b e   b r o a d ly   d iv id ed   i n to   two   g r o u p s :  tech n ical  lo s s es  an d   n o n - tec h n ical  lo s s es  ( N T L s )   [ 2 ] .   T ec h n ical  lo s s es  ar e  in h er en t  to   th e  p h y s ical  ch ar ac ter is tics   o f   elec tr ical  co m p o n en ts ,   s u ch   as  r esis tiv e  d is s ip atio n   in   tr an s m i s s io n   lin es,  tr an s f o r m er   in ef f icien cies,  an d   en e r g y   leak ag e  in   p o o r ly   m ain tain e d   in f r astru ctu r es.  I n   co n tr ast,  NT L s   r e p r esen t  t h e  d if f er en ce   b etwe en   th e   to tal  e n er g y   s u p p lied   th r o u g h   t r an s m is s io n   lin es  an d   th e   en er g y   ac tu ally   b illed   to   en d   u s er s .   T h ese  lo s s es  ar e  ty p i ca lly   ca u s ed   b y   h u m an   ac tio n s   s u ch   as  m eter   tam p er in g ,   illeg al  co n n ec tio n s ,   an d   f alsi f ied   r ea d in g s   [ 3 ] .  N T L s   r ep r esen t  a   m ajo r   ec o n o m ic  an d   o p e r atio n al  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       A   n o ve l c o mb i n ed   d ee p   lea r n i n g - b a s ed   tech n iq u e  fo r   elec tr icity  th eft   …   ( E tien n e  F r a n ç o is   Mo u ck o mey )   1099   ch allen g e,   co s tin g   p o wer   u tili ties   m ill io n s   o f   d o llar s   an n u ally   [4 ] .   B ey o n d   th e  f in a n cial  im p ac t,  NT L s   ca u s e   n etwo r k   o v er lo ad i n g ,   v o ltag e   in s tab ilit y ,   an d   u n f air   tar if f   ad ju s tm en ts   th at  p en alize   co m p lian t  co n s u m er s .   Am o n g   th ese  lo s s es,  elec tr icit y   th ef t  is   th e  m o s t  s ig n if ican t  an d   wid esp r ea d   is s u e.   I t  r ef e r s   to   u n au th o r ized   co n s u m p tio n   o f   elec tr ical   en e r g y   th at  is   eith e r   u n m eter e d   o r   u n b illed ,   lead in g   to   s u b s tan t ial  r ev en u e  d ef icits   f o r   elec tr icity   co m p an ies  [ 5 ] .   Fo r   in s tan ce ,   elec tr icity   lo s s es   ex ce ed   4 . 8   b illi o n   r u p ee s   an n u ally   in   I n d ia  [ 6 ] ,  ab o u t  0 . 8 9   b illi o n   r u p ee s   in   P ak is tan   [ 7 ] ,   a n d   b etwe en   8   a n d   1 2   b illi o n   r a n d   in   S o u th   Af r ica  [ 8 ] ,   [ 9 ] .   Usu ally ,   elec tr icity   th ef t  ca n   b e   d etec t ed   th r o u g h   m a n u al  f ield   v e r if icatio n s ,   wh ich   a r e  co s tly   an d   tim e - co n s u m in g .   Har d war e - b ased   a p p r o ac h es  r eq u ir in g   ad d itio n al   s en s o r s   o r   m o n ito r in g   eq u ip m en t  ca n   im p r o v e   d etec t io n   ac cu r ac y   b u t  r e m ain   ex p en s iv e  to   d e p lo y   at   lar g e  s ca le  [ 1 0 ] ,   [ 1 1 ] .   T h e   ad v e n t  o f   s m ar t  g r id s   an d   s m ar t m eter s   h as  o p en e d   n ew   o p p o r tu n ities   f o r   a u to m ated   a n d   d ata - d r iv en   th e f t  d etec tio n .   T h ese  d e v ices  g en er ate  lar g e   v o lu m es  o f   tim e - s er ies  co n s u m p tio n   d ata,   en ab lin g   th e  ap p licatio n   o f   m ac h in e  lear n in g   an d   d ee p   lear n in g   tech n iq u es to   id e n tify   ab n o r m al  co n s u m p tio n   p atter n s   an d   d etec t f r au d u le n t b eh a v io r   m o r e  ef f icien tly   [ 1 2 ] .    Ov er   th e  p ast  d ec a d e,   s ev er a l  r esear ch   ef f o r ts   h av e  f o cu s ed   o n   d ev elo p in g   i n tellig en t  s y s tem s   to   r ed u ce   NT L s ,   in clu d i n g   elec tr icity   th ef t  an d   f alse  d ata  i n jectio n   b ased   o n   g en e r alize d   r o b u s t  m etr ics ,    m u lti - class if icatio n   s u p p o r t  v e cto r   m ac h in e   ( SVM)   [ 1 3 ] ,   q u a n tu m   m ac h in e  lear n in g   [ 1 4 ] ,   h y b r id   m o d e l s   s u ch   as  co n v o l u tio n al  n eu r al  n etwo r k   ( C NN ) - lo n g   s h o r t - ter m   m em o r y   ( L STM )   an d   b id ir ec tio n al   g ated   r ec u r r en t   u n it  ( Bi - GR U ) - b id ir ec tio n al   lo n g   s h o r t - ter m   m em o r y   ( Bi - L STM )   [ 1 5 ] ,   a n d   C NN - ad ap tiv e   b o o s tin g   ( Ad a B o o st )   [ 1 6 ] .   Fo r   in s tan ce ,   Gu n d u z   an d   Das   [ 1 7 ]   p r o p o s ed   an   ef f ec tiv e  h y b r id   C NN - b ased   ap p r o ac h   f o r   d etec tin g   en er g y   th ef t  u s in g   co n s u m p tio n   p atter n s   o n   s ix   d if f er en t  d atasets .   B ai  et  a l.  [ 1 8 ]   in tr o d u ce d   a  C atch 2 2 - C o n v - T r an s f o r m e r   m eth o d   f o r   d etec tio n   o f   el ec tr icity   th ef t  o n   a  d ataset  o f   th e   State  Gr id   C o r p o r atio n   o f   C h in a   ( SGC C ) ,   wh ile  Nir m al   et  a l.   [ 1 9 ]   s u g g ested   a  h y b r id   C NN - Ad a B o o s t  m o d el   f o r   elec tr icity   th ef t  d etec tio n   in   th e  s m ar t  g r id   o n   th e  SGC C   d ataset.   Similar ly ,   I q b al  et  a l.  [ 2 0 ]   p r esen ted     C NN - L STM   an d   B i - G R U - B i L STM   h y b r id   m o d els  f o r   id e n tific atio n   o f   elec tr icity   th ef t  o n   tem p o r al  s eq u e n ce   d ata  o f   SGC C .   Mo r eo v er ,   Alg ar n i  et  a l.   [ 2 1 ]   p r esen ted   C NN - k - n ea r est  n eig h b o r s   ( KN N )   an d   C NN - L STM   h y b r id   m o d els  f o r   elec tr icity   th ef t  d etec tio n   o n   th e  S GC C   d ata s et.   Dee p   lear n in g   m eth o d s ,   s u ch   as    g r ad ien t - weig h ted   class   ac tiv atio n   m ap p in g   ( Gr ad C AM )   [ 2 2 ] ,  r an d o m   f o r est  ( R F)   an d   KNN  [ 2 3 ] ,  p ar t icle  s war m   o p tim izatio n   ( PS O) - b ased   ad ap tiv e  g e n er ativ e  ad v er s ar ial  n etwo r k s   ( AGAN )   [ 2 4 ] ,  an d   h y b r id     C NN - m u ltil ay er   p er ce p tr o n   ( MLP )   m o d el  [ 2 5 ]   h av e   also   b ee n   s u cc ess f u lly   ap p lied   to   d e tect  elec tr icity   th ef t   in   s m ar t g r id   s y s tem s .     Desp ite  th ese  ad v an ce s ,   ch allen g es r em ain   r eg a r d in g   d etec tio n   p r ec is io n   a n d   ad a p tab ilit y   to   ir r eg u lar   co n s u m p tio n   b eh av io r s .   Ma n y   ex is tin g   m o d els  s tr u g g le  to   ef f ec tiv ely   ca p tu r e  s u d d en   v ar i atio n s   in   u s er   lo ad   p r o f iles   an d   to   m ain tain   r o b u s tn ess   ac r o s s   h eter o g en eo u s   d atasets .   T o   ad d r ess   th ese  lim itatio n s ,   th is   s tu d y   p r o p o s es  a  n o v el  h y b r id   d ee p   lear n in g   ap p r o ac h ,   n am e d   b id i r ec tio n al  lo o k ah ea d   a d ap tiv e  m o m en t  esti m atio n   ( Bi - L ADAM ) - SVM - g ated   r ec u r r en t  u n it  ( GR U ) ,  wh ic h   co m b in es  Bi - L ADAM ,  SVM,   an d   GR U ,  d esig n ed   to   en h an ce   th e  ac c u r ac y   a n d   ef f icien cy   o f   elec tr icity   th e f t  d etec tio n .   T h is   m o d el  in teg r ates  th e  s tr en g th s   o f   s ev er al  ar ch itectu r es:  a  B i - L STM   n etwo r k   to   ca p tu r e  lo n g - t er m   tem p o r al  d ep en d en cies,  a n   ad ap tiv e  m o m en t  esti m atio n   ( ADAM )   alg o r ith m   f o r   o p tim al   h y p er p ar a m eter   tu n in g ,   a n   SVM   class if ier   f o r   r o b u s t  p atter n   d is cr im in atio n ,   an d   a  B i - GR U   f o r   m o d elin g   s h o r t - ter m   d y n a m ics.   T h e  m ajo r   c o n tr ib u tio n s   o f   t h is   wo r k   ar e  g i v en   as f o llo ws:   −   F ir s t  p r esen t  a  co m p r e h en s iv e   ev alu atio n   o f   d ee p   lear n in g   m o d els  co m m o n ly   u s ed   f o r   el ec tr icity   th ef t  d etec tio n ,   in clu d in g   L STM ,   C NN,   B i - L STM ,   B i - G R U,   e x tr em e  g r ad ie n t  b o o s tin g   ( X GB o o s t ) ,   an d   d ec is io n   tr ee .   −   T h en ,   p r o p o s e d   a  n e w  h y b r i d   m o d el  ( B i - L AD AM - SVM - GR U)   co m b i n i n g   B i - L S T M ,   AD AM   o p tim iz er ,   SVM,   a n d   B i - GR U   t o   e n h a n ce   te m p o r a l  f e at u r e  e x t r ac ti o n   a n d   im p r o v e  class i f i ca t i o n   a cc u r ac y .     −   Su b s eq u en tly ,   th is   s tu d y   im p l em en ted   an   ex p er im en tal  v ali d atio n   o f   th e  p r o p o s ed   m o d el   u s in g   a  r ea l  co n s u m p tio n   d ataset  f r o m   th e  SGC C   to   ass es s   its   p r ac tical  ef f ec tiv en ess .   −   I n   ad d itio n ,   th is   s tu d y   ev alu ated   th e   p er f o r m an ce   o f   th e   p r o p o s ed   h y b r id   m o d el   th r o u g h   m u ltip l e   s tatis t ical  in d icato r s   s u ch   as  m ea n   ab s o l u te  er r o r   ( MA E ) ,  m ea n   ab s o lu te   p er ce n tag e  e r r o r   ( MA PE) ,  m ea n   s q u ar ed   er r o r   ( MSE ) ,   ac cu r ac y   r ate,   F1 - s co r e,   r ec a ll,  a r ea   u n d e r   th e  cu r v e  ( AUC ) ,  R - s q u ar ed   ( R 2 ) ,   an d   ad ju s ted   R 2   an d   co m p a r e d   with   b aselin e  s tr ateg ies  s u ch   as  C NN,   ar tific ia l  n eu r al  n etwo r k   ( ANN ) ,  ML P,  d ee p   n eu r al  n e two r k   ( D NN ) ,   an d   lin ea r   r eg r ess io n .   T h e  r est  o f   th is   s tu d y   is   o r g an ized   as  f o llo ws .   S ec tio n   2   d escr ib es  th e  m ater ials .   Sectio n   3   d escr ib es   th e  m eth o d o lo g ies  em p lo y ed .   Sectio n   4   p r esen ts   an d   d is cu s s es  th e  ex p er im en tal  r esu lts .   Fin ally ,   s ec tio n  5   co n clu d es t h e  wo r k   a n d   o u tlin es p er s p ec tiv es f o r   f u tu r e  r ese ar ch .       2.   M AT E R I AL   2 . 1 .     Da t a s et   des cr iptio n   T h e  d ataset   g iv en   in   T ab le  1   was  r ec o r d ed   f r o m   s m ar t  m ete r s   o r   elec tr icity   co n s u m er   s en s o r s   o v er   a  p er io d   o f   3 4   m o n th s   f r o m   SGC C .   SGC C   o f f er s   a  d ataset  co n s is tin g   o f   4 2 , 3 7 2   u s er s   o v er   1 , 0 3 5   d ay s   f r o m     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   1 5 ,   No .   3 ,  Sep tem b er   2 0 2 6 :   1 0 9 8 - 1 1 1 1   1100   1   J an u ar y   to   3 1   Octo b er   2 0 1 6 .   T h er e   ar e  3 8 , 7 5 7   n o r m al  u s er s   m ar k ed   as  “0 ”  a n d   3 , 6 1 5   ele ctr icity   th ef t  u s er s   m ar k ed   as “ 1 ” ;   t h e  elec tr icity   t h ef t  u s er s   ac co u n t f o r   8 . 5 % o f   th e  g lo b al  d ataset.         T ab le  1 .   Deta iled   d escr ip tio n   o f   th e  d ataset   Ty p e   o f   d a t a   En e r g y   c o n su m p t i o n   R e s o l u t i o n   1   d a y   N u mb e r   o f   c o n s u m e r s   42 , 372   S i z e   1 , 0 3 5   d a y s   N o r mal   u s e r s   38 , 757   El e c t r i c i t y   t h e f t   3 , 6 1 5   P r e p r o c e ss i n g   d a t a   7 0 %   Te st i n g   d a t a   3 0 %   I mb a l a n c e d   d a t a   2 0 %       2 . 2 .     P y t ho n   Py th o n   is   a  p r o g r am m in g   lan g u ag e  i n   th e  f ield   o f   m ac h i n e   lear n in g   an d   d ee p   lear n in g .   W ith in   th e  f r am ewo r k   o f   th is   s tu d y ,   it  s er v ed   as  th e   f o u n d atio n   f o r   d e v elo p in g   th e  p r o p o s ed   d ee p   lea r n in g   m o d el .   U s in g   its   k ey   lib r ar ies,  in clu d in g   Ma tp lo tlib ,   Seab o r n ,   Nu m Py ,   Pan d as,  an d   s cik it - lear n .     2 . 3 .     M AT L AB   MA T L AB   is   a  s p ec ialized   p r o g r am m in g   e n v ir o n m en t   u s ed   in   en g i n ee r in g   a n d   s cien tific   ap p licatio n s .   I n   th is   wo r k ,   tr ain in g   a n d   e v alu atio n   o f   th e   p r o p o s ed   m o d el   w er e   m ad e   p o s s ib le  u s in g   th e   MA T L AB   2 0 2 1 a  v er s io n .   E v a lu atio n   o f   t h e  p r o p o s ed   m o d el  was a ls o   co n d u cted   u s in g   th e  s am e  en v ir o n m en t.     2 . 4 .     Co m pu t er   All   e x p e r i m e n ts   a n d   c o m p u t ati o n s   f o r   t h is   s t u d y   w e r e   p e r f o r m e d   o n   a   DE L L   c o m p u te r   e q u ip p e d   wi th   a  C o r e   i 7   p r o ce s s o r   ( 2 . 2 0   G Hz) ,   8   GB   o f   R A M,   an d   W in d o ws   1 0   o p e r a ti n g   s y s t em .   T h is   c o n f i g u r at io n   f a cili tat ed   t h e  ex ec u ti o n   o f   a ll  i m p le m e n t e d   d e e p   lea r n i n g   al g o r it h m s ,   i n cl u d i n g   L ST M ,   GR U,   B i - L S T M  n et wo r k s ,   Bi - G R U   n e t w o r k s ,   S V M ,   C N Ns ,   X GB o o s t ,   a n d   d e c i s i o n   t r e es .   A l l   a l g o r i t h m s   w e r e   e x e c u t e d   w i th   e x c e l l e n t   c o m p u t at i o n a l   ti m e .       3.   M E T H O D   3 . 1 .     L o ng   s ho rt - t er m   m emo ry   L STM   is   a  s p ec ialized   v ar ian t  o f   th e  r ec u r r en t  n e u r al  n etwo r k   ( R NN)   ar ch itectu r e,   d esig n ed   to   m o r e   ef f ec tiv ely   m o d el  lo n g - r an g e  t em p o r al  d e p en d e n cies.  A  k ey   ad v an tag e  o f   L STM   is   its   ex c ep tio n al  ca p ab ilit y   in   p r ep r o ce s s in g   s eq u en tial  d a ta,   s u ch   as  tim e  s er i es.  T h er e  ar e  in ter ac tio n s   b etwe en   th e  v ar io u s   co m p o n en ts ;   ℎ − 1   an d   ℎ   in d icate   th e  o u tp u t  o f   th e  p r ec ed in g   a n d   cu r r en t  ce ll,  r esp ec tiv ely .   T h e  cu r r e n t  u n it  in p u t  is   s y m b o lized   as  ,   wh ile  th e  n eu r al  n etwo r k   lay e r   is   r ep r esen ted   b y   a  b o x .       3 . 2 .     Su pp o rt   v ec t o r  ma chine   T h e  SVM  alg o r ith m   was  d ev elo p ed   in   t h e  1 9 8 0 s   b y   Vlad im ir   Vap n ik   u s in g   m at h em atica l  an d   o p tim izatio n   ev o lu tio n ar y   to o l s ,   co n s id er in g   h ig h - d im en s io n al   d atasets   an d   g o o d   p r ac tical  r esu lts .   Pra ctica lly ,   th e  SVM  is   m ad e   o f   two   g r o u p s   th at   ar e  s ep a r ated   by   a  h y p er p lan e .   H o wev er ,   th er e   i s   an   o p tim al   s p ac e  am o n g   t h e  s ep ar atio n   p lan es ,   wh er e   th e  d is tan ce   b etwe en   t h e  clo s est  h y p er p lan e  an d   th e   tr ain in g   elem e n t  is   o p tim al.   T h e  p r o b lem   is   to   f in d   th e  o p tim al  s ep ar atio n   f r o n ti er   o f   th e  s am p les  b etwe en   t h e  two   p ar ts .   So lv in g   th ese  p r o b lem s   in v o lv es c o n s t r u ctin g   a  h y p e r p lan e   ℎ   with   weig h ts     an d   0   as p r esen ted   in   ( 1 ) .     ℎ ( ) = + 0   ( 1 )     3 . 3 .     G a t ed  re curr ent   u nit  net wo rk   T h e  GR U  n etwo r k   is   a  k i n d   o f   R NN   th at  h as  g ar n er ed   co n s id er ab le  in te r est  f o r   its   ca p ac ity   to   ef f ec tiv ely   ca p tu r e  an d   m o d e l  lo n g - ter m   r elatio n s h ip s .   GR U  n etwo r k s   d is tin g u is h   th em s elv es  f r o m   L STM   n etwo r k s   b y   in te g r atin g   t h e  c ell  s tate  an d   h id d en   s tate  in to   a  u n if ied   v a r iab le,   d e n o ted   as  ℎ ,   wh er ea s   L STM   n etwo r k s   m ain tain   th em   as  d i s tin ct  en titi es.  GR U  n etwo r k s   em p lo y   th e   f o llo win g   m at h e m atica l  eq u atio n s   t o   ca r r y   o u t  t h is   m er g in g .   I n   ( 2 )   an d   ( 3 ) ,   in p u ts   ar e  c o llected   f r o m   th e   p r e v io u s   h id d en   s tat e  an d   th e   cu r r en t  d ata  p o in t,  wh ich   ar e  th en   p r o ce s s ed   with   r esp ec tiv e  weig h ts .     = ( [ ℎ − 1 , ] + )   ( 2 )     = ( [ ℎ − 1 , ] + )   ( 3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       A   n o ve l c o mb i n ed   d ee p   lea r n i n g - b a s ed   tech n iq u e  fo r   elec tr icity  th eft   …   ( E tien n e  F r a n ç o is   Mo u ck o mey )   1101   3 . 4 .     Co nv o lutio na l  neura l net wo rk s   C NNs  ar e  a  s p ec if ic  ca teg o r y   o f   ANNs   th at  h av e  g ar n er e d   co n s id er ab le  i n ter est  b ec au s e  o f   th eir   o u ts tan d in g   ca p a b ilit ies  in   tas k s   s u ch   as  im ag e  id en tific atio n ,   o b ject  d etec tio n ,   an d   m e d i ca l  im ag e  an aly s is .   T h e  s tr u ctu r e  o f   C NNs  g en er ally   co m p r is es  co n v o lu tio n al  lay er s ,   p o o lin g   lay er s ,   an d   f u lly   co n n ec ted   lay er s .   C o n v o lu tio n al  la y er s   f ac ilit ate  th e  n etwo r k   in   ef f ec tiv el y   ca p tu r in g   s p atial  h ier ar c h ies  an d   p atter n s   in   th e   in p u t  d ata,   h en ce   m ak in g   C NNs  v er y   s u cc ess f u l  f o r   task s   t h at  in clu d e  v is u al  in f o r m atio n .   Mo r eo v er ,   C NNs  h av e  p r o v en   to   b e  ef f ec tiv e  i n   a  wid e  r an g e  o f   tim e  s er ies  ap p licatio n s ,   s u ch   as  class if y in g   d ata,   d etec tin g   an o m alies,  an d   p r ed ictin g   o u tc o m es.     3 . 5 .     XG B o o s t   decisi o n t re e   XGBo o s t  d ec is io n   tr ee   is   em p lo y ed   i n   s u p er v is ed   m ac h in e   lear n in g   a p p licatio n s   f o r   class if icatio n ,   r eg r ess io n ,   an d   r an k i n g .   I t  wo r k s   b y   iter ativ ely   tr ain i n g   d ec is io n   tr ee s   o n   th e  r esid u al  er r o r s   o f   th e  p r ev io u s   tr ee .   T h e  s y s tem   em p lo y s   g r ad ien t  d escen t  o p tim izatio n   t o   r ed u ce   a  lo s s   f u n ctio n ,   w h ich   q u a n tifie s   th e   d is p ar ity   b etwe en   t h e  an t icip a ted   an d   ac tu al  v alu es.  T h e  alg o r ith m   is   u s ed   f o r   s u p er v is ed   lear n in g   p r o b lem s   b y   p r ed ictin g   th e  tar g et  lab el     with   tr ain in g   d ata  .   T r ain in g   lo s s   an d   r eg u lar izatio n   ter m s   co m p r is e  th e  o b jectiv e  f u n ctio n   o f   XGBo o s t a s   in   ( 4 ) .      ( ) = ∑ ( , ̂ ) + ( ) = 1   ( 4 )     3 . 6 .     P er f o r m a nce  m e t rics   T h e  p er f o r m a n ce   o f   t h e  p r o p o s ed   m o d el  is   ev alu ated   u s in g   t h e  f o llo win g   m etr ics.    i)   Acc u r ac y :  wh ich   d escr ib es   t h e  o v er all  p er f o r m a n ce   o f   a   m o d el  ac r o s s   all  class e s .   T h e  ca lcu latio n   in v o lv es  d eter m i n in g   t h e  p r o p o r tio n   o f   ac cu r ate  p r e d ictio n s   r elativ e  to   th e  o v er all  n u m b e r   o f   f o r ec asts   m ad e ,   as sh o wn   in   ( 5 ) .       =  +   +  +  +    ( 5 )     ii)   Pre cisi o n :  wh ich   ev alu ates th e   ab ilit y   o f   th e  m o d el  t o   co r r ec tly   class if y   a  s am p le ,   as d ef in e d   in   ( 6 ) .       =   +    ( 6 )     iii)   R ec all: w h ich   class if ies th e  p o s itiv e  s am p les ,   as g iv en   in   ( 7 ) .       =   +    ( 7 )     iv )   F1 - s co r e:  wh ich   g iv es th e  r ela tio n s h ip   b etwe en   p r ec is io n   an d   s en s itiv ity ,   as p r esen ted   in   ( 8 ) .     1 −  = 2 × (  2 × +  +  )   ( 8 )     W ith   tr u e  p o s itiv e  ( T P),   f alse  p o s itiv e  ( FP ) ,   tr u e  n eg ativ e  ( T N) ,   an d   f alse  n eg ativ e  ( FN) .   T h ese  m etr ics   r ep r esen t th e  p o s s ib ilit ies o f   th e  co n s u m er s   b ein g   eith er   a   tr u e  o r   a  f alse c o n s u m er .   v)   M S E :   r e p r es e n ts   m e a n   o f   s q u a r e   d i f f e r e n c e   b e t w ee n   t h e   p r e d i ct e d   v a l u e s   a n d   r e al   v a l u e s ,   a s   d e f i n e d   i n   ( 9 ) .      = 1 ∑ ( ̃ − ) 2 = 1   ( 9 )     v i)   R o o t  m ea n   s q u ar e  er r o r   ( R MSE ) :  r ep r esen ts   th e  s tan d ar d   d ev iatio n   b etwe en   p r ed icted   v alu es  an d   r ea l   v a l u e s ,   as g iv en   in   ( 1 0 ) .       = √ 1 ∑ ( ̃ − ) 2 = 1   ( 1 0 )     v ii)   M A E :  r ep r esen ts   th e  ab s o lu te  v alu e  o f   t h e  d if f e r en ce   b etwe en   th e  p r e d icted   v alu es  an d   th e  r ea l  v alu es ,  as p r esen ted   in   ( 1 1 ) .     = 1 ∑ | ̃ − | = 1   ( 1 1 )     v iii)   MA PE:  r ep r esen ts   th e  m ea n   o f   ab s o lu te  p er ce n tag e  p r ed icti o n   er r o r s ,   as f o r m u lated   in   ( 1 2 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   1 5 ,   No .   3 ,  Sep tem b er   2 0 2 6 :   1 0 9 8 - 1 1 1 1   1102   = 1 ∑ | ̃ − | × 100% = 1   ( 1 2 )     ix )   R 2 :  r ep r esen ts   th e  p r o p o r tio n   o f   v a r ian ce   in   th e  d ep en d en t  v ar iab le  th at  is   p r e d ictab le  f r o m   th e   in d ep en d en t  v ar iab les,  as  ex p r ess ed   in   ( 1 3 ) .   W ith     th e  r ea l  v alu e,   ̃   th e  p r ed icted   v alu e ,   an d   ̄   th e   m ea n   v alu e  o f   th e  r ec o r d ed   f e atu r es.      2 = 1 − ∑ ( ̃ − ) 2 = 1 ∑ ( ̃ − ̄ ) = 1   ( 1 3 )     T h e  h ig h est  ac cu r ac y   m ea n s   th at  th e  f r au d u len t  co n s u m er   h as  b ee n   d etec ted .   W h en   th e  r ec all  a n d   F1 - s co r e  ar e  h ig h ,   it m ea n s   th at  a  co n s u m er   is   d etec ted   as f r au d u len t o r   n o r m al.     3 . 7 .     P r o po s ed  m o dels   3 . 7 . 1 .   L o o ka hea d  a da ptiv e  mo m ent   estima t io n   mo del   T h e  L ADAM   m o d el  is   a   h y b r id   alg o r ith m   th at  co m b in es  th e  L STM   with   th e  ADAM   a lg o r ith m   f o r   o p tim izin g   n eu r al  n etwo r k   h y p er p a r am eter s .  ADAM   is   o n e  o f   th e  m o s t  r o b u s t  o p tim izer s   th at  im p r o v es  tr ain in g   s p ee d s   in   DNN   to   ac h iev e  co n v e r g en ce   q u ick ly .   I t   co m b in es  th e  b est  elem en ts   o f   m o m en t u m   an d   p r o ce s s in g .   Data   ar e  p r ep r o ce s s ed   to   v er if y   th e  ab s en ce   o f   n u ll  an d   m is s in g   v alu es  an d   to   d etec t  an y   o u tlier s .   Data   s ca lin g   n o r m alize s   th e  r an g e  o f   v ar iab les.  T h e  d ata  ar e  s ep ar ated   in to   t r ain in g   an d   t esti n g   s ets  u s in g   a   tr ain in g   an d   test   s p lit,  en s u r in g   th at  th e   tem p o r al  o r d er   is   p r eser v ed .   T h e   p r e p ar ed   d ata  ca n   b e  f u r th e r   u tili ze d   f o r   m ac h in e  lear n i n g   p u r p o s e s   by   em p lo y in g   d ee p   L STM   m o d els  o p tim ized   b y   th e  ADAM   alg o r ith m ,   as  d ep icted   in   Fig u r e  1 .   T h e  m o d els  wer e  tr ain ed   u s in g   a  r ea lis tic  elec tr icity   co n s u m p tio n   d atab ase  th at  was   m ad e  av ailab le  b y   th e  SGC C .           Fig u r e  1 .   Pro p o s ed   f l o wch ar t f o r   th e  L ADAM   h y b r id   alg o r it h m       3 . 7 . 2 .   P ro po s ed  m et ho do lo g y   f ra m ewo r k   f o r  elec t ricit y   t h ef t   det ec t io n   I n   th is   s tu d y ,   a   co m b i n ed   s ch e m e  b ased   o n   L ADAM ,   B i - L STM ,   B i - GR U ,   an d   SVM  is   im p lem en ted   f o r   t h e  d etec tio n   o f   elec tr icity   th ef t  i n   a  s m ar t  p o wer   g r id .   T h e  L ADAM   m o d el ,   m a d e  o f   L STM   an d   ADAM   o p tim izer ,   is   d ev elo p ed   f o r   m ea n in g f u l  f ea tu r e  e x tr ac tio n ;   th e  B i - L STM   is   u s ed   f o r   t h e  ex tr ac tio n ,   w h ile  L ADAM   s er v es  as  f ea tu r e  s elec tio n .   T h e   SVM  allo ws  to   class if y   th e  e x tr ac ted   f ea t u r es  as  n o r m al  o r   f r au d u le n t ,   wh ile  GR U  i s   u s ed   f o r   f ea tu r e  p r e d ictio n .   T h e  f l o wch ar t  o f   th e  p r o p o s ed   m eth o d o lo g y   f r am ewo r k   f o r   elec tr icity   th e f t  d etec tio n   is   g iv en   in   Fig u r e  2 .   T h is   f lo wch ar t  o u tlin es  th e  k ey   s ta g es,  in clu d in g   d ata   co llectio n ,   d ata  an aly s is   an d   p r ep r o ce s s in g ,   f ea tu r e  ex tr a ctio n   an d   s elec tio n ,   f ea tu r e  class if icatio n   an d   p r ed ictio n ,   n o r m aliza tio n ,   ap p licatio n   o f   d ee p   lea r n in g - b ase d   t ec h n iq u es,  h y p er p ar am eter   o p tim izatio n ,   an d   p er f o r m an ce   ev alu atio n   m etr i cs.  T h is   s tr u ctu r ed   f r am ewo r k   en s u r es  clar ity   in   th e   s tep s   f o llo wed   f o r   m o d el  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       A   n o ve l c o mb i n ed   d ee p   lea r n i n g - b a s ed   tech n iq u e  fo r   elec tr icity  th eft   …   ( E tien n e  F r a n ç o is   Mo u ck o mey )   1103   d ev elo p m e n t  an d   v alid atio n .   T h e  p ar am eter s   o f   th e  m o d els  ar e  d escr ib ed   as  f o llo ws:   4   c o n v o lu ti o n   lay er s ,   a   s o f t m ax   L STM   tr an s f er   f u n ctio n ,   7   m i n im u m   b atc h   s ize,   6 0   m ax im u m   ep o ch ,   1 0 0   iter atio n s ,   a  lear n in g   r at e   o f   0 . 0 0 0 1 ,   a n   ADAM   o p tim izer ,   a  3 0 %  d r o p o u t  r ate,   an d   a  s ig m o id   ac tiv atio n   f u n ctio n .   T h e  m eth o d o lo g y   f o r   d ata  s p litt in g ,   cr o s s - v alid atio n ,   an d   h y p er p ar am et er   o p tim iza tio n   is   d escr ib ed   as f o llo ws:   i)   Fo r   th e  tr ain in g - v alid atio n   s p l itti n g   m eth o d ,   th e   d ataset  is   o r g an ized   b y   ch ar ac te r is tics   an d   d ata  n atu r e ,   en s u r in g   t h at  ea ch   g r o u p   co n tain s   a  tim e  s er ies.  T h is   g r o u p in g   s tr ateg y   e n ab les  co n t r o lled   o v er lap   h an d lin g ,   wh ich   is   ess en tial  f o r   s eq u e n tial  lear n i n g   m o d els .   T h e   d ataset  is   p a r titi o n ed   as  f o llo ws:   7 0 %  f o r   tr ain in g ,   1 5 % f o r   v alid atio n ,   an d   1 5 % f o r   test in g .   ii)   T o   en h an ce   g en er aliza tio n ,   d a ta  s eg m en ts   f r o m   all  s m ar t  m eter s   ar e  ag g r eg ated   to   f o r m   c o m p r eh e n s iv e  g lo b al  s ets.   T h is   ag g r eg atio n   allo ws  f o r   ass ess in g   tem p o r al  d eg r ad atio n   an d   f o r   cla s s if y in g   n ew,   p r ev io u s ly   u n s ee n   cu s to m er s .   Ad d itio n ally ,   s am p le  weig h tin g ,   f o ca l  lo s s ,   an d   co n tr o lled   tem p o r al   o v er s am p lin g   ( s y n th etic  m in o r ity   o v er - s am p lin g   tech n iq u e  ( SMOT E ) )   ar e  em p lo y ed   t o   b alan ce   th e  d ataset,   p ar ticu lar ly   b y   au g m e n tin g   o r   d u p licatin g   f r a u d u len t   tim e  win d o ws.   iii)   T h e  d ataset  u s ed   in   th is   s tu d y   co m p r is es  4 2 , 3 7 2   s m ar t  m ete r s   in s talled   at  cu s to m e r   p r em i s es,  p r o v id in g   d aily   o b s er v atio n s   o v er   a  1 0 - m o n th   p er io d .   iv )   Fo r   th e  cr o s s - v alid atio n   s tr ate g y ,   th is   s tu d y   ad o p ts   a  tim e - awa r e  g r o u p ed   k - f o ld   a p p r o ac h   d esig n ed   to   ev alu ate  tem p o r al  r o b u s tn ess   wh ile  p r eser v in g   g r o u p   in teg r i ty   b y   m eter   I D.   T h e  t o tal  o b s e r v atio n   p e r io d   is   d iv id ed   in to   K  co n tig u o u s   tim e  b lo ck s .   Fo r   ea ch   f o ld   i,   th e  m o d el  is   tr ain ed   o n   b lo c k s   1   to   i  an d   v alid ated   o n   b lo ck   i  +   1 .   C o n s eq u en tly ,   th e   tr ain in g   s et  e x p an d s   with   ea ch   iter atio n ,   e m u latin g   th e   p r o ce s s   o f   r ea l - wo r ld   d e p lo y m en t  an d   e n ab lin g   t h e  m o d el  to   p r ed ict  f u tu r e  c o n s u m p tio n   with o u t  d at a   leak ag e  f r o m   p r i v ate  cu s to m er   in f o r m atio n .   v)   R eg ar d in g   h y p e r p ar am ete r   tu n in g ,   th is   wo r k   em p lo y s   a   B ay esian   o p tim izatio n   s tr ateg y   with in   a  n ested   s ea r ch   f r am ewo r k   to   m itig at e  o v er - o p tim is m   an d   en h an c e  g en er aliza tio n .   T h e  co m p l ete  m o d elin g   p ip elin e  in clu d es  th r ee   s tag es:  d ata  p r ep r o ce s s in g ,   f ea tu r e  en g in ee r in g ,   an d   m o d el  au g m en tatio n .   T h e  d ef in ed   h y p er p ar a m eter   s ea r c h   s p ac e  in clu d es  th e  f o llo win g :  lear n in g   r ate   o f   0 . 0 0 2 ,   b at ch   s ize  o f   3 2 ,     4   h id d en   la y er s ,   6 4   h i d d en   u n its ,   d r o p o u t  r ate   o f   0 . 3 ,   weig h t  d ec ay   o f   0 . 0 2 ,   s eq u e n ce   len g th   o f   1 2 ,   a n d   laten t d im en s io n   o f   1 6   ( with   t h e  ADAM   o p tim izer ) .   T h e  B ay esian   s ea r ch   iter ativ ely   ex p lo r es  th e  p ar am eter   s p a ce   wh ile  ter m in atin g   u n p r o m i s in g   tr ial s   ea r ly .   Fo r   ea ch   o u ter   iter atio n ,   th e  b est - p er f o r m in g   s et  o f   h y p er p a r am eter s   id en tifie d   in te r n ally   is   s elec ted   to   r etr ain   th e  m o d el  o n   th e  en tir e  in p u t  d ataset .   T h e  m o d el’ s   p er f o r m an ce   m ay   b e  u n d e r esti m ated   if   f r au d u len t  b eh av io r   is   s tr o n g ly   c o r r elate d   with   m etad ata.             Fig u r e  2 .   Pro p o s ed   m et h o d o lo g y   f r a m ewo r k   f o r   elec tr icity   t h ef t d etec tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   1 5 ,   No .   3 ,  Sep tem b er   2 0 2 6 :   1 0 9 8 - 1 1 1 1   1104   T h e  p r o p o s ed   f r am ewo r k   f o r   e lectr icity   th ef t d etec tio n   is   im p lem en te d   as f o llo ws:   i)   Step   1 :  d ata  co llectio n .   I n   th is   s tep ,   th e  d ata  ar e  c o llected   ev er y   d ay   f r o m   s m ar t  m eter s   in s talled   to   co n s u m er s .   I n   th is   wo r k ,   4 2 , 3 7 2   co n s u m p tio n s   h a v e  b ee n   r e co r d ed   d u r i n g   1 , 0 3 5   d ay s .   ii)   Step   2 :  d ata  an aly s is   an d   p r ep r o ce s s in g .  T h e  co llected   d ata  f r o m   elec tr ical  co n s u m er s   ar e   an aly ze d   an d   p r ep r o ce s s ed .   T h is   s tep   allo ws  to   av o id   m is s in g   d ata  with   an   in ter p o latio n   m eth o d   u s in g   d ata  clea n in g   an d   d ata  n o r m aliza tio n .   T h e   d ata  p r ep r o ce s s in g   s tep   im p r o v es  th e  d ata  ac cu r ac y ,   w h ich   d ir ec tly   e n h an ce s   th e  ef f icac y   o f   th e  m o d el.   iii)   Step   3 :  d ata  tr ain in g   an d   test i n g .  I n   th is   m o d el,   th e  tr ain in g   s tep   allo ws  to   tr ain   th e  d ataset  wh ile  th e   test in g   d ata  ar e  u s ed   to   v alid a te  th e  m o d el 's   g en er aliza tio n .   T h e  o v er all  d ataset  is   d iv id ed   in to   tr ain in g   d ata  o f   7 0 % a n d   test in g   d ata  o f   3 0 %.   iv )   Step   4 :  f ea tu r e  ex tr ac tio n   an d   s elec tio n .  I n   th is   s tep ,   th e  B i - L STM   allo ws  f ea tu r e  ex tr ac tio n ,   wh ile  th e   L ADAM   alg o r ith m   is   u s ed   to   s elec t a n d   n o r m alize   th e   f ea tu r es o b tain ed   af ter   t h e  tr ain in g   s tag e.     v)   Step   5 :  f ea tu r e   class if icat io n   an d   p r ed ictio n .  I n   th is   s tag e,   th e  SVM  m o d el   allo ws  to   class if y   th e   n o r m alize d   f ea tu r es  with   th e  aim   o f   d eter m in in g   if   th e  u s e r   is   s tea lin g   en er g y .   I n   th is   wo r k ,   th e  SVM  ex am in es  th e  d ataset  an d   d iv id es  it  in to   two   g r o u p s :  n o r m al  co n s u m er s   an d   th ef t  c o n s u m er s .   SVM   wo r k s   o n   th e  p h e n o m e n a  o f   a  h y p er p lan e  an d   d iv id es  th e  ex tr ac ted   f ea tu r es  o b tain ed   f r o m   th e  L ADAM   m o d el  in to   th ef t  an d   n o n - t h ef t  u s er s .  T h en ,   th e  GR U  i s   e m p lo y ed   f o r   th e  p r e d ictio n   o f   th e  class if ied   f ea tu r es a n d   f in ally   id en tifie s   t h e  p o ten tial f r au d s ter s .   v i)   Step   6 :  v alid atio n   o f   th e  m o d el .  T h is   s tep   co n s is t s   o f   v er if y in g   th e  ef f icien c y   o f   th e  p r o p o s ed   m o d el   with   th e  im p lem en tatio n   o f   p er f o r m a n ce   m etr ics  s u ch   as  MA E ,   MSE ,   MA PE,   R 2 ,   F1 - s co r e,   p r ec is io n ,   AUC ,   an d   r ec all.   Fo r   th e  th e f t  co n s u m er s ,   t h e  M AE ,   MA PE ,   an d   R MSE   s h o u ld   b e   lo w ,   w h ile  F1 - s co r e,   ac cu r ac y ,   r ec all ,   a n d   AUC  s h o u ld   b e   h ig h est  as  p o s s ib le.   Fo r   t h e  n o n - t h ef t  c o n s u m e r s ,   th e  MA E ,   MA PE ,   an d   R MSE   s h o u ld   b e  h ig h ,   wh ile  F1 - s co r e,   ac c u r ac y ,   r ec all ,   an d   AUC  s h o u ld   b e  lo west  as   p o s s ib le.   W h en   th e  s u s p icio u s   co n s u m er s   ar e  id en tifie d   u s in g   th e  p r o p o s ed   B i - L ADAM - SVM - GR U   m o d el,   th e  en er g y   s u p p lier   co m p an y   ca n   th er ef o r e  s en d   a  p en alty   to   th e  f r au d u len t   co n s u m er   to   co m p en s ate  f o r   th e  illeg ally   co n s u m ed   e n er g y .   T h e n ,   if   t h e  co n s u m e r   d o esn ’ t   p ay   t h e   p en alty ,   th e   co m p an y   ca n   s en d   tech n ician s   to   s h u t d o w n   th e  co n s u m er .       4.   RE SU L T S AN D  D I SCU SS I O N    4 . 1 .     Ana ly s is   o f   cus t o m er   co ns um ptio n    T h e  co llectio n   o f   d ata  all o ws  an aly s is   o f   elec tr icity   co n s u m p tio n   b eh a v io r   o f   u s er s   with   d em o g r a p h ic,   s o cial ,   an d   f in a n cial  tr en d s .   Data   ar e  c o llected   o v e r   1 , 0 3 5   d ay s   f o r   4 2 , 3 7 2   co n s u m er s .   I n   th i s   s tu d y ,   co n s u m er s   h a v e  in s tall ed   s m ar t  m eter s   at  th eir   h o m e s   to   co llect  r ea l - tim e   elec tr icity   co n s u m p tio n .   I n   th is   ca s e,   th is   s t udy   w as   in ter ested   in   th e  co n s u m p tio n   o f   c u s to m er   3 5 .   T h e  an al y s is   o f   its   co n s u m p tio n   was  ca r r ied   o u t o v er   th e  th r ee   y ea r s   f o r   wh ich   o u r   c o n s u m p tio n   r ec o r d s   wer e  tak en .     4 . 1 . 1 .   F o r  t he  y ea r  2 0 1 4   Fig u r e  3   d em o n s tr ates  cu s to m er   3 5   th r o u g h o u t   2 0 1 4 ,   w ith   h ig h   en er g y   co n s u m p tio n   b etwe en   J an u ar y   an d   Ma r ch ,   m id - Ma y   an d   Sep tem b er ,   a n d   m i d - No v em b er   a n d   Dec em b er .   H o wev er ,   it  d ec lin es   b etwe en   Ap r il  an d   m i d - Ma y   an d   th en   b etwe en   Sep tem b er   an d   No v em b er .   I t  ca n   b e   o b s er v ed   th at  t h e   co n s u m p tio n   is   d ep en d in g   to   th e  p er io d s   o f   th e  y ea r ,   wh eth e r   th e  u s er s   ar e  at  h o m e  o r   at  v a ca n cy .           Fig u r e  3 .   E n er g y   co n s u m p tio n   b y   cu s to m e r   3 5   i n   2 0 1 4   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       A   n o ve l c o mb i n ed   d ee p   lea r n i n g - b a s ed   tech n iq u e  fo r   elec tr icity  th eft   …   ( E tien n e  F r a n ç o is   Mo u ck o mey )   1105   4 . 1 . 2 .   F o r  t he  y ea r  2 0 1 5   Fig u r e  4   d em o n s tr ates  th e  ch an g es  in   c o n s u m p tio n   f o r   cu s to m er   3 5   th r o u g h o u t   2 0 1 5 ,   with   h ig h   en er g y   co n s u m p tio n   b etwe e n   J an u ar y   an d   th e  f ir s t  h alf   o f   Ma r ch   an d   th en   b etwe en   J u n e  an d   Sep tem b er .   I t   ca n   b e  o b s er v ed   a  h ig h   v a r ia b ilit y   o f   co n s u m p tio n   d u r in g   th is   y ea r .   T h is   ca n   b e  ex p lain ed   with   a  r eg u lar   en h an ce m e n t o f   p eo p le' s   life s t y les   d u r in g   t h is   y ea r .             Fig u r e  4 .   E n er g y   co n s u m p tio n   b y   cu s t o m e r   3 5   i n   2 0 1 5       4 . 1 . 3 .   F o r  t he  y ea r  2 0 1 6   Vo ltag e  r is es  ar e  r ec o r d ed   b e twee n   J an u ar y   a n d   Ma r c h ,   J u n e  an d   Oct o b er ,   an d   t h e  s ec o n d   h alf   o f   Sep tem b er ,   as  illu s tr ated   in   F i g u r e  5 .   I t  ca n   b e  o b s er v e d   a  g r ea t  co n s u m p tio n   o f   ar o u n d   1 0 , 000   MW  b etwe en   J u ly   an d   Sep tem b e r ,   a n d   a  lo w  co n s u m p ti o n   o f   ar o u n d   7 , 0 0 0   MW  b etwe en   J an u a r y   an d   Ma y .   Mo r eo v er ,   a   m in im al  co n s u m p tio n   is   r ec o r d ed   at  ar o u n d   2 , 0 0 0   MW b etw ee n   Octo b er   a n d   Dec em b e r .           Fig u r e  5 .   E n er g y   co n s u m e d   b y   cu s to m er   3 5   in   2 0 1 6       Fo r   th e  d ataset  an aly s is ,   th is   s tu d y   u s e  L ADAM   m o d el  to   e x tr ac t  im p o r tan t  f ea tu r es  b y   e lim in atin g   n o is y   d ata.   Fro m   th e  o b tain e d   d ata,   th e  SVM  allo ws  to   c lass if y   th e  co n s u m e r s   as  n o r m al  co n s u m e r s   o r   ab n o r m al   co n s u m er s .   T h er ef o r e,   s u d d en   ch an g es  in   t h e  c o n s u m p tio n   o f   s u s p icio u s   c o n s u m er s   allo w  th e   SVM  to   id en tify   f r a u d   th at  m a y   o cc u r .   Fro m   th e  o b tain ed   r esu lts ,   th e  L ADAM - SVM  m o d el  allo ws  f o r   id en tify in g   ar o u n d   4 6 2   f r a u d u le n t  co n s u m er s ,   wh ich   r ep r esen ts   a r o u n d   1 . 0 9 %   o f   th e   o v e r all  co n s u m e r s .   T h e   id en tific atio n   o f   th ese  f r au d s ter s   allo ws  f o r   av o id i n g   th e   lo s s   o f   m illi o n s   o f   d o llar s   d u r in g   th is   p er io d   f o r   th e   elec tr icity   s u p p lier   co m p an ies.     4 . 2 .     Co m pa ra t iv e  s t ud y   o f   o ptim iza t io n t ec hn iqu es   T h e  ch o ice  o f   th e   m o d el  led   u s   to   ca r r y   o u t  a  co m p a r ativ e  s tu d y   with   th e  s tate - of - th e - a r t  o p tim izer s .   T h ese  ar e  d if f er en t  f o r m s   o f   g r ad ien t  d escen t  em p lo y ed   in   m ac h in e  lear n in g   to   o p tim ize  th e  co s t  f u n ctio n   b y   iter ativ ely   m o d if y i n g   th e  p a r am eter s   to war d s   th e  n eg ati v e  g r ad ien t  d i r ec tio n   to   d is co v er   th e  o p tim al  p ar am eter s   f o r   a  m o d el.   T h e   aim   o f   g r ad ien t  d escen t  is   t o   f in d   t h e  s et  o f   p a r am eter s   th at  m in im izes  th is   d ev iatio n   an d   im p r o v es  th e  m o d el’ s   p er f o r m a n ce .   T h e  c o s t  f u n ctio n ,   in   th is   ca s e  th e  MSE ,   q u an tifie s   th e  d is p ar ity   b et wee n   p r e d icted   co n s u m p tio n   a n d   ac tu al  c o n s u m p tio n   b y   th e  m o d el.   T h e  co m p a r is o n   o f   im p lem en ted   m o d els is   g iv en   i n   T ab le  2 .   T h e  m o m en tu m   an d   r o o t m ea n   s q u ar e  p r o p a g atio n   ( R MSPr o p )   alg o r ith m s   h av e  b ee n   ass o ciate d   with   th e  cr ea tio n   o f   th e  ADAM   o p t im izatio n   alg o r ith m .   T h e  c o s t  f u n ctio n   f o r   t h is   s p ec if ic  ca s e  is   MSE   =  6 . 4 5 e - 09 .  T h e  Nester o v   alg o r ith m ,   a n   e x ten s io n   o f   th e  class ic  g r ad ien t  d escen t  alg o r ith m ,   co n s id er s   p r ev io u s   g r ad ien t   u p d ates.  I ts   co s t f u n ctio n   f o r   t h is   s p ec if ic  ca s e  is   MSE   =  3 . 7 2   e - 05 .    T h e  m o m en tu m   g r a d ien t  d escen t  alg o r ith m   is   an   o p t im izatio n   alg o r ith m   th at   f o llo ws   th e  co n v er g en ce   o f   g r ad ie n t  d esce n t  b y   o p tim izin g   th e   u p d atin g   o f   th e   weig h ts .   T h e  im p u ls e  te r m   is   b ased   o n   th e  p r ev io u s   u p d ate  o f   th e  weig h t s   an d   h elp s   th e  alg o r ith m   g ai n   m o m en tu m   as  it  m o v es  d o wn   th e  lo s s   f u n ctio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   1 5 ,   No .   3 ,  Sep tem b er   2 0 2 6 :   1 0 9 8 - 1 1 1 1   1106   T h e  co s t  f u n ctio n   f o r   t h is   s p ec if ic  ca s e  is   MSE   =  8 . 7 5 e - 05 .   T h e  ad ap tiv e   g r a d ien t  ( Ad aG r ad )   alg o r ith m   is   a   g r ad ien t - b ased   o p tim izatio n   a lg o r ith m .   I ts   lear n in g   r ate  is   ad ap ted   to   th e  h y p er   p ar am et er s   b y   k n o wled g e   in co r p o r atio n   o f   p ast  o b s er v at io n s .   I ts   co s t  f u n ctio n   f o r   th i s   s p ec if ic  ca s e  is   MSE   =   1 . 8 2 e - 04 .   T h e   R MSPr o p   alg o r ith m   is   a  g r a d ien t - b ased   m eth o d   in   wh ich   its   co s t f u n ct io n   f o r   th is   s p ec if ic  ca s e  is   MSE   =  5 . 7 9 e - 04 .    T h e  m in i - b atch   g r ad ie n t  d esc en t  alg o r ith m   is   a   v ar ian t   o f   t h e  g r a d ien t  d escen t  alg o r ith m   f r eq u en tly   us ed   in   tr ai n in g   d ee p   lear n in g   m o d els.  T h e  b asic  p r in cip le   o f   th is   alg o r ith m   is   to   s ep ar ate  th e  tr ain in g   d ata  t o   p r o ce s s   th em   s eq u en tially .   I ts   co s t f u n ctio n   f o r   th is   s p ec if ic  ca s e  is   MSE   =  8 . 1 6 e - 04 .   T h e  g r ad ien t d escen t w ith   d ec ay in g   lear n in g   r ate  alg o r it h m ,   a  m o d er n   n eu r al  n etwo r k   tr ain in g   tech n iq u e,   s tar ts   b y   t r ain in g   th e  n etwo r k   with   a  h ig h   lear n in g   r ate  a n d   th en   s lo wly   r ed u cin g   it  u n til  a  lo ca l  m in im u m   is   o b tain e d .   T h is   s h o ws  th at  an   in itially   h ig h   lear n i n g   r ate  p r e v en ts   th e   n etwo r k   f r o m   n o is y   d ata   m em o r izatio n ,   w h ile  a   d ec r ea s in g   lear n i n g   r ate  im p r o v es  th e   lear n in g   o f   co m p lex   m o d els.  T h e  c o s t  f u n ctio n   f o r   th is   s p ec if ic   ca s e  is   MSE   =  0 . 2 7 .   I t  ca n   also   b e  o b s er v ed   t h at  T ab le  2   s u m m ar izes  th e  co s t  f u n ctio n   o p tim ized   r esp ec tiv ely   with   ADAM ,   Nester o v   ac ce ler a ted   g r ad ien t  d escen t,  m o m en tu m - b ased   g r a d ien t  d e s ce n t,  Ad aGr ad ,   R MSPr o p ,   m in i - b atch   g r ad ien t   d escen t,  an d   g r a d ien t d escen t  with   d ec ay in g   lear n i n g   r ate.   T h is   s h o ws th at  th e  L ADAM - S VM   o p tim izer ,   with   a  co s t  f u n ctio n   ( MSE )   eq u al  to   6 . 4 5 e - 09 ,   o u t p er f o r m s   th e  o th er   s ix   o p tim izer s .   T h e  r ed u ctio n   o f   MSE   with   th e  L ADAM   m o d el  p r o v es its   o u tp er f o r m an ce   co m p ar e d   to   th o s e  in   th e  liter atu r e.       T ab le  2 .   C o m p a r is o n   o f   im p le m en ted   m o d els   O p t i mi z e r s   Ep o c h s   Le a r n i n g   r a t e   C o s t   f u n c t i o n   ( M S E)   P r o p o se d   m o d e l   ( LA D A M - S V M )   5 0 0   0 . 0 1   6 . 4 5 e - 09   N e st e r o v   a c c e l e r a t e d   g r a d i e n t   d e s c e n t   5 0 0   0 . 0 1   3 . 7 2 e - 05   M o me n t u m - b a se d   g r a d i e n t   d e s c e n t   5 0 0   0 . 0 1   8 . 7 5 e - 05   A d a G r a d   5 0 0   0 . 0 1   1 . 8 4 e - 04   R M S P r o p   5 0 0   0 . 0 1   5 . 7 9 e - 04   M i n i - b a t c h   g r a d i e n t   d e s c e n t   5 0 0   0 . 0 1   8 . 1 6 e - 04   G r a d i e n t   d e s c e n t   w i t h   d e c a y i n g   l e a r n i n g   r a t e   5 0 0   0 . 0 1   0 . 2 7       4 . 3 .     P re dict ing   cus t o m er   co ns um ptio n   T h i s   s t u d y   s e t   o u t   t h e   c o n s u m p t i o n   o f   c u s t o m e r   3 5   f r o m   J a n u a r y   1 ,   2 0 1 6   t o   J a n u a r y   1 ,   2 0 1 7 .   F i g u r e   6   s h o ws  th e  elec tr icity   co n s u m p tio n   m ea s u r ed   af ter   ea ch   h o u r .   T h is   p ap er   ca n   o b s er v e  th at   th e  co n s u m p tio n   is   g r o win g   ar o u n d   8 , 0 0 0   KW   d u r in g   No v em b er   2 0 1 6   an d   Dec em b er   2 0 1 6 .   Mo r e o v er ,   th e  co n s u m p tio n   is   r ed u ce d   t o   ar o u n d   3 , 0 0 0   KW   d u r in g   Octo b er   2 0 1 6 ,   wh ich   is   ca u s ed   b y   t h e  r ed u ctio n   o f   liv in g   co s ts .           Fig u r e  6 .   Pre d ictio n   o f   cu s to m er   3 5 ’ s   co n s u m p tio n   in   2 0 1 6       4 . 4 .     Det ec t ing   ener g y   t hef t   T h e  en er g y   th e f t  d etec tio n   m o d el  p r esen ted   in   th is   s tu d y   c o m p r is es  m u ltip le  s tag es,  with   th e  in itial  s tag e  b ein g   d ata  p r e - p r o ce s s in g .   Su b s eq u en tly ,   th e  s eq u e n tial  d iag r am   is   d ev elo p ed ,   as  d etailed   in   th e   f o r th co m in g   s u b s ec tio n .   T h e   s u b s eq u en t  s tag e  in v o lv e s   co n s tr u ctin g   th e  en er g y   t h ef t  p r ed ictio n   m o d el  u tili zin g   th e  L STM   ap p r o ac h ,   with   its   h y p er p ar a m eter s   f in e - tu n ed   th r o u g h   th e  u tili za tio n   o f   th e  ADAM   alg o r ith m .   I t  is   d ee m ed   s u s p icio u s   an d   n ec ess itates  m o n it o r in g   b y   th e  en e r g y   d is tr ib u ti o n   co m p a n y   if   th e   e n er g y   c o n s u m p tio n   is   less   th an   1 0 %  o f   th e  an ticip ated   v al u e  d u r in g   a  s p an   o f   s ix   m o n th s .   T h e  u tili za tio n   o f   f o r ec ast  m o d el  e m p o wer e d   u s   to   p o ten tially   d etec t  d ay s   wh en   th e  cu s to m e r ’ s   u s ag e  was  q u esti o n ab le  an d   d ay s   wh en   it wa s   ty p ical.   T h e  d ate  s u s p ec ted   o f   en er g y   th ef t  is   th e  o n e  th at  s en s es a n   in cr e ase  in   co n s u m p tio n   o f   m o r e  th an   1 0 % o f   its   p r ed ic ted   co n s u m p tio n .   T h e  co n s u m p tio n   g a p   ( C G)   is   d ef in ed   as  ( 1 4 ) .      ( % ) = 100 ×  −     ( 1 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       A   n o ve l c o mb i n ed   d ee p   lea r n i n g - b a s ed   tech n iq u e  fo r   elec tr icity  th eft   …   ( E tien n e  F r a n ç o is   Mo u ck o mey )   1107   I f   C G( %)  <  1 0 %,  th e  cu s to m er ’ s   co n s u m p tio n   is   co n s id er e d   n o r m al,   wh e r ea s   if   C G( %)  ≥   1 0 %,  th e  co n s u m p tio n   is   class if ied   as  s u s p ec t.  Her e,   PC   d en o tes  th e  p r ed icted   c o n s u m p tio n   an d   R C   th e  r ea l   co n s u m p tio n .   Fu r t h er m o r e,   if   a  cu s to m e r ’ s   co n s u m p tio n   r e m ain s   u n d e r   1 0 %  o f   th e   p r e d icted   v alu e   f o r   s ix   co n s ec u tiv e  m o n th s ,   a n   in s p e ctio n   team   will  b e   d is p atch e d .   T ab le   3   s u m m ar izes  th e   p er f o r m a n ce   m etr ics   o b tain ed   f o r   elec tr icity   th ef t  d etec tio n   u s in g   th e  im p lem e n ted   d ee p   lear n in g   s tr ateg ies.   T h e  co r r esp o n d in g   co n f u s io n   m atr ices o f   th e  im p l em en ted   d ee p   lear n in g   m o d els ar e  d ep icted   i n   Fig u r e  7 .       T ab le  3 .   Per f o r m an ce   m etr ics   f o r   elec tr icity   th ef t  d etec tio n   M o d e l s   F1 - sc o r e   R e c a l l   A c c u r a c y   P r e c i s i o n   R O C - AUC   LSTM   0 . 8 3   0 . 8 0   0 . 8 1   0 . 9 1   0 . 8 1   G R U   0 . 8 7   0 . 8 3   0 . 8 6   0 . 9 3   0 . 8 3   LSTM - S V M   0 . 9 0   0 . 9 3   0 . 9 2   0 . 9 5   0 . 8 7   Bi - LST M   0 . 9 1   0 . 9 5   0 . 9 4   0 . 9 5   0 . 9 1   Bi - G R U   0 . 9 1   0 . 9 6   0 . 9 5   0 . 9 7   0 . 0 1   Bi - LA D A M - S V M - G R U   0 . 9 2   0 . 9 7   0 . 9 6   0 . 9 8   0 . 9 2                     Fig u r e  7 .   C o n f u s io n   m atr ices  o f   im p lem en te d   d ee p   lear n in g   m o d els   Evaluation Warning : The document was created with Spire.PDF for Python.