I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - AI )   V ol .   14 , N o.   2 ,  A pr il  2025 , pp.  1386 ~ 1400   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v 14 .i 2 .pp 1386 - 1400          1386     Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   A  n ove l   sc al ab l e  d e e p  e n se m b l e  l e ar n i n g f r am e w or k  f or  b i g d at a  c l ass i f i c at i on   vi a M ap R e d u c e   i n t e gr a t i on       K e s avan  M e t t u r  V ar ad h ar aj an 1, 2 , Jos e p h in e  P r e m  K u m a r 3 ,  N an d a A s h w in 2   1 D e pa r t m e nt  of   C om put e r  S c i e nc e  a nd E ngi ne e r i ng ,  V i s ve s va r a ya  T e c hnol ogi c a l  U ni ve r s i t y, B e l a ga vi , I ndi a   2 D e pa r t m e nt  of   C om put e r  S c i e nc e  a nd E ngi ne e r i ng , E a s t  P oi nt  C ol l e ge  of  E ngi ne e r i ng a nd T e c hnol ogy, B e nga l ur u, I ndi a   3 D e pa r t m e nt   of   C om put e r  S c i e nc e  a nd E ngi ne e r i ng , C a m br i dge  I ns t i t ut e  of  T e c hnol ogy, B e nga l ur u, I ndi a       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d  M a r  14, 2024   R e vi s e d  O c t  30, 2024   A c c e pt e d  N ov 14, 2024       Big  d ata  classification  involves   the  systematic   sorting  and   analy sis  of  extensiv e  datasets  that  are  aggregated   from  a  variety  of   sources.   These  datasets  may  include  but   are  not  limited   to,  electronic   records,  digital  imaging,  genetic  information  sequence s,  transactio nal  data,   resear ch  o utputs,  and  data  streams  from  wearable   technologies  and  connected   device s.  This  paper introduces the  scalable  deep ensemble  learning  framework  for  b ig data  classifi cation  (SDELF - BDC),  a  novel  methodology  tailored  f or  the  classifi c ation  of  large - scale  data.  At  its  core,   SDELF - BDC  lever ages  a  Hadoop - based  map - reduce  framework   for  feature  s election,  signif icantly  reducing  feature - length  and  enhancing  computational  efficiency .  The  methodology  is  further  augmented  by  a  deep  ensemble  mode l  that  judiciously  applies  a  variety   of  deep  learning   classifier s  based   o n  data  characterist ics,  thereby  ensuring   optimal   performance.  Each  clas sifier' s  output  undergoes  a  rigorous   optimization - based  ensemble   approa ch  for  refinement,  utilizin g  a  sophist ic ated  algorithm.  The  result  is  a  robust  classifi cation  system  that  excels  in  predicti ve  accur acy  while  maint aining  scalability  and  responsiveness  to   the  dynamic   requirements  of   bi g  data   environm ents.  Through  a  strategi c  combinat ion  of  classifi ers   a nd  an  innovative  reduction  phase,  SDELF - BDC  emerges  as  a  compreh ensive  solution  for  big  data   classifi cation  challenges ,  setting   new  benchma rks  for  predictive analytics in diverse and da ta - intensive doma ins.   K e y w o r d s :   B ig  da ta   D e e p   e n s e m b l e   l e a r n i n g   f r a m e w o r k   E ns e m bl e  de e p ne twor k   L a r ge - s c a le  da ta   M a pR e duc e  i nt e gr a ti on   S D E L F - B D C   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   K e s a va n  M e tt ur  V a r a dha r a ja n   D e pa r tm e nt  of  C om put e r  S c ie nc e  a nd E ngi ne e r in g, V is ve s v a r a ya  T e c hnol ogi c a l  U ni ve r s it y   B e la ga vi , I ndi a   E m a il :   ke s _m v@ r e di f f m a il .c om       1.   I N T R O D U C T I O N   I n  r e c e nt   ye a r s ,  bi g  da ta   ha s   be c om e   th e   m a in   te c h  ta lk   be twe e n  a c a de m ia   a nd  pr a c ti ti one r s   in   th e   di gi ta l  c om pe ti ti ve   pl a yya r d.  B ig   da ta   is  a n  im por ta nt   a s s e t  th a t   a tt r a c ts   th e   a tt e nt io n  of   m a ny  c hi e f   e x e c ut iv e   of f ic e r s   ( C E O s )   in   di f f e r e nt   or ga ni z a ti ons   to   ga in   f a s te r   in s ig ht s   a nd  hi gh  r e v e nue   [ 1] .  T h e   jo ur ne y  of   bi g   da ta   s ta r te d w he n m a ny or ga ni z a ti ons  r e c ogni z e d t ha t  th e  l a r ge   vol um e  of  t he ir  da ta  e xc e e de d t he  c a pa bi li ti e s   of   th e ir   or ga ni z a ti ons ,  pr oc e s s ,   c a pa c it y,  s tr uc tu r e ,  t e c hnol ogy  i nf r a s tr uc tu r e ,  a nd  gove r na nc e .   T h e y s tr uggl e d  to  de a l  w it h t he  r e qui r e m e nt s  f or  a na ly z in g t he  hi gh volum e  of  va r io us  da ta   [ 2] .   A c c or di ng  to   s ta ti s ti c a l  r e por ts ,  th e   num be r   of   us e r s   on  di f f e r e nt   s oc ia l  m e di a   pl a tf or m s   ha s   r e a c he d   m or e   th a n  2  bi ll io n.  W ha ts A pp,  f or   e xa m pl e ,  ha s   ov e r   600  m il li on  us e r s ,  m or e   th a n  ha lf   a   bi ll io n  phot os ,  a nd   one   hundr e d  m il li on  vi de os   tr a ns f e r r e d  a nd   s ha r e d   be twe e n   us e r s   da il y  [ 3] .  A ls o,  due   to   th e   huge   a dva nc e s   in   s m a r tp hone   te c hnol ogy,  it   ha s   be c om e   e a s ie r   f or   us e r s   to   s ha r e   im a ge s   a nd  w r it e   pos ts   on  s u c h  s oc ia l  m e di a   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       A  nov e l  s c al abl e  de e p e n s e m bl e  l e a r ni ng f r am e w or k  f o r  bi g dat a  …   ( K e s av an M e tt ur  V ar adha r aj an )   1387   pl a tf or m s .  S om e   r e por ts   s how   th a t  th e   num be r   of   po s ts   on  T w it te r   in   2007  w a s   5K ,  th i s   num be r   be c a m e   a r ound  500  m il li on  a f te r   a bout   6  ye a r s ,  w hi c h   in di c a te s   th e   m a s s iv e   a m ount   of   a v a il a bl e   da t a   on s oc ia l  m e di a   in   ge ne r a l.   T hi s   a m ount   of   da ta   is   not   r e s tr ic te d  to   s oc ia l  m e di a ,  a s   m a ny  ot he r   pl a tf or m s   ge ne r a te   a nd  s to r e   huge   da ta   vol um e s   [ 4] .  T hi s   a m ount   of   da ta   ne e ds   to   be   pr oc e s s e d  a nd  a na ly z e d  to   u s e   it   f or   bui ld in g  us e f ul   knowle dge   di s c ove r y  a nd  m a c hi ne   le a r ni ng  bi g  da ta   - ba s e d  a ppl ic a ti ons ,  li ke   f a c ia l  bi g  da ta   a ppl ic a ti ons ,   s ig na l  bi g  da ta ,  a nd  va r io us   in dus tr y  bi g   da ta   - ba s e d  a ppl ic a ti ons   [ 5] .  V ol um e   ( bi g) ,  va r ie ty ,  a nd  ve lo c it y  a r e   a m ong  th e   m os t  di s ti ngui s hi ng  c ha r a c te r is ti c s   of   bi g  da ta ,  a nd  a s   a   r e s ul t,   it   is   a tt r a c ti ve   to   ha ve   a n  e f f ic ie nt   c la s s if ic a ti on/ pr e di c ti on  s ys t e m   to   le a r n  f r om   s uc h  bi g  da ta .  S uc h  a ppl ic a ti ons   in c lu de ,  but   a r e   not   li m it e d  to ,  m e di c a l,  f in a nc ia l,   s e c ur it y, a nd i m a ge - ba s e d a ppl ic a ti on s   [ 6] .   B ig   da ta   a na ly s is   of f e r s   s e r vi c e   to ol s ,   s uc h  a s   H a doop  di s tr ib ut e d  f il e   s ys te m   ( H D F S )   w hi c h  s uppor ts   m a na gi ng  a nd  s to r in g  huge   a m ount s   of   da ta ,  f a s t  a ut om a te d  de c is io ns   a nd  de c r e a s e s   th e   r is ks   of   hum a n  e s ti m a ti ons .   T h e   H D F S   i s   a c c e pt e d   a s   th e   m o s t  w id e l y  us e d   da ta s e t  to ol   th a t   s uppor ts   r e dunda nc y,   r e li a bi li ty ,  s c a la bi li ty ,  pa r a ll e l  pr oc e s s in g,   a nd  di s tr ib ut e d  a r c hi te c tu r e   s ys t e m s   [ 7] ,  a nd   is   de s ig ne d  to   ha ndl e   di f f e r e nt   bi g  da ta   ty pe s ;  s tr uc tu r e d,  s e m i - s tr uc tu r e d,  a nd  uns t r uc tu r e d.  M or e ove r ,  th e   H a doop  M a pR e duc e   jo b - s c he dul in g  a lg or it hm   [ 6]   s uppor ts   c lu s te r in g  bi g  da ta   in   a   s pr e a d  ne twor k  e nvi r onm e nt .  I n  a ddi ti on,  bi g   da ta   a na ly s is   pr ovi de s   s ig ni f ic a nt   oppor tu ni ti e s   f or   s ol vi ng  di f f e r e nt   in f or m a ti on  s e c ur it y  pr obl e m s   by  u s in g  H a doop  te c hnol ogi e s   a nd  H D F S   to ol s .  T h e   da ta   va lu e   th a t  is   ge ne r a te d  f r om   bi g  da ta   th r ough  th e   a na ly s is   pha s e   is   of   e xt r e m e   im por ta nc e   [ 8 ] .  D ur in g   th e   pr e vi ous   f e w   de c a de s ,  c la s s if ie r s   ha ve   be e n  in te ns iv e ly   s tu di e d  a nd  a na ly z e d.  C la s s if ie r s   a r e   w id e ly   u s e d  in   m a ny  m o de r n  a ppl ic a ti ons   a s   ke y  c om put e r   te c hnol ogy.   M a ny c la s s if ie r s  e xi s t,  s uc h a s   k - ne a r e s t  ne ig hbor   ( K N N ) ,  s uppor t  ve c to r  m a c hi ne  ( S V M ) ,   n a iv e  B a ye s  ( N B ) ,  r a ndom  f or e s t  ( R F ) ,  de c is io n  t r e e   ( D T ) ,  a nd   m a ny  m or e .  I n  te r m s   of   a c c ur a c y a nd  ti m e   c on s um in g  bui ld in g  a   tr a in e d  m ode l,   e a c h  c la s s if ie r   ha s   a dv a nt a ge s   a nd  li m it a ti ons ;  s om e   a r e   m or e   e f f e c ti ve   w it h  s pe c if ic   da ta s e ts   th a n ot he r s , a nd he nc e  t he r e  i s  no opti m a l  c la s s if ie r  t ha t  c a n pe r f e c tl y c la s s if y a ll  t ype s  of  da ta   [ 8] .   D e e p  le a r ni ng  a r c hi te c tu r e s   s uc h  a s   c onvolut io na l  ne ur a l  ne twor ks   ( C N N s )   a nd  r e c ur r e nt   ne ur a l   ne twor ks   ( R N N s ) ,  in c lu di ng  lo ng  s hor t - te r m   m e m or y  ne twor k s   ( L S T M s ) ,  of f e r   ta il or e d  a dva nt a ge s   f or   bi g   da ta   c la s s if ic a ti on.  C N N s   e xc e l  in   s pa ti a l  hi e r a r c hy  le a r ni ng  f r om   im a ge s ,  e na bl in g  r obus t  f e a tu r e   e xt r a c ti on  w it hout   m a nua l  in te r ve nt io n,  m a ki ng  th e m   id e a l   f or   im a ge - ba s e d  c la s s if ic a ti on  ta s ks .   T he ir   s tr uc tu r e ,  c om pos e d  of   c onvolut io na l,   pool in g,  a nd   f ul ly   c onne c te d  la y e r s ,  e ns ur e s   e f f ic ie nc y  a nd   s c a la bi li ty ,  e ve n  w it h   hi gh - di m e ns io na l  da ta .  O n  th e   ot he r   ha nd,  R N N s   a nd  L S T M s   s hi ne   in   s e que n c e   da ta   a na ly s is ,  s uc h  a s   ti m e   s e r ie s ,  s p e e c h,  or   te xt ,  by  e f f e c ti ve ly   c a pt ur in g  te m por a l  de pe nde nc ie s   a nd  h a ndl in g  va r ia bl e - le ngt h  in put s .  L S T M s  f ur th e r  m it ig a te  t he  va ni s hi ng gr a di e nt  p r obl e m , a ll ow i ng f or  t he  l e a r ni ng  of  l ong - te r m  de pe nde nc ie s .  T he s e   a r c hi te c tu r e s   c ol le c ti ve ly   e nh a nc e   bi g  da ta   c la s s if ic a ti o n  by  of f e r in g  s c a la bl e ,  e f f ic ie nt ,  a nd  a c c ur a te   m ode li ng  c a pa bi li ti e s ,  c a pa bl e   of   e xt r a c ti ng  de e p   in s ig ht s   f r om   c om pl e x  da ta s e ts ,   th e r e by  dr iv in g  in nova ti on  a c r os s  di ve r s e  doma in s   [ 9] .   T he   in te gr a ti on  of   de e p  le a r ni ng  w it h  M a pR e du c e ,  a   pr ogr a m m in g  m ode l  f or   pr oc e s s in g  a nd  ge ne r a ti ng  la r ge   da ta   s e ts   w it h  a   pa r a ll e l,   di s tr ib ut e d  a lg or i th m   on  a   c lu s te r ,  of f e r s   a   pow e r f ul   a pp r oa c h  f or   e nha nc e d  c la s s if ic a ti on  ta s ks   on  bi g  da ta .  T hi s   in te gr a ti on  le ve r a ge s   th e   c om put a ti ona l  e f f ic ie nc y  o f   M a pR e duc e   to   ha ndl e   th e   m a s s iv e   s c a la bi li ty   r e qui r e m e nt s   o f   de e p  le a r ni ng  a lg or it hm s ,  a ll ow in g  f or   th e   di s tr ib ut e d  pr oc e s s in g   of   da ta   a c r os s   m ul ti pl e   node s ,  w hi c h   s i gni f ic a nt ly   s pe e ds   up  th e   tr a in in g  of   c om pl e x   m ode ls  on l a r ge  da ta s e t s . F or  i ns ta nc e , de e p l e a r ni ng mode ls , s uc h a s  C N N s  f or  i m a ge  c la s s if ic a ti on or  R N N s   f or   s e que nc e   da ta ,   c a n   be   tr a in e d   m or e   e f f ic ie nt ly   u s in g  th is   in te gr a te d  a ppr oa c h,   e na bl in g  m or e   s ophi s ti c a te d   a nd  a c c ur a te   c la s s if ic a ti on  c a pa bi li ti e s .   H ow e ve r ,  th i s   in te gr a ti on  is   not   w it hout   it s   li m it a ti ons .  T he   c om pl e xi ty   of   c onf ig ur in g  a nd  m a na gi ng  a   di s tr ib ut e d  c om put in g  e nvi r onm e nt   c a n  in tr oduc e   ove r he a d  a nd  pot e nt ia l  bot tl e ne c ks ,  e s p e c ia ll y  in   te r m s   of   ne twor k  c om m uni c a ti on  a nd  da ta   tr a ns f e r   s pe e d s .  A ddi ti ona ll y,  th e   in he r e nt   c ha ll e nge s   of   pa r a ll e li z in g  de e p  le a r ni ng  a lg or it hm s ,  s uc h  a s   s ync hr oni z a ti on  of   m ode l  upda te s   a nd  th e   non - uni f or m   di s tr ib ut io n  of   da ta ,  c a n  a f f e c t   th e   e f f ic i e nc y  a nd   s c a la bi li ty   of   th e   s ol ut io n.  D e s pi te   th e s e   c ha ll e nge s ,  th e   c om bi na ti on  of   de e p  le a r ni ng   a nd  M a pR e duc e   hol ds   s ig ni f ic a nt   pr om is e   f or   a dva nc in g   bi g da ta   c la s s if ic a ti on by ha r ne s s in g t he   s tr e ngt hs  of  bot h t e c hn ol ogi e s   [ 10] – [ 12] .   T he   e xpone nt ia l  gr ow th   of   bi g   da ta   a c r os s   va r io us   s e c to r s ,  c oupl e d  w it h  it s   p r of ound  i m pa c t  on     de c is io n - m a ki ng,  in nova ti on,  a nd  c om pe ti ti ve   a dva nt a ge ,   ha s   s pa r ke d  s ig ni f ic a nt   in te r e s t  a m ong  r e s e a r c he r s   a nd  pr a c ti ti one r s   a li ke .   T hi s   bur ge oni ng   in te r e s t  i s   r oot e d  in   th e   r e a li z a ti on  th a t   bi g  da t a ,  c ha r a c te r iz e d  by   it s   vol um e ,  ve lo c it y,  a nd  va r ie ty ,  hol ds   th e   ke y  to   unl oc ki ng  nov e l  in s ig ht s   a nd  f os te r in g  a dva nc e m e nt s   a c r os s   va r io us   f ie ld s   in c lu di ng  he a lt hc a r e ,  f in a nc e ,  s e c ur it y,  a nd  be yo nd.  T he   m ot iv a ti on  be hi nd  th is   r e s e a r c h  s te m s   f r om   th e   c ha ll e nge s   a nd  oppor tu ni ti e s   pr e s e nt e d   by  th e   v a s t   a m ount s   of   da t a   ge ne r a te d   by  s oc ia l  m e di a   pl a tf or m s ,  I oT   de vi c e s ,  a nd  di gi ta l  tr a ns a c ti ons ,  w hi c h  e xc e e d   th e   pr oc e s s in g  c a pa bi li ti e s   of   tr a di ti ona l  da ta   a na ly s is   to ol s .  A s   or ga ni z a ti ons   s tr iv e   to   ha r ne s s   th e   f ul l  pot e nt ia l  of   bi g  da ta   f or   knowle dge   di s c ove r y,  m a c hi ne   le a r ni ng,  a nd  pr e di c ti ve   a na ly ti c s ,  th e r e   a r is e s   a   c r it ic a l  ne e d  f or   e f f ic ie nt   c la s s if ic a ti on  a nd  pr e di c ti on  s ys te m s   c a p a bl e   of   m a na gi ng  th is   c om pl e xi ty .  T he   in te gr a ti on  of   de e p  le a r ni ng  a r c hi te c tu r e s   a nd  M a pR e duc e   f r a m e w or ks   pr e s e nt s   a   pr om is in g  a ve nue   f or   a d dr e s s in g  th e s e   c ha ll e nge s ,  of f e r in g  s c a la bl e ,  e f f ic ie nt   s ol ut io ns   f or   bi g  da ta   c la s s if ic a ti on.  T hi s   r e s e a r c h  is   dr iv e n  by  th e   a m bi ti on  to   c ont r ib ut e   to   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol .  14 , N o.  2 ,  A pr il   2025 :  1386 - 1400   1388   de ve lo pm e nt   of   a dva nc e d  bi g  da ta   a na ly s i s   to ol s   th a t  c a n  not   onl y  m a na ge   th e   s he e r   s c a le   of   da t a   but   a ls o   pr ovi de   a c ti ona bl e   in s ig ht s ,   th e r e by  e n a bl in g  or ga ni z a ti ons   to   m a ke   in f or m e d  de c is io ns ,   e nha nc e   ope r a ti ona l   e f f ic ie nc y, a nd a c hi e ve   s tr a te gi c  goa ls .   A dv a n c e d   d e e p  e n s e m b le   l e a r ni n g  a r c hi te c t ur e :  d e vi s e d  a   s oph is t ic a t e d   f r a m e w o r k  th a t  in t e g r a t e s   a   s u it e   o f   de e p   l e a r ni ng   c la s s if ie r s ,  or c he s tr a te d  w it hi n   a   H a doo p - b a s e d  in f r a s tr u c t ur e .  T hi s   a ppr o a c h   i s   e ng in e e r e d  to   r e f i ne   c l a s s if i c a ti o n   by   c o ndu c t in g   pr e c i s e   f e a tu r e   s e le c t io n   a n d   e m pl oyi ng   a   hy br i d  of   a lg or it hm i c   s tr a te gi e s .  T he   r e s ul t  i s   a   s u bs ta nt i a l   im pr o ve m e nt   i n  a c c ur a c y   a nd   e f f ic ie nc y,   p a r ti c u la r ly   s ui t e d   t o  th e   c om p le xi t ie s   of   bi g   d a t a   c la s s if ic a t io n .   I nno va ti v e   hy br id   he u r i s ti c   opt im i z a ti o n  t e c hn iq ue :  in tr o du c e d  a   c ut ti n g - e dg e   op ti m i z a ti on   m e th od   t ha t  is   i m pl e m e n te d w it hi n  a  m a p - r e du c e   f r a m e w or k,   t hi s   t e c hni qu e  e n ha n c e s   th e   s e le c ti on  a nd  c l a s s if i c a ti on  of  f e a tu r e s ,  t h e r e b y  e l e v a ti ng  th e   e f f e c t iv e n e s s  a nd  pr e c i s io n o f   b ig   da ta   s y s t e m s .   T he   r e s e a r c h  is   or ga ni z e d  in   th is   pa pe r   in to   f our   s e c ti ons .  T h e   f ir s t  s e c ti on  gi ve s   a   br ie f   ove r vi e w   of   th e   bi g  da ta   c la s s if ic a ti on  pr oc e s s ,  a nd   th e   s e c ond   s e c ti on  di s c us s e s   th e   e xi s ti ng  li te r a tu r e   a nd   s hor tc om in gs   a s s oc ia t e d  w it h  e a c h.  I n  th e   th ir d   s e c ti on,  a   m ode l  is   pr opos e d  to   ove r c om e   th is   a nd  in   th e   f our th   s e c ti on  a   c om pa r is on  is   c a r r ie d  out   w it h  th e   e xi s ti ng  a nd  th e   pr opos e d  t e c hni que s ,  a nd  th e   r e s ul ts   a r e   ta bul a te d   in   th e   f or m  of  gr a phs .       2.   R E L A T E D  WORK   I n  th e   r e a lm   of   bi g   da ta   c la s s if ic a ti on,  r e c e nt   s tu di e s   ha v e   in nova te d  m e th ods   to   e nh a nc e   f e a tu r e   s e le c ti on  a nd  c la s s if ic a ti on  a c c ur a c y   in   la r ge   da ta s e ts .  F or   e x a m pl e ,  a   nove l  a ppr oa c h  in te gr a t e s   M a pR e du c e   w it h  f e a tu r e   s ubs e t  s e le c ti on  a nd   hype r pa r a m e te r - tu ne d  de e p  be li e f   ne twor ks   ( D B N ) ,  a im in g  to   a ddr e s s   th e   c om pl e xi ti e s   of   bi g  da ta   pr oc e s s in g  a nd  im pr ove   c la s s if ic a ti o n  pe r f or m a nc e .  A   c la s s if ic a ti on  m ode l  na m e d  r a ndom  f or e s t - ba s e d  f e a tu r e   s e le c ti on  a nd   e xt r a c ti on  ( R F S E ) - ga te d  r e c ur r e nt   uni t  ( G R U )  [ 13]   w a s   de ve lo pe d,   in te gr a ti ng  G R U   w it h  a   s tr a te gi c   a ppr oa c h  f or   f e a tu r e   s e le c ti on  a nd  da ta   ba la nc e .  T hi s   m ode l  le ve r a ge s   th e   RF   a lg or it hm   to   id e nt if y  th e   m os t  im pa c tf ul   f e a tu r e s   f or   c la s s if ic a ti on.  T o  m it ig a te   th e   c ha ll e nge s   pos e d  by  da ta   im ba la nc e ,  it   e m pl oys   a   c om bi na ti on  of   th e   s ynt he ti c   m i nor it y  ove r s a m pl in g  te c hni que   ( S M O T E )   f or   ove r s a m pl in g  a nd  th e   e di te d  ne a r e s t  ne ig hbor   ( E N N )   te c hni que   f or   unde r - s a m pl in g,  e nha nc in g  th e   m ode l ' s   c la s s if ic a ti on  a c c ur a c y.  T e c hnol ogi e s   s uc h  a s   te xt   a nd  da ta   m in in g,  onl in e   a nd  m obi le   m in in g,  pr oc e s s   m in in g,  s ta ti s ti c a l  a na ly s is ,  ne twor k  a na ly ti c s ,  s oc ia l  m e di a   a na ly ti c s ,  a udi o  a nd  vi d e o  a na ly ti c s ,  a nd  w e b  a na ly ti c s   a r e   a ll   in c lu de d  in   bi g  da ta   a na ly ti c s .  T o  e nha nc e   he a lt hc a r e   da ta   s e t s ,  a   r a nge   of   da ta   m in in g  te c hni que s   m a y   be   u s e d,  s u c h  a s   s um m a r iz a ti on,  a s s oc ia ti on  r ul e s ,  c lu s te r in g,  c la s s if ic a ti on,  a nom a ly   de te c ti on,  a nd  la r ge - s c a le   da ta   vi s ua li z a ti on  [ 14] .  M ode r n  da ta   a na ly ti c s   a lg or it hm s   e m pl oy  c e r ta in   da ta   pr ope r ti e s   to   e va lu a te   s e ns or   a nd  hi gh - s pe e d  da t a   s tr e a m s .  B ig   da ta   ha s   s e v e r a l  a ppl ic a ti on s ,  in c lu di ng   im pr ovi ng  di a gnos is ,  a ve r ti ng  il ln e s s ,  m oni to r in g  pa ti e nt s   f r om   a   di s ta nc e ,  r e duc in g  hos pi ta l  s ta ys ,  in te gr a ti ng  m e di c a l  im a gi ng,  r e duc in g  f r a ud,  s tr e ngt he ni ng  da t a   s e c ur it y,  a nd  m or e .  I nt r oduc in g   a   br a nd - ne w   de e p l e a r ni ng - ba s e d m obi le  t r a f f ic  da ta  c a te gor iz a ti on  s ol ut io n.   T he   pr opos e d  R F S E - G R U   m ode l  is   a   c la s s if ic a ti on  m ode l  th a t  in c or por a te s   f e a tu r e   s e le c ti on,  da ta   ba la nc in g,  a nd   th e   G R U   a lg or it hm   [ 15] .  T he   RF   m e th od   s e le c ts   f e a tu r e s   a c c or di ng   to   th e ir   s ig ni f ic a nc e   f or   th e   c la s s if ic a ti on  pr oc e s s .  A ddi ti ona ll y,  th e  c om bi na ti on  of   th e   S M O T E   ove r s a m pl in g  s tr a te gy  w it h  th e   E N N   unde r - s a m pl in g  m e th od  r e duc e d  th e   ne ga ti ve   im pa c t  of   da ta   i m ba la nc e   on  c la s s if ic a ti on  pe r f or m a nc e .  T hi s   pa pe r   pr e s e nt s   a   r e de s ig ne d  K N N   te c hni que   a nd  c om pa r e s   it   to   th e   tr a di ti ona l  K N N   a lg or it hm .  W it hi n   th e   vi c in it y  of   th e   que r y  in s ta nc e ,  th e   tr a di ti ona l  K N N   c la s s if ie r   i s   e m pl oye d  to   do  th e   c la s s if ic a ti on,  a s s ig ni ng  w e ig ht s   to   e a c h  c l a s s .  T he   te c hni que   c on s id e r s   th e   c la s s   di s tr ib ut io n  s ur r ounding  th e   que r y  in s ta nc e   to   pr e ve nt   th e   w e ig ht   a s s ig nm e nt   f r om   a dv e r s e ly   a f f e c ti ng  th e   out li e r s   [ 16] .  T he   c ur r e nt   s tu dy   a ddr e s s e s   th e   s hor tc om in gs  of  t he  t r a di ti ona l  K N N  t e c hni que  w it h  l a r ge  da ta s e ts  by i nt r oduc in g a n  i m pr ove d K N N  s tr a te gy   th a t  c om bi ne s   de n s it y  c r oppi ng  a nd  c lu s te r   de noi s in g.  T hi s   a ppr oa c h  us e s   c lu s te r in g  to   im pr ove   de noi s in g  pr oc e s s in g  a nd  boos t  th e   c la s s if ic a ti on  e f f ic ie nc y  of   th e   K N N   a lg or it hm   by  a c c e le r a ti ng  th e   K NN   s e a r c h  w it hout   c om pr om is in g  th e   a lg or it hm ' s   c la s s if ic a ti on  a c c ur a c y.   J ia ng  a nd  L i  [ 17]   pr opos a l' s   e dge   pr oc e s s in g  uni t  is   c om pos e d  of   two  p r im a r y  c om pone nt s :  a   da ta   t r a ns m is s io n  uni t  th a t  us e s   a ppr opr ia te   c om m uni c a ti o n   m e th ods   to   s e nd  d a ta   to   r a il w a y  c ont r ol   c e nt e r s   b a s e d   on  th e   t ype   of   da ta   r e c e iv e d,   a nd  a   da ta   c la s s if ic a ti on  m ode l  th a t  s e pa r a te s   in te r ne t  of   th in gs   ( I oT )   da ta   in to   two  c a t e gor ie s :  m a in te na nc e - c r it ic a l  da ta   ( M C D )   a nd  m a in te na nc e - non - c r it ic a l  da ta   ( M N C D ) .  F or   m ul ti c la s s   c la s s if i c a ti on  w it h  la r ge   da ta s e ts ,  w e   m a y  r e duc e   th e   te m por a l  c om pl e xi ty   a nd  in c r e a s e   th e  c om put a ti ona l  e f f ic ie nc y   of   e ne r gy  ba la nc e - r e la te d  be ha vi or s   ( E B R B s )   by  us in g  a   dom a in   di vi s io n - ba s e d  r ul e   r e duc ti on  te c hni que ,   a   m or e   s tr a ig ht f or w a r d  e vi de nt ia l  r e a s oni ng  a lg or it hm ,  a nd  a   m e th od  to   do  a w a y  w it h  r ul e   w e ig ht   c a l c u la ti on.  T hi s   is   a   M ic r o - E B R B S ,  w hi c h  i s   a n  E B R B S   th a t  ha s   be e n  s hr unk  dow n.  F ur th e r m or e ,  A pa c he   S pa r k,  a   w e ll - li ke d  c lu s te r   c om put in g  to ol ,  is   us e d  in   th e   de ve lo pm e nt   of   m ic r o - E B R B S ' s   pa r a ll e l  r ul e   ge ne r a ti on  a nd  in f e r e nc e   m e th odol ogi e s   f or   bi g  da ta   m ul ti c la s s   c la s s if ic a ti on  is s ue s   [ 18] .  O f f e r in g  a   nove l  a ppr oa c h  to   f a ul t  li ne   s e le c ti on  th a t  us e s   bi g  da ta   a nd  f e a tu r e   c la s s if ic a ti on  to   ove r c om e   th e   s hor tc om in gs   of   e xi s ti ng  te c hni que s .  T hi s   m e th od  a ddr e s s e s   th e   f a ul t   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       A  nov e l  s c al abl e  de e p e n s e m bl e  l e a r ni ng f r am e w or k  f o r  bi g dat a  …   ( K e s av an M e tt ur  V ar adha r aj an )   1389   li ne   s e le c ti on  i s s ue   a s   a   c la s s if ic a ti on  ta s k  by   f e e di ng  la r ge   da t a s e ts   a s s oc ia te d  w it h  f a ul ts   in to   th e   c la s s if ie r s   dur in g  tr a in in g.   T he   f our   m a in   s te ps   in   th e   p r oc e dur e   a r e   da ta   ga th e r in g,  tr a in in g,   c la s s if ic a ti on,  a nd   a s s e s s m e nt .  D a ta   pr e pa r a ti on  is   in   c ha r ge   of   pr e pr oc e s s in g  a nd  da ta   c ol le c ti on,  w he r e a s   tr a in in g  e m pl oys   pr oc e s s e d  da ta   to   tr a in   c la s s if ie r s   [ 19] ,  [ 20]   p r e s e nt s   a   m or e   a dva nc e d  K N N   te c hni que   a nd  c om pa r e s   it   w it h  th e   tr a di ti ona l  K N N   a lg or it hm .  W it hi n  th e   vi c in it y  of   th e   que r y  in s ta nc e ,  th e   tr a di ti ona l  K N N   c la s s if ie r   is   e m pl oye d  to   do  th e   c la s s if ic a ti on,  a s s ig ni ng  w e ig ht s   to   e a c h  c la s s .  T he   te c hni que   c ons id e r s   th e   c la s s   di s tr ib ut io n  s ur r ounding  th e   que r y   in s ta nc e   to   pr e ve nt   th e   w e ig ht   a s s ig nm e nt   f r om   a dve r s e ly   a f f e c ti ng  th e   out li e r s .  B y  in c lu di ng  c lu s te r   de noi s in g  a nd  de n s it y  c r oppi ng,  th is   s tu dy  pr e s e nt s   a n  im pr ove d  K N N   m e th od  th a t  ove r c om e s   th e   s hor tc om in gs   of   th e   tr a di ti ona l  K N N   s tr a te gy  w he n  w or ki ng  w it h  la r ge   da ta s e ts .   T hi s   a ppr oa c h e nha nc e s  de noi s in g c a pa bi li ti e s  a nd i nc r e a s e s  K N N  a l gor it hm  e f f ic ie nc y by e m pl oyi ng c lu s te r in g t o   s pe e d up the  s e a r c h f or  ne a r e s t  ne ig hbor s  w it hout  l os in g c l a s s if i c a ti on a c c ur a c y  [ 21] – [ 24] .       3.   P R O P O S E D  M E T H O D O L O G Y   T he   pr opos e d  s c a la bl e   de e p  e n s e m bl e   le a r ni ng  f r a m e w or k  f or   bi g  da ta   c la s s if ic a ti on   ( S D E L F - B D C )   m e th odol ogy  be gi ns   w it h  th e   f ir s t  s te p  w hi c h  i s   f e a tu r e  s e le c ti o n,  w he r e   r e le va nt   da t a   a tt r ib ut e s   a r e   id e nt if ie d  us in g  a   H a doop - ba s e d  m a p - r e duc e   f r a m e w or k  to   m in im iz e   f e a tu r e   le ngt h.  T he   c hos e n  f e a tu r e s   a r e   th e n  pr oc e s s e d  th r ough  a   de e p  e n s e m bl e   m ode l  th a t  ut il iz e s   a   va r i e ty   of   de e p  le a r ni ng  c la s s if ie r s   s uc h  a s   C N N ,   D B N ,  L S T M ,  e xt r e m e   le a r ni ng  m a c hi ne   ( ELM ) ,  a nd   de e p  ne ur a l  ne twor k  ( DNN ) .  T he s e   c la s s if ie r s   a r e   a ppl ie d  c ondi ti ona ll y,  ba s e d  on  th e ir   s ui ta bi li ty   to   th e   da ta   c ha r a c te r is ti c s .  I n  th e   c la s s if ic a ti on  a nd  r e duc ti on   pha s e ,  th e   r e s ul ts   f r om   e a c h  c la s s if ie r   a r e   c om bi ne d,  a nd  a n  opt im iz a ti on - ba s e d  e ns e m bl e   a ppr oa c h  is   e m pl oye d  to   r e f in e   th e   r e s ul ts   f ur th e r .  T hi s   c om bi na ti on  a im s   to   ge ne r a te   a   de c is iv e   s tr a te gy  th a t  m a xi m iz e s   th e   pr e di c ti on  m e tr ic s   w it hi n  th e   m a p - r e duc e   f r a m e w or k.  T h e   f in a l  out put   is   a   r obus t  pr e di c ti on  m ode l.   F ig ur e  1 s how s  t he  bl oc k di a gr a m .     3.1.   F e at u r e  s e le c t io n   T he  pr opos e d H a doop - ba s e d m a p r e duc ti on mode l  c hoos e s  t he  r e le va nt  f e a tu r e s  f r om  t he  m a p pha s e   w hi c h  is   ge ne r a te d  by  th e   pr opos e d  m ode l   to   m in im iz e   e a c h  f e a tu r e ' s   le ngt h  w hi c h  ge ts   m a ny   e f f e c ti ve   f e a tu r e s .  T he   r e le va nt   f e a tu r e s   a r e   c hos e n  us in g  th e   pr opos e d  a lg or it hm   th a t   m in im iz e s   th e   c om put a ti on  ti m e   a nd  ove r f it ti ng  is s ue .  T hi s   is   e s s e nt ia l  to   e nha nc e   th e   a c c ur a c y ,  w it h  a dde d  r e le va nt   f e a tu r e s   us e d  to   r e duc e   th e   num be r   of   in put   va r ia bl e s   th a t  e li m in a te   non - r e le va nt   f e a tu r e s .  T he s e   f e a tu r e s   a r e   s e le c te d  f r om   two   di f f e r e nt   da ta s e ts .  T hu s   th e   opt im a l  f e a tu r e s   f or   th is   m ode l  a r e   e xpr e s s e d  a s   h u f in e − tu n e ,  w he r e in     u = 1 , 2 , … … … … . . , U   us in g t he  pr opos e d a lg or it hm .     3.2.   P r op os e d   al gor it h m   T he   pr opos e d  he ur is ti c   opt im iz a ti on  m e th od,  w hi c h  is   ge n e r a te d  by  th e   m a p  r e duc ti on  f r a m e w or k - ba s e d c la s s if ic a ti on s y s te m , a dj us t s  s e ve r a l  p a r a m e te r s  t o ge t  th e  be s t - pr oj e c te d r e s ul ts .  T he  r e a s on t hi s  m ode l  c hoos e s   a   nove l  opt im iz a ti on a lg or it hm   is   th a t   it   c a n   gua r a nt e e  qui c k  c onve r ge nc e   a nd   pr e ve nt   pr obl e m s   w it h  lo c a l  opt im a .  H ow e ve r ,  it s   in a bi li ty   to   ge t  th e   be s t  out c om e s   w or ld w id e   r e nde r s   it   in e f f e c ti ve   f or   a   va r ie ty   o f   opt im iz a ti on  ta s ks .  I t  ha s   be e n  c oupl e d  w it h  a n  opt im iz a ti on  a ppr oa c h  to   ove r c om e   th e   s hor tc om in gs   of   th e   pr e s e nt   opt im iz a ti on  a ppr oa c h  be c a us e   of   it s   c a pa c it y  to   boos t  pe r f or m a nc e   w he n  a ddr e s s in g  e ngi ne e r in g  opt im iz a ti on  c ha ll e nge s   a nd  to   in c r e a s e   e f f ic ie nc y  in   gl ob a l  s e a r c h.  T h e   pr opos e d   a lg or it hm   in c r e a s e s   th e   c la s s if ic a ti on  u s in g  e f f ic ie nc y   by  ut il iz in g  th e   m a p - r e duc e   a r c hi te c tu r e .  T he   pa r a m e te r s   R u1   a nd  R u2   in   th e   pr opos e d  a lg or it hm   a r e   c om put e d  us in g  th e   de vi a ti on  of   th e   op ti m iz a ti on  a ppr oa c h  a nd  a not he r   opt im iz a ti on   a ppr oa c h.  T he   out c om e   of   th e   de vi a ti on  is   s how n  in   ( 1) .  T he   SD   f or   R u1   a n d   R u2   a r e   e va lu a te d  to   be   SD ( R u1 , R u2 ) , f in a ll y t he  upda te d va lu e  i s  de not e d by  D   a s  s how n i n ( 2) .     =  (  1 ,  2 ) +  (  1 ,  2 )   ( 1)       =   +   ( 2)     H e r e   F in a l o ut   de not e s   th e   out c om e   of   th e   s ol ut io n.  T hi s   m e th od   ut il iz e s   pa r a m e t e r s   to   d e f in e   a   s e t   of   c oyot e   pa c ks ,   or   Re il .  E a c h  pa c k  c on s is ts   of   uni que   c oyot e s ,  EA am ,  s how c a s in g  s pe c if ic   s o c ia l  be h a vi or s   w it hi n  th e ir   gr oup,   il ,  ove r   a   s pe c if ic   ti m e   f r a m e ,  Vm .  A n  a lp ha   c o yot e ,  known  f or   i ts   s upe r io r   a da pt a bi li ty   a nd  be ha vi or   th a t  s ui ts   c ha ngi ng  e nvi r onm e nt a l  c ondi ti ons ,  a s s um e s   le a de r s hi p  in   e ve r y  pa c k.  In   ( 3)   s um m a r iz e s   th e   le a de r s hi p c ha r a c te r is ti c s   of   th e  a lp ha   c oyot e .  T he   in f or m a ti on  r e le va nt   to   th e  c oyot e s   g a in e d  f r om   th e   gr oups   f o r   pe r f or m in g  c ul tu r a l  te nde nc y  is   s how n  in   ( 4) .  H e r e   S e   il , Vm   de pi c ts   th e   r a nke d  s oc ia l   s ta tu s   of   th e  c oyot e   in vol ve d  th r ough  th e  s e a r c h  di m e n s io n  km   w it hi n  th e   pa c k  il   in   th e   pe r io d  Vm .  T he   bi r th   r a te  i s  e va lu a te d a nd t e r m e d a s  a  l if e  e ve nt  f or  t he  ne w  c oyot e  d e not e d by the  ( 5) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol .  14 , N o.  2 ,  A pr il   2025 :  1386 - 1400   1390   α EA il , Vm = Bs am il , Vm     f or   m in Hs am il , Vm   ( 3)      t km il , Vm = { S e EA am + 1 2 il , Vm , k                                                                 EA am         is   odd Se EA am + 1 2 il , Vm , km                                                                                                               o r e l s e     }   ( 4)      t km il , Vm = {             B t tp 1 j l                                       tt jl < D uw     or   km = k m 1 B t t p 2 j l                                       tt jl < D uw     or   km = k m 2         il , Vm       tf jl                                                                                                           e l s e il , Vm }               ( 5)     T he   de s ig n  di m e ns io n  de not e d  by  k m 1   or   k m 2 .  T he   te r m   D uv   is   e va lu a te d  to   s c a tt e r   pr oba bi li ti e s   a nd  D cr   is   in di c a te d  a s   th e   a s s oc ia ti on  of   pr oba bi li ti e s .  T he   r a ndom  va r ia bl e s   de not e d  by      tt jl   a nd    tf jl   in   th e   r a nge   [ 0,   1] .  T he   f in a l  s ta tu s   is   de te r m in e d  by  c or r e la ti ng  th e   pr io r   a nd  upgr a de d  s ta tu s   a s   s how n  in   ( 6) .    T he   opt im a l  s ol ut io n  is   f in a li z e d  th r ough  th e   c ondi ti on  w hi c h   is   in c or por a te d  by  th is   s e a r c hi ng  di m e ns io n.  A c c or di ng  to   th e   hunt in g  m e c ha ni s m   th e   pr e y  e n c lo s e d   by  th e  a lp ha   pa r a m e te r s   by  d e te r m in in g  th e ir   pos it io n  w it h t he  a s s is t a nc e  of  a  s p e c if ic  a ge nt , t he  e n c ir c li ng s tr a te gy i s  gi ve n by ( 7) .     Bt am il , Vm + 1 = { Bt am il , Vm + 1                             p y H t am il , Vm + 1 < H t   il , Vm Bt am il , Vm                                   e l s e }   ( 6)     ms tr ( ws + 1 ) = μ 1 ∑ [ τ q ( ws ) − ms tr ( ws ) ] ps ps 0 = 1 − ms ∗ ( ws )   ( 7)     T he   a r bi tr a r y  num be r   is   de not e d  by  μ 1 in   th e   r a nge   [ - 2 ,   2]   th e   be s t  s ol ut io n  obs e r ve d  f r om   th e   pr e vi ous   s te p  i s   de not e d  by   ms ∗ ( ws )   w he r e a s   th e   pr e s e nt   s ol ut io n  is   ms tr   a nd  th e   popula ti on  is   d e not e d  by  W s .  T he   s ubs e t  of   th e   s ol ut io n  is   de not e d  by  τ q ( ws ) ,  th e   ne w   pos it io n   w it hi n  th e   s ol ut io n  is   de not e d   by  ms tr ( ws + 1 )   w he r e a s   th e   r a ndom  va r ia bl e   is   de not e d  by  ps ,  th e y  c ha s e   th e   pr e y  by  tr a c ki ng  th e   pos it io n   th e y  a r e   w it hi n,  th is   f e a tu r e   is   d e not e d  in   ( 8) .  T he   s e a r c h  a ge nt   is   r e f e r r e d  to   a s   th e   ms g ( ws ) ,  ms tr ( ws + 1 )   de pi c ts   th e   m ove m e nt   a nd  th e   a r bi tr a r y  num be r   de not e d  by  μ 1   in   th e   r a nge   [ - 1 ,   1] .   T hi s   c la s s if ic a ti on  is   obs e r ve d a s  i n ( 9)  w it h t he  s ur vi va l  r a te  t he  c om put a ti on i s  pe r f or m e d i n ( 10) .     ms tr ( ws + 1 ) = ms ∗ ( ws ) + μ 1 ∗ zs μ 2 ∗ ( ms g ( ws ) − ms tr ( ws ) )   ( 8)     ms tr ( ws + 1 ) = 0 . 5 [ as μ 2 ∗ ms g ( ws ) − ( − 1 ) γ ∗ ms tr ( ws ) ]   ( 9)     ut ( tc ) = f m a x − f ( t ) f m a x − f m i n   ( 10)     T he   f ( t )   de s ig na te s   th e   c ons i s te nt   va lu e   of     t vj   s e a r c h  a ge nt .  Ms ∗ ( ws )   i s   de pi c te d  by  th e   be s t  s ol ut io n  th r ough  th e   pr e vi ous   it e r a ti on.  T he   va r ia bl e s   f ma x   a nd  f min   w hi c h  r e pr e s e nt s   th e   w or s t - c a s e   opt im a l  f it ne s s   va lu e ,  w h e r e a s   th e   opt im a l  f it ne s s   va lu e s   a nd  th e   p a r a m e te r   γ   a r e   r e pr e s e nt e d   by  th e   bi na r y  num be r .  T he  a lg or it hm  i s  gi ve n a s   s how n i n  A lg or it hm   1 . F ig ur e  2 s how s  t he  pr opos e d a lg or it hm  f lo w c ha r t.     A lg or it hm  1. P r opos e d a lg or it hm   Step 1   I n i t i a l i z a t i o n   o f   p o p u l a t i o n   Step 2   C o m p u t e   f i t n e s s   f o r   a l l   s o l u t i o n s   Step 3   I f   t e r m i n a t i o n   i s   n o t   m e t ,   t h e n :   -   F o r   e v e r y   s o l u t i o n   i n   t h e   p o p u l a t i o n :   •   U p d a t e   t h e   p o s i t i o n   f o l l o w i n g   t h e   p r o c e d u r e   -   E v a l u a t e   t h e   R u 1   •   U p d a t e   t h e   p o s i t i o n   a c c o r d i n g   t o   t h e   p r o c e d u r e   -   E v a l u a t e   t h e     R u 2   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       A  nov e l  s c al abl e  de e p e n s e m bl e  l e a r ni ng f r am e w or k  f o r  bi g dat a  …   ( K e s av an M e tt ur  V ar adha r aj an )   1391   -   C a l c u l a t e   t h e   f i n a l   d e v i a t i o n   u s i n g   ( 1 )   -   C o n t i n u e   e x e c u t i o n   Else   -   U p g r a d e   f i n a l   p o s i t i o n   b y   ( 2 )   -   I m p r o v i s a t i o n   R e t u r n   t o   s t e p   3   t o   c h e c k   f o r   t e r m i n a t i o n   a g a i n   Step 4   Else:   -   O b t a i n   t h e   b e s t   o p t i m a l   s o l u t i o n   a n d   t e r m i n a t e   t h e   a l g o r i t h m           F ig ur e  1. B lo c k di a gr a m   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol .  14 , N o.  2 ,  A pr il   2025 :  1386 - 1400   1392       F ig ur e  2. P r opos e d a lg or it hm  f lo w c ha r t       3.3.   D e e p  e n s e m b le  m od e l   T he   de e p   e ns e m bl e   m o de l  f or   th e   c la s s if ic a ti on  a lg or it hm   ha r ne s s e s   th e   pow e r   of   m ul ti pl e   de e p   le a r ni ng  c la s s if ie r s   to   pr e di c t  phys ic a l  a c ti vi ti e s   ba s e d  on  s e ns or   da ta ,  s uc h  a s   a c c e le r om e te r   r e a di ngs .     T hi s   a ppr oa c h  is   d e s ig ne d  to   im pr ove   pr e di c ti on  a c c ur a c y   by  le ve r a gi ng  th e   c ol le c ti ve   s tr e ngt hs   a nd   c om pe ns a ti ng  f or   th e   w e a kne s s e s   of   in di vi dua l  m ode ls .  T he   pr oc e s s   be gi ns   w it h  th e   pr e - pr oc e s s in g  of   in put   da ta ,  e n s ur in g  it   is   nor m a li z e d  a nd  pa r ti ti one d  in to   tr a in in g,  va li da ti on,  a nd  te s t  s e ts   to   f a c il it a te   e f f e c ti ve   m ode l  tr a in in g a nd e va lu a ti on.   T he   c or e   of   th e   a lg or it hm   li e s   in   it s   c ondi ti ona l   a ppl ic a ti on  o f   di f f e r e nt   de e p  le a r ni ng  te c hni qu e s ,   e a c h  s e le c t e d  ba s e d  on  th e   s pe c if ic   c ha r a c te r is ti c s   of   th e   da ta   a t  ha nd.  F or   da ta   s e ts   w he r e   s pa ti a l  pa tt e r n   r e c ogni ti on  is   pa r a m ount ,  th e   C N N   is   e m pl oye d.  C N N s   a r e   a de pt   a t  e xt r a c ti ng  hi e r a r c hi c a l  s pa ti a l  f e a tu r e s   f r om   da ta ,  m a ki ng  th e m   id e a l  f or   a na ly z in g  im a ge s   or   s e ns or   da ta   th a t  ha ve   a   s pa ti a l  s tr uc tu r e .  O n  th e   ot he r   ha nd,  w he n  th e   d a ta   in vol ve s   te m por a l  de pe nde n c ie s   or   s e que nc e s   w he r e   th e   or de r   of   da ta   poi nt s   is   c r uc ia l,   th e   L S T M   ne twor k  is   ut il iz e d.  L S T M s   e xc e l  in   r e m e m be r in g  in f or m a ti on  ove r   e xt e nde d  pe r io ds ,  m a ki ng   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       A  nov e l  s c al abl e  de e p e n s e m bl e  l e a r ni ng f r am e w or k  f o r  bi g dat a  …   ( K e s av an M e tt ur  V ar adha r aj an )   1393   th e m   s ui te d  f or   ti m e - s e r ie s   da ta   or   s e qu e nc e s   w he r e   pa s t   in f or m a ti on  in f lu e nc e s   f ut ur e   pr e di c ti ons .     F or   s c e na r io s   de m a ndi ng  r a pi d  tr a in in g  a nd  s tr a ig ht f or w a r d   pr e di c ti ons   w it hout   th e   ne e d  f or   c a pt ur in g   c om pl e x  r e la ti ons hi ps   or   ti m e   d e pe nde nc ie s ,  th e   E L M   of f e r s   a   f a s t  a nd  e f f ic ie nt   s ol ut io n.  E L M s   a r e     s in gl e - la ye r   f e e df or w a r d  ne twor ks   th a t  c a n  a c hi e ve   hi gh - s pe e d  tr a in in g  a nd  ge ne r a li z a ti on  pe r f or m a nc e ,   m a ki ng t he m  s ui ta bl e  f or  s im pl e r  t a s ks  or  w he n c om put a ti ona l  e f f ic ie nc y i s  a  pr io r it y.   T he   e ns e m bl e   m ode l' s   s tr a te gy  in vol ve s   e va lu a ti ng  th e   pe r f or m a nc e   of   e a c h   c la s s if ie r   on   th e   va li da ti on  s e t  a nd  th e n  c om bi ni ng  th e s e   m ode ls   in   a   w a y  th a t  le ve r a ge s   th e ir   s tr e ngt hs .  I f   th e r e ' s   c ons e ns us   a m ong  th e   m ode l s ,  th e   a lg or it hm   m ig ht   s im pl y  t a ke   th e   m a jo r it y  vot e   a s   th e   f in a l  pr e di c ti on.  H ow e ve r ,   in   c a s e s   of   di s a gr e e m e nt ,  th e   a lg or it hm   opt s   f or   a   m or e   nua nc e d  a ppr oa c h  by  w e ig ht in g  th e   out pu ts   of   e a c h   m ode l  ba s e d  on   th e ir   va li da ti on  a c c ur a c y  a nd   c om put in g  a   w e i ght e d  a ve r a ge   pr e di c ti on. T hi s   m e th od  e ns ur e s   th a t  m or e   a c c ur a te   m ode l s   ha ve   a   gr e a te r   in f lu e nc e   on  th e   f in a l  pr e di c ti on,  e nha nc in g  th e   ov e r a ll   pr e di c ti on  pe r f or m a nc e   of   th e   e n s e m bl e .  A f te r   s e le c ti ng  th e   c om bi na ti on  s tr a te gy  ba s e d  on   m ode l  a gr e e m e nt   a nd   pe r f or m a nc e   w e ig ht in g,  th e   e n s e m bl e   m ode l   is   tr a in e d  on   th e   e nt ir e   tr a in in g  s e t.   T hi s   in te gr a te d  tr a in in g  a ppr oa c h  a ll ow s   th e   e ns e m bl e   to   l e a r n  f r om   th e   c om pr e he ns iv e   da ta   a va il a bl e ,  e ns ur in g  it   is   w e ll - a dj us te d  to   m a ke   a c c ur a te   pr e di c ti ons .  T he   f in a l  s te p  in vol ve s   e va lu a ti ng  t he   e ns e m bl e   m ode l' s   pe r f or m a nc e   on  th e   te s t   s e t,   pr ovi di ng  a n  a s s e s s m e nt   of   it s   a bi li ty   to   ge ne r a li z e   to   uns e e n  da ta .  F or   ne w   in put s ,  th e   m ode l  pr e di c ts   da ta   c la s s e s   by  pr e pr oc e s s in g  th e   da ta   to   m a tc h  th e   tr a in in g  f or m a t  a nd  th e n  a ppl yi ng   th e   t r a in e d  e ns e m bl e   m ode l  to  ge ne r a te  pr e di c ti ons .   T hi s   a lg or it hm   r e pr e s e nt s   a n  e f f ic ie nt   a ppr oa c h  to   pr e di c ti ve   m ode li ng  in   th e   c ont e xt   of   da ta   c la s s if ic a ti on,  l e ve r a gi ng  th e   uni que   c a pa bi li ti e s   of   di f f e r e nt   de e p  le a r ni ng  m ode ls   to   c r e a te   a   r obu s t,   a c c ur a te ,  a nd  e f f ic ie nt   to ol   f or   da ta   c la s s   pr e di c ti on.  B y  c om bi ni ng  th e   pr e di c ti ons   f r om   va r io us   m ode ls ,  th e   e ns e m bl e   m e th od  a c hi e ve s   a   ba la nc e   be twe e n  th e   de pt h  of   le a r ni ng  a nd  c om put a ti ona l  e f f ic ie nc y,  ul ti m a te ly   e nha nc in g  th e   r e li a bi li ty   a nd   a c c ur a c y  of   da ta   c la s s   pr e di c ti ons .  A lg or it hm   2   s how s   th e   de e p  e ns e m bl e   a lg or it hm . F ig ur e  3  de e p e ns e m bl e  f lo w c ha r t  f or  pr e di c ti on.     A lg or it hm  2. D e e p e ns e m bl e  a lg or it hm   Input   D a t a s e t     Step 1   Pre - p r o c e s s i n g :   -   N o r m a l i z e   t h e   d a t a   t o   e n s u r e   u n i f o r m i t y   a n d   b e t t e r   m o d e l   t r a i n i n g   Step 2   I n i t i a l i z a t i o n :   -   CN N _ m od e l = T r a i n   a   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   o n   t h e   d a t a .   -   D B N _ m od e l = T r a i n   a   d e e p   b e l i e f   n e t w o r k   o n   t h e   d a t a .   -   L S TM _ m od e l = T r a i n   a   l o n g   s h o r t - t e r m   m e m o r y   n e t w o r k   o n   t h e   d a t a .   -   E L M _ m od e l = T r a i n   a n   e x t r e m e   l e a r n i n g   m a c h i n e   o n   t h e   d a t a .   -   D N N _ m od e l = T r a i n   a   d e e p   n e u r a l   n e t w o r k   o n   t h e   d a t a .   Step 3   D e f i n e   t h e   e n s e m b l e   p r e d i c t i o n   t e c h n i q u e :   -   C o l l e c t   p r e d i c t i o n s   f r o m   e a c h   m o d e l .   -   F o r   e a c h   i n s t a n c e   i n   t h e   t e s t   d a t a ,   d o   t h e   f o l l o w i n g :   •   if  CN N _ m od e l   confiden ce >  thres hold,  use   CN N _ m od e l   predicti on.   •   e l s e   i f   D B N _ m od e l   confiden ce >  thres hold , use   D B N _ m od e l   predicti on.   •   e l s e   i f   L S TM _ m od e l   confiden ce >  thres hold , use   L S TM _ m od e l   predicti on.   •   e l s e   i f   E L M _ m od e l   confiden ce >  thres hold , use   E L M _ m od e l   predicti on.   -   e l s e ,   u s e   D N N _ m od e l   p r e d i c t i o n   a s   a   d e f a u l t .   Step 4   E v a l u a t e   t h e   p e r f o r m a n c e   o f   e a c h   m o d e l   o n   t h e   v a l i d a t i o n   s e t .   Step 5   C o m b i n e   p r e d i c t i o n s   f o r   t h e   f i n a l   d e c i s i o n :   -   i f   t h e   m o d e l s   a g r e e   o n   t h e   p r e d i c t i o n :   •   A c c e p t   t h e   m a j o r i t y   v o t e   a s   t h e   f i n a l   p r e d i c t i o n .   -   else   •   W e i g h t   t h e   o u t p u t s   b a s e d   o n   t h e i r   v a l i d a t i o n   a c c u r a c y ,   a n d   c o m p u t e   a   w e i g h t e d   a v e r a g e   p r e d i c t i o n .   Step 6   T r a i n   t h e   e n s e m b l e   m o d e l   o n   t h e   e n t i r e   t r a i n i n g   s e t   u s i n g   t h e   s e l e c t e d   s t r a t e g y   f r o m   s t e p   5 .   Step 7   E v a l u a t e   t h e   e n s e m b l e   m o d e l   o n   t h e   t e s t   s e t   t o   a s s e s s   i t s   p r e d i c t i o n   p e r f o r m a n c e .   Step 8   f o r   n e w   s e n s o r   d a t a   i n p u t s :   -   Pre - p r o c e s s   t h e   d a t a   a s   i n   s t e p   1 .   •   P r e d i c t   t h e   c l a s s e s   u s i n g   t h e   t r a i n e d   e n s e m b l e   m o d e l .   output   T h e   p r e d i c t e d   c l a s s .     3.4.   C la s s if i c at io n  an d  r e d u c t io n  p h as e   T h e   pr o po s e d   f r a m e w or k  f or   m o ni t or in g  d e v e lo ps   a n   o pt im iz a t io n - ba s e d   e n s e m bl e   a p pr o a c h   f or   th e   pr e di c ti o n   of   ph y s i c a l  a c ti vi ti e s   th r oug h   th e   op ti m a l   f e a t ur e s   kno w n   a s   h u f in e − tu n e   f r om   t he   pr op os e d  a l gor i th m .   T h e   pr o po s e d   a l gor it h m   i nc or p or a te s   a ll   th i s   in   t he   c om b in i ng   ph a s e .  T he   d e v e l op e d   f r a m e w or k  i s   u s e d   to   m a x im i z e  t h e  m e tr ic s   in   th e  m a p - r e d uc e  f r a m e w or k  f or   pr e di c ti o n.  T h e   pr op o s e d m a p - r e d uc e   s ys te m  a ggr e g a t e s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol .  14 , N o.  2 ,  A pr il   2025 :  1386 - 1400   1394   r e s ul ts   f r o m   t he   c om bi n in g   s t a g e   t o  b e   pr o c e s s e d   i n  t he   r e du c ti on  s t a g e ,   w he r e   a ll   out c o m e s   a r e   c o m bi ne d  to   ge n e r a t e   a   de c i s i ve   s tr a t e gy .  T h i s  f r a m e w or k  i s   c r u c i a l  f or   bi g d a t a   c l a s s if i c a ti o n  w it h d if f e r e nt   a p pl i c a ti on .           F ig ur e  3. D e e p e ns e m bl e  f lo w c ha r t  f or  pr e di c ti on     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       A  nov e l  s c al abl e  de e p e n s e m bl e  l e a r ni ng f r am e w or k  f o r  bi g dat a  …   ( K e s av an M e tt ur  V ar adha r aj an )   1395   4.   P E R F O R M A N C E  E V A L U A T I O N   T he   pe r f or m a nc e   e va lu a ti on  in vol ve s   a s s e s s in g  th e   a c c ur a c y  of   di f f e r e nt   m e th odol ogi e s ,  in c lu di ng   th e   pr opos e d  m ode l,   a c r os s   f our   da ta s e ts :  s upe r s ym m e tr y  ( S U S Y ) ,  hi ggs ,  m odi f ie d  na ti ona l  in s ti tu te   o f   s ta nda r ds   a nd  te c hnol ogy  ( M ni s t ) ,  a nd  U ni te d   S ta te s   pos ta l   s e r vi c e   ( U S P S ) .  A ddi ti ona ll y,  th e   e va lu a ti on  in c lu de s   c om pa r in g  th e   ti m e   ta ke n  a nd  s pe e d - up  a c hi e ve d  s pe c if ic a ll y  f or   th e   S U S Y   a nd   H ig gs   da ta s e ts .    T he   r e s ul ts   a r e   pr e s e nt e d  c om pr e he ns iv e ly   th r ough  ta bl e s   a nd  gr a phs   to   pr ovi de   a   c le a r   c om pa r is on  of   th e   m e th odol ogi e s '  e f f e c ti ve ne s s   a c r os s  t he   va r io us  da ta s e ts   a nd pe r f or m a nc e  m e tr ic s .     4.1.   A c c u r ac y   A na ly z in g  th e   pe r f or m a nc e   of   va r io us   m e th ods   on  th e   S U S Y   da ta s e t,   w e   s e e   a   r a nge   of   a c c ur a c y  s c or e s   f r om   th e s e   c la s s if ic a ti on  a lg or it hm s .  M ul ti va r ia te   de c i s io n  tr e e   2  ( M D T 2 )   de m ons tr a te s   th e   hi ghe s t  a c c ur a c y  a m ong  th e   m a jo r it y  of   th e   t r a di ti ona l  a lg or it h m s ,  w it h  a   s c or e   of   0.749,   s ugge s ti ng  th a t  it s   m e th od   of   c la s s if ic a ti on  is   pa r ti c ul a r ly   w e ll - s ui te d  to   th is   da ta s e t.   C ons ta nt - ti m e   e n s e m bl e   le a r ni ng  c l a s s if ie r   ( C T E L C )   [ ( e xi s ti ng  s ys te m )   ES ] ,  a n  e ns e m bl e   s tr a te gy,  s li ght ly   out pe r f or m s   M D T 2  w it h  a   s c or e   of   0.758 ,   in di c a ti ng  th e   e f f e c ti ve ne s s   of   c om bi ni ng  m ul ti pl e   m ode l s   to   e nha nc e   pr e di c ti ve   pe r f or m a nc e .  N ot a bl y,  th e   pr opos e d  s y s te m   ( P S )   m e th od  s ta nd s   out   w it h  th e   hi ghe s t  a c c ur a c y  of   0.8063,   w hi c h  c oul d  im pl y  a n   a dva nc e d  f e a tu r e  s e le c ti on  or   opt im iz a ti on  pr oc e s s   th a t  s ig ni f ic a nt ly   be ne f it s   th e   m ode l' s   pe r f or m a nc e   on  th is   da ta s e t.   O n  th e   ot he r   e nd   of   th e   s pe c tr um ,  n a ti ona l  be nc hm a r k  te s ts   ( N B T )   s c or e s   th e   lo w e s t  a t  0.594,  w hi c h  m a y  in di c a te   th a t   it s   pr oba bi li s ti c   a ppr oa c h  is   le s s   e f f e c ti ve   f or   th e   pa tt e r ns   pr e s e nt   in   th e   S U S Y   da ta .  T he   id e nt ic a l  s c or e s   of   m ovi ng  r a nge   k - ne a r e s t  ne ig hbor   ( MR - K N N )   a nd  K N N - I S   ( K N N   de s ig n  ba s e d  on  s pa r k)   s ugge s t  s im il a r   c a pa bi li ti e s   in   ha ndl in g  th e   da ta ,  pot e nt ia ll y  d ue   to   s ha r e d  r e li a nc e   on  th e   pr oxi m it y  of   da ta   poi nt s .  F uz z y  c la s s if ie r s   s ho w   r obus tn e s s   w it h  a   s c or e   of   0.735,  w hi c h  m ig ht   be   due   to   th e ir   a bi li ty   to   ha ndl e   unc e r ta in   or   im pr e c is e   in f or m a ti on.  L a s tl y,  f ur th e s t - pa ir - ba s e d  bi na r y  s e a r c h  tr e e   ( F P B S T )   a nd   m in im um /m a xi m um   nor m s - ba s e d  bi na r y  tr e e   ( M N B T )   a r e   ti e d  a t  0.71,  w hi c h  c oul d  s ugge s t  a   pa r it y  in   th e ir   a bi li ty   to   ge ne r a li z e   or   a n  unde r ly in g  s im il a r it y  in   th e ir   a ppr oa c h  to   th e   S U S Y   da ta s e t.   T a bl e   1   a nd  F ig ur e   4  s how  t he  a c c ur a c y c om pa r is on f or  t he   S U S Y   da ta s e t.       T a bl e   1 .   A c c ur a c y c om pa r is on   M e t hod   S U S Y   M D T 1  [ 25]   0.729   M D T 2   [ 25]   0.749   F P B S T   [ 26]   0.71   MR - KNN   [ 27]   0.694   KNN - IS   [ 28]   0.694   F uz z y   [ 29]   0.735   N B T   [ 30]   0.594   M N B T   [ 30]   0.71   C T E L C  [ E S ]   [ 31]   0.758   PS   0.8063           F ig ur e   4 .  A c c ur a c y c om pa r is on f or  t he   S U S Y   da ta s e t   0 0 .1 0 .2 0 .3 0 .4 0 .5 0 .6 0 .7 0 .8 0 .9 M D T 1 M D T 2 F P B S T M R - K N N K N N - IS F u z z y N B T M N B T   CT E L C  [ E S ] PS A c c u r a c y   v a l u e M et h o d o l o gy S U S Y Evaluation Warning : The document was created with Spire.PDF for Python.