I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   9 ,   No .   4 A u g u s t   201 9 ,   p p .   3 1 0 8 ~ 3 1 1 4   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 9 i 4 . p p 3 1 0 8 - 3114           3108       J o ur na l ho m ep a g e h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   E m piri ca l ana ly sis  of ense m bl m e t ho ds for th e clas si ficatio n of  ro bo ca lls in te leco mm un ica tions       M e g hn a   G ho s h,  P ra bu   P     De p a rtme n o f   Co m p u ter S c ien c e ,   C h rist   (De e m e d   to   b e   Un iv e rsit y ) ,   In d ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Oct   25 ,   2 0 1 8   R ev i s ed   A p r   1 ,   2 0 1 9   A cc ep ted   A p r   8 ,   2 0 1 9       W it h   th e   a d v e n o f   tec h n o lo g y ,   t h e re   h a b e e n   a n   e x c e ss iv e   u se   o f   c e ll u lar   p h o n e s.  Ce ll u lar  p h o n e h a v e   m a d e   li f e   c o n v e n ien in   o u so c iety .   Ho w e v e r,   in d iv id u a ls  a n d   g ro u p h a v e   su b v e rted   th e   tele c o m m u n ica ti o n   d e v ice to   d e c e iv e   u n w a r y   v icti m s.  Ro b o c a ll a re   q u it e   p re v a len th e se   d a y a n d   th e y   c a n   e it h e b e   leg a o u se d   b y   sc a m m e rs  t o   tri c k   o n e   o u o f   th e ir  m o n e y .   T h e   p ro p o se d   m e th o d o lo g y   in   t h e   p a p e is  to   e x p e rim e n tw o   e n se m b le   m o d e ls  o n   th e   d a tas e a c q u ired   fro m   th e   F e d e ra T ra d e   Co m m is s io n   (DN C   Da tas e t).   It  is  im p e ra ti v e   to   a n a ly z e   th e   c a ll   re c o rd a n d   b a se d   o n   t h e   p a tt e rn s   th e   c a ll c a n   c las si fy   a a   ro b o c a ll   o n o a   ro b o c a ll .   T w o   a lg o rit h m Ra n d o m   F o re st  a n d   X g Bo o st  a re   c o m b in e d   in   tw o   w a y a n d   c o m p a re d   in   th e   p a p e in   term s o f   a c c u ra c y ,   se n siti v it y   a n d   th e   ti m e   tak e n .     K ey w o r d s :   E n s e m b le  m et h o d   Ma ch i n L ea r n i n g   R an d o m   Fo r est   R o b o ca lls   XGB o o s t   Co p y rig h ©   2 0 1 9   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Me g h n G h o s h ,     Dep ar t m en t o f   C o m p u ter   Scie n ce ,   C h r i s t   ( Dee m ed   to   b Un i v er s i t y ) ,   Ho s u r   Ma in   R o ad ,   B an g alo r e - 5 6 0 0 2 9 ,   I n d ia .   E m ail:   m e g h n a. g h o s h @ cs.c h r i s tu n i v er s it y . i n ,   p r ab u . p @ ch r is tu n iv er s it y . i n       1.   I NT RO D UCT I O N   T h Fed er al  T r ad C o m m is s i o n   r ec eiv ed   o v er   2 2   m illi o n   c o m p lai n t s   o f   il leg al  a n d   u n w a n ted   ca lls ,   in   2 0 1 4 .   T elep h o n s p a m m er s   to d ay   ar le v er ag i n g   r ec en t ec h n ica ad v a n ce s   i n   t h telep h o n y   ec o s y s te m   to   d is tr ib u te  m a s s i v el y   a u to m ate d   s p am   ca ll s   k n o w n   as  r o b o ca lls   [ 1 ] .   A   p h o n ca ll  th at  u s es  co m p u ter ized   au to d ialer   to   d eliv er   p r e - r e co r d ed   m ess a g at  th o t h er   en d ,   as  i f   it  w er f r o m   r o b o is   r o b o ca ll .   On ce   v ie w ed   a s   a n   i n co n v e n ie n ce   t h e y   h av e   r ea ch ed   ep id e m ic  p r o p o r tio n s .   Fe w   r o b o ca lls   ar also   co n s id e r ed   leg al.   T h ca ll s   p er m itted   c an   b ca m p aig n i n g   f o r   ca n d id ates,  aler tin g   s tu d e n ts   to   ca m p u s   clo s u r es,   ap p o in t m en r e m i n d er s ,   f li g h ca n ce llatio n   etc.   An   illeg a r o b o ca ll  is   a   n o n - e m er g e n c y   ca ll  co n tai n in g   p r e - r ec o r d ed   m ess a g w i th o u th co n s e n o f   th e   co n s u m er .   I ca n   b eit h er   f r o m   r eg is ter ed   b u s in e s s   w h ic h   co n tr a v en ed   t h la w   o r   f r o m   s ca m m er   t h at  p o s as  a   leg al  o r g a n izatio n   i n   o r d er   to   s teal  y o u r   m o n e y ,   id en tit y   o r   b o th .   T ec h n o lo g y   h as  m ad it  ea s y   to   f i n d   w a y s   s cr ap p er s o n al  in f o r m atio n   o n   p u b lic  d atab ases   o r   in ter n et  to   f i n d   th p h o n n u m b er s   a n d   s ell  t h e m   to   b o th   leg al  an d   ille g al  s p a m   ca ller s .   I n   C a n ad a,   d u r in g   th C an a d ian   Fed er al  2 0 1 1 ,   in   o r d er   to   r ea ch   v o ter s ,   th p o liti c al  p ar ties   leg iti m atel y   u s ed   r o b o ca lls .   T h i n v e s ti g atio n   s h o w ed   th a t   t h r o b o ca lls   w er u s ed   to   d iv er th p eo p le  f r o m   ca s tin g   t h eir   b allo b y   g iv i n g   t h e m   i n ac cu r ate  in f o r m atio n   o f   th e   ch a n g ed   lo ca tio n s   o f   t h p o ll  s ta tio n s .   T h er h as  b ee n   s teep   r is in   th au to m ated   ca lls   s i n ce   2 0 0 9 .   A cc o r d in g   to   th FT C   r ep o r t,  an   ag e n c y   r ec eiv ed   o v er   3 7 5 , 0 0 0   co m p lain ts   ab o u a u to m ated   r o b o ca lls   as  co m p ar ed   to   2 0 0 9 .   T h r e p o r also   s tated   th at   th in cr ea s i n   th n u m b er   o f   r o b o ca lls   is   d u to   th f r ee   o r   ch ea p   ac ce s s   to   in ter n et  ca llin g   s er v ices  w h ic h   also   h elp s   t h s ca m m er s   h id t h eir   id en tit y .     Ma ch i n L ea r n i n g   i s   an   ap p lic atio n   o f   ar ti f icial  i n tell ig e n ce   t h at  p r o v id es  t h s y s te m   t h p o ten tial  to   g r asp   p atter n s   a n d   lear n   f r o m   d ata  an d   a m elio r ate  f r o m   e x p er ien ce   d ep en d in g   o n   s o m task ,   w it h o u b ein g   ex p licitl y   co d ed .   Ma ch in L e ar n in g   m a in l y   f o c u s e s   o n   lear n in g   f r o m   in p u d ata  an d   p r e d ictin g   a n   o u tco m e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       E mp ir ica l a n a lysi s   o f e n s emb le  meth o d s   fo r   th cla s s ifica tio n   o f   r o b o c a lls   in   …  ( Meg h n a   Gh o s h )   3109   alo n g   w it h   u p d atin g   th e   r es u lts   w it h   th e   ar r iv al   o f   n e w ,   u n s ee n   d ata.   E f f icie n t   a n al y s i s   o f   f r au d   i n   telec o m m u n icatio n   w it h   t h h elp   o f   m ac h i n lear n in g   ca n   h elp   n et w o r k   o p er ato r s   s av m o n e y   r esto r t h e   co n s u m er s   co n f id e n ce   in   t h e ir   s ec u r it y .   T h a n al y s is   i n   m ac h in lear n i n g   h as  lo o f   s tep s ,   th f ir s o n e   b ein g   id e n ti f y i n g   t h o b j ec tiv o f   th ta s k ,   d ep en d in g   o n   wh ich   th m o d el  is   c h o s en .   C o ll ec tio n   o f   d ata  is   t h n ex i m p o r tan s tep   f o llo w ed   b y   t h p r e - p r o ce s s in g   o f   d ata  w h ic h   is   th tr an s f o r m atio n s   ap p lied   to   th d ata.   B ef o r f ee d in g   th e   p r e - p r o ce s s ed   d ata  to   p ar ticu lar   d ata   it  i s   r eq u ir ed   to   s p lit   t h d at in to   tr ain i n g   a n d   test i n g   d ata.   Fe w   s tr ate g ies  f o r   im p r o v i n g   th p er f o r m a n c o f   th d ata  co u ld   b s u p p le m en w it h   ad d itio n al  d ata  o r   s w itch   to   d if f er e n m o d el.     I n   m ac h i n lear n i n g ,   e n s e m b l m o d els  u s m u ltip le  lear n i n g   al g o r ith m s   an d   co m b i n t h e m   i n   o r d er   to   b u ild   an   o p ti m al  p r ed ictiv e   m o d el.   R at h er   th a n   j u s r el y i n g   o n   o n al g o r it h m   s u ch   a s   a   Dec is io n   T r ee   an d   ex p ec tin g   t h at  t h r i g h d ec is io n   is   m ad at  ea c h   s p li t,  en s e m b le  m eth o d   s u g g e s ts   a s s e m b lin g   s a m p le   o f   d ec is io n   tr ee s   an d   m a k f i n al  p r ed icto r   b ased   o n   t h a g g r e g atio n   o f   th e   r esu lts .   T h p ap er   d ef in es   t h e   en s e m b le  m e th o d s ,   b ag g in g ,   b o o s tin g   a n d   s tac k in g   w h ic h   is   d escr ib ed   in   d etail  b elo w .   a.     B ag g i n g     B ag g i n g   is   a n   e n s e m b le  m eth o d   w h er t h m o d el  is   tr ai n e d   o n   n u m b er   o f   b o o ts tr ap p e d   s a m p le s   an d   t h f i n al  m o d el  i s   t h e   ag g r eg ated   r es u lt  o f   t h e   s a m p le  m o d els.  B o o ts tr ap p i n g   i s   t h p r o ce s s   o f   r esa m p li n g   w it h   r ep lace m e n w h er s m a ll  s a m p le s   ar r ep ea ted ly   c h o s en   f r o m   th o r i g i n al  s a m p l e.   A   f e w   d u p licate   s a m p les   ex i s i n   b o o ts tr ap p ed   s a m p le  as  s a m p l in g   i s   d o n w it h   r ep lace m en t.  I n   t h ca s o f   n u m er ic  tar g et   v ar iab le  o r   r e g r ess io n   p r o b lem   t h p r ed icted   o u tco m i s   th a v er ag o f   th e   m o d els  w h er ea s   i n   ca s e   o f   class i f icatio n   t h p r ed icted   class   is   d e f i n ed   b ased   o n   p lu r al it y .   B ag g i n g   o r   B o o ts tr ap   Ag g r eg atio n   g e n er all y   r ed u ce s   v ar ian ce   f o r   th o s alg o r ith m s   h av in g   h i g h   v ar ia n ce .   T h B ag g in g   m o d el  is   s h o w n   i n   Fig u r 1 .   R an d o m   Fo r est   is   o n e   s u ch   al g o r ith m   th at   is   a n   i m p r o v e m e n o v er   b ag g ed   d ec is io n   tr ee s .   R a n d o m   Fo r est  i s   th co m b i n atio n   o f   m u ltip le  d ec is io n   tr ee s   i n   w h ic h   t h s u b - tr ee s   ar lear n ed   in   s u c h   w a y   s o   t h at  t h e   r esu lti n g   p r ed ictio n s   h a v les s   co r r elatio n .   T h alg o r ith m   al s o   h elp s   ca lc u late  t h er r o r   f u n ctio n   f o r   v ar iab le  at  ea ch   s p lit.  B ag g in g   m et h o d   is   an   e f f ic ien m et h o d   w h e n   i co m e s   to   d ea lin g   w it h   o v er f i ttin g   o f   d ata  alo n g   w it h   r ed u ci n g   v ar ia n ce .   b.     B o o s tin g   B o o s tin g   i s   a n   e n s e m b le  m et h o d   in   w h ic h   a   s et  o f   w ea k   lear n er s   i s   co n v er ted   to   s e t   o f   s tr o n g   lear n er s   [ 2 ] .   A   w ea k   lear n er   is   clas s i f ier   th at   h a s   v er y   l ess   o r   s li g h co r r elatio n   to   th tr u clas s i f icatio n   w h er ea s   th e   s tr o n g   lear n er   is   w ell  co r r elate d   to   t h tr u c lass i f icatio n .   T h b ag g i n g   m o d el  is   d ep icted   i n   Fig u r 2 .   I n   t h tr ai n i n g   p h a s w ei g h ts   ar allo ca ted   to   e ac h   o f   t h r es u lt in g   m o d els.  h i g h er   w ei g h i s   ass i g n ed   to   t h lear n er   w it h   s u p er io r   class i f icatio n   r es u lt s   a s   co m p ar ed   to   a   lear n er   w it h   p o o r   class if icat io n   r esu lt s .   B o o s tin g   o p ti m ize s   th ad v an ta g es  o f   s i n g le  m o d el  an d   g e n er ates  co m b in ed   m o d el  w it h   lo w er   er r o r s .   B o o s tin g   h elp s   r ed u ce   b ias.  Gr ad ien b o o s tin g   i s   o n b o o s tin g   al g o r ith m   th at  g r asp s   th p atter n s   i n   o r d er   t o   s tr en g t h en   m o d el  w i th   w ea k   p r ed ictio n s .           Fig u r 1 .   B ag g i n g   m o d el       Fig u r 2 .   B o o s tin g   m o d el           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 A u g u s t   201 9   :   3 1 0 8   -   3114   3110   c.     Stack i n g   Stack i n g   i s   w a y   to   en s e m b l m u ltip le  r e g r ess io n   a n d   clas s if ica tio n   p r o b le m s   w h ic h   i n tr o d u ce s   t h e   co n ce p o f   a   m e ta - lear n er .   St ac k in g   in v o lv e s   tr ai n i n g   s e o f   b ase   lear n er s   o n   th e   d at a.   T h p r ed ictio n s   o b tain ed   f r o m   th e   b ase  lear n e r s   ar tak e n   a s   a n   i n p u t   f o r   t h m eta - cla s s i f ier   w h ic h   g i v es  th f i n al  p r ed icted   o u tp u t.  Un l ik b ag g i n g   a n d   b o o s tin g ,   s tac k i n g   i s   n o s o   w id el y   u s ed .   I h elp s   in   i m p r o v in g   th o v er a ll   p er f o r m a n ce   a n d   w o f ten   e n d   u p   w i th   m o d el  t h at  is   b etter   th an   a n   i n d iv id u al  in ter m ed iat m o d el.   d.   R elate d   w o r k   Qa y y u m   et  al.   [ 3 ]   in   th p ap er ,   h as  f o cu s ed   o n   d etec tin g   f r au d u len b eh a v io r   in   t h f ield   o f   s u b s cr ip tio n   f r a u d .   T im s er i es  d ata  is   ta k e n   as   in p u o n   w h ic h   n e u r al  n et w o r k   is   i m p l e m en ted .   T h p ap er   p r o p o s ed   m u lti la y er   p er ce p tr o n   w h ich   i s   b ased   o n   a n   i n p u t,  h id d en   an d   o u tp u t la y er .   I t i s   u s ed   to   ass o ciate   a   f r au d   r ati n g   to   s u b s cr ib er   b a s ed   o n   h is / h er   ca ll in g   p r o f ile.   T w o   tec h n iq u es   ar d ev el o p e d ,   o n in   w h ich   th e   u s er s   ar allo w ed   to   ch o o s th eir   o w n   f r a u d   f ea tu r e s   w h i ch   th e y   t h i n k   b est  f r au d   th e y   ar d ea lin g   w it h ,   an o th er   i n   w h ich   w ei g h t s   p r io r ities   ar a s s o ciate d   b ased   o n   t h u s er s   in p u to   g i v m o r p r io r ity   to   o n e   f r a u d   co m p ar ed   to   o th er s .   A   s i n g le   th r es h o ld   v a lu e   is   u s ed   b y   t h c u r r en n e u r al  n e t w o r k   a n d   th w ei g h ts   ar e   ad j u s ted   b ased   o n   th er r o r   in   p r ed ictio n .   Ho w e v er ,   f o r   b etter   class i f icatio n   to   o u tp u t   n e u tr o n   co u ld   b u s ed .   On o u tp u n eu r o n   ca n   b a s s i g n ed   f o r   d etec tin g   f r au d u l en b eh a v io r   an d   t h o th er   f o r   n o n - f r au d u le n t   b eh av io r .   Hilas  et  al.   [ 4 ]   h av p r esen ted   t w o   cl u s ter i n g   al g o r ith m s   to   id en ti f y   u s er   b eh a v io r   p r o f iles   to   d etec f r au d u len ac ti v it ies  in   telec o m m u n icatio n   o r g a n izatio n .   Un s u p er v i s ed   lear n in g   d ea ls   w it h   u n lab elle d   d ata  an d   h elp s   f i n d   g r o u p i n g s   i n   t h d ata.   T h p ar titi o n in g   a n d   h i er ar ch ical  clu s ter in g   ar u s ed   i n   t h p r esen w o r k .   As  th m a in   r ep r esen tat iv t h k - m ea n s   alg o r it h m   i s   ap p lied   an d   th h ier ar ch ical  clu s te r in g   is   u s ed   in   t h ag g lo m er ati v cl u s ter in g .   I n   t h p ap er ,   th e   w ell   estab li s h ed   u n s u p er v i s ed   lear n i n g   tec h n i q u es  ar ap p lied   o n   telec o m m u n icatio n s   d ata.   T h tech n iq u e s   h elp   co m p r e h en d   o n   f r a u d u le n b e h av io u r   f r o m   leg it i m a te   u s er s   b eh a v io r .   R a w   u s a g d ata  m u s b tr an s f o r m ed   in to   ap p r o p r iate  u s er   p r o f iles .   So m o f   t h c h alle n g e s   f ac ed   w er co n s tr u ctio n   a n d   s elec tio n .   I is   co n clu d ed   f r o m   th a n al y s is   th at,   a s   r eg ar d s   u s er   p r o f ile  b u ild in g ,   ac cu m u lated   c h ar ac ter is tic s   o f   u s er   y ield   b etter   d is cr i m in a t io n   r esu l ts .   Ho w ev er ,   i n   o r d er   to   p r eser v o n lin e   d etec tio n   ab ilit y   a g g r e g ati n g   u s er s   b eh a v io r   w a s   av o id ed   f o r   lar g er   p er io d s .   Misclass i f i ca tio n   in   cl u s ter i n g   o cc u r r ed   d u to   m i x ed   t y p es o f   b eh a v io r .   P h u et  al.   [ 5 ]   t h p ap er   s u r v e y s   t h v ar io u s   tec h n ical  ar ti cles  i n   au to m ated   f r au d   d etec tio n   f o r   p er io d   o f   1 0   y ea r s .   I d ef i n es  a n d   f o r m al izes  t h t y p e s   an d   s u b ty p e s   o f   f r au d .   T h is   r esear ch   p ap er   p r esen ts   t h e   tech n iq u es   alo n g   w ith   t h eir   p r o b lem s .   T h m ai n   o b j ec tiv i s   to   d ef in e   cu r r en c h alle n g e s   in   th is   d o m ain   f o r   th d i f f er en lar g d ata   s tr ea m s .   I t   co m p ar es  a n d   s u m m ar i ze s   t h v ar io u s   d ata  m i n in g   b ased   f r a u d   d etec tio n   tech n iq u es.  T h d if f er en d ata  m i n in g   tec h n iq u es  ar s elec te d   d ep en d in g   o n   th p r ac tical  i s s u es  o f   o p er atio n al   r eq u ir e m en ts ,   r eso u r ce   co n s tr ain ts .   Gr ap h - th eo r etic  a n o m a l y   d etec tio n   an d   I n d u c ti v L o g ic  P r o g r am m i n g   ar e   s o m o f   t h co m m er cial   f r au d   d etec tio n   tec h n iq u es.  No n - l in ea r   s u p er v i s ed   alg o r it h m s   w h ic h   ar co m p le x ,   s u c h   a s ,   s u p p o r v ec to r   m a ch in e s   a n d   n eu r al   n e t w o r k s   is   g i v e n   m o r e   i m p o r ta n ce .   I n   t h lo n g   ter m ,   less   co m p le x   alg o r ith m s   s u c h   as  n a ï v B a y es  a n d   lo g is t ic  r eg r ess io n   w ill  p r o d u c f aster   r esu lt s   if   n o b etter .   Oth er   r elate d   d ata  m i n i n g   tec h n iq u es   co v er ed   b y   s u r v e y   p ap er s   in c lu d e   o u tlier   d etec tio n ,   s k e w ed /i m b ala n ce d /r ar class es,  s a m p li n g ,   co s t - s en s iti v lear n in g ,   s tr ea m   m i n i n g ,   g r ap h   m in i n g ,   an d   s ca lab ilit y .   Fro m   t h i s   p ap er ,   it  is   co n clu d ed   th at  u n s u p er v is ed   ap p r o ac h es  th at  ca n   co n tr ib u te  to   f u tu r e   f r au d   d etec tio n   r esear ch   in cl u d ac tu al  m o n ito r i n g   s y s te m s   an d   tex t   m in in g   f r o m   la w   en f o r ce m e n a n d   s e m i - s u p er v i s ed   an d   g a m e - th eo r eti c   ap p r o ac h es f r o m   i n tr u s io n   an d   s p am   d etec tio n .   Xu   et  a l.   [ 6 ]   w o r k ed   o n   t h d e tectio n   o f   f r a u d   i n   t h 3 tele co m m u n icatio n   n et w o r k .   A   r o u g h   f u zz y   s et  b ased   ap p r o ac h   w as  u s ed .   T h 3 n et w o r k   is   a n al y ze d   in cl u d in g   t h s u b s cr ip tio n   an d   s u p er i m p o s ed   f r au d .   T h e   p r o f ile s   a n d   v ar i o u s   p ar a m e ter s   ar d e f i n ed   in   o r d er   to   p r esen t   t h f r a m e w o r k .   C it FM S,   r u le - b ased   s y s te m ,   w a s   d ev e lo p ed   f o r   th d etec tio n   o f   ab n o r m al ities   a n d   alar m .   Far v ar es h ,   H.   et  al.   [ 7 ]   aim s   at   id en tify i n g   th s u b s cr ip tio n   f r au d   b y   an al y zi n g   th u s er   p r o f iles   in   th e   p ap er .   A   v ar iet y   o f   h y b r id   alg o r ith m s   ar ap p lied   to   th e   d ataset  ac q u ir ed   f r o m   t h T elec o m m u n icatio n   C o m p an y   o f   T eh r an .   I n   clu s te r in g   SOM  a n d   m ea n s   is   co m b in ed   w h er ea s   in   clas s if icat io n   SVM,   d ec is io n   tr ee s ,   n eu r al  n et w o r k s ,   b ag g in g ,   b o o s tin g   a n d   v ar io u s   o th er   en s e m b les  w er ap p lied .   T h r esu lt s   r ev ea led   t h at   SVM  a m o n g   s in g le   clas s if ie r s   an d   b o o s ti n g   en s e m b le   h ad   h i g h er   ac c u r ac y   as  co m p ar ed   to   th o th er   alg o r ith m s .   I n   th p ap er ,   th au th o r   d is cu s s es  th r o le  o f   n e u r al  n et w o r k s   f o r   p att er n   r ec o g n i ti o n   in   th e   p r ev en tio n   o f   te leco m m u n icat io n   f r a u d .   A k h ter   et   al.   [ 8 ]   h a s   co llected   d ata  o n   f r au d u le n an d   n o n - f r au d u le n t   ca lls   w h ic h   ar p r ep r o ce s s ed   f o r   s u itab le  n eu r al  n et w o r k   le ar n in g .   A   m o d el  is   b u i lt  f r o m   th p r ep r o ce s s ed   d ata  w h ic h   in co r p o r ates  v ar i o u s   p atter n s   o f   f r a u d u le n b eh av io r .   T h co m b in at io n   o f   n e u r al,   r u le - b ased ,   ca s e - b ased   tec h n o lo g ies  p r o v i d f r au d   d etec tio n   r ate  s u p er io r   to   th at  o f   co n v en t io n al  s y s t e m s   a n d   th m u lti - s tr ea m   a n al y s is   ca p ab ilit y   m ak es  it  e x tr e m el y   ac c u r ate.   Du to   th i n h er e n ab ilit y   t o   ad ap alo n g   w it h   th s p ee d   an d   ef f icie n c y ,   A r ti f icial  Neu r al  Net w o r k   i s   b ette r   m e th o d   f o r   d etec tin g   telep h o n f r a u d .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       E mp ir ica l a n a lysi s   o f e n s emb le  meth o d s   fo r   th cla s s ifica tio n   o f   r o b o c a lls   in   …  ( Meg h n a   Gh o s h )   311 1   Su b s cr ip tio n   Fra u d ,   C al Fo r w ar d in g ,   C alli n g   B y p a s s ,   R o a m i n g   Fra u d ,   an d   C lo n i n g   Fr au d   is   t h e   d if f er e n t y p es  o f   f r au d   i n   tele co m m u n ica tio n .   A d eb is et  al.   [ 9 ]   d ev elo p ed   m o d el   th a d etec ts   telec o m m u n icatio n   f r au d   b as ed   o n   n e u r al  n et w o r k   e n s e m b le  m eth o d .   A   r a n d o m   r o u g h   s u b s p ac b ased   n eu r al   n et w o r k   e n s e m b le  m et h o d   w as  e m p lo y ed   in   t h d ev elo p m e n t   o f   th e   m o d el.   T h m o d el   w as   d esi g n e d   to   d etec s u b s cr ip tio n   f r au d .   I p r esen ts   t h d ev elo p m en o f   p atter n s   th at  p o r tr a y s   th c u s to m er s   b eh a v io r   f o cu s in g   o n   t h id e n ti f icatio n   o f   n o n - p a y m en e v en t s .   R u le s   w er f o r m ed   b ased   o n   t h i n f o r m atio n   in ter r elate d   w ith   o t h er   f ea t u r es.  T h is   lead   to   f aster   p r ed ictio n s   to   p r ev en r ev en u lo s s   f o r   th co m p an y .   T h r esu lts   s h o w ed   t h at  n e u r a n et w o r k   clas s i f ier   1   g av 7   w r o n g   clas s i f icatio n s ,   th s ec o n d   class i f ier   g av e   1 2   w r o n g   clas s i f icatio n s ,   th e   th ir d   class i f ier   g a v 1   w r o n g   class if ica tio n   an d   t h f o u r t h   class if ier   g av 7   w r o n g   c lass if ica tio n s .   T h n e u r al  n et w o r k   en s e m b le   o u tp e r f o r m ed   f u r t h er   e n h a n ci n g   t h ef f icie n c y   o f   t h   p r o p o s ed   m o d el.   C o x   e al.   [ 1 0 ]   i n   t h p ap er   d o m ain - s p ec if ic   i n ter f ac e s   a r b u ilt   f o r   telep h o n e   f r a u d   d etec tio n .   Hu m an   r ec o g n itio n   s k ill s   ex ce ed   au to m ated   m i n i n g   alg o r it h m s .   E x p lo itin g   p eo p le’ s   ab ilit y   to   d ea w it h   v is u al   r ep r esen tatio n s   w m a y   r ev o l u tio n ize   t h w a y   w u n d er s ta n d   lar g e   a m o u n o f   d ata.   Di f f er en v ie w s   o f   th e   s a m d ata  ca n   b i n ter li n k ed .   T h v is u ali za tio n   ap p r o ac h   t o   d etec tin g   ca lli n g   f r a u d   in v o lv es  d is p la y   o f   ca llin g   ac tiv it y   t h at  d is p la y s   th u n u s u al  p atter n s   an d   with   th h elp   o f   o n o r   m o r e   d r ill - d o w n   v ie w s ,   s u s p icio u s   p atter n s   m a y   b f u r th er   in v es tig a ted .   P atter n   r ec o g n itio n   i s   p er f o r m ed   o n   th e   A M ca ll  r ec o r d s .   T h s ca tter p lo an d   b ar p lo s h o w   t h v ar io u s   an o m alie s .   T h ad v an ta g es   o f   v i s u al   d ata  m in i n g   lie  i n   t h f ac t   th at  p eo p le  ex ce at  d etec tin g   p atter n s ,   th d y n a m ic  n at u r o f   f r a u d   m ak e s   it  ch alle n g i n g   d etec tio n   p r o b lem   f o r   s tatic  a lg o r it h m s .   I n   th i s   p ap er   t w o   r ep r esen tatio n s ,   o n f o r   ca llin g   co m m u n itie s   a n d   t h o th er   f o r   s h o w in g   in d iv id u al  ca lls   h a v p r o v e n   to   b ef f ec t iv e   to   d etec f r au d   i n   telec o m m u n icatio n s .   P eo p le  co m p le m e n t   m ac h in e s   an d   b etter   ex p lo it th ca p ab ilit ies f o r   k n o w led g d is co v er y .   W u   et  al.   [ 1 1 ]   id en ti f ie s   t h e   s ta n d ar d   f ea tu r e s   o f   f r a u d u l en b eh a v io r   o f   cu s to m er s   i n   telec o m   in d u s tr y   s y s te m atica l l y .   T h o u tlier s   i n   d ata  ar id en ti f ied   b y   t h cl u s ter i n g   tec h n iq u es.   T h w o r k   i n   g iv e s   d ef in i tio n   o f   tar g et   cu s to m er s   w h o   ar e   m a l icio u s l y   b ased   o n   t h ese   s p ec i f ic  m et h o d s   ar p r o p o s ed   to   b u ild ,   ev alu a te,   an d   ap p l y   t h m o d el  f o r   id en ti f y i n g   f r au d u len b eh av io r .   Ko h o n e n   n eu r al  n et w o r k   an d   cl u s ter in g   alg o r ith m   ar ef f icie n tl y   u s ed   f o r   th d etec tio n   o f   o u tlier s .       2.   RE S E ARCH   M E T H O D   T h s tu d y   f o cu s ed   o n   f o u r   d if f er e n p ar ts   w h ich   ar e,   ac q u is itio n   o f   d ata,   d ata  p r e - p r o ce s s in g ,   d ev elo p m en t   o f   t h m o d el  b y   co m b i n i n g   b ag g i n g   an d   b o o s tin g   alg o r it h m s   u s in g   v o tin g   clas s i f ier   a n d   d ev elo p m en t o f   s tac k in g   m o d el.   a.     Data   s o u r ce   T h d ataset  u s ed   f o r   th e   ex p e r i m en is   ac q u ir ed   f r o m   t h F ed er al  T r ad e   C o m m i s s io n ,   Do   No C all   ( DNC)  R ep o r ted   C alls   Da ta.   T h d ataset  co n tain s   in f o r m a t io n   ab o u th r o b o ca lls   t h at  w er r ep o r ted   to   th Fed er al  T r a d C o m m is s io n .   T h d ataset  in cl u d es  i n f o r m atio n   ab o u t h p h o n n u m b er   o r ig in ati n g   th e   u n w an ted   ca ll,  th d ate  an d   tim t h ca ll  w a s   m ad e,   th d ate  a n d   tim t h co m p lain w a s   m ad e,   th co n s u m er 's  ci t y ,   s tate   an d   ar ea   co d an d   th e   s u b j ec o f   th ca l ls .   T h d ata s et  al s o   co n tai n s   co l u m n   o f   d ata  s tatin g   w h eth er   t h ca ll is   a   r o b o ca ll/re co r d e d   m es s a g o r   n o t.   b.     Data   p r p r o ce s s in g   T h g iv en   d ataset  i s   alr ea d y   co n g r eg a ted   in   th f o r m   o f   co lu m n s   w i th   ea c h   r o w   h a v i n g   u n iq u e   id en tit y .   T h f ir s s tep   in   t h p r ep r o ce s s in g   o f   d ata  in cl u d es  h an d li n g   th e   m is s i n g   v al u es  i n   th d ataset.   T h m i s s i n g   v al u es  ca n   b i m p u ted   u s i n g   s tatis tics   ( m ea n ,   m ed ian ,   m o d e)   o f   ea ch   o f   t h co lu m n s   o r   b y   u s i n g   co n s tan v al u e.   Feat u r Sele ctio n   is   a n o th er   v ital  s tep   i n   th p r e - p r o ce s s in g   o f   d ata  w h ic h   in c lu d es  c h o o s in g   th s u b s e o f   f ea tu r e s   t h at  ar r ele v an t   to   t h p r ed ictiv e   m o d elin g   p r o b le m .   s et   o f   s i x   f e atu r es  ar e   s elec ted   f o r   th ex p er i m en t.  T ab le  1   s h o w s   t h lis o f   d escr ip to r s   u s ed   f o r   th p u r p o s o f   d esig n in g   th cla s s i f icatio n   m o d el.   T h d ata  ac q u ir ed   f r o m   t h m o n t h   o f   J u l y   i s   u s ed   as  th e   tr ain i n g   d ata.   T h m o d el  is   tr ai n ed   o n   t h e   tr ain i n g   d ata.   T h d ata  ac q u ir e d   f r o m   t h m o n t h   o f   A u g u s is   u s ed   as  th tes d ata.   T h m o d el  is   f it  o n   th te s t   d ata  to   g et  th d esire d   o u tco m es.       T ab le  1 .   Featu r d escr ip to r s   F i e l d   N a me   D e scri p t i o n   D a t a   T y p e   C o mp a n y _ P h o n e _ N u m b e r   T e l e p h o n e   n u m b e r   o r i g i n a t i n g   t h e   c a l l .   I n t 6 4   V i o l a t i o n _ D a t e   T h e   d a t e   a n d   t i me   t h e   c a l l   w a s ma d e .   O b j e c t   C o n s u me r _ S t a t e   T h e   c o n su me r s st a t e   l o c a t i o n s.   O b j e c t   C o n s u me r _ C i t y   T h e   c o n su me r s c i t y   l o c a t i o n s .   O b j e c t   C o n s u me r _ A r e a _ C o d e   T h e   a r e a   c o d e   o f   t h e   c o n s u me r s c i t y .   I n t 6 4   S u b j e c t   T h e   su b j e c t   o f   t h e   c a l l .   O b j e c t     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 A u g u s t   201 9   :   3 1 0 8   -   3114   3112   c.     R an d o m   Fo r est   R an d o m   Fo r est  i s   s u p er v is ed   lear n in g   tec h n iq u th at  es s en tia ll y   u s es  a n   en s e m b le  o f   d ec o r r elate d   d ec is io n   tr ee s .   T h b asic   id ea   o f   R an d o m   Fo r est  i s   t h at  t h e y   u s b a g g i n g   o r   b o o ts tr ap   ag g r e g ati n g .   I t   u s es   s a m p li n g   w it h   r ep lace m en t   to   cr ea te  m u ltip le  d ataset s   a n d   o n   ea c h   o f   th d ata s et,   t h d ec i s io n   tr ee   al g o r ith m   is   ap p lied .   E ac h   tr ee   co m e s   u p   w it h   a   p r ed ictio n   w h ich   c o u ld   b clas s i f icatio n   o r   r eg r ess io n .   R a n d o m   Fo r est  co n s is t s   o f   co llect io n   o f   tr ee - s tr u ct u r ed   clas s i f ier s   { h ( x ,   Θk )   k =1 ,   2 ,   . w h er e   Θ k   ar e   iid ( in d ep en d en id en tical l y   d is tr ib u ted   r an d o m   v ec to r s   a n d   ea ch   tr ee   ca s ts   v o te  f o r   th e   m o s f av o r ed   class   [ 1 2 ] .   T h r esu lts   ar f in a ll y   ag g r e g ated .     On   ap p r o ac h   is   r an d o m   s u b s p ac m et h o d   w h er at  ea ch   s p lit  th alg o r ith m   is   p r o v id ed   w ith   s u b s et  o f   f ea t u r es  o n   w h ic h   it  ca n   b s p lit.  I r an d o m l y   s elec ts   t h s u b s ets  t h at  ar g iv e n   at  ea c h   s te p .   T h er is   also   t h r an d o m   s p lit  s elec tio n   in   w h i ch   d ata  p o in is   s elec ted   r an d o m l y   o n   w h ic h   t h s p lit  ca n   o cc u r .   Du r in g   t h tr ee   b u ild in g   p r o ce s s   u s i n g   b o o ts tr ap   s am p le s   s m a ll  p ar o f   th o r ig i n al  in s tan ce s   ar lef o u t.  T h s et  o f   in s ta n ce s   is   ca lled   t h OOB   ( Ou O f   B a g )   d ata  w h ich   is   u s ed   f o r   th e   er r o r   esti m a tio n   in   i n d iv id u al  tr ee s .   R an d o m   Fo r est  h elp s   in cr ea s class if icatio n   ac cu r ac y   b y   av er ag i n g   th n o is y   an d   u n b iased   m o d els  an d   b u ild in g   m o d el  w it h   lo w   v ar ian ce .   d.   XGB o o s t     Gr ad ien B o o s tin g   is   s u p er v is ed   lear n i n g   alg o r it h m   t h at  w o r k s   w ell  f o r   b o th   cl ass i f icatio n   a n d   r eg r ess io n   p r o b le m s .   Gr ad ien B o o s tin g   ai m s   at  b u ild i n g   p r ed ictiv m o d el.   T h p r ed ictiv e   m o d el  i s   a n   en s e m b le  o f   v ar io u s   w ea k   le ar n er s   s u c h   a s   d ec is io n   tr ee s .   T h g o al  i s   to   m i n i m ize   t h er r o r   f u n ctio n   f o r   o p tim izatio n   p u r p o s es.  Gr ad i en d escen is   o n w a y   o f   m i n i m izi n g   t h lo s s   f u n ct io n   b y   u p d ati n g   t h e   p r ed ictio n s   b ased   o n   lear n i n g   r ate.   XGB o o s s y s te m   i s   av ailab le  as  an   o p en   s o u r ce   p ac k ag e   [ 1 3 ] .   XGB o o s is   p o w er f u l,  o p ti m ized   g r ad ien b o o s ti n g   l ib r ar y   th a p r o v id es  p ar allel  tr ee   b o o s tin g .   XGB o o s is   r o b u s t   lib r ar y   a n d   is   ef f icac io u s   i n   m o d el  p er f o r m an ce   a n d   ex ec u ti o n   s p ee d .     e.     Vo tin g   cla s s i f ier   an d   s tack i n g   class i f ier   T w o   m e th o d s   ar i m p le m e n te d   o n   th d ata  an d   th r esu lts   p r o cu r ed   f r o m   t h ex p er i m e n t s   ar co m p ar ed   in   ter m s   o f   ac c u r ac y .   T h f ir s t   m eth o d o lo g y   in v o l v es a p p l y i n g   t h R a n d o m   Fo r est a n d   XG B o o s t a lg o r ith m   o n   th d ata.   T h r esu lt s   ar th e n   i n teg r ated   w i th   t h h elp   o f   t h Vo tin g   C la s s i f ier .   X u e y W a n g   en t itled   “A   Ne w   Mo d el  f o r   Me asu r in g   t h A cc u r ac ies  o f   Ma j o r it y   Vo ti n g   E n s e m b les  n e w   m o d el  ca lled   C OB   ( co r e,   o u tlier ,   an d   b o u n d ar y )   w h ich   q u a n ti tativ el y   m ea s u r es   t h ac c u r ac ies  o f   m aj o r ity   v o ti n g   en s e m b les  f o r   b in ar y   class i f icatio n   [ 1 4 ] . T h Vo tin g   C las s if ier   cr ea te s   a n   e n s e m b le  b y   c o m b in in g   t w o   s tan d alo n m o d els.   T h Vo tin g   C las s i f ier   co m b in es  th p r ed ictio n s   f r o m   th b a g g i n g   a n d   b o o s tin g   al g o r it h m .   I p r o v id es  u s   w i t h   th av er a g o f   th p r ed ictio n s .   A   r eq u is ite  f o r   an   en s e m b le  o f   class i f ier s   i s   to   b p r ec is th an   t h in d i v id u al   class i f ier s   i s   i f   t h in d ep en d e n class i f ier s   ar d i v er s an d   ac cu r ate   [ 1 5 ] .   T h f o llo w i n g   r es u lts   w er o b tain ed   o n   th s u cc es s f u l b u ild   o f   th en s e m b le  w h ich   i s   s h o w n   i n   T ab le  2 .       T ab le  2 .   C lass if icatio n   r ep o r t     P r e c i si o n   F1 - sco r e   r e c a l l   su p p o r t   N   0 . 3 4   0 . 0 3   0 . 0 5   7 0 9 5   Y   0 . 7 0   0 . 9 8   0 . 8 2   1 6 7 2 3   A v g / t o t a l   0 . 5 9   2 3 8 1 8   0 . 5 9   2 3 8 1 8       3.   RE SU L T A ND  AN AL Y SI S     T h ev alu atio n s   o f   th Vo ti n g   C las s if ier   m o d el  an d   Stack in g   C la s s i f ier   m o d els  ar co m p ar ed .   T h in ter p r etatio n   o f   r esu lts   t h at  th Vo ti n g   C las s i f ier   m o d el   is   b etter   th a n   th S tack i n g   C l ass i f ier   in   ter m s   o f   ac cu r ac y ,   ti m a n d   g e n er aliza tio n   er r o r .   T h er is   n o   o v er f itt in g   in   th d ata.   C o m p ar in g   t h tr u n e g ati v a n d   tr u p o s iti v o f   th e   co n f u s io n   m atr i x   d er iv ed   f r o m   b o t h   t h e   m o d els,  t h ac c u r a c y   f o r   Vo t in g   C la s s i f ier   w as   ca lcu lated   to   b 7 0 . 3 5 as  o p p o s ed   t o   th Stack in g   C la s s i f ier   w h ic h   s h o w ed   th ac c u r ac y   o f   o n l y   6 1 . 7 %.   T h ti m tak e n   b y   t h Vo tin g   C la s s i f ier   w as  al s o   co n s id e r ab ly   lo w ,   1 . 9 8 8 8   s ec s   as  co m p ar ed   to   Stac k in g   C las s i f ier   w h ic h   tak e s   1 1 . 8 8 5   s ec s .   T h er ef o r e,   th h y b r id   ap p r o ac h   o f   co m b in i n g   th b o o s tin g   an d   b ag g in g   alg o r ith m   u s i n g   th a g g r a v at io n   tech n iq u o u tp er f o r m ed   t h s tac k i n g   m et h o d .   T a b le s   3   an d   4   s h o w   t h e   co n f u s io n   m atr i x   f o r   th p r o p o s ed   m o d els.   C o m ap r is o n   o f   m o d el  ac cu r ac y   a s   s h o w n   i n   Fi g u r 3 .         T ab le  3 .   C o n f u s io n   m atr i x   o f   v o tin g   clas s i f ier       P r e d i c t e d     O b se r v e d   P o si t i v e   P o si t i v e   N e g a t i v e       2 0 9   6 8 8 6     N e g a t i v e   4 1 3   1 6 3 1 0     T ab le  4 .   C o n f u s io n   m atr i x   o f   s tack i n g   cla s s i f ier       P r e d i c t e d     O b se r v e d   P o si t i v e   P o si t i v e   N e g a t i v e       3 0 1   8 5 7 4     N e g a t i v e   5 3 8   1 4 3 8 5     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       E mp ir ica l a n a lysi s   o f e n s emb le  meth o d s   fo r   th cla s s ifica tio n   o f   r o b o c a lls   in   …  ( Meg h n a   Gh o s h )   3113       Fig u r 3 .   C o m ap r is o n   o f   m o d el  ac cu r ac y       4.   CO NCLU SI O N   T h m ai n   f o cu s   o f   th p ap er   w a s   to   co m u p   w it h   h y b r id   ap p r o ac h   o f   co m b in in g   th t w o   d ef i n ed   en s e m b les,  B ag g i n g   an d   B o o s tin g .   T h p o ten tialiti e s   o f   th e   lear n in g   m o d els  w er e x p lo r ed .   T h co n j u n ctio n   o f   B ag g i n g   an d   B o o s tin g   a n d   B o o s tin g   al g o r ith m s   d ec r ea s th e   b ias  a n d   v ar ian ce   f r o m   th e   d ataset   w h ich   lead s   to   m o r ef f icien m o d e w i th   le s s   g en er aliza tio n   er r o r .   T h Vo tin g   C la s s i f ier   clas s i f ied   th r esu l m o r ef f ec tiv e l y   w it h   t h m o d el   h a v in g   h i g h er   tr u n e g ati v r ate s   as  co m p ar ed   to   tr u p o s iti v e .   T h er ar v ar io u s   o th er   en s e m b les t h at  co u ld   b co m b i n ed   in to   h y b r id   m o d el   to   ch ec k   th p r o f icie n c y   o f   t h m o d el.       ACK NO WL E D G E M E NT S     T h au t h o r   w o u ld   l ik e   to   t h a n k   g u id an d   m e n to r ,   P r o f .   P r ab u   P ,   f o r   h is   co n s tan s u p p o r th r o u g h o u th cr ea tio n   o f   t h is   r esear ch   d o cu m e n t.  O th er   f ac il itato r s   o f   th u n iv er s it y   h av e   also   b ee n   m o s t   h elp f u a ll y   in   s tr u c tu r i n g   t h d ata  an d   u n d er s tan d i n g   t h p r o b lem   d o m ai n .   T h p a p er   w o u ld   n o h av b ee n   co m p lete   w it h o u t h m ass iv co n tr ib u tio n s   b y   a ll  t h f ac u l ties   a n d   r eso u r ce s   in   leu   o f   C h r i s ( Dee m ed   to   b e   Un i v er s it y ) ,   f o r   b o th   r esear ch   an d   r ev ie w .   T h d o cu m en ts   p r esen ted   an d   p er s is te n i n   t h p ap er   w er e   w o r k ed   o n   Ma cb o o k   A ir .       RE F E R E NC E S   [1 ]   Hu a h o n g   T u ,   A d a m   Do u p é ,   Zi m in g   Zh a o ,   G a il - Jo o n   A h n ,   S o K:   Ev e ry o n e   Ha tes   Ro b o c a ll s:   A   S u rv e y   of   T e c h n iq u e s   a g a in st   Tele p h o n e   S p a m ,   IEE E   S y mp o siu m   on   S e c u rity   and   Priva c y ,   A rizo n a   S tate   Un iv e rsit y ,   p p . 3 2 0 - 3 3 8 ,   A u g u st   2 0 1 6 .   [2 ]   Ro b e rt   E.   S c h a p ire,   T h e   Bo o stin g   A p p ro a c h   to   M a c h in e   L e a r n in g   An   Ov e r v ie w ,   No n li n e a r   Esti ma ti o n   and   Cla ss if ica ti o n ,   S p rin g e r ,   p p .   1 - 23   2 0 0 3 .   [3 ]   S a m e e r   Qa y y u m ,   S h a h e e r   M a n so o r,   A d e e l   Kh a li d ,   Kh u sh b a k h t,   Zah id   Ha li m   a n d   A . Ra u f   Ba ig ,   F ra u d u len t   Ca ll   De tec ti o n   F o r   M o b i le   Ne tw o rk s,”   In ter n a ti o n a l   C o n fer e n c e   on   I n f o rm a ti o n   a n d   Eme rg i n g   T e c h n o lo g ies ,   Isla m a b a d ,   P a k istan ,   p p .   1 - 5   2 0 1 0 .   [4 ]   Co n sta n ti n o s   S.   Hilas 1 ,   P a ris   A.   M a sto ro c o sta s,   Io a n n is   T.   Re k a n o s,   Clu ste rin g   of   T e lec o m m u n ica ti o n s   Us er   P r o f il e s   f o r   F ra u d   De tec ti o n   a n d   S e c u rit y   En h a n c e m e n t   in   L a rg e   Co rp o ra te   Ne tw o rk s:   A   c a s e   S tu d y ,   Ap p li e d   M a th e ma ti c s   &   In fo rm a ti o n   S c ien c e s   an   In ter n a ti o n a l   J o u rn a l ,   v o l .   9,   no.   4,   p p .   1 7 0 9 - 1 7 1 8 ,   2 0 1 5 .   [5 ]   Cli f to n   P h u a ,   Vin c e n t   L e e ,   Ka te   S m it h   Ro ss   G a y ler,   “A   Co m p re h e n siv e   S u rv e y   of   Da ta   M in in g   b a se d   F ra u d   De tec ti o n   Re se a rc h ,   S c h o o l   of   Bu sin e ss   S y ste ms ,   Fa c u l ty   of   In fo rm a t io n   T e c h n o l o g y ,   M e l b o u rn e ,   A u stra li a ,   pp.   1 - 14,   M a rc h   2 0 0 7 .   [6 ]   W . X u ,   Y.   P a n g ,   J.   M a ,   S.   W a n g ,   G.   Ha o ,   S.   Zen g ,   Y.   Qa in ,   F ra u d   d e tec ti o n   in   tele c o m m u n ica ti o n :   a   ro u g h   f u z z y   se t     b a se d   a p p r o a c h ,   In ter n a ti o n a l   Co n fer e n c e   of   M a c h in e   L e a rn i n g   a n d   Cy b e rn e ti c s ,   v o l.   3,   p p .   1 7 7 7 - 1 7 8 7 ,   Ju ly   2008.   [7 ]   F a rv a re sh ,   H.   a n d   S e p e h ri,   “A   D a ta   M in in g   F ra m e w o rk   f o r   De tec ti n g   S u b sc ri p ti o n   F ra u d   in   T e lec o m m u n ica ti o n ,   En g i n e e rin g   Ap p li c a ti o n s   of   Arti fi c ia l   In tell ig e n c e ,   v o l.   24,   n o .   1,   p p .   1 8 2 1 9 4 ,   2 0 1 1 .   [8 ]   M o h a m m a d   Iq u e b a l   Ak h ter,   M o h a m m a d   G u la m   A h a m a d ,   De tec ti n g   Tele c o m m u n ica ti o n   F ra u d   u sin g   Ne u ra l   Ne tw o rk s   th ro u g h   Da ta   M i n in g ,   In ter n a t io n a l   J o u rn a l   of   S c ien ti fi c   &   En g in e e rin g   Res e a rc h ,   v o l .   3,   n o .   3,   p p .   1 - 5,   M a rc h   2 0 1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 A u g u s t   201 9   :   3 1 0 8   -   3114   3114   [9 ]   F a y e m i w o   M ich a e l   A d e b isi   a n d   Ola so ji   Ba b a tu n d e ,   F ra u d   De tec ti o n   in   M o b il e   T e lec o m m u n ica ti o n s ,”   In ter n a t io n a l   J o u r n a l   of   In n o v a t ive   Res e a rc h   in   S c ien c e   En g in e e rin g   a n d   tec h n o lo g y ,   v o l.   3,   n o .   4,   pp .   1 1 6 1 2 - 1 1 6 2 0 ,   A p ril   2 0 1 4 .   [1 0 ]   Ke n n e th   C   Co x ,   S te p h e n   G,   G r a h a m   J   W il ls,   Brie f   A p p li c a ti o n   De sc rip ti o n   Visu a l   Da ta   M in i n g :   Re c o g n izin g   T e lep h o n e   Ca ll in g   F ra u d ,   Da ta   M in i n g   a n d   K n o w led g e   Disc o v e r y ,   v o l   1,   n o .   2,   p p .   2 2 5 2 3 1 ,   J u n e .   [1 1 ]   S.   W u ,   N.   Ka n g ,   L.   Ya n g ,   F r a u d u len t   Be h a v io r   F o re c a st   in   T e lec o m   In d u stry   Ba s e d   on   Da ta   M in in g   T e c h n o lo g y ,   Co mm u n ica ti o n s   of   th e   IIM A ,   v o l .   7,   n o .   4,   p p .   1 - 6,   2 0 0 7 .   [1 2 ]   V ru s h a li   Y   K u lk a rn i,   P ra d e e p   K   S in h a ,   Ef fe c ti v e   L e a rn in g   a n d   Clas sif ic a ti o n   u si n g   Ra n d o m   F o r e st   A lg o rit h m ,   In ter n a t io n a l   J o u rn a l   of   E n g in e e rin g   a n d   I n n o v a ti v e   T e c h n o l o g y ,   v o l.   3,   no.   1 1 ,   pp.   2 6 7 - 2 7 3 ,   M a y   2 0 1 4 .   [1 3 ]   T ian q i   Ch e n ,   Ca rlo s   G u e strin ,   X G Bo o st:   A   S c a lab le   T re e   Bo o stin g   S y ste m ,   A CM   S IG KD D ,   p p .   7 8 5 - 7 9 4 ,   A u g u st   13   -   17,   2 0 1 6 .   [1 4 ]   X u e y i   W a n g   “A   Ne w   M o d e l   f o r   M e a su rin g   th e   A c c u ra c ies   of   m a j o rit y   v o ti n g   e n se m b les ,   IEE E   W o rld   C o n g re ss   on   C o mp u ta t io n a l   I n telli g e n c e ,   2 0 1 2 .   [1 5 ]   S a rw e sh   S it e ,   Dr.   S a d h n a   K.   M ish ra ,   “A   Re v ie w   of   En se m b le   T e c h n iq u e   f o r   Im p ro v in g   M a jo r it y   V o ti n g   f o r   Clas sif ier,   In ter n a ti o n a l   J o u rn a l   of   Ad v a n c e d   Res e a rc h   in   Co m p u ter   S c ien c e   and   S o ft wa re   En g in e e rin g ,   v o l.   3,   n o . 1 ,   pp.   1 7 7 - 1 8 0 ,   Ja n u a ry   2013.     Evaluation Warning : The document was created with Spire.PDF for Python.