TELKOM NIKA Indonesia n  Journal of  Electrical En gineering   Vol. 15, No. 2, August 201 5, pp. 346 ~  351   DOI: 10.115 9 1 /telkomni ka. v 15i2.837 6        346     Re cei v ed Ma y 7, 2015; Re vised June  3 0 , 2015; Acce pted Jul y  14,  2015   Isolated  Handwritten Eastern Arabic Numerals  Recognition Using Support Vectors Machines      B. El Kessab *, C. Daoui, B. Bouikh ale n e, R. Salouan   Lab orator y of Informatio n  Pro c essin g  an d Decisio n  Sup por t, F a culty   of Scienc e an d T e chno log y ,    BP 523, Ben i M e lla l, Morocco   *Corres p o ndi n g  author, em ail :  bade1 0@ hot mail.fr       Ab stra ct  In this pa per,  w e  present  a c o mparis on  bet w een the  di ffer ent vari atio ns  of virtual r e tin a  (grid s i z e )  in features extr action w i th the  support vector s mach in es cla ssifier for isolat ed ha ndw ritten  Eastern Arabi c   nu mer a ls reco gniti on. F o r this purpos e w e  have us ed  for pre-pr ocessi ng  each nu meral  imag e the med i a n   filter, the thres hol din g , nor ma li z a tio n  a nd th e  centeri ng tech niq ues.  F u rthe rmor e, the ex p e re me nts resul t s  that w e  hav e  obtai ne d d e m o n strate re a l l y  th a t  th e  m o st  po we rfu l   m e thod  i s  th a t  vi rtua l re ti na  si z e  equ al  20x2 0 . T h is w o rk has ach i ev e d  ap proxi m atel y 85% of  succ ess rate for Easter n Arabic  nu mer a ls d a tab a s e   identification.     Ke y w ords :   isolat ed  ha nd w r itten easter n  ar abic  n u m er als,   medi an fi lter, thre shol din g , ce nterin g ,   nor mal i z a ti on, retina l codi ng  meth od, an d th e supp ort vectors mac h i nes     Copy right  ©  2015 In stitu t e o f  Ad van ced  En g i n eerin g and  Scien ce. All  rig h t s reser ve d .       1, Introduc tion  Optical  Cha r acter  Re cog n i tion (OCR) i s   con s id ered  re ce ntly as   a ve ry dyn a m ic field   given that its appli c a b ility in many different  doma i ns such as  postal  so rtin g, bank  che que   pro c e ssi ng a nd autom atic data  entry, etc. Moreove r , the OC R can be a pplie d on both  ca se s  printed o r  ha ndwritten. In fact reco gni tion for   han dwritten  ca se  is more co mplex than that  printed  due t o  varying  writ ing style s  fro m  perso n  to anothe r even  so ju st for o ne given pfe r son   whi c h  will ma ke thi s  ki nd o f  recognition  very difficu lt  whi c h requi re s for  re solvin g this p r o b le m to  use  seve ral  e ffecient techn i que s in e a ch  of the  thre e  prin cipal  pha se s formi ng a  ce rtain  syste m   of reco gnitio n  whi c h are firstly the pre - proces sin g  then secondly  the features extraction th en  finally learnin g  and cl assifi cation o r  quit e  simply  re cognition. In this fram wo rk, several stud ies  has be en  do ne fo r  recogn ition of i s olat ed h and wri tte n Ara b ic o r  L a tin cha r a c ter or num erals  by  usin g in the f eature s  extra c tion p h a s e t he retin a l cod i ng metho d  in  one h and  or  in the lea r nin g - cla ssifi cation  pha se the su pport vecto r s machin es [6 -8] on the ot her ha nd. He nce, con c erni ng   this app roa c h ,  we are inte rested to isola t ed hand writt en Easte r n Arabic n u me ral s  re cog n ition.   Therefore, i n   this sen s e a n d  in o r de r to  achi eve this t a sk   we h a ve  pre - p r o c e s sed ea ch  nume r al im a ge by the  m edian  filter, the thre sholdi ng, the  ce ntering  an d th e no rmai zati on  techni que s  while we extra c ted th e feat ure s  of  ea ch  nume r al  by  the retin a l  co ding, ab out t h e   recognitio n  of each un kn o w n num eral  we have u s e d  the supp ort  vectors ma chine s .  In fact, our   targeted p u rp ose is b e ing  able to comp are bet wee n   the pre c isi o n  of the differ ent variation s  of  grid si ze s in feature s  extra c tion with the  sup por t vecto r s ma chi n e s  cla ssifie r  on the other  side  for  isolate d  hand written Ea ste r n Arabi c nu meral s  re c o g n ition.  Anyway, this pape r is organi ze d in  the followi ng  mann er. First, in section  1 the p r op ose d  reco gni tion syste m  i s  sch e mati ze d,  Section  2 d e s cribe s  te ch nique s fo r i m age  pre-p r oce s sing. Se ction  3 intro duces the  re tinal  codi ng. In Se ction 4, the  suppo rt vecto r s ma chin es  classifier i s  p r ese n ted. Se ction 5 sho w s  the   experim ental  results. Finall y , t he study is ended by a concl u si on.       2. Recog n ition Sy stem  The re cog n ition system th at we have o p ted in  this study ispre s e n ted in the followin g   figure:     Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Isolated  Han d written Ea st ern Ara b ic  Nu m e rals  Reco gnition Using  Suppo rt… (B. El Kessab )   347     Figure 1. The  propo se d re cognition  syste m       3. Pre-Proce ssing   The first pha se in e a ch O CR  system t he pre-pro c e ssi ng  who s e  the goal i s  to  remove   each n eedle s s pixel in clu d ing  noise a nd redu nda nt  inform ation i n  orde r to  re nder in  a b e st   quality the  nu meral  imag e  so th at it  can  be  used  in  a n  efficie n t ma nner in  the fo llowing  p h a s e  whic h is  the features  extrac tion. Of this   fac t, to  achie v e this task, we have  pre - pro c e s sed in  this  resea r ch the image s by the following te chniqu es:   1)  The medi an filter applie d for perfo rmin g a filtration of image.   2)  The th re shol ding  used to  ren d e r  ea ch  image  cont ains only the  bla c k and   white   colo rs a c co rd ing a pre - sele cted thresh ol d.   3)  The ce nteri n g  exploited for locali zing the  num e r al ju stly in center of  its image.     The no rmali z ation with sta ndar d si ze of each nume r al  image.      4. Featur es  Extrac tion   Features ext r actio n  play  enormou s ly a ve ry impo rtant role i n  each  OCR system,  esp e ci ally for  ha nd writte n opti c al  ch a r acte r  re co g n ition, in fa ct  the preci s io n  of an  certain   system  re co g n ition d epen d s  h eavily to f eature s   ex tra c tion   op erati on  i n  rea s o n  of if a n  g r e a t  discrmi nation  betwee n  cha r acte rs is  trul y realize d  its recognitio n  wi ll be at that time very corre c t.  More pre c i s ely,  feature extraction m e thod s  c an  be divide d into two p r in cipal  cate gories:  stru ctural [10 - 17] an d stati s tical [1 -5] feature s   The fi rst catego ry  is ba sed o n  l o cal  stru cture  o f   nume r al im a ge  while  the  se con d  i s  int e re sted to  st atistical  information’s lo ca lized  in  cha r a c ter  image by wa y of example within this co ntext t here are the momen t s of images  esp e ci ally those  invariant s.   In this frame w ork, we h a ve cho s e n  a st ructu r al meth od whi c h i s  Retinal co ding  method.     4.1. Retin a l  Codi ng  The process  of retinal co di ng that we  ha ve used i s  explaine d as foll ow:   Each ima ge i s  a bla ck  co n t aining a nu m e ral  writting i n  white colo r and ha s firstly an size  equal to  30x 30 pixel s . First of all, give n a virtual  gri d  or  retin a   h a ving a  si ze  equal to  2N/ 3  x  2N/3 pixel s  while this la st  of each num eral  ima ge i s  equal to  NxN pixels, the r efore  in o r d e r  to   applie d this method a s  it should the i m age mu st  be re sized to 2Nx2 N pixels, afterwards  the   retina i s   pla c ed o n  the fi rst zone  of im age th e on  seco nd  zon e   and  so  on  u n til the la st zone  while  at starti ng from th e top lo cated to  the left  of the image in  ea ch putting in  zone of the  ret i na  the numb e r  of white pixe ls is  cal c ulat ed whi c h  will  allow the r ea fter ultimately to conve r t the  image to a vector.    Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 15, No. 2, August 2015 :  346 –  351   348 Moreve r, in orde r to well fix the ideas the schema b e l o w illust rate s this mech ani sm  (we  tak e  N= 12):           Figure 2. The  process of re tinal codi ng  method       5. Recog n ition  An SVM [6-8] is con s ide r ed a s  an st atistica l an d sup e rvised  method it is basi cally  defined fo r t w o-cla s s p r o b lem  sep a rat i on, and   it  finds  an opti m al  hype rpla ne which ca n  maximize the  margin b e tween the ne arest exampl e s  of both classe s, named  sup port vect ors  (SVs ).   First of all, given a training  databa se of M data: X i  , i= 1,2…..M.          Figure 3. The  determin a tio n  of optimal hyperpla ne, vectors suppo r t s , maximum  Marg e and va lid  hyperpl ane s      The linea r SVM classifie r  is then defined  as:     f(X,  w ,  b) : x                   y                (1)     f ( X )   =   w X + b                        (2)       Whe r e w a n d  b are the pa rameters of the cla ssifie r  y is the label.   The line a r SV M can  be extende d to a no n-line a r  cla ssi fier by repl aci ng the inn e r p r odu c t   betwe en the i nput vectors  x and the SVMs, throu gh a  kern el functi on K defined  as:           Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Isolated  Han d written Ea st ern Ara b ic  Nu m e rals  Reco gnition Using  Suppo rt… (B. El Kessab )   349 Table 1. Examples of diffe rent ke rn el function s u s ed i n  SVM  Kernel linear  xy   Kernel pol y nomi a l of degree n      Gaussian radial basis function  (GRBF) of a  standa rd deviation σ  :   ‖  ‖ 2       The metho d   descri bed  ab ove is de sig ned fo r a  problem of two  classe s o n l y , many  studie s  treat  a gene rali zati on of theSVM to a multi-cla ssifi cation [8] among the s e  studie s  we cit e   the two  strat egie s  fre quen tly used: the  first ap pr o a ch  isba se d to u s e  N de ci sio n  functio n s (one   again s t all )  al lowin g  to  ma ke  a di scrimi nation  of  a  cl ass  contai ns  a on e ve ctor label ed  by the   value 1 agai nstall othe r vectors existe d in a ot her  cla ss o ppo sit e  having a la bel equal to  -1.  Therefore the deci s ion rule used in this  case is  usuall y  the maximum such that wewill assign an  unkno wn vect or X into a cla ss a s so ciated  with an outp u t of SVM is the larg est.     Class e (X) =  arg   ,,…,          (3)       6. Experiments and  Res u lts   First of  all, we  p r e s ent an example of some  Ea ste r n  Arabi c h and written n u mera ls that  we have u s e d  in our stu d y:          Figure 4. Example of som e  isolated h a n d written Ea st ern Ara b ic n u m eral s      We have  cho s en the follo wing data:   1)  Each o r igin al nume r al imag e has a  size equal to 30x3 0  pixels.   2)  The si ze of th e virtual retin a  equal to 5x 5, 10x10, 15x15 and 2 0 x20  pixels.  3)  Each o r igin al nume r al imag e is re sized to 60x60 pixel s .  4)  Each nu mera l is tran sform ed to a vector.  The sta nda rd  deviation of the GRBF  ke rnel functio n  is equal to 0.1.  No w, we  gro up the valu es  of the re co g n ition rate   τ g  ( giv e n in  % )  for  ea ch num eral and  also tho s e of the global rat e re co g n ition i.e. of all numeral s ( giv e n in  % ) which we have obtain ed  in the followin g  table:      Table 2. The  obtaine d re co gnition rate s  τ n and  τ g by e a ch meth od o f  extraction     Numera ls   τ n (RC)   τ n (RC)   τ n (RC)   τ n (RC)   5 X 5   10 X 10   15 X 15 20 X 20   ٠   83 87 89 90  ١   70 79 92 97  ٢   67 80 81 89  ٣   66 67 68 70  ٤   74 75 77 80  ٥   77 78 81 93  ٦   60 70 75 80  ٧   80 81 84 88  ٨   79 83 84 90  ٩   60 62 65 69  τ g   71,6 76,2  79,6 84,6  Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 23 02-4 046                     TELKOM NI KA  Vol. 15, No. 2, August 2015 :  346 –  351   350 Table 3. The  obtaine d re co gnition rate s for all num eral s  Numera ls   ٠   ١   ٢   ٣   ٤   ٥   ٦   ٧   ٨   ٩   ٠  90.00   3.00 0.00  0.01 0.40 0.27 0.22 0.17  0.36 0.21  ١   7.19  97.00   0.23  0.64 0.02 0.48 0.44 0.18  0.33 2.59  ٢   0.19 0.00  89.00   23.30   9.00 0.65 5.00 3.41  1.20 0.93  ٣   0.16 0.00 9.96  70.00   8.00 0.45 3.00 6.23  2.95 0.42  ٤   0.22 0.00 0.00  1.70  80.00   0.85 3.30 0.28  0.59 0.83  ٥   0.13 0.00 0.00  0.00 0.60  93.00   0.03 0.22  0.58 0.92  ٦   0.29 0.00 0.81  3.00 0.40 0.43  80.00   0.00 1.78  23.45   ٧   0.15 0.00 0.00  0.64 0.00 0.74 0.00  88.00   0.84 0.79  ٨   0.82 0.00 0.00  0.26 0.08 0.34 0.70 1.12  90.00   0.86  ٩   0.85 0.00 0.00  0.45 1.50 2.79 7.31 0.39  1.37  69.00       The graphi cal  representatio n to re cogniti on rate of ea ch nume r al  τ n  is :        Figure 5. The  graphi cal  rep r esentation of  reco gnition  rate  τ n  of each  method of extraction       The  gra phi ca l re pre s e n tation to  re co gni tion rate of  a ll nume r al s  τ g  is presente d  in th e  following figure:        Figure 6. The  graphi cal  rep r esentat ion of  global rate  re cog n ition  τ g of each meth od  of extraction     6.1.  Analy s is and Comment  Takin g  into a c count all the  results that  we  obtai ned,  we really ca n  to con c lurethat:The  most  perfo rm ant meth od i s  the  retinal  co ding  with virtual retina size e qual  2 0  X 20  followed  byretinal  codi ngwith virtu a l retina size eq ual 15  X 15 then  the retin a l codi ng with virtual retina size   equal 1 0  X 10  then finaly the retinal  cod i ng withvirtual  retinasi z e e q ual 5  X 5 .  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  2302-4 046     Isolated  Han d written Ea st ern Ara b ic  Nu m e rals  Reco gnition Using  Suppo rt… (B. El Kessab )   351 7. Conclusio n   In this p ape r,  we  have p r e s ente d  a  co mpari s o n  bet wee n  the  performan ce s of  seve ral   sizes of virtu a l retinawhich a r e th e  su pport  vecto r s ma chine s  u s ed  for re co g n ition of i s ol a t ed  Eastern Ara b ic ha nd written nume r al s.  In this  sen s e we have  verified that the recognit i on  system s use d   in  thi s  app roach wh i c h  contain s  in  the  preprocessin g  ph ase the   median  filter,  the   thresholdi ng  and th e  cent ering  an d th e  su ppo rt ve ct ors ma chi ne i n   th e  recogn ition ph asere a lly   sho w s t hat  t h e mo st  p o w e r f ul re cog n it io n sy st em i s  t hat contain s  t he  retinal  co d i ng   with vi rtu a l  retina size eq ual  20 X 20 .      Ackn o w l e dg ements   We  are  ve ry grateful  to ou r p r ofesso rs M i ster  Ch erki  Da oui a n d  Miste r   BelaidBoui kh alene f o r th ei r continu o u s   encourage me nts, their g r e a t co ope ratio n , their  pertin ent  advice s , their appro p ri ate guida nce in the reali z at io n  of this work. Many thanks  again to them .      Referen ces   [1]  Shahr ul Niz am  Yaako b1, Put eh Sa ad.  Kraw tchouk Mo me n t  Invariant An d  Gaussia n  AR T M AP Neural   Netw ork: A Combi natio n T e chni ques F o r  Imag e Cl ass i ficatio n . KUK U M Engi ne eri ng R e searc h   Semin a r. 200 6.  [2]  Hamid R e za  Boveiri. On  P a ttern Class ific ation Us ing St atistical Mome nts.  Internatio nal Jo urna l of  Sign al Process i ng, Image Pro c essin g  an d Pattern Reco gn ition . 20 10; 3(4):  2010.   [3]  Anass El affar  Khalid  Ferdous, Abdeljabbar Cher kaoui Hakim El fadil, Hassan Qjidaa. Kraw tchouk   Moment F e atu r e E x tractio n  f o r Ne ura l  Ara b i c Ha nd w r itten  W o rds R e co g n itio n.  IJCSNS International  Journ a l of Co mputer Scie nce  and N e tw ork Security.  200 9; 9(1).  [4]  P Nag a b hush a n , SA Ang a d i , BS Anami. A f u zz y statistical   ap proac h of  Kann ad a vo w e l reco gniti o n   base d  on i n vari ant moments.  NCDA R. Man d y , Indi a. 200 3: 275- 285.   [5]  Ibrahim A E l  r ube' , Moh a me d T   El Sonni,  Soha S S a l eh.  Printed Ar abic  sub- w o rd rec o gniti on us in g   moments.  W o rld Acade my of  Scienc e, Engi n eeri ng an d T e c hno logy . 2 010;  42.  [6]  Srivastava DK,  Bhambh u L. Data classificati o n  usin g  Su pp or t  Vector  M a chi ne.  Inter natio n a l J ourn a l  of   T heoretic al an d Appl ied Infor m ati on T e ch no logy.  20 09; 12( 1): 1-7.   [7]  J Jind al, A  Dhir  R. Ra ni R.  Dia gon al fe atures  and  SVM class i fier for  han d w r i tten Gurum u k h i ch aract e r   recog n itio n.  Internatio nal J o urna l of Adva nced R e se arc h  in C o mput er Scienc e a nd Softw ar e   Engi neer in g.  2012; 2(5): 5 05- 508.    [8]  DC Shu b h ang i ,  PS Hiremath.  Hand w r itten E nglis h   char acter and  dig i t  recogn ition  usin g   multiclas s     SVM  cl assifi er a nd  usi ng  structural m i cro featur es.  Int e rnati ona l J o u r nal  of R e ce n t  T r ends  i n   Engi neer in g.  2009; 2(2).   [9]  G Sinh a, J k u mar. Ara b ic  numer al R e co gniti on  Usin g  SVM Class ifie r.  Internatio nal  Journ a l  o f   Emer gi ng Res earch i n  Mana ge me nt & T e chnol ogy . 20 13; 2(5).   [10]  A Hen n ig, N S herkat. Expl oiti ng zo nin g  bas ed o n  ap pro x i m ating s p li nes  in cursiv e scri p t recog n itio n .   Pattern Reco g n itio n. 200 2; 35(2): 445- 45 4.   [11]  B El kessab,  C Dao u i, B Bouik hal en e, M F a ki r, K Moro. Extractio n   Method of H a nd w r itte n Dig it  Reco gniti on T e sted on the  MNIST  Database.  Internati ona l Journ a l  of Advance d  Scienc e a n d   T e chno logy . 2 013;  50.   [12] RS  H ega di.  Re cogn ition  of Pr i n ted K a n n a da  Nu mera ls  bas e d  o n  Z o nin g  M e thod . I n ternati ona l Jo urn a l   of Com puter  Appl icatio ns ( 097 5– 887 8) o n   N a tion al C onfere n ce   of Advanc ed Co mputin g  a n d   Commun i cati o n s – NCAC C . 201 2.  [13]  A Hen n ig, N S herkat. Expl oiti ng zo nin g  bas ed o n  ap pro x i m ating s p li nes  in cursiv e scri p t recog n itio n .   Pattern Reco g n itio n.  200 2; 35(2): 445- 4 54.    [14]  D Imped ovo,  G Pirlo. Z oni n g  metho d s fo r  han d w ritten  character r e co gniti on: A sur v e y .  Pattern  Reco gniti on.  2 014; 47( 3): 969 -981.    [15]  M Kamel, A  Camp ilh o. A n  Iris R e co g n itio n Meth od  Base d On  Z i gzag  Co llar e tte Area  an d   As y mmetric al  Supp ort Vector  Machin es.  ICIAR . 2007: 8 54- 865.    [16]  M Padma a , Y  Venkatar ama n i .  Z IG-Z A G PVD – A  No ntrad i tion al A ppro a c h .  Internati o n a l  Journ a l  of   Co mp uter Appl icatio ns.  201 0; 5(7).   [17]  K Ro y, P Bh attachar ya. A n  Iris Rec o g n i tion M e tho d   Based O n  Z i gzag  Col l ar ette Area  an d   As y mmetric al  Supp ort Vector  Machin es.  IEEE.  2006: 86 1-8 65.   Evaluation Warning : The document was created with Spire.PDF for Python.