T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  24 ,   No .   5 ,  Octo b er   20 26 ,   p p .   1 6 6 8 ~ 1 6 7 9   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 24 i 5 . 27607          1668       J o ur na l ho m ep a g e :   h ttp : //telko mn ika . u a d . a c. i d   I m pro v ing  P a ddl eO CR  optica l  cha ra cter  r ecog nition for foo d  co m po sitio n label s usin g  hybrid Sy m Sp ell and La y o utLM   co rrect io n       Ah m a d Wa hy u Ro s y a di 1 ,   Sit i M a ’ s hu m a h 2 ,   M uh a m m a d  Q o m a ruz  Z a m a n 3   1 D e p a r t me n t   o f   I n f o r mat i c s   E n g i n e e r i n g ,   U n i v e r si t a s   Q o maru d d i n ,   G r e si k ,   I n d o n e si a   2 D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g ,   U n i v e r si t a s Qo mar u d d i n ,   G r e si k ,   I n d o n e si a   3 D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g ,   I n st i t u t   T e k n o l o g i   S e p u l u h   N o p e m b e r ,   S u r a b a y a ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Oct   16 ,  2025   R ev i s ed   A u g   19 ,  2 0 2 6   A cc ep ted   A u g   28 ,  2026       A   h ig h   lev e l  o f   tex t  re c o g n it io n   a c c u ra c y   is  c ru c ial  f o r  o p ti c a l  c h a ra c ter   re c o g n it io n   (OCR)  a p p li c a ti o n s ,   p a rti c u larly   th o se   d e sig n e d   t o   e x trac t  in f o rm a ti o n   f ro m   f o o d   c o m p o sit io n   la b e ls.  Ho w e v e r,   p a c k a g in g   m a teria ls   o f ten   in tr o d u c e   d ist o rti o n s,   re f lec ti o n s,   o r   irreg u lar  p rin t in g ,   w h i c h   lea d   to   re c o g n it io n   e rro rs  a n d   w o rd   c o n c a ten a ti o n .   T o   m it ig a te  th is  issu e ,   th is  st u d y   p ro p o se s  a   n o v e l  p o st - p ro c e ss in g   s y ste m   th a t  in teg ra tes   P a d d leO CR  w it h   t h e   sp e ll in g   c o rre c ti o n   ( S y m S p e ll )   a lg o rit h m   a n d   lay o u t  lan g u a g e   m o d e l   ( L a y o u tL M ) - g u id e d   b ig ra m - b a se d   w o rd   se g m e n tatio n   to   e n h a n c e   OCR  a c c u ra c y .   T h e   i m p le m e n tatio n   b e g in s  w it h   c a p tu rin g   a   c o m p o siti o n   lab e l   im a g e   u sin g   a   s m a rtp h o n e   c a m e ra ,   f o ll o w e d   b y   in it ial  tex t   e x trac ti o n   p e rf o r m e d   b y   P a d d leO CR.  Co n se q u e n t ly ,   S y m S p e ll   c o rre c ts  m is sp e ll e d   to k e n s  th ro u g h   a   d o m a in - sp e c if ic  f o o d   a n d   b e v e ra g e   l e x ic o n ,   w h il e   L a y o u tL M   le v e ra g e s  sp a ti a l  a n d   c o n tex tu a l  in f o rm a ti o n   to   se p a ra te  c o n c a ten a ted   w o rd s.  T h e   p e rf o rm a n c e   w a s  e v a lu a ted   u sin g   th e   c h a ra c ter  e rro r  ra te  (CER)   m e tri c   a c ro ss   f o u r   p a c k a g in g   su rf a c e   c a teg o ries :  f lat,   c u rv e d ,   re f lec ti v e ,   a n d   tex tu re d .   T h e   re su lt s  d e m o n stra te  c o n siste n t   im p ro v e m e n ts  a c ro ss   a ll   c a teg o r ies ,   a c h iev in g   a n   a v e ra g e   CER  o f   0 . 0 9 9 1 ,   w it h   th e   g re a tes t  r e d u c ti o n   o n   f l a t  su rf a c e s  ( f ro m   0 . 0 8 8 5   t o   0 . 0 6 5 9 ).   T h e   e x p e ri m e n ts  sh o w   th a t  th e   s y ste m   is  ro b u st  a c ro ss   lab e l  c o n d it io n s ,   li g h tw e ig h t  f o r  re a l - ti m e   u se ,   a n d   d o m a in - a w a r e .   Its  m o d e l - a g n o stic  d e sig n   a d d s  f lex ib il it y ,   e n a b li n g   e f f e c t iv e   p o st - OCR  c o rre c ti o n   a c ro ss   d if f e re n t  e n g in e s a n d   im p ro v in g   re a d a b il i t y   f o r  re a l - w o rld   f o o d   la b e l  a p p li c a ti o n s .   K ey w o r d s :   Fo o d   id en tif icatio n   L a y o u t L M   Op tical  ch ar ac ter   r ec o g n itio n   P ad d leOCR   S y m Sp ell   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ah m ad   W ah y u   R o s y ad i    Dep ar t m en t o f   I n f o r m atic s   E n g in ee r i n g ,   Un i v er s i tas Qo m ar u d d in   R a y a  B u n g ah   St.  No .   1 ,   R ice  Field   /   Gar d en   A r ea ,   B u n g a h ,   Gr esik ,   E ast J av a  6 1 1 5 2 ,   I n d o n esia   E m ail: a w r o s y ad i@ g m ail. co m       1.   I NT RO D UCT I O N    I n f o r m a tio n   lab els  o n   f o o d   p a ck ag i n g   p la y   a  cr u cial  r o le  in   p r o v id in g   co n s u m er s   w i th   tr a n s p ar en c y   r eg ar d in g   p r o d u ct  i n g r ed ien ts ,   h elp in g   th e m   m a k e  h ea lt h ie r   d ietar y   c h o ices  [ 1 ] .   Ho w ev er ,   co n s u m er s   m a y   en co u n ter   u n f a m iliar   i n g r ed i en ts ,   p r o m p ti n g   th e m   to   s ee k   ad d itio n al  i n f o r m atio n   o n l i n e,   w h ich   is   o f ten   in e f f ic ien t  a n d   u n r eliab le.   R e ce n t  tech n o lo g ical  ad v a n ce s   h av e  e n ab led   in telli g en t  s y s te m s   to   s u p p o r t  m o r e  ef f ec tiv e  ac ce s s   an d   in ter p r etatio n   o f   in f o r m atio n ,   w it h   ar tif icial  in tell ig e n ce   ( A I )   in n o v atio n s   g r ea tl y   i m p r o v i n g   d ig i tal  ac cu r ac y ,   ef f icie n c y ,   a n d   ac ce s s ib ili t y ,   p ar ticu lar l y   i n   h ea lt h ca r e  [ 2 ] - [ 5 ] .   T h ese   d ev elo p m en t s   h ig h li g h t  A I ’ s   b r o ad e r   p o ten tial  to   en h an ce   d ec is io n - m a k i n g   an d   e x p an d   ac ce s s   to   es s en t ial   in f o r m atio n   ac r o s s   d o m ai n s   s u c h   as  f o o d   an d   n u tr itio n   [ 6 ] - [ 9 ] .   I n   lin e  w it h   t h ese  d e v elo p m e n ts ,   s ev er a l   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         I mp r o vin g   P a d d leOCR  o p tica l   ch a r a cter reco g n itio n   fo r   fo o d   co mp o s itio n   la b els  …   ( A h ma d   W a h yu   R o s ya d i )   1669   s tu d ie s   h a v e  u s ed   s m ar tp h o n e  ca m er as to   s ca n   a n d   d is p la y   p r o d u ct  in f o r m atio n   w it h   m i n i m al  u s er   i n ter ac tio n ,   in cl u d in g   Ma v a n i  et  a l.   [ 7 ]   wh o   in tr o d u ce d   a  f u zz y   lo g ic – b ased   b ar co d e  s y s te m   t h at  d e co d es  b ar co d es  an d   r etr iev es  in g r ed ien t  d ata  f r o m   o n lin e  s o u r ce s   to   d eter m in e  t h e  h alal  s tat u s   o f   p ac k a g ed   p r o d u cts.  I n   r ea lit y ,   m an y   p r o d u cts   lac k   b ar co d es,  th er eb y   r ed u cin g   t h eir   u s ab il it y .   T o   o v er co m e  t h is   is s u e,   R o s y ad i  e t  a l.   [ 1 0 ] .  in tr o d u ce d   a  m et h o d   f o r   s ca n n in g   co m p o s it io n   lab el s   u s i n g   P ad d leOCR ,   as  m o s t   p r o d u cts   d is p la y   s u ch   lab els   A lt h o u g h   P ad d leOCR   p er f o r m s   w e ll  o n   f lat  p ac k ag i n g ,   i ts   ac cu r ac y   d ec r ea s es  o n   c u r v ed ,   tex t u r ed ,   an d   r ef lecti v e  s u r f ac e s   w h er e  d is to r tio n s   an d   u n e v e n   li g h ti n g   in tr o d u ce   o p tical  ch ar ac ter   r ec o g n itio n   ( OC R ) - s p ec if ic  c h alle n g es,  lead i n g   t o   ch ar ac ter   er r o r s ,   lo s t  d iacr itics ,   an d   f r eq u e n t  w o r d - s p li tti n g   o r   co n ca ten at io n   is s u es  t h at  d eg r ad e  r ea d ab il it y   an d   h in d er   d o w n s tr ea m   in f o r m atio n   r etr iev a l  [ 1 1 ] .   T h ese  li m itatio n s   d em o n s tr ate  t h e  n ee d   f o r   a  p o s t - p r o ce s s i n g   m et h o d   th at  is   ab le  to   c o r r ec t  lex ical  er r o r s   an d   r esto r e  p r o p er   w o r d   s tr u ct u r e  in   O C R   o u tp u t s .   T o   m iti g ate  t h ese  is s u e s ,   lig h t w ei g h t  lex ical  co r r ec tio n   m et h o d s   lik e  S y m Sp el l  r e m ain   h i g h l y   ef f ec tiv e  in   s p ec ialized   d o m ai n s ,   w h ile  tr a n s f o r m er - b ase d   m o d els  s u c h   as  la y o u t   lan g u a g e  m o d el   ( L a y o u t L M )   ar e  ca p ab le  o f   ca p tu r in g   s p atia l  r elatio n s h ip s   an d   co n tex tu al   cu e s   t h at  co n v e n tio n al   OC R   p ip elin es  o v er lo o k .   T h e  co m b in atio n   o f   t h ese  co m p le m e n ta r y   s tr en g t h s   f o r m s   th e  f o u n d a tio n   o f   t h is   s tu d y ’ s  co n tr ib u tio n ,   e n ab li n g   m o r e   r o b u s t  co r r ec tio n   at  b o th   th e  le x ical  a n d   s tr u ctu r al   l ev els  in   p o s t - O C R   p r o ce s s in g .   I n   r ec en t  y ea r s ,   O C R   p o s t - p r o ce s s i n g   h a s   i m p r o v ed   s i g n if ic an tl y   [ 1 2 ] ,   [ 1 3 ] .   On e  al g o r ith m   t h at  ca n   b e  u s ed   is   s y m m etr ic  d elete   s p ellin g   co r r ec tio n   ( S y m Sp e l l)   [ 1 4 ] ,   [ 1 5 ] .   T h is   al g o r ith m   ca n   co m p ete  w i th   m o d er n   lan g u a g e  m o d els  i n   s o m e  ca s es,  m a k i n g   it  a  s i m p ler   an d   m o r e  af f o r d ab le  s o lu tio n   [ 1 6 ] .   Sev er al  s tu d ie s   h a v e  u s ed   S y m Sp e ll  f o r   OC R   p o s t - p r o ce s s i n g ,   i n clu d in g   th e   w o r k   b y   B j er r in g - Ha n s e n   et   a l .  [ 1 7 ] ,   t h e  s tu d y   in te g r ated   S y m Sp e ll - b ased   s p ell  ch ec k in g   w i th   co n t ex t - a w ar e  s elec ti v e  m o d i f icat io n s   an d   s a f e  er r o r   co r r ec tio n s ,   i m p r o v i n g   w o r d   ac cu r ac y   b y   u p   to   7 3 %.  F u r t h er m o r e,   A u n g   et  a l.   [ 1 8 ]   in t r o d u ce d   m y O C R ,   a   M y an m ar   O C R   f r a m e w o r k   t h at  i n co r p o r ated   Sy m Sp ell  i n   its   p o s t - co r r ec tio n   s ta g e,   ac h iev in g   a  0 . 6 6 %  r ed u ctio n   in   w o r d   er r o r   r ate.   An o th er   co m p ar ati v e  s tu d y   e v alu a ted   Hu n s p ell,   S y m Sp ell,   th e  No r v ig   m o d el ,   an d   th e   N - g r a m   m o d el  o n   A ze r b aij an i  tex t,  s h o w i n g   th a t  S y m Sp ell  ac h ie v ed   t h e  h ig h e s t  p r o ce s s i n g   s p ee d   w it h   8 1 . 4 %  ac cu r ac y   [ 1 9 ] .   I n   ad d itio n ,   th e  in teg r atio n   o f   Sy m S p ell  as  a  p o s t - p r o ce s s in g   s tag e  f o r   T ess er ac t  OC R   r es u lt s   o n   p ass p o r t  d ata  w as  ab le  to   i n cr ea s e  ac cu r ac y   b y   2 1 . 4 %,  esp ec iall y   i n   th e   v is u al  i n s p ec tio n   zo n e  w it h   h i g h   d is to r tio n   an d   n o is e  [ 2 0 ] .   T h e  a d d itio n   o f   p o s t - p r o ce s s i n g   to   th e  OC R   r esu l t s   is   ex p ec ted   to   r ed u ce   s p ellin g   er r o r s   an d   th u s   i m p r o v e  th e  q u al it y   o f   th e   ex tr ac ted   tex t,  esp ec iall y   in   th e  d o m a in   o f   f o o d   p ac k ag i n g   lab els  th at   o f te n   co n tai n   co m p le x   v is u al  e le m e n ts   s u ch   as  d ec o r ativ e   f o n ts ,   il lu s tr ated   b ac k g r o u n d s ,   a n d   cu r v ed   s u r f ac es .   T h er ef o r e,   a  s y s te m   t h at  i s   ab le  to   v alid ate  a n d   r ep air   OC R   to k e n s   ef f icien tl y   is   n ee d ed   to   en s u r e  th at   th e  e x tr ac ted   i n f o r m atio n   r e m ai n s   ac c u r ate  a n d   ca n   b e  in ter p r eted   co r r ec tly .   I n   ad d itio n   to   class ical  OC R   p o s t - p r o ce s s in g ,   tr an s f o r m er - b ased   m o d els  s u ch   as  L a y o u t L M  h a v e   r ec en tl y   e m er g ed   as  p o w er f u l   to o ls   f o r   u n d er s tan d in g   v i s u a ll y   r ich   d o cu m e n t s   [ 2 1 ] ,   [ 2 2 ] .   B y   j o in tl y   lear n in g   tex t u al  an d   s p atial  f ea t u r es,  L a y o u t L M  p r eser v es  s tr u ct u r al  r elatio n s h ip s   th a t  co n v e n tio n a l  OC R   o f te n   lo s e s   [ 2 3 ] .   T h is   ar ch itect u r e  h a s   d e m o n s tr ated   h i g h   p er f o r m a n ce   in   v ar io u s   ap p licatio n s ,   i n cl u d in g   r ec eip t  p ar s in g ,   f o r m   u n d er s ta n d in g ,   an d   d o c u m e n t  clas s i f icatio n   [ 2 4 ] ,   [ 2 5 ] .   Fu r th er m o r e,   r ec en t  r esear ch   h as  e x ten d ed   th e   L a y o u t L M  f r a m e w o r k   to w ar d s   OC R   tex t  co r r ec tio n ,   s u c h   as  th e  s t u d y   b y   Xu   et  a l.   [ 2 6 ]   th at  in tr o d u ce d   L a y o u t L M - C r it ic.   T h is   s tu d y   l ev er ag es  m u lti m o d al  in f o r m a t io n   ( tex t,  b o u n d in g   b o x es,  an d   im a g e  f ea t u r es)  to   d etec t  an d   co r r ec t   OC R   er r o r s   m o r e  ef f ec ti v el y   th a n   p u r el y   tex t - b ased   m et h o d s .   T h ese  ad v an ce s   u n d er s co r e  th e  p o ten tial  o f   L a y o u t L M  to   ac t  as  a  co m p le m e n tar y   co m p o n en t  i n   f o o d   lab el  an al y s i s ,   p r o d u cin g   clea n er   an d   s e m a n tica ll y   co h er en t to k en   s eq u e n ce s   t h at  i m p r o v e  s u b s eq u en t O C R   p o s t - p r o ce s s i n g .   T h is   r esear ch   p r esen ts   a  p o s t - OC R   co r r ec tio n   m et h o d   th at  in teg r ate s   th e  d ictio n ar y - b ased   S y m Sp ell   alg o r ith m   w i th   t h e  L a y o u t L M  m o d el  to   ad d r ess   s p ellin g   er r o r s   an d   w o r d   s e g m en ta t io n   is s u e s   i n   OC R   o u tp u ts .   S y m Sp ell  ap p lies   a  d o m a in - s p ec i f ic  f o o d   an d   b ev er ag e  d ictio n ar y   to   en s u r e  lex i ca l  ac cu r ac y ,   w h ile   L a y o u t L M  p r o d u ce s   s e m a n tic all y   co n s is ten t  to k e n   s eq u e n ce s   th at   ar e  ex p lo ited   as b i g r a m   r ef er en ce s   to   d etec t   an d   s ep ar ate  co m p o u n d   w o r d s   in   P ad d leOCR   r es u lt s .   T h is   h y b r id   ap p r o ac h   r ed u ce s   m is s p ellin g s ,   i m p r o v es   w o r d   b o u n d ar y   r ec o v er y ,   a n d   p r o d u ce s   m o r e  ac cu r ate  a n d   in ter p r etab le  tex t  ali g n ed   w it h   t h e  i n ten d ed   m ea n in g   o f   f o o d   co m p o s itio n   lab els.  I n   s u m m ar y ,   th is   s t u d y   ai m s   to   b u ild   a  h y b r id   p o s t - OC R   co r r ec tio n   f r a m e w o r k   th a t  in te g r ates  S y m Sp ell ’ s   le x ical  co r r ec tio n   w it h   L a y o u t L M ’ s   la y o u t - a w a r e  s eg m en ta tio n   to   en h a n ce   te x t r ec o g n itio n   ac c u r ac y   o n   f o o d   co m p o s itio n   lab el s .   T h e  s tr u ctu r e  o f   t h is   p ap er   co n s i s ts   o f   f o u r   m ai n   p ar ts .   T h e  cu r r en t  p ar t  p r o v id es  th e  in tr o d u ctio n .   T h e  s ec o n d   p ar t  p r esen ts   a  co m p r e h e n s i v e  d escr ip tio n   o f   th e  p r o p o s ed   ap p r o ac h .   T h e  th ir d   p ar t   r ep o r ts   an d   an al y ze s   th e  ex p er i m e n tal  r esu lt s ,   h i g h li g h ti n g   s y s te m   p er f o r m an ce   an d   ef f ec ti v e n ess .   A n d   th e  f i n al  p ar t   p r o v id es th e  co n cl u s io n ,   s u m m ar izi n g   t h e  k e y   co n cl u s io n s   an d   o u tli n in g   p o ten tia l d ir ec tio n s   f o r   f u r t h er   s tu d y.         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  24 ,   No .   5 ,  Octo b e r   20 26 :  1 6 6 8 - 1679   1670   2.   M E T H O D   T h e  p o s t - p r o ce s s in g   s ta g e  o f   OC R   r esu lt s   co n s i s ts   o f   s e v er al  s tep s   to   im p r o v e  tex t  ac cu r ac y   as   d ep icted   in   Fi g u r e  1 .   T o   i l lu s t r a t e   t h e   ef f e c t  o f   th e  p r o p o s ed   m et h o d o l o g y ,   F ig u r e   2   p r ese n ts   an   ex am p l e   o f   O C R   r e s u l t s   s h o w in g   Fi g u r e   2 ( a )   t h e   in p u t   im ag e ,   F ig u r e   2 ( b )   t h e   b as e l in e   Pa d d l e OC R   o u tp u t ,   an d   F ig u r e   2 ( c )   t h e   p o s t - OC R   r e s u l t .   E ac h   i m a g e  w a s   p r o ce s s ed   b y   P ad d leOCR   to   ex tr ac t  te x t  an d   b y   L a y o u tLM   to   g en er ate   co n tex t - a w ar e  b ig r a m s .   P ad d l eOCR   o u tp u ts   w er e  n o r m alize d ,   to k en ized ,   an d   co r r ec ted   u s in g   S y m Sp ell  w i t h   a  d o m ain - s p ec if ic  d ictio n ar y ,   w h i le  L a y o u t L M  o u tp u t s   p r o v id ed   s em a n tic  c u es  f o r   d etec tin g   an d   s p litt in g   co n ca ten ated   w o r d s .   T h e  f in al  tex t  w a s   ass e s s ed   u s i n g   t h e  ch ar ac ter   er r o r   r ate  ( C E R )   ag ain s t  m a n u all y   tr an s cr ib ed   g r o u n d - tr u th   lab el s .           Fig u r e   1 .   P r o p o s ed   s y s te m   d es ig n   f o r   p o s t - O C R   co r r ec tio n   u s in g   S y m Sp ell  an d   L a y o u t L M - b ased   co m p o u n d - w o r d   s eg m e n tatio n         ( a)       ( b )   ( c)     Fig u r e   2 .   E x a m p le  o f   O C R : ( a)   in p u t i m ag e,   ( b )   b aselin e  P ad d leOCR   o u tp u t,  an d   ( c)   p o s t - OC R   r es u lt       2 . 1 .     Da t a   a cquis it io n   T h e  in p u t  i m a g es  co n s is t  o f   s m ar tp h o n e - s ca n n ed   an d   cr o p p ed   co m p o s itio n   lab els.  As  illu s tr ated   in   Fig u r e  3 ,   th e  d ataset   in cl u d e s   f o u r   p ac k ag in g   s u r f ac e  ca t eg o r ies  to   r ep r esen t  d i v er s e  test i n g   co n d itio n s :  Fig u r e  3 ( a)   f lat  s u r f ac e s   w i th   m i n i m al  d is to r tio n ,   Fi g u r e  3 ( b )   cu r v ed   s u r f ac es  w it h   tex t  d ef o r m at io n ,     Fig u r e  3 ( c)   r ef lecti v e  s u r f ac e s   af f ec ted   b y   g lar e  an d   co n tr ast  lo s s ,   an d   Fig u r e  3 ( d )   tex t u r ed   s u r f ac es   w it h   b ac k g r o u n d   n o is e  th a t  in ter f e r es  w it h   tex t  d etec tio n .   E ac h   i m a g e  w a s   m a n u all y   v er i f ied   an d   tr an s cr ib ed   to   cr ea te  th e  g r o u n d   tr u t h   r ef er en ce   f o r   ev alu at io n .     2 . 2 .     O CR  e x t ra ct i o n   P ad d leOCR   w as  s elec ted   as   th e  p r i m ar y   OC R   e n g i n e  f o r   t h r ee   r ea s o n s .   First,  P ad d leOCR   ac h iev ed   a   s u b s ta n tial l y   lo w er   C E R   ( 0 . 1 6 3 4 )   th an   L a y o u t L M  ( 0 . 4 5 3 1 )   ac r o s s   all  s u r f ac e  ca teg o r ies  a s   s h o w n   in   T ab le  1 .   Seco n d ,   P ad d leOCR   p r o v id es  a  lig h t w ei g h t,  p r ac tical  p ip elin e  s u itab le  f o r   s m ar tp h o n e  d ep lo y m e n t,   s u p p o r tin g   m u ltip le  lan g u ag e s   an d   f lex ib le  cr o s s - p latf o r m   d ep lo y m e n t  [ 2 7 ] ,   [ 2 8 ] .   T h ir d ,   th is   s t u d y   f o cu s es  o n   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         I mp r o vin g   P a d d leOCR  o p tica l   ch a r a cter reco g n itio n   fo r   fo o d   co mp o s itio n   la b els  …   ( A h ma d   W a h yu   R o s ya d i )   1671   p o s t - OC R   co r r ec tio n ,   r eq u ir i n g   a  r eliab le  u p s tr ea m   c h ar ac ter - lev e l  en g i n e,   w h ile  L a y o u tLM   s er v e s   as  a   co m p le m e n tar y   m o d el  f o r   s p atial  an d   co n tex t u al  g u id an c e.   T o   v er if y   t h e  m o d el - a g n o s tic  n atu r e  o f   o u r   ap p r o ac h ,   th e  s a m e  p ip eli n e   w a s   also   ev al u ated   o n   T ess er ac t,  y ie ld in g   a  s tat is tical l y   s ig n i f ica n t  t h o u g h   s m al ler   C E R   r ed u ct i o n .   T h e  tex t  o u tp u t  g e n er ated   b y   P ad d leOC R ,   af ter   u n d er g o i n g   er r o r   co r r ec tio n   d u r in g   p o s t - p r o ce s s in g ,   is   p r ese n ted   as th e  f in a l s y s te m   o u tp u t.   I n   p ar allel,   L a y o u t L M  w as  ap p lied   to   ca p tu r e  b o th   tex t u al  a n d   s p atial  r elatio n s h ip s   w it h i n   th e  s a m e   i m a g e  r eg io n .   W h ile  P ad d le OC R   f o cu s e s   o n   ch ar ac ter   r ec o g n itio n ,   L a y o u t L M  en co d e s   la y o u t  a n d   v is u al   cu es,  allo w i n g   it  to   g e n er ate  s e m a n tical l y   m ea n in g f u l  tex t  r ep r esen tatio n s   th at  ar e  later   u s ed   to   g u id e  p o s t - p r o ce s s in g .   T h e  o u tp u t s   f r o m   b o th   m o d els  w er e  t h en   p ass ed   to   th e  n ex t  s ta g e  f o r   n o r m aliza tio n   an d   er r o r   co r r ec tio n .                   ( a)   ( b )   ( c)   ( d )     Fig u r e   3 .   Sa m p le  i m ag e s   ill u s t r atin g   f o u r   s u r f ac e  ca teg o r ies,  co n s is tin g   o f   ( a)   f lat,   ( b )   cu r v e d ,   ( c)   r ef lectiv e,   an d   ( d )   tex tu r ed       T ab le   1 .   B aselin e  C E R   co m p a r is o n   o f   P ad d leOCR   an d   L a y o u t L M  ac r o s s   s u r f ac e  ca te g o r ie s   S u r f a c e   t y p e   N u mb e r   o f   i m a g e s   M e a n   v a l u e   o f   C E R   B a se   P a d d l e O C R   B a se   L a y o u t L M   F l a t   1 9 8   0 . 0 8 8 5   0 . 3 0 6 9   C u r v e d   44   0 . 1 5 0 8   0 . 3 8 7 9   R e f l e c t i v e   24   0 . 2 1 1 3   0 . 7 0 0 3   T e x t u r e d   29   0 . 2 0 3 1   0 . 4 1 7 1   A v e r a g e   0 . 1 6 3 4   0 . 4 5 3 1       2 . 3 .     No rm a liza t io n  a nd   Sy mS pell - ba s e d sp ell ing   co rr ec t io n   B o th   OC R   o u tp u ts   u n d er w en t   a  n o r m a lizatio n   s ta g e  to   r e m o v e  ir r eg u lar   ch ar ac ter s   ( s u ch   as  ar ti f ac ts   in tr o d u ce d   b y   t h e  OC R   e n g i n e  [ 2 9 ] )   an d   co r r ec t  s p ac in g   i n co n s is ten cie s ,   p ar ticu lar l y   th o s e  th at  o cc u r   af ter   p u n ct u atio n   m ar k s   i m m ed iatel y   f o llo w ed   b y   letter s .   T h e  n o r m alize d   tex t  w as  th e n   s e g m e n ted   in to   in d iv id u al   to k en s .   E ac h   to k en   co n tai n i n g   alp h ab etic  c h ar ac ter s   w a s   v er if ied   ag ai n s t  t h e  S y m Sp e ll  g en er al  d ictio n ar y ,   an d   to k en s   n o t  f o u n d   w er e  co r r ec ted   u s in g   a  d o m ai n - s p ec if ic   lex ico n   o f   f o o d   an d   b ev er ag e  ter m s .   S y m Sp ell  i s   a  s p ell - c h ec k i n g   alg o r ith m   t h at  ex te n d s   P eter   No r v ig ’ s   ap p r o ac h   b ased   o n   B a y es ’   T h eo r em   [ 3 0 ] ,   [ 3 1 ] .   I t   o p er ate s   b y   lev er a g i n g   a  d ictio n ar y   o f   v alid   w o r d s   alo n g   w it h   th eir   f r eq u en cies.  W h e n   a  m i s s p elled   to k e n   is   e n co u n ter ed ,   th e  a lg o r it h m   ca lcu la tes  t h e  ed it  d is tan ce   b et w ee n   th e  to k en   an d   t h e   d ictio n ar y   e n tr ies,  t h e n   s ea r c h es  f o r   ca n d id ate  w o r d s   w it h   th e  s m a lles t  ed it   d is ta n ce .   I f   m u ltip le  ca n d id ates   ar e  id en tif ied ,   S y m Sp e ll select s   th e  w o r d   w i th   t h e  h ig h est  f r e q u en c y   a s   t h e  m o s t l ik el y   co r r ec tio n   [ 3 2 ] .    A   co r r ec tio n   is   ap p lied   w h e n   th e  s i m ilar it y   s co r e  b et w e en   th e  d etec ted   to k en   an d   its   ca n d id ate  r ep lace m e n t  is   g r ea ter   th an   o r   eq u al  to   0 . 7 5 .   Sy m Sp ell  w as  s elec ted   as  th e  co r e  S y m Sp ell   alg o r ith m   b ec a u s e  it  co m b i n es  co m p u tatio n al  ef f icien c y   w i th   r o b u s t  p er f o r m an ce   in   co n s tr ai n ed   v o ca b u lar y   d o m ai n s .   A lt h o u g h   p r io r   s tu d ies  ( e. g . ,   Ga s i m   [ 1 9 ] )   h av e  s h o w n   t h at  S y m Sp e ll ’ s   ac cu r ac y   d ec r ea s es  in   m o r p h o lo g icall y   r ic h   lan g u a g es,  t h i s   li m itatio n   is   m iti g ated   i n   t h e  f o o d   an d   b ev er ag e  d o m ain ,   w h er e  t h e  v o ca b u lar y   i s   r elativ e l y   f i x ed .   B y   lev er a g i n g   a  d o m ai n - s p ec if ic  lex ico n ,   S y m Sp ell  ef f ec t iv e l y   co r r ec ted   m i s s p ell ed   to k en s ,   r ed u cin g   s u b s t itu t io n   an d   d eletio n   er r o r s   w h ile  p r o d u ci n g   clea n er ,   m o r e  r ea d ab le  tex t f o r   s u b s eq u e n t   p r o ce s s in g .     2 . 4 .     L a y o utLM   ba s ed  co m p o un d w o rd  s pli t t ing   Af ter   s p ellin g   co r r ec tio n ,   th e  P ad d leOCR   o u tp u t  u n d er w e n t   a  c o m p o u n d   w o r d   s eg m en tat io n   s tag e   g u id ed   b y   b i g r a m   r e f er en ce s   d er iv ed   f r o m   L a y o u t L M.   I n   th i s   p ip elin e,   L a y o u t L M  w as  n o t   u s ed   as a   f u ll O C R   en g i n e,   b u t  r at h er   as  a  co n te x tu a l  b ig r a m   g u id e  th a t  p r o v id es  s e m a n tic  a n d   s p atial  cu e s   f o r   d etec tin g   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  24 ,   No .   5 ,  Octo b e r   20 26 :  1 6 6 8 - 1679   1672   s ep ar atin g   co n ca te n ated   w o r d s .   Fo r   ex a m p le,   a  m er g ed   to k en   s u ch   a s   “ A ir P en s tab il ”   w a s   s u cc e s s f u ll y   s eg m e n ted   in to   “ A ir ”   an d   “ P en s tab il. ”   T h is   s tag e  i s   es s en tial b ec au s e   w o r d   co n ca ten at io n   ca n   alter   th e  s e m a n tic  m ea n in g   o f   i n g r ed ien ts   a n d   m is lead   u s er s   in   i n ter p r etin g   n u tr itio n al  i n f o r m atio n .   B y   le v er ag in g   L a y o u t L M ’ s   tr an s f o r m er - b a s ed   e m b ed d in g s   w h ic h   j o in tl y   en co d e  tex tu al,   v i s u al,   an d   p o s itio n al  f ea t u r es,  t h e  s y s te m   w a s   ab le  to   d etec t   b o u n d ar y   i n co n s is te n cies   th a t   tr ad itio n al  te x t - o n l y   m eth o d s   o v er lo o k   [ 2 1 ] - [ 3 4 ] .   T h e  co m b in atio n   o f   le x ical   co r r ec tio n   f r o m   S y m Sp el l  an d   s tr u ct u r al  co r r ec tio n   f r o m   L a y o u t L M  p r o d u ce d   tex t  th a t  w a s   b o th   s y n tactica ll y   an d   s e m a n tica ll y   co h er en t.    T ec h n icall y ,   ea c h   b i g r a m     is   c o n s tr u cted   f r o m   a  p air   o f   co n s ec u ti v e  L a y o u t L M  to k en s   d r aw n   f r o m   an   o u tp u t  s eq u e n ce   o f   len g t h   n .   Fo r   ev er y   ad j ac en t  p air   ( , + 1 ) ,   a  b ig r a m   is   f o r m ed   b y   co n ca ten ati n g   th e   t w o   to k en s   a s   d ef i n ed   i n   ( 1 ) .   T h ese  b ig r a m s   ar e  t h e n   co m p ar ed   ag ain s t  ea c h   P ad d leOCR   to k en     f r o m   t h e   OC R   o u tp u t  s eq u e n ce   o f   le n g t h   m .   I f   t h e  b i g r a m   e x ac tl y   m a tch es  a  to k en ,   t h e  o r ig i n al  to k en   is   a u to m atica ll y   r ep lace d   w it h   t h e  b ig r a m - d er i v ed   s u g g es tio n   ̂   w h ich   in s er ts   a  s p ac e  b et w ee n     an d   + 1   as  d ef in ed   i n   ( 2 )   an d   o p er atio n alize d   th r o u g h   th e  r ep lace m en t  r u le  th at  p r o d u ce s   th e  co r r ec ted   t o k en   ∗   in   ( 3 ) .   T h e  f in al  co r r ec ted   tex t  s eq u en ce   ∗   is   o b t ain ed   b y   ap p l y i n g   th is   r ep lace m en t  r u le  ac r o s s   all  m   to k en s   as  f o r m alize d   in   ( 4 ) .   T h is   p r o ce s s   n o t  o n ly   r es o lv e s   co n ca te n atio n   er r o r s   b u t  also   en s u r e s   th at  all  n o n - alp h ab etic  ch ar ac ter s   s u c h   as  p u n ct u atio n ,   n u m er al s ,   an d   s y m b o l s   r e m ai n   p r ese r v ed   an d   p r o p er ly   i n teg r ated   in to   t h e  co r r ec ted   s eq u en ce ,   r es u lti n g   in   te x t t h at   is   s y n tactica ll y   co h er en t a n d   s e m an ticall y   m o r e  ac cu r ate.     =   | | + 1 , = 1 , 2 , … , − 1   ( 1 )     ̂ =   | | ”   “ | | + 1   ( 2 )     ∗ =   { ̂ ,    = ,  ℎ    ( 3 )     ∗ = { 1 ∗ , 2 ∗ , … , ∗ }   ( 4 )     T h e  o r ig in al  P ad d leOCR   to k en   is   r ep lace d   w it h   th e  r es u ltin g   p air ,   y ie ld in g   a  co r r ec t ed   to k en   s eq u en ce   t h at  r esto r es  m i s s i n g   w o r d   b o u n d ar ies.  T h i s   m ec h an i s m   e n ab les  t h e  s y s te m   to   r ec o v er   m er g ed   o r   tig h tl y   co n ca ten a ted   w o r d s .   T h e  o u tp u t  ex a m p le s   o f   ea ch   p r o ce s s in g   s ta g e  ( b aseli n e   OC R ,   s p elli n g   co r r ec tio n ,   w o r d   s eg m e n tat io n ,   an d   p o s t - OC R   r es u lts )   ar e  s u m m ar ized   in   T ab le  2 .       T ab le   2 .   E x am p le s   o f   OC R   o u tp u ts   ac r o s s   d i f f er e n t sta g es o f   th e  p o s t - p r o ce s s i n g   p ip elin e   B a se   O C R   C o r r e c t e d   mi sp e l l e d   S e g me n t e d   w o r d   P o st - O C R   k o mp o si s i : o l e san   k a c a n g   h a z e l d e n g a n   c o k e l a t   ( 8 1 . 6 8 %)  ( g u l a , l e mak n a b a t i , k a c a n g   h a z e l ( 1 3 %s u su   sk i m   b u b u k   ( 8 . 7 % k a k a 0 b u b u k ( 7 . 4 %, p e n g e mu l si l e si t i n ( k e d e l a i )   p e r i sa   si n t e t i k   v a n i l a ) , t e p u n g   t e r i g u   ( 1 6 . 3 4 %).rag i   r o t i ,   e k s t r a k   b a r l e y   mal t , _ g a r a m,   su s u   s k i m  b u b u k   p e n g e mu l si : l e si t i n   ( k e d e l a i ) ,   p r o t e i n   g a n d u m ,   p r o t e i n   w h e y . t o t a l   u n s u r   s u s u :   7 %. t a n p a   p e n g a w e t   d a n   p e w a r n a   k e d e l a → k e d e l a i   k o mp o si s i : o l e san   →   k o mp o si s i :   o l e san ,   h a z e l d e n g a n   →   h a z e l   d e n g a n ,   l e mak n a b a t i ,   →   l e mak   n a b a t i ,   p e n g e mu l si : l e si t i n   →   p e n g e mu l si :   l e si t i n ,   l e si t i n ( k e d e l a i   →   l e si t i n   ( k e d e l a i   k o mp o si s i :   o l e san   k a c a n g   h a z e l   d e n g a n   c o k e l a t   ( 8 1 . 6 8 %) (g u l a ,   l e mak   n a b a t i ,   k a c a n g   h a z e l ( 1 3 %su s u   s k i m  b u b u k   ( 8 . 7 % k a k a 0 b u b u k ( 7 . 4 %,   p e n g e mu l si l e si t i n   ( k e d e l a i )   p e r i sa   si n t e t i k   v a n i l a ) ,   t e p u n g   t e r i g u   ( 1 6 . 3 4 %).   r a g i   r o t i ,   e k s t r a k   b a r l e y   mal t ,   _ g a r a m,   su su   sk i m  b u b u k   p e n g e mu l si :   l e si t i n   ( k e d e l a i ) ,   p r o t e i n   g a n d u m,  p r o t e i n   w h e y .   t o t a l   u n s u r   su su :   7 %.   t a n p a   p e n g a w e t   d a n   p e w a r n a       2 . 5 .     E v a lua t i o n  us ing   CE R   T h e  tex t  g en er ated   af ter   p o s t - p r o ce s s i n g   is   m ea s u r ed   in   t er m s   o f   t h e  C E R ,   w h ich   m e asu r es  t h e  p r o p o r tio n   o f   m is r ec o g n ized   ch ar ac ter s   p r o d u ce d   b y   th e  O C R   m o d el  [ 3 5 ] - [ 3 7 ] .   T h e  C E R   o b tain ed   f r o m   th e   p o s t - p r o ce s s in g   r es u lts   i s   th e n   co m p ar ed   w i th   t h e  b aseli n e  C E R   o f   P ad d leOCR   to   d eter m in e  th e  e f f ec t  o f   t h e   p r o p o s ed   p o s t - p r o ce s s in g   s ta g e  o n   i m p r o v i n g   t h e  OC R   o u tp u t.       3.   RE SU L T S AN D  D I SCU SS I O N   T h is   p ar t  p r o v id es  th e  ex p er i m en tal  r esu lts   ac q u ir ed   f r o m   ev alu a tin g   t h e  p r o p o s ed   p o s t - p r o ce s s in g   m et h o d   o n   OC R   o u tp u t s   o f   f o o d   co m p o s itio n   lab els.  T h e  an al y s i s   ce n ter s   o n   C E R - b ased   ac cu r ac y   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         I mp r o vin g   P a d d leOCR  o p tica l   ch a r a cter reco g n itio n   fo r   fo o d   co mp o s itio n   la b els  …   ( A h ma d   W a h yu   R o s ya d i )   1673   m ea s u r e m e n t s   th at  co v er   s u b s tit u tio n s ,   in s er tio n s ,   a n d   d eletio n s   b y   co m p ar i n g   b aselin e  P ad d leOCR   r ec o g n itio n   w it h   o u tp u t s   p r o d u ce d   af ter   ap p l y i n g   t h e  S y m Sp ell  an d   L a y o u t L M  h y b r id   co r r ec tio n   p ip elin e.   E v alu a tio n s   w er e  also   co n d u c t ed   ac r o s s   f lat,   cu r v ed ,   r ef lecti v e,   an d   tex t u r ed   s u r f ac es  to   as s ess   t h e  r o b u s t n ess   o f   th e  m e t h o d   u n d er   d if f er en t  v i s u al  co n d itio n s .   T o   en s u r e  th e  r eliab ilit y   o f   th e   i m p r o v e m e n t,  ad d itio n a l  s tatis t ical  v alid atio n   u s in g   b o th   p ar a m etr ic  an d   n o n - p ar a m etr ic  test s   w as  p er f o r m ed .   T h e  f lex ib ili t y   o f   t h e   p r o p o s ed   ap p r o ac h   w a s   f u r th er   ex a m i n ed   b y   ap p l y i n g   th e  s a m e  p ip eli n e  to   T ess er ac t,  an d   its   p er f o r m a n c e   w a s   also   b en ch m ar k ed   a g ain s t  a  B E R T - b ased   m as k ed   lan g u ag e  m o d el  s p ell  co r r ec tio n   b aselin e.   Fi n all y ,   th e   co m p u tatio n al  co s t  an d   laten c y   o f   th e  h y b r id   p ip elin e  w er e  an al y ze d   to   ev al u ate  its   p r ac ticalit y   f o r   f o o d - lab e l   s ca n n i n g   ap p licatio n s .   T h e  tex t  d etec tio n   a n d   r ec o g n itio n   co m p o n e n t  o f   th is   s y s te m   ad o p ts   th e  s a m e  d esi g n   a s   GiziL e n s ,   u tili zi n g   P ad d leOCR   P P - OC R v 4   w it h   t h r ee   p r e - tr ai n ed   m o d els,  ea ch   s er v in g   a  s p ec if ic  f u n ctio n :   ( i )   en _ P P - OC R v 3 _ d et_ in f er ,   w h ic h   d ete cts  i m ag e  r e g io n s   co n ta in i n g   E n g l is h   te x t;  ( ii )   e n _ P P - OC R v 4 _ r ec _ in f er ,   w h ich   r ec o g n izes  a n d   co n v er ts   t h e  d etec ted   r eg io n s   i n to   d ig ital  tex t;  a n d   ( iii )   ch _ p p o cr _ m o b ile_ v 2 . 0 _ cls_ in f er ,   w h ic h   class i f ie s   tex t  i m a g es  t o   d if f er en tia te  b et w ee n   co n te n t  t y p es   s u ch   as  tit les,  tab les,  an d   p ar ag r ap h s   [ 1 0 ] .  B ef o r e  b ein g   p r ese n ted   to   t h e  u s er ,   t h e  d etec ted   tex t  i s   r ef i n ed   t h r o u g h   a  p o s t - p r o ce s s in g   s tag e   th a t  in co r p o r ates  Sy m Sp ell  a n d   L a y o u t L M  to   co r r ec t   er r o r s   an d   im p r o v e  ac cu r ac y .   T h e  tex t  r ec o g n itio n   p er f o r m a n ce   o f   P ad d leOCR   en h a n ce d   w i th   p o s t - p r o ce s s i n g   w a s   ev alu a ted   u s i n g   2 9 5   OC R   in p u t  i m a g es.  T h e  g r o u n d   tr u t h   d ata  w er e  ac q u ir ed   b y   cr o p p in g   t h e  co m p o s itio n   lab el  ar ea s   f r o m   p r o d u ct  p ac k a g i n g   a n d   m an u all y   tr a n s cr ib in g   t h e m   to   en s u r e  th e  r eliab ilit y   o f   t h e  r ef er en ce   d ataset.   Sev er al  s tag e s   w er e  ca r r ied   o u t  to   e v al u ate  t h e  p r o p o s ed   s y s te m .   First,  s ca n n ed   a n d   cr o p p ed   i m ag e s   o f   co m p o s itio n   lab els  f r o m   p r o d u ct  p ac k ag i n g   w er e  in p u t  i n to   th e  s y s te m .   T h ese  i m ag e s   w er e  s u b s eq u e n tl y   p r o ce s s ed   w it h   P ad d leOCR   t o   ex tr ac t  th e  co r r esp o n d in g   d ig ital  te x t,  w h ich   w a s   s to r e d   as  th e  r a w   OC R   o u tp u t.  Su b s eq u en tl y ,   t h e  ex tr ac ted   tex t  w as  r ef in ed   th r o u g h   a  p o s t - p r o ce s s in g   s ta g e  u s i n g   th e  S y m Sp el l  an d   L a y o u t L M - b ased   al g o r ith m ,   a n d   th e   r es u lts   w er e  s to r ed   as  t h e  f i n al  p o s t - p r o ce s s ed   o u tp u t .   Fin al l y ,   th e   p o s t - p r o ce s s ed   tex t  w a s   ev al u ated   a g ain s t t h e  g r o u n d   tr u t h   u s i n g   t h e  C E R   m etr ic  to   as s ess   r ec o g n itio n   ac c u r ac y .     3 . 1 .     P er f o rm a nce   T ab le   3   p r esen ts   th e  ef f ec t  o f   S y m Sp ell ’ s   s i m ilar i t y   th r e s h o l d   o n   c o r r ec tio n   p e r f o r m a n ce ,   ev alu a ted   u s i n g   th e  C E R   m etr ic  an d   its   d etailed   er r o r   c o m p o n e n t s :  s u b s tit u tio n s ,   in s er tio n s ,   a n d   d eletio n s .   T h e  s i m ilar it y   t h r es h o ld   in   S y m S p ell  is   a  cr itical  p ar am et er   th at  d eter m i n es  w h eth er   a  s u g g ested   co r r ec tio n   is   ac ce p ted   o r   r e j ec ted .   A   lo w er   th r esh o ld   allo w s   f o r   m o r e  co r r ec tio n s   to   b e  ap p lied   b u t  also   in cr ea s es  th e  r i s k   o f   in tr o d u cin g   in ap p r o p r iate  s u b s tit u tio n s .   C o n v er s el y ,   a  h ig h er   th r esh o ld   ap p lies   co r r ec ti o n s   m o r e  s elec ti v el y ,   w h ic h   ca n   r ed u ce   th e  n u m b er   o f   v alid   co r r ec tio n s   ca p tu r ed .   T h er ef o r e,   d eter m i n in g   t h e  o p ti m al   th r es h o ld   is   cr u cial  to   b alan ce   ac cu r ac y   a n d   r eliab ilit y   i n   p o s t - p r o ce s s i n g .       T ab le   3 .   E f f ec t o f   S y m Sp e ll si m ilar it y   t h r esh o ld s   o n   O C R   te x t c o r r ec tio n   p er f o r m an ce   ac r o s s   C E R ,   s u b s t itu t io n s ,   i n s er tio n s ,   a n d   d eletio n s   T h r e sh o l d   o f   S y mS p e l l   s i mi l a r i t y   M e a n   v a l u e   o f   C ER         0 . 2 5   0 . 1 1 0 3   3 . 8 7 8   1 . 3 6 9 5   2 6 . 0 2 3 7   0 . 5 0   0 . 1 0 8 2   3 . 4 5 7 6   1 . 3 6 2 7   2 5 . 7 8 6 4   0 . 7 5   0 . 0 9 9 1   3 . 5 3 2 2   1 . 3 2 5 4   2 2 . 8 5 0 8       A t  a  th r e s h o ld   o f   0 . 2 5 ,   th e  s y s te m   p r o d u ce d   a  C E R   o f   0 . 1 1 0 3   w ith   er r o r s   p r ed o m in a n tl y   i n   th e  f o r m   o f   d eletio n s   ( an   av er ag e  o f   2 6 . 0 2 3 7   ch ar ac ter s   p er   d o cu m en t) .   A   lo w   th r e s h o ld   m a k es  S y m Sp el l  less   s elec ti v e,   as  it  ac ce p ts   an d   a p p lies   co r r ec tio n s   ev en   w h en   t h e  s i m ilar it y   s co r e  is   v er y   lo w   ( e. g . ,   0 . 3 ) .   A s   a  r esu lt,  m a n y   to k en s   th at  ar e   alr ea d y   co r r ec t  o r   o n ly   s lig h tl y   m i s s p elled   ar e  u n n ec ess ar il y   r ep lace d   w i t h   ir r elev an t   o r   in co r r ec t  w o r d s ,   lead in g   to   er r o n eo u s   s u b s ti tu tio n s   o r   t h e  r e m o v al  o f   i m p o r ta n t  c h ar ac t er   s eq u en ce s   as  s h o w n   i n   T ab le   4 .   Su ch   co r r ec tio n s   n o t  o n l y   f ail  to   im p r o v e  th e  tex t  b u t  m a y   also   d eg r ad e  o v er all  ac cu r ac y ,   as  r ef lecte d   in   th e  r elativ e l y   h i g h   C E R   an d   th e  lar g e  n u m b er   o f   d eletio n s   o b s er v ed   at  th is   th r es h o ld .   W h en   t h e  t h r es h o ld   is   i n cr ea s e d   to   0 . 5 0 ,   th e  C E R   d ec r ea s es  s l ig h tl y   to   0 . 1 0 8 2 .   A t  th is   v al u e ,   S y m Sp ell  b ec o m es  m o r e  ca u tio u s   i n   ac ce p ti n g   co r r ec tio n   s u g g e s tio n s   b ec au s e  o n l y   co r r ec tio n s   w it h   a  m o d er ate  to   h i g h   s i m ilar it y   a r e  ap p lied .   T h is   h elp s   r ed u ce   in co r r ec t  co r r ec tio n s ,   alth o u g h   th e  OC R   er r o r   co r r ec tio n   is   n o t f u ll y   o p ti m iz ed   as sh o w n   i n   T ab le  4 .   A   t h r es h o ld   o f   0 . 7 5   p e r f o r m e d   b est,  w it h   th e  lo w es t  C E R   o f   0 . 0 9 9 1   an d   a  s ig n if ican t  d ec r ea s e  in   th e   av er ag e  d eletio n   r ate  to   2 2 . 8 5 0 8   ch ar ac ter s .   A t  t h is   le v el,   S y m S p ell  b ec o m es  m o r e  s elec t i v e,   ac ce p tin g   o n l y   co r r ec tio n   s u g g esti o n s   w it h   v er y   h ig h   s i m ilar it y .   A lt h o u g h   th e  n u m b er   o f   s u b s t itu tio n s   in cr ea s ed   s li g h t l y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  24 ,   No .   5 ,  Octo b e r   20 26 :  1 6 6 8 - 1679   1674   co m p ar ed   to   th e  0 . 5 0   th r es h o l d ,   th is   i s   li k el y   b ec a u s e  t h e  co r r ec tio n s   ap p lied   w er e  tr u l y   r e lev an t a n d   ac c u r ate.   T h e  d ec r ea s e  in   d e letio n s   in d icate s   th at  p r ev io u s l y   d elete d   o r   u n r ec o g n ized   w o r d s   ar e  n o w   b ei n g   m o r e   s u cc e s s f u ll y   co r r ec ted   o r   r etai n ed .   Ov er all,   th e  f i n d in g s   u n d er s c o r e  th e  cr itical  r o le  o f   ch o o s i n g   an   ap p r o p r iate  s im ilar i t y   t h r es h o ld   to   m ax i m ize  t h e  ef f ec ti v e n es s   o f   S y m Sp ell.   A  th r e s h o ld   s et   to o   lo w   lead s   to   o v er l y   a g g r ess i v e  co r r ec tio n s   t h a t   o f ten   i n tr o d u ce   er r o r s ,   w h er e as  a  th r esh o ld   s et  to o   h ig h   m a y   o v er lo o k   v a lid   co r r ec tio n s .   I n   th i s   s tu d y ,   a  th r es h o ld   o f   0 . 7 5   ac h iev ed   th e  b est  b alan ce   b et w ee n   co r r ec tio n   ca p ab ilit y   an d   tex t  ac cu r ac y ,   as  in d icate d   b y   th e  lo w e s t  C E R   a m o n g   t h e  ev alu a ted   s ettin g s .   T h ese  r esu l ts   ar e  co n s is te n t  w it h   p r io r   O C R   p o s t - p r o ce s s in g   s tu d ie s .   B j e r r in g - Ha n s en   et  a l .  [ 1 7 ]   r ep o r te d   u p   t o   7 3 %  w o r d   ac cu r ac y   i m p r o v e m en t  u s in g   S y m Sp ell  w it h   co n tex t - a w ar e  m o d if ica tio n s   o n   h i s to r ical  te x ts .   Had   et  a l .  [ 2 0 ]   ac h iev ed   a  2 1 . 4 %  ac cu r ac y   i n cr ea s e   o n   p ass p o r t  d ata,   w h ile  A u n g   et  a l .  [ 1 8 ]   re p o r te d   a  0 . 6 6 %  w o r d   er r o r   r ate  r ed u ctio n   in   M y an m ar   O C R .   T h ese   f i n d in g s   co n f ir m   t h at  S y m S p ell  p r o v id es  an   ef f icie n t  an d   ef f ec t iv e  s o l u tio n   f o r   lex ical  co r r ec tio n   in   co n s tr ain ed   v o ca b u lar y   d o m a in s   s u c h   as  f o o d   lab els,  p ar ticu lar l y   w h e n   co m b i n ed   w it h   a  d o m ai n - s p ec i f ic   lex ico n   a s   also   e m p lo y ed   b y   S an to s   et  a l .  [ 1 5 ] .   Fu r t h er m o r e,   in te g r atin g   L a y o u tLM   in to   th e  p o s t - p r o ce s s i n g   s tag e  i m p r o v ed   OC R   p er f o r m a n ce   b y   d etec tin g   an d   s ep ar atin g   co n ca ten ated   w o r d s   ca u s ed   b y   s eg m e n tatio n   er r o r s   in   P ad d leOC R .   T h e  C E R   d ec r ea s ed   f r o m   0 . 1 0 0 9   w it h   S y m S p ell  alo n e  to   0 . 0 9 9 1   w it h   th e  co m b in ed   m et h o d ,   co n f ir m i n g   L a y o u t L M ’ s  co m p le m e n tar y   r o le  in   en h a n c in g   s e g m en tatio n .   T h is   alig n s   w it h   r ec en t  m u lti m o d al  d o cu m en t  u n d er s ta n d i n g   s tu d ie s   w h ich   d e m o n s tr ate  t h a t L a y o u t L M ’ s   j o in t le ar n i n g   o f   te x tu a l a n d   s p atial  f ea tu r es   e f f ec tiv e l y   ad d r ess e s   co n ca ten atio n   er r o r s   th at  d ict io n ar y - b ased   m et h o d s   alo n e  ca n n o t  r eso l v e  [ 2 1 ] ,   [ 2 2 ] .   Ho w e v er ,   as  n o ted   b y   L a m o tt  et  a l.   [ 3 3 ] ,   la y o u t - a war e  m o d el  p er f o r m a n ce   r e m ai n s   h i g h l y   d ep en d en t   o n   i m a g e  q u alit y .   O n   n o is y   lab els  ( cu r v ed ,   r e f lecti v e,   an d   tex t u r ed   s u r f ac es),   L a y o u t L M  d etec ts   f ar   f e w er   v alid   te x t   r eg io n s ,   li m iti n g   it s   s eg m e n tatio n   co n tr ib u tio n .   N ev er th ele s s ,   e v en   s m all  C E R   r ed u ctio n s   p ar tic u lar l y   t h o s e   in v o lv i n g   cr itical   ch ar ac ter s   ca n   m ea n i n g f u ll y   r ed u ce   th e  lik e lih o o d   o f   m i s in t er p r etatio n   in   f o o d   s af et y   a n d   aller g en   co n te x ts .   Fu t u r e  i m p r o v e m e n ts   m a y   b e  ac h iev ed   t h r o u g h   e n h a n ce d   p r e - p r o ce s s in g   s u ch   a s   g eo m etr ic  r ec ti f icatio n ,   co n tr ast en h a n ce m e n t,  a n d   f i n e - t u n i n g   L a y o u t L M  o n   d o m ai n - s p ec if ic  f o o d - lab el  d ata.   T h is   i m p r o v e m e n t  ca n   b e  attr ib u ted   to   th e  co m p le m en tar y   r o les  o f   t h e  t w o   m et h o d s .   S y m Sp el l   p er f o r m s   S y m Sp ell  b y   r el y in g   o n   th e  p r o x i m it y   o f   to k en s   to   d ictio n ar y   en tr ies,  b u t  it  ca n n o t  id en ti f y   ca s e s   w h er e  t w o   w o r d s   ar e  i n co r r ec tl y   m er g ed   i n to   a  s i n g le   u n it.  I n   co n tr ast,   L a y o u tLM   le v er ag es  s p atial  co n tex t   an d   to k en   d is tr ib u tio n   to   d et ec t  w o r d   b o u n d ar ies  m o r e  ef f ec tiv e l y .   B y   co m b in in g   th e s e  ap p r o ac h es,  th e   s y s te m   ca n   r ed u ce   er r o r s   at  b o th   th e  s p elli n g   an d   w o r d   s eg m en tatio n   le v els,  r es u lti n g   in   tex t  o u tp u ts   t h at  ar e  m o r e  ac c u r ate,   r ea d ab le,   an d   i n f o r m ati v e  f o r   en d   u s er s .       T ab le   4 .   E x am p le s   o f   OC R   to k en   co r r ec tio n s   p r o d u ce d   b y   S y m S p ell  at  a  s i m ilar it y   t h r esh o ld   o f   0 . 2 5 ,   0 . 5 ,   an d   0 . 7 5   P a d d l e O C R   r e su l t s   T o k e n s re p a i r e d   b y   S y mS p e l l   = 0 . 25   T o k e n s re p a i r e d   b y   S y mS p e l l   = 0 . 5   T o k e n s re p a i r e d   b y   S y mS p e l l   = 0 . 75   K o mp o si si : Te p u n g   T e r i g u ,  G u l a ,   M i n y a k   N a b a t i ,   C o k e l a t   B u b u k   ( 5 . 9 7 9 %, )   S u s u B u b u k   4 . 9 5 0 %   G l u k o sa,   Ek st r a k M a l t , G a r a m,  P e n g e mb a n g   ( A mo n i u m   B i k a r b o n a t ,   d a n   N a t r i u m   B i k a r b o n a t ) , P e n g e mu l si   N a b a t i   ( L c si t i n   K e d c l a i ,   M o n o   d a n   D i g l i se r i d a   A sam  L e mak ) ,   P e r i sa  S i n t e t i k   ( C o k e l a t , S u su )   S u su b u b u k   →   b u b u k ,     e k st r a k mal t   →   e k s t r a k ,     l c si t i n   →   l e si t i n ,     k e d c l a i   →   k e d e l a i ,     r o n a n   →   d e n g a n ,     i e   →   d e ,     se a m  →   c r e a m,    c o t a   →   t o t a l ,     a r a t e   →   a n a t o ,     p e n t e l   →   me n t e g a ,     n e d   →   me d e ,     r c m  →   k r i m,    r se t   →   se e ,     c l d   →   b o l d ,   S u su b u b u k   →   b u b u k ,     e k st r a k mal t   →   e k s t r a k ,     l c si t i n   →   l e si t i n ,     k e d c l a i   →   k e d e l a i   l c si t i n   →   l e si t i n ,     k e d c l a i   →   k e d e l a i       T o   f u r th er   v alid ate  t h ese  i m p r o v e m e n ts ,   t h e  p o s t - p r o ce s s i n g   r esu lts   s h o w ed   a  clea r   an d   s t atis ticall y   s ig n i f ica n t  r ed u ctio n   i n   Δ C E R   as  s h o w n   in   T ab le  5 .   B o th   p ar a m etr ic  an d   n o n - p ar a m etr ic  t ests   co n f ir m ed   t h at  th is   i m p r o v e m e n t  w a s   n o t  d u e  to   r an d o m   v ar iat io n .   T h e   co n f id e n ce   i n ter v a l  ( C I )   ar o u n d   t h e  es ti m a ted   r ed u ctio n   w as  al s o   n ar r o w ,   i n d icatin g   th at  t h e  i m p r o v e m en t   is   co n s i s te n t  an d   t h at  t h e  tr u e  ef f ec t  is   u n lik e l y   t o   d if f er   m u ch   f r o m   t h e  v alu e   o b s er v ed   i n   t h is   s t u d y .   F u r t h er m o r e,   th e  en h an ce m e n t  r e m ai n e d   s ig n i f ica n t  ac r o s s   all  s u r f ac e  ca te g o r ies  in cl u d in g   f lat,   cu r v ed ,   r ef lectiv e,   an d   tex t u r ed   lab els,  ev en   af ter   ap p ly in g   a  co r r ec tio n   f o r   m u ltip le  s tatis t ica l c o m p ar is o n s ,   i n d icati n g   th at  th e  i m p r o v e m e n t i s   g e n u in e  a n d   n o t a   r esu lt o f   ch a n ce   d u e   to   th e  n u m b er   o f   te s ts   p er f o r m ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         I mp r o vin g   P a d d leOCR  o p tica l   ch a r a cter reco g n itio n   fo r   fo o d   co mp o s itio n   la b els  …   ( A h ma d   W a h yu   R o s ya d i )   1675   Af ter   v alid ati n g   th e  i m p r o v e m en ts   o n   P ad d leOCR ,   w e  ap p lied   th e  s a m e  p ip elin e  to   T ess er ac t  to   ex a m in e  i ts   g en er aliza b ili t y .   T h e  p ip eli n e  p r o d u ce d   a  m ea s u r ab le  C E R   r ed u ctio n   o n   T e s s er ac t,  co n f ir m i n g   m o d el - a g n o s tic  co m p atib ilit y   th o u g h   t h e  i m p r o v e m e n t  was  m o d est  co m p ar ed   to   P a d d leOCR   w h er e  th e   r ed u ctio n   w as  s u b s ta n tiall y   l ar g er .   T h is   s u g g est s   th at  t h e  ap p r o ac h   is   m o r e  ef f ec ti v e  w h en   t h e  u n d er l y i n g   OC R   e n g i n e  p r o v id es  r eliab le  ch ar ac ter - lev e l  p r ed ictio n s .   Ou r   p ip elin e  ac h iev ed   an   av er a g e  C E R   o f   0 . 0 9 9 1 ,   r ep r esen tin g   a  3 9 %  r elativ e  im p r o v e m e n t  o v er   th e  P ad d leOCR   b aseli n e  o f   0 . 1 6 3 4 .   Fo r   co n tex t,  Had   et  a l .  [ 2 0 ]   ac h iev ed   a  2 1 . 4 %  ac cu r ac y   i n cr ea s e  u s i n g   S y m S p ell  alo n e,   w h i le  Au n g   et  a l .   r ep o r ted   a  0 . 6 6 %  w o r d   er r o r   r ate  r e d u c tio n   [ 1 8 ] .   Hem m er   et  a l .  [ 1 2 ]   also   n o ted   th at  p o s t - OC R   d en o i s in g   co m p lex it y   v ar ie s   ac r o s s   d o cu m en t t y p es,  s u p p o r tin g   o u r   h y b r id   lex ical - s tr u ctu r al  ap p r o ac h .   I n   ad d itio n ,   w e  co m p ar ed   th e  p r o p o s ed   m eth o d   w ith   a  B E R T - b ased   s p ell - co r r ec tio n   b aselin e  a s   s h o w n   i n   T ab le   6 .   A lt h o u g h   w id el y   u s ed   f o r   g en er al  te x t  clea n i n g ,   th e  B E R T - b ased   ap p r o ac h   f r eq u en tl y   in tr o d u ce d   in ap p r o p r iate  s u b s titu tio n s   s u c h   as   r ep lacin g   co r r ec t  ter m s   w i th   w o r d s   f r o m   a n   u n r elate d   d o m ai n   w h ic h   in cr ea s ed   C E R   ac r o s s   all  ca teg o r ies.  T h is   f ail u r e  r ef lects  a  cr itical  ch alle n g e  i n   O C R   p o s t - p r o ce s s in g   w h er e  g en er al - p u r p o s e  la n g u a g e  m o d el s   o f ten   lack   d o m ai n   a w ar e n ess .   Xu   et  a l .  [ 2 6 ]   n o t ed   th at  p u r el y   tex t - b ased   co r r ec tio n   m et h o d s   f r eq u en t l y   f ail  i n   v is u all y   r ich   d o c u m e n t s ,   w h ile  d e  A r a ú j o   et  a l .  [ 1 6 ]   s h o w ed   t h at   b y te - le v el  la n g u a g e  m o d els  ca n   in tr o d u ce   er r o r s   w ith o u t  d o m a in - s p ec i f ic  co n s tr ain t s .   I n   co n tr ast,  o u r   h y b r id   ap p r o ac h   o v er co m e s   t h is   li m itatio n   b y   co m b i n i n g   d ictio n ar y - b ased   le x ical   co r r ec tio n   w it h   la y o ut - a w ar e  s eg m e n tatio n ,   e n s u r in g   co r r ec tio n s   t h at  ar e  b o th   lex icall y   v alid   an d   s e m a n ticall y   co h er e n t  w it h i n   t h e  f o o d - lab el  d o m ai n .       T ab le   5 .   C o m p ar is o n   o f   p o s t - OC R   i m p r o v e m en ts   o n   P ad d leOCR   a n d   T ess er ac t   O C R   e n g i n e   M e a n   ΔC ER   9 5 %  C I   o f   ΔC ER   P a i r e d   t - t e st   W i l c o x o n   si g n e d - r a n k   Ef f e c t   s i z e   ( C o h e n ’ s  d z )   S i g n i f i c a n c e   a c r o ss i m a g e   t y p e s  ( H o l m – B o n f e r r o n i )   P a d d l e O C R   − 0 . 0 1 9 9 4 4   [ − 0 . 0 2 1 5 9 8 ,   − 0 . 0 1 8 2 9 1 ]   ( 295 ) = − 23 . 7338 ,  = 2 . 21 × 10⁻ ⁷⁰   = 348 ,   = 3 . 27 × 10⁻ ⁴⁵   − 1 . 3 7 9 5   ( l a r g e )   S i g n i f i c a n t   a c r o ss a l l   t y p e s   T e ss e r a c t   − 0 . 0 0 3 7 1 6   [ − 0 . 0 0 4 4 8 0 ,   − 0 . 0 0 2 9 5 1 ]   ( 293 ) = − 9 . 5652 ,  = 4 . 84 × 10⁻ ¹⁹   = 684 ,   = 5 . 86 × 10⁻ ²⁰   − 0 . 5 5 7 9   ( me d i u m)   S i g n i f i c a n t   a c r o ss a l l   t y p e s       T ab le   6 .   C o m p ar ativ e  p er f o r m an ce   o f   t h e  B E R T - b ased   s p ell  co r r ec to r   an d   th e  p r o p o s ed   h y b r id   p o s t - O C R   p ip elin e   M e t h o d   A v g   ΔC ER   ( p o st   −   b a se )   F a i l u r e   m o d e s   L a t e n c y   N o t e s   B ER T - b a se d   s p e l l   c o r r e c t o r   ( M L M )   ΔC ER   ≈   + 0 . 0 1 2   ( C ER   i n c r e a se s)   R e p l a c e s c o r r e c t   w o r d s w i t h   u n r e l a t e d   t o k e n s (e . g . ,   me n g a n d u n g   →  t e r g a n t u n g ,   e k st r a k   →  e k st r i m ,   t o t a l   →   t o l a k )   N o t   d o ma i n - a w a r e   A p p l i e s su b s t i t u t i o n s e v e n   w i t h   v e r y   l o w   p r e d i c t i o n   p r o b a b i l i t i e s   ≈ 6 – 9   se c o n d s  p e r   l a b e l   D e g r a d e s OCR   o u t p u t ;   o v e r l y   a g g r e ssi v e ;   u n s u i t a b l e   f o r   n u t r i t i o n a l - l a b e l   t e x t .   S t a b l e   i n   e x e c u t i o n   b u t   sy st e mat i c a l l y   i n c o r r e c t .   P r o p o se d   h y b r i d   me t h o d   ( S y mS p e l l   +   L a y o u t L M )   ΔC ER   ≈   − 0 . 0 1 9 9   ( C ER   si g n i f i c a n t l y   d e c r e a se s)   L i mi t e d   g a i n s o n   se v e r e l y   d i st o r t e d   l a b e l s  ( c u r v e d   +   r e f l e c t i v e   su r f a c e s)     C a n n o t   f i x   t e x t   t h a t   P a d d l e O C R   f a i l s  t o   d e t e c t   ≈   0 . 3   se c o n d s  p e r   l a b e l   S t a b l e ,   d o mai n - r o b u st ,   a n d   se man t i c a l l y   safe ;   p e r f o r ms  l o c a l i z e d   c o r r e c t i o n s  w i t h o u t   a l t e r i n g   me a n i n g ;   c o n si s t e n t l y   i mp r o v e s OCR   a c r o ss a l l   c a t e g o r i e s.       I n   s u m m ar y ,   th e  co m b i n ed   S y m Sp ell – L a y o u t L M   m et h o d   i m p r o v es  b o th   s p ellin g   ac c u r ac y   an d   w o r d   s eg m e n tatio n   b y   ad d r ess i n g   ch ar ac ter - le v el  er r o r s   an d   d etec tin g   m er g ed   to k en s .   I ts   o v er all  ef f ec t iv e n es s ,   h o w ev er ,   r e m ai n s   co n s tr ai n ed   b y   th e  q u alit y   o f   th e  in i tial  OC R   o u tp u ts ,   p ar ticu lar l y   o n   v is u a ll y   co m p le x   lab els  w h er e  s e v er e  d is to r tio n s   li m it  r ec o v er ab le  te x t.  D esp ite  t h ese  l i m itatio n s ,   t h e  p o s t - OC R   p ip eli n e   co n s is ten tl y   e n h a n ce s   r ec o g n it io n   ac cu r ac y   a n d   p r o v id es a   m o r e  r eliab le  b asis   f o r   d o w n s tr e a m   an al y s is .     3 . 2 .     Dis cus s io n   T h e  ev alu atio n   r es u lt s   in d icat e  th at  th e  S y m S p ell  alg o r it h m ,   co m b in ed   w it h   b ig r a m   r e f er en ce s   f r o m   L a y o u t L M,   s u cc e s s f u ll y   r ed u ce s   th e  C E R   ac r o s s   all  i m ag e   ca teg o r ies  as  s h o w n   in   T ab le   7 .   T h is   alig n s   w it h   p r io r   OC R   co r r ec tio n   s t u d ies  w h ic h   d e m o n s tr ated   t h at  c h ar ac ter - lev e l  er r o r s   ar e   m o s t   ef f ec tiv el y   co r r ec ted   w h e n   th e  b aselin e  O C R   o u tp u t  h as  a  r elativ el y   lo w   in i tial  er r o r   r ate,   an d   th at  p ac k ag in g   d is to r tio n s   o f te n   lead   to   r ec o g n itio n   er r o r s   an d   w o r d   co n ca ten atio n   [ 1 1 ] ,   [ 1 2 ] ,   [ 3 5 ] .   T h e  C E R   d ec r ea s ed   f r o m   0 . 0 8 8 5   to   0 . 0 6 5 9   f o r   f lat  s u r f ac e s   ac co m p an ied   b y   f e w er   s u b s ti tu t io n s   a n d   a  m ar k ed   d ec r ea s e  in   d eletio n s .   A lt h o u g h   in s er tio n s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  24 ,   No .   5 ,  Octo b e r   20 26 :  1 6 6 8 - 1679   1676   in cr ea s ed   s l ig h tl y   d u e  to   o v er - s eg m e n tatio n ,   th e  o v er all  er r o r   r ate  d ec lin ed .   T h is   s u p er io r   p er f o r m a n ce   o n   f lat   s u r f ac es  is   co n s is ten t  w i th   o b s er v atio n s   b y   R o s y ad i  et  a l .   [ 1 0 ] ,   w h o   n o ted   th at  P ad d leOCR   ac h ie v es  its   h ig h e s t  ac cu r ac y   o n   f lat  p ac k a g in g   w h er e  m in i m al  d i s to r tio n   o cc u r s ,   an d   is   al s o   s u p p o r ted   b y   d e  L i m a  an d   d a   Sil v a  w h o   d e m o n s tr ated   th a t  i m a g e  p r ep r o ce s s in g   tech n iq u es  s i g n i f ican tl y   i m p r o v e  OC R   ac c u r ac y   b y   r ed u cin g   v is u al  n o i s e  [ 1 3 ] .   T h e  s tab le  v is u al  ch ar ac ter is tic s   o f   f lat  s u r f ac es  e n ab le  h ig h er   in itial  ac cu r ac y ,   p r o v id in g   a n   ad v a n ta g e  f o r   p o s t - p r o ce s s i n g   w h er e  S y m Sp e ll   co r r ec ts   s p ellin g   er r o r s   b ased   o n   w o r d   s i m i lar it y   an d   L a y o u tLM   as s is t s   i n   s ep ar atin g   co n ca ten ated   w o r d s ,   r esu l tin g   i n   m o r e  co n s is t en t  i m p r o v e m en t s   co m p ar ed   to   ca teg o r ies  w it h   g r ea ter   v is u a l c o m p lex i t y .       T ab le   7 .   C o m p ar ativ e  p er f o r m an ce   o f   P ad d leOCR   b aseli n e  a n d   p o s t - O C R   C o r r ec tio n   ac r o s s   i m a g e  t y p e s   S u r f a c e   t y p e   N u mb e r   o f   i mag e s   M e a n   v a l u e   o f   C ER   S u b s t i t u t i o n s   I n se r t i o n s   D e l e t i o n s   B a se   P o st - O C R   B a se   P o st - O C R   B a se   P o st - O C R   B a se   P o st - O C R   F l a t   1 9 8   0 . 0 8 8 5   0 . 0 6 5 9   4 . 0 1 5 2   3 . 4 0 4 0   1 . 4 2 9 3   1 . 6 9 7 0   1 8 . 6 9 1 9   1 3 . 0 4 5 5   C u r v e d   44   0 . 1 5 0 8   0 . 1 3 5 0   6 . 0 2 2 7   5 . 1 8 1 8   0 . 4 0 9 1   0 . 6 5 9 1   5 2 . 8 1 8 2   4 6 . 7 7 2 7   R e f l e c t i v e   24   0 . 2 1 1 3   0 . 1 9 8 6   2 . 8 7 5 0   2 . 5 4 1 7   0 . 7 0 8 3   0 . 6 2 5 0   4 3 . 9 1 6 7   4 1 . 7 5 0 0   T e x t u r e d   29   0 . 2 0 3 1   0 . 1 8 9 1   3 . 3 4 4 8   2 . 7 2 4 1   0 . 3 4 4 8   0 . 3 7 9 3   4 0 . 2 4 1 4   3 7 . 8 6 2 1   A v e r a g e   0 . 1 6 3 4   0 . 1 4 7 2   4 . 0 6 4 4   3 . 4 6 2 9   0 . 7 2 2 9   0 . 8 4 0 1   3 8 . 9 1 7 1   3 4 . 8 5 7 6       I n   th e  c u r v ed   ca teg o r y ,   th e  C E R   d ec r ea s ed   f r o m   0 . 1 5 0 8   to   0 . 1 3 5 0   af ter   p o s t - p r o ce s s in g   th o u g h   th e   i m p r o v e m en t   w as  s m aller   t h a n   i n   t h e  f lat  ca te g o r y .   T h e  p o s t - OC R   s ta g e  e f f ec ti v el y   co r r ec ted   m is s p elli n g s   an d   s ep ar ated   co n ca te n ated   wo r d s   s u c h   as   “ le m ak n ab ati ”   a n d   “ pe n g e m u l s i:le s iti n . ”   H o w e v e r ,   d e l e ti o n   e r r o r s   r em ai n e d   r e l a tiv e ly   h ig h   d u e   t o   c h a r a c t e r   l o s s   f r o m   n o n - u n i f o r m   ch a r ac t e r   s c a lin g   w h e r e  c h a r ac t e r s   a p p e a r   l a r g e r   in   th e   c en t e r   an d   s m a ll er   n e a r   t h e   e d g es .   T h i s   ch a ll en g e   c o n s is t en t   w i th   H em m e r   e t  a l .   [ 1 2 ]   w h o   n o t e d   t h at   OC R   a c cu r a cy   d e c r ea s es   s i g n if i c an t ly   o n   n o n - p l an a r   s u r f a c e s .   T h is   lim i ta t i o n   is   a ls o   s u p p o r t e d   b y   Xu   e t  a l .   [2 6]   w h o   o b s er v ed   th at  p u r el y   tex t - b ased   co r r ec tio n   m et h o d s   f r eq u e n tl y   f ail  i n   v is u a ll y   r ich   d o cu m en t s .   A p p l y in g   ad v a n ce d   p r ep r o ce s s in g   tec h n iq u es  s u c h   a s   p er s p ec tiv e  co r r ec tio n   as  s u g g ested   b y   r ec e n t  s tu d ie s ,   co u ld   r ed u ce   th ese  d is to r tio n s   an d   i m p r o v e  r e co g n itio n   ac c u r ac y   b ef o r e  th e  p o s t - p r o ce s s in g   s tag e  [ 1 3 ] .   Fo r   r ef lectiv e  s u r f ac es,  t h e  C E R   d ec r ea s ed   f r o m   0 . 2 1 1 3   t o   0 . 1 9 8 6   w h ile  f o r   tex t u r ed   s u r f ac es  i t   d ec r ea s ed   f r o m   0 . 2 0 3 1   to   0 . 1 8 9 1 ,   d em o n s tr ati n g   t h at  p o s t - p r o ce s s in g   i m p r o v es  ac c u r ac y   e v en   u n d er   co m p le x   v is u al  co n d itio n s .   Ho w e v er ,   th e  ch alle n g es  o n   th e s e  s u r f ac es  h ig h li g h t  th e  i n h er e n t  l i m itat io n s   o f   O C R   en g i n e s   in   h an d li n g   ex tr e m e  v is u al  co n d itio n s   as  n o ted   b y   R o s y ad i  et  a l .   r eg ar d in g   co n tr ast  g r ad ien ts   o n  r ef lecti v e  s u r f ac es  [ 1 0 ]   an d   d e  Oliv eir a  et  a l .  [ 1 1 ]   r eg ar d in g   v i s u al  n o is e  f r o m   b ac k g r o u n d   tex t u r es.  T h ese  f i n d in g s   s u g g est  th at  w h i le  p o s t - p r o ce s s i n g   ca n   m iti g ate  s o m e  er r o r s ,   v is u al  p r ep r o ce s s in g   r e m ai n s   es s en tia l   f o r   h an d li n g   s e v er el y   d is to r ted   i m ag e s .   T h e  p r o p o s ed   OC R   p ip eli n e   h as   p r ac tical  p o ten tial  f o r   m o b ile   d ietar y   tr ac k i n g   an d   f o o d   s af et y   ap p licatio n s   as   it  ca n   b e  i n teg r ated   in to   s m ar tp h o n e   ap p s   to   au to m a ticall y   e x tr ac t  n u tr it io n al  i n f o r m atio n   an d   in g r ed ie n t  d etails  f r o m   p r o d u ct  lab els,  en ab lin g   f as ter   f o o d   lo g g in g   an d   r ea l - ti m e  aler t s   f o r   in g r ed ie n ts   o f   co n ce r n .   T h e  OC R   an d   p o s t - p r o ce s s in g   co m p o n en t s   o p er a te  f u ll y   o f f li n e  an d   ca n   b e  ex p an d ed   to   s u p p o r t  ad d itio n al  s af et y   a n d   n u tr itio n   f u n ctio n s .   B e y o n d   i n d iv id u al   u s e,   th e  p ip eli n e  o f f er s   b r o ad er   ap p licab ilit y   in   s u p p l y   ch ai n ,   r etail,   an d   r eg u lato r y   en v ir o n m e n ts .   I n   s u p p ly   c h ain   o p er atio n s ,   it  ca n   ass is t  w it h   s u p p lier   v er if ica tio n   a n d   tr ac ea b ilit y   b y   a u to m at icall y   e x tr ac tin g   b at ch   o r   p r o d u c tio n   i n f o r m atio n   f r o m   lab els.  I n   r etail   s etti n g s ,   it  ca n   s u p p o r t  s h el f   au d itin g   an d   en s u r e  th a t  d is p la y ed   p r o d u ct  d ata   s u ch   as  n u t r itio n al  o r   aller g en   in f o r m atio n   m atc h e s   th e  in f o r m atio n   p r i n ted   o n   p ac k a g i n g .   Fro m   a  r eg u lato r y   s tan d p o in t,  th e  p ip elin e  ca n   h elp   au to m a te  co m p lian ce   c h ec k s   b y   in s p ec tin g   m a n d at o r y   lab el  co m p o n e n ts   i n clu d in g   i n g r ed ien t  lis ts ,   n u tr i tio n al  d ec lar atio n s ,   a n d   ex p ir y   d ates.  T h ese  ca p ab ilit i es  ar e  s u p p o r ted   b y   r ec en t   s t u d ies  s h o w i n g   t h at  m u lti m o d al  ap p r o ac h es  co m b in in g   te x t  an d   la y o u t   in f o r m atio n   s ig n i f ica n tl y   i m p r o v e  d o cu m e n t  d ata   ex tr ac tio n   ac c u r ac y   [ 2 4 ] ,   an d   t h at  L a y o u t L M - b ased   m o d els   ac h iev e   s u p er io r   p er f o r m a n ce   w h e n   f in e - t u n ed   o n   d o m ai n - s p ec i f ic  d ata  [ 2 5 ] .   A lt h o u g h   co m m er cial  OC R   s er v i ce s   s u c h   as  Go o g le  Vis io n   o r   A W S  T ex tr ac t  m a y   o f f er   s tr o n g   ac cu r ac y ,   t h e y   r e q u ir e  co n tin u o u s   co n n ec t iv i t y   an d   in cu r   u s ag e  co s t s .   I n   co n tr ast,  th e  o f f l in e - ca p ab le  p ip elin e  d ev elo p ed   in   t h is   w o r k   p r o v id es   ad v a n ta g es  in   late n c y ,   co s t  e f f icien c y ,   an d   d ata   p r iv ac y ,   w it h   o n l in e  ac ce s s   n ee d ed   o n l y   f o r   ad v a n ce d   n u tr i tio n al  i n te r p r etatio n .   Fin all y ,   it  is   i m p o r ta n t  to   n o te  th at  th e  cu r r en t  p o s t - p r o ce s s in g   m o d u le s   ( S y m Sp ell  an d   L a y o u t L M )   p r im ar il y   ad d r ess   le x ical  a n d   co n tex t u al  er r o r s   r ath er   t h an   v is u al  d is to r tio n s   o r   s e g m en ta tio n   is s u e s .   F u t u r e  r esear ch   s h o u ld   t h er e f o r e  ex p lo r e  v is u al   d is to r tio n   co r r ec tio n   tec h n iq u es  s u c h   a s   g eo m etr ic  r ec ti f icatio n ,   co n tr ast  en h a n ce m en t,  o r   te x t - r ec ti f ic atio n   n et w o r k s   p r io r   to   OC R   to   g en er ate  clea n er   i n p u t  tex t   an d   f u r t h er   i m p r o v e  r ec o g n i tio n   ac c u r ac y .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         I mp r o vin g   P a d d leOCR  o p tica l   ch a r a cter reco g n itio n   fo r   fo o d   co mp o s itio n   la b els  …   ( A h ma d   W a h yu   R o s ya d i )   1677   3 . 3 .     Co m p uta t io na l  co s t   a nd   la t ency   T h e  p r o p o s ed   h y b r id   p ip elin e   w a s   b en c h m ar k ed   o n   a   Kag g le  L i n u x   e n v ir o n m en t   ( I n tel ®  Xeo n ®   2 . 2 0   GHz ,   4   v C P Us,  3 1   GB   R A M ,   n o   GP U) .   Pro ce s s in g   ti m es  w er e  m ea s u r ed   ac r o s s   2 9 5   lab el  im a g es,   co v er in g   th e  e n tire   w o r k f lo w  f r o m   in p u t  ac q u i s itio n   to   f i n al  p o s t - p r o ce s s i n g   o u tp u t.  P ad d leOCR   r eq u ir ed   1 . 1 1   s ec o n d s   p er   im a g e  o n   av er ag e  ( 9 5 %  C I :  1 . 0 1 – 1 . 2 0   s ec o n d s ) ,   w h ile  th e  L a y o u t L M - b as ed   p o s t - O C R   m o d u le  ad d ed   0 . 4 3   s ec o n d s   p er   im a g e  ( 9 5 %  C I :  0 . 4 1 – 0 . 4 6   s ec o n d s ) .   T h e  f u ll  p ip elin e  a ch iev ed   a n   en d - to - en d   late n c y   o f   1 . 5 4   s ec o n d s   p er   i m a g e  ( 9 5 %  C I :   1 . 4 3 – 1 . 6 5   s ec o n d s ) ,   r ep r esen ti n g   a  3 9 %  o v er h ea d   r elati v e  t o   P ad d leOCR   alo n e.   Desp ite  th is   in cr e ase,   th e  to tal  r u n ti m e  r e m ain s   w ith i n   1 – 2   s ec o n d s   p er   lab el,   w h ic h   is   ac ce p tab le  f o r   p r ac tical  f o o d   lab el  s ca n n in g   s ce n ar io s .   T h e  p o s t - O C R   o p er atio n s   ar e  lig h t w ei g h t  an d   ar e   ex p ec ted   to   b en ef it  f u r t h er   f r o m   f a s ter   C P Us o r   o p tio n al  GP U  ac ce ler atio n .       4.   CO NCLU SI O N   T h is   s t u d y   i n tr o d u ce d   a  h y b r i d   p o s t - OC R   co r r ec tio n   s y s te m   t h at  co m b in e s   P ad d leOCR ,   S y m Sp ell ,   an d   L a y o u t L M  to   en h an ce   te x t  r ec o g n itio n   o n   f o o d   co m p o s i tio n   lab els.  T h e  m et h o d   s tr en g th en s   OC R   o u tp u t  b y   r eso l v in g   m is s p ell in g s   an d   w o r d   co n ca ten atio n s   t h r o u g h   d o m ai n - a w ar e  lex ical  co r r ec tio n   an d   la y o u t - g u id ed   s e g m en tatio n ,   r es u lti n g   in   m o r e  co h er en t  an d   r ea d ab le  tex t.  T h e  s y s te m   also   p r o v id es  a  m o d u lar   an d   m o d el - a g n o s tic  d esig n ,   o f f er i n g   a  p r ac tical  f o u n d atio n   f o r   d o w n s tr ea m   ap p licatio n s   s u ch   as  m o b ile  d ietar y   tr ac k in g ,   f o o d   s af et y   m o n i to r in g ,   s u p p l y   ch ai n   tr ac ea b ilit y ,   r etail  s h elf   au d iti n g ,   an d   au t o m a ted   r eg u lato r y   co m p lia n ce   c h ec k s .   L o o k i n g   ah ea d ,   th is   ap p r o ac h   ca n   b e  f u r th er   o p ti m ized   to   r ed u ce   la ten c y   a n d   en h an ce   s tab ilit y   ac r o s s   v ar ied   p ac k ag in g   co n d itio n s ,   p ar ticu lar l y   o n   cu r v ed   o r   r ef lecti v e  s u r f ac e s   th r o u g h   i m p r o v ed   p r ep r o ce s s in g ,   an d   ca n   b e  ex t en d ed   to   m u ltil i n g u a l  OC R   to   b r o a d en   its   ap p licab ilit y   ac r o s s   d iv er s e  lab eli n g   en v ir o n m e n t s .       ACK NO WL E D G M E NT S   T h e  au th o r s   g r atef u ll y   ac k n o w led g e  t h e  s u p p o r t  f r o m   U n iv er s itas   Qo m ar u d d in   a n d   its   R e s ea r ch   a n d   C o m m u n i t y   Ser v ice  I n s ti tu te  ( L P P M)   f o r   f ac ilit atin g   t h is   s t u d y .   A p p r ec iatio n   is   also   ex te n d ed   to   co lleag u es  f o r   th eir   v al u ab le  f ee d b ac k   o n   th e  P ad d leOCR – S y m Sp e ll – L a y o u t L M  p o s t - p r o ce s s in g   d ev el o p m e n t.       F UNDIN G   I NF O RM AT I O N   T h is   w o r k   w as  s u p p o r ted   b y   th e  P en elitian   Do s e n   P e m u la  ( P DP )   s ch e m e  f u n d ed   b y   th e  Dir ec to r ate  o f   R esear ch ,   T ec h n o lo g y ,   an d   C o m m u n it y   Ser v ice  ( DR T P M) ,   Min is tr y   o f   E d u ca tio n ,   C u lt u r e,   R esear ch ,   an d   T ec h n o lo g y ,   R ep u b lic  o f   I n d o n esia,  u n d er   th e  F is ca l Y ea r   2 0 2 5   p r o g r am .       AUTHO R  CO NT RIB UT I O NS ST A T E M E NT   T h is   j o u r n al  u s e s   th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   to   r ec o g n ize  in d i v id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au t h o r s h ip   d is p u tes,  an d   f ac ilit ate  co lla b o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ah m ad   W ah y u   R o s y ad i   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   Sit i M a ’ s h u m a h     ✓     ✓     ✓   ✓   ✓   ✓       ✓     ✓   Mu h a m m ad   Qo m ar u z  Z a m an     ✓     ✓     ✓         ✓     ✓         C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y si s   I   :    I n v e st i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i si o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     W ith   r esp ec t  to   th e  co n ten t  o f   th is   p ap er ,   th e  au th o r s   co n f ir m   th at  t h er e  ar e  n o   p er s o n al,   f in an c ial,   o r   p r o f ess io n al  i n ter est s   t h at  co u l d   h av e  in f l u e n ce d   th i s   w o r k .     Evaluation Warning : The document was created with Spire.PDF for Python.