Evaluating the Robustness of Embedding-based Topic Models to OCR Noise

Elaine Zosa, Mark Granroth-Wilding, Stephen Mutuvi, Antoine Doucet

Tutkimustuotos: Artikkeli kirjassa/raportissa/konferenssijulkaisussaKonferenssiartikkeliTieteellinenvertaisarvioitu

Abstrakti

Unsupervised topic models such as Latent Dirichlet Allocation (LDA) are popular tools to analyse digitised corpora. However, the performance of these tools have been shown to degrade with OCR noise. Topic models that incorporate word embeddings during inference have been proposed to address the limitations of LDA, but these models have not seen much use in historical text analysis. In this paper we explore the impact of OCR noise on two embedding-based models, Gaussian LDA and the Embedded Topic Model (ETM) and compare their performance to LDA. Our results show that these models, especially ETM, are slightly more resilient than LDA in the presence of noise in terms of topic quality and classification accuracy.
Alkuperäiskielienglanti
OtsikkoTowards Open and Trustworthy Digital Societies. ICADL 2021
ToimittajatHao-Ren Ke, Chei Sian Lee, Kazunari Sugiyama
Sivumäärä9
JulkaisupaikkaCham
KustantajaSpringer
Julkaisupäivä30 marrask. 2021
Sivut392-400
ISBN (painettu)978-3-030-91668-8
ISBN (elektroninen)978-3-030-91669-5
DOI - pysyväislinkit
TilaJulkaistu - 30 marrask. 2021
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisuussa
TapahtumaInternational Conference on Asia-Pacific Digital Libraries - online
Kesto: 1 jouluk. 20213 jouluk. 2021
Konferenssinumero: 23
https://icadl.net/icadl2021/

Julkaisusarja

NimiLecture Notes in Computer Science
Vuosikerta13133
ISSN (painettu)0302-9743
ISSN (elektroninen)1611-3349

Tieteenalat

  • 113 Tietojenkäsittely- ja informaatiotieteet

Siteeraa tätä