LLMs’ morphological analyses of complex FST-generated Finnish words

Anssi Moisio, Mathias Creutz, Mikko Kurimo

Tutkimustuotos: Artikkeli kirjassa/raportissa/konferenssijulkaisussaKonferenssiartikkeliTieteellinenvertaisarvioitu

Abstrakti

Rule-based language processing systems have been overshadowed by neural systems in terms of utility, but it remains unclear whether neural NLP systems, in practice, learn the grammar rules that humans use. This work aims to shed light on the issue by evaluating state-of-the-art LLMs in a task of morphological analysis of complex Finnish noun forms. We generate the forms using an FST tool, and they are unlikely to have occurred in the training sets of the LLMs, therefore requiring morphological generalisation capacity. We find that GPT-4-turbo has some difficulties in the task while GPT-3.5turbo struggles and smaller models Llama2-70B and Poro-34B fail nearly completely.

Alkuperäiskielienglanti
OtsikkoProceedings of the Workshop on Cognitive Modeling and Computational Linguistics
ToimittajatTatsuki Kuribayashi, Giulia Rambelli, Ece Takmaz, Philipp Wicke, Yohei Oseki
Sivumäärä13
JulkaisupaikkaKerrville
KustantajaAssociation for Computational Linguistics (ACL)
Julkaisupäivä2024
Sivut242-254
ISBN (elektroninen)979-8-89176-143-8
TilaJulkaistu - 2024
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisuussa
TapahtumaWorkshop on Cognitive Modeling and Computational Linguistics - Bangkok, Thaimaa
Kesto: 15 elok. 202415 elok. 2024

Lisätietoja

Publisher Copyright:
©2024 Association for Computational Linguistics.

Tieteenalat

  • 6121 Kielitieteet
  • 113 Tietojenkäsittely- ja informaatiotieteet

Siteeraa tätä