ELOQUENT CLEF Shared Tasks for Evaluation of Generative Language Model Quality

Jussi Jerker Karlgren, Luise Dürlich, Evangelia Gogoulou, Liane Guillou, Joakim Nivre, Magnus Sahlgren, Aarne Talman

Tutkimustuotos: Artikkeli kirjassa/raportissa/konferenssijulkaisussaKonferenssiartikkeliTieteellinenvertaisarvioitu

Abstrakti

ELOQUENT is a set of shared tasks for evaluating the quality and usefulness of generative language models. ELOQUENT aims to bring together some high-level quality criteria, grounded in experiences from deploying models in real-life tasks, and to formulate tests for those criteria, preferably implemented to require minimal human assessment effort and in a multilingual setting. The selected tasks for this first year of ELOQUENT are (1) probing a language model for topical competence; (2) assessing the ability of models to generate and detect hallucinations; (3) assessing the robustness of a model output given variation in the input prompts; and (4) establishing the possibility to distinguish human-generated text from machine-generated text.
Alkuperäiskielienglanti
OtsikkoAdvances in Information Retrieval. ECIR 2024
ToimittajatN. Goharian, et al.
JulkaisupaikkaCham
KustantajaSpringer
Julkaisupäivä23 maalisk. 2024
Sivut459–465
ISBN (painettu)978-3-031-56068-2
ISBN (elektroninen)978-3-031-56069-9
DOI - pysyväislinkit
TilaJulkaistu - 23 maalisk. 2024
Julkaistu ulkoisestiKyllä
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisuussa
TapahtumaEuropean Conference on Information Retrieval: ECIR - Glasgow, Britannia
Kesto: 24 maalisk. 202428 maalisk. 2024
Konferenssinumero: 46

Julkaisusarja

Nimi Lecture Notes in Computer Science
KustantajaSpringer
Vuosikerta14612
ISSN (painettu)0302-9743
ISSN (elektroninen)1611-3349

Tieteenalat

  • 6121 Kielitieteet
  • 113 Tietojenkäsittely- ja informaatiotieteet

Siteeraa tätä