Abstrakti
ELOQUENT is a set of shared tasks for evaluating the quality and usefulness of generative language models. ELOQUENT aims to bring together some high-level quality criteria, grounded in experiences from deploying models in real-life tasks, and to formulate tests for those criteria, preferably implemented to require minimal human assessment effort and in a multilingual setting. The selected tasks for this first year of ELOQUENT are (1) probing a language model for topical competence; (2) assessing the ability of models to generate and detect hallucinations; (3) assessing the robustness of a model output given variation in the input prompts; and (4) establishing the possibility to distinguish human-generated text from machine-generated text.
Alkuperäiskieli | englanti |
---|---|
Otsikko | Advances in Information Retrieval. ECIR 2024 |
Toimittajat | N. Goharian, et al. |
Julkaisupaikka | Cham |
Kustantaja | Springer |
Julkaisupäivä | 23 maalisk. 2024 |
Sivut | 459–465 |
ISBN (painettu) | 978-3-031-56068-2 |
ISBN (elektroninen) | 978-3-031-56069-9 |
DOI - pysyväislinkit | |
Tila | Julkaistu - 23 maalisk. 2024 |
Julkaistu ulkoisesti | Kyllä |
OKM-julkaisutyyppi | A4 Artikkeli konferenssijulkaisuussa |
Tapahtuma | European Conference on Information Retrieval: ECIR - Glasgow, Britannia Kesto: 24 maalisk. 2024 → 28 maalisk. 2024 Konferenssinumero: 46 |
Julkaisusarja
Nimi | Lecture Notes in Computer Science |
---|---|
Kustantaja | Springer |
Vuosikerta | 14612 |
ISSN (painettu) | 0302-9743 |
ISSN (elektroninen) | 1611-3349 |
Tieteenalat
- 6121 Kielitieteet
- 113 Tietojenkäsittely- ja informaatiotieteet