HalluHard: Tiêu chuẩn đánh giá sự tưởng tượng sai trong hội thoại nhiều bước
Đánh giá tưởngHalluHard là một tiêu chuẩn đánh giá sự tưởng tượng sai trong hội thoại nhiều bước, bao gồm 950 câu hỏi mẫu thuộc 4 lĩnh vực quan trọng. Các mô hình hiện đại vẫn có sai sót lớn trong việc xác minh thông tin, ngay cả khi sử dụng tìm kiếm web. Tiêu chuẩn này yêu cầu trích dẫn trực tiếp để kiểm tra tính chính xác của thông tin. Kết quả cho thấy tỷ lệ sai sót vẫn cao, khoảng 30% trong cấu hình mạnh nhất.
Show original excerpt (English · first 3 paragraphs)
View PDF
HTML (experimental)
Abstract:Large language models (LLMs) still produce plausible-sounding but ungrounded factual claims, a problem that worsens in multi-turn dialogue as context grows and early errors cascade. We introduce $\textbf{HalluHard}$, a challenging multi-turn hallucination benchmark with 950 seed questions spanning four high-stakes domains: legal cases, research questions, medical guidelines, and coding. We operationalize groundedness by requiring inline citations for factual assertions. To support reliable evaluation in open-ended settings, we propose a judging pipeline that iteratively retrieves evidence via web search. It can fetch, filter, and parse full-text sources (including PDFs) to assess whether cited material actually supports the generated content. Across a diverse set of frontier proprietary and open-weight models, hallucinations remain substantial even with web search ($\approx 30\%$ for the strongest configuration, Opus-4.5 with web search), with content-grounding errors persisting at high rates. Finally, we show that hallucination behavior is shaped by model capacity, turn position, effective reasoning, and the type of knowledge required.
* For copyright reasons we quote only the first 3 paragraphs. Read the full article at the source.