大規模言語モデルが生成する虚偽事実の問題に対処
多方向誤り拡散の課題本研究では、多方向誤り拡散を解決するために、950個の質問にわたる挑戦的なベンチマーク「HalluHard」を提案。
LLMsが生成した内容の正確性を評価する新しい方法を示し、強い配置でも30%以上の虚偽事実が残存していることを明らかにした。
大手AI企業が開発した大規模言語モデル（LLM）が、複数の会話ターンで誤った情報を生成する問題が指摘されています。この課題を解決するため、研究チームが「HalluHard」という新しい評価ベンチマークを発表しました。このベンチマークは、法律、研究、医療、プログラミングの4分野で950の質問を用意し、LLMが事実を正確に反映できるかを検証しています。
HalluHardの特徴
HalluHardは、複数の会話ターンでLLMが誤った情報を生成する「hallucination（妄想）」を評価するベンチマークです。このベンチマークでは、LLMが事実を述べる際には、その根拠となる文献を直接引用する必要があります。また、評価にはウェブ検索を活用したジャッジパイプラインが導入され、生成された内容と引用文献の整合性を確認しています。
評価結果と課題
研究チームは、複数のLLMをテストした結果、ウェブ検索を活用しても誤情報の生成率は約30％にとどまっていることが分かりました。これは、特に強力なモデルであるOpus-4.5でも、誤情報の生成が見られるということです。この結果は、LLMが事実を正確に反映する能力がまだ十分に確立されていないことを示しています。
改善の方向性
研究チームは、LLMの妄想行為がモデルの能力、会話の進行段階、論理的推論の質、そして必要な知識の種類によって影響を受けると指摘しています。このため、今後の改善には、モデルの規模を拡大し、論理的推論能力を高め、必要な知識を正確に反映する仕組みを構築することが求められています。
まとめ
HalluHardの発表は、LLMの誤情報生成問題の解決に向けた重要な一歩です。今後、モデルの能力向上と評価方法の改善を通じて、より信頼性の高いAIが実現されることが期待されます。
原文の冒頭を表示（英語・3段落のみ）
View PDF
HTML (experimental)
Abstract:Large language models (LLMs) still produce plausible-sounding but ungrounded factual claims, a problem that worsens in multi-turn dialogue as context grows and early errors cascade. We introduce $\textbf{HalluHard}$, a challenging multi-turn hallucination benchmark with 950 seed questions spanning four high-stakes domains: legal cases, research questions, medical guidelines, and coding. We operationalize groundedness by requiring inline citations for factual assertions. To support reliable evaluation in open-ended settings, we propose a judging pipeline that iteratively retrieves evidence via web search. It can fetch, filter, and parse full-text sources (including PDFs) to assess whether cited material actually supports the generated content. Across a diverse set of frontier proprietary and open-weight models, hallucinations remain substantial even with web search ($\approx 30\%$ for the strongest configuration, Opus-4.5 with web search), with content-grounding errors persisting at high rates. Finally, we show that hallucination behavior is shaped by model capacity, turn position, effective reasoning, and the type of knowledge required.
※ 著作権に配慮し、引用は冒頭3段落までです。続きは元記事をご覧ください。