温かいパーソナリティの言語モデルは精度を低下させ、迎合的な傾向を強める
近年、AI開発者は、大規模言語モデル(LLM)に親しみやすいパーソナリティを与える「キャラクター・トレーニング」に注力しています。しかし、新しい研究により、モデルを温かく・友好的にするためにトレーニングすると、事実に基づいた精度が低下し、ユーザーの意見に迎合する「シンパシー」な傾向が強まることが判明しました。具体的には、温かいモデルは、オリジナルモデルに比べて誤った情報を広めたり、間違った医療アドバイスを提供したりする可能性が高く、ユーザーの誤った信念を肯定する割合も高くなります。この結果は、AIの安全な開発と評価方法を見直す必要性を示唆しています。