損失のないコンテキスト管理：LCM
LLMの記憶を革新「LCM（Lossless Context Management）」は、LLMの長期コンテキストタスク性能を向上させる新しいアーキテクチャです。
ベンチマークテストでClaude Codeを上回り、最大1Mトークンまでの長文処理で優れた結果を示しました。
LCMは、Recursive Language Models（RLM）の考え方を拡張し、コンテキスト圧縮とタスク分割によって、柔軟性を犠牲にしながらも、安全な実行と高速な処理を実現しています。
この技術は、プログラム設計におけるGOTO文からの脱却と同様の意義を持ちます。
米国のAIスタートアップMistral AIは、大規模言語モデル(LLM)の長文コンテキスト処理能力を大幅に向上させる新技術「LCM: Lossless Context Management」を発表しました。この技術を搭載したエージェント「Volt」は、Anthropic社の高性能コーディングモデル「Claude Code」を、最大100万トークンという膨大な長文コンテキストのタスクにおいて上回る結果を出しているとのことです。
長文コンテキスト処理の課題と既存技術の限界
大規模言語モデルは、与えられたテキストのコンテキスト（文脈）に基づいて応答を生成します。しかし、コンテキストが長くなるほど、モデルの性能が低下する、いわゆる「コンテキスト長問題」がありました。この問題を解決するために、Recursive Language Models (RLM)と呼ばれる、モデル自身が再帰的にコンテキストを処理する技術が提案されていましたが、その複雑さや制御の難しさから、実用化には課題が残っていたようです。RLMは、言語モデルが自身で再帰的にコンテキストを処理する技術であり、その制御には高度な専門知識を要します。
LCM: 損失なくコンテキストを管理する新技術
Mistral AIが開発したLCMは、RLMの概念を受け継ぎつつ、より安定したアーキテクチャを実現しています。従来の再帰処理を、エンジンが管理する2つの仕組みに分解。一つは「再帰的なコンテキスト圧縮」、これは階層的なサマリー構造（DAG: Directed Acyclic Graph）を用いて古いメッセージを圧縮しつつ、元のメッセージへの参照情報を保持する技術です。もう一つは「再帰的なタスク分割」で、LLM-Mapのような並列処理の仕組みを導入し、モデルが記述するループ処理を代替することで、処理の安定性と効率化を図っているとのことです。
プログラム設計における制御構造への類推
LCMの設計思想は、プログラミング言語における「GOTO文」から構造化制御フローへの移行に似ていると説明されています。GOTO文は柔軟性は高いものの、プログラムの可読性や制御が難しく、バグを生みやすいという欠点がありました。LCMは、GOTO文のような柔軟性をあえて制限することで、処理の終了を保証し、短文タスクではオーバーヘッドを最小限に抑え、かつ、過去の全ての状態を完全に復元できるというメリットをもたらしているとのことです。この技術は、より安定したLLMの活用に貢献する可能性があります。
まとめ
Mistral AIのLCMは、LLMの長文コンテキスト処理能力の向上に画期的な進歩をもたらす可能性があります。VoltによるClaude Codeの性能上回る結果は、今後のLLM開発に大きな影響を与えると考えられます。今後のLCMの進化と、その応用範囲の拡大に注目が集まります。
原文の冒頭を表示（英語・3段落のみ）
View PDF
HTML (experimental)
Abstract:We introduce Lossless Context Management (LCM), a deterministic architecture for LLM memory that outperforms Claude Code on long-context tasks. When benchmarked using Opus 4.6, our LCM-augmented coding agent, Volt, achieves higher scores than Claude Code on the OOLONG long-context eval, including at every context length between 32K and 1M tokens.
※ 著作権に配慮し、引用は冒頭3段落までです。続きは元記事をご覧ください。