sidにおけるコンパクション戦略

#Tech

sidはコンテキストを連結リストで管理し、再帰的に処理する新しいコンパクション戦略を採用しています。

モデルがメモリのみで応答することで、コンテキストウィンドウ内の情報を100%活用可能になります。

この手法により、以前のセッションの情報を再利用し、キャッシュフレンドリーな質問応答を実現します。

現在sidは利用可能ですが、操作には慣れが必要です。

AIエージェントの長期的なタスク遂行能力を高めるための技術が開発されました。開発されたシステム「sid」は、大規模言語モデル(LLM)のコンテキストウィンドウ(一度に処理できる情報量)を超えて、複雑で長期的な作業を自律的に実行できるようにする「コンパクション(圧縮)」戦略を採用しているとのことです。

新しいコンパクション戦略の概要

sidが採用しているコンパクション戦略は、従来の技術とは一線を画すものだそうです。具体的には、コンテキストを単方向リストとして構築し、再帰的な処理を用いて「専門家への質問パス」を辿る仕組みです。

この手法により、ツールを使用せず、モデル自身が記憶から回答を生成することが可能になります。これにより、専門家がコンテキストウィンドウ内の情報100%について回答できるようになる点が特徴的です。これは、エージェントが長期的なタスクを自律的に進める上で重要なブレイクスルーと見られています。

コンパクションアルゴリズムの仕組み

このシステムでは、推論(LLMの処理実行)にかかるコストに比べ、ストレージ(保存容量)のコストは非常に安価であるという前提に基づいています。そのため、システムはすべてのセッション履歴を保存する設計となっています。

このコンパクションアルゴリズムの核となる洞察は、この履歴を自動的に圧縮できる点にあります。コンテキストがウィンドウの終わりに達する前に適切に圧縮されれば、そのトランスクリプト(会話履歴)は、キャッシュフレンドリーな単発の質問に対して無限に再利用できるとのことです。

実用化に向けた現状と課題

sidは、現時点では「使用可能」な状態にあると説明されています。その操作感は、FreeBSD 7のデフォルトシェルを連想させるような、やや荒削りな部分があるようです。

このシステムには、手動でのコンパクション機能が実装されています。利用する際は、特定の操作(例:Ctrl+C)を避けるなど、システムの挙動を理解することが求められます。開発者は、ユーザーがシステムの文脈を深く理解すれば、うまく操作できると述べています。

まとめ

sidのコンパクション技術は、LLMエージェントの限界を突破し、より長期間にわたる自律的な作業を可能にする可能性を秘めています。今後の実用化と使いやすさの向上に注目が集まります。

原文の冒頭を表示(英語・3段落のみ)

Sid has a novel compaction strategy I’ve not seen anyone else use. In short, it forms a singly

linked lists of contexts and uses recursion to walk the list and invoke the ask an expert path.

By stripping tools and requiring the model to answer from memory, the expert is able to answer

※ 著作権に配慮し、引用は冒頭3段落までです。続きは元記事をご覧ください。

元記事を読む ↗