同じLLM呼び出しに二重に料金を支払うのをやめよう

Cachecore と呼ばれるスタートアップが、大規模言語モデル (LLM) の利用料金を削減する新しいキャッシュシステムを発表しました。LLM の利用料金は高額になる傾向があり、特に複雑なタスクやエージェントシステムでは、同じプロンプトが何度も送信されることが多いため、このキャッシュシステムは、開発者にとって大きなメリットとなりそうです。Cachecore は、既存の LLM クライアントへの簡単な設定変更で、同じプロンプトに対する API コールの費用をなくすことを目指しています。

キャッシュの仕組みとメリット

Cachecore の仕組みは、LLM クライアントと Cachecore を接続し、プロンプトが送信される前にキャッシュを確認するというものです。完全一致するプロンプトは、わずか 70ms でキャッシュから返されます。完全に一致しない場合でも、意味的に類似したプロンプトであれば、1秒以内にキャッシュから返されるとのことです。これにより、API コール自体を回避し、LLM プロバイダーへの支払いを削減できます。このシステムは、複数のエージェントが連携する複雑なワークフローでも機能し、システム全体で重複するプロンプトをキャッシュします。キャッシュシステムは、L1キャッシュ（完全一致）と L2キャッシュ（意味的マッチング）の2層構造を採用している点も特徴です。

既存のツールとの互換性

Cachecore は、OpenAI 互換であり、LangChain、CrewAI、LangGraph、AutoGen、OpenClaw などの主要な LLM フレームワークやツールと連携できます。既存のシステムへの組み込みは容易で、ベース URL を Cachecore に変更するだけで利用開始できるとのことです。この互換性の高さは、多くの開発者が Cachecore を導入するハードルを下げる要因となるでしょう。また、Cachecore は、LLM の利用料金を平均で 40% から 70% 削減できると主張しており、特にエージェントを複数使用するワークロードにおいて、その効果は大きくなると考えられます。

今後の展望とアクセス

Cachecore は、LLM の利用料金を削減するという課題に対する画期的な解決策を提供する可能性があります。LLM の利用コストが課題となっている開発者にとって、Cachecore は魅力的な選択肢となるでしょう。現在、Cachecore は早期テストユーザーを募集しており、クレジットカード情報の入力は不要とのことです。この早期アクセスプログラムを通じて、Cachecore の性能や効果を検証し、さらなる改善に繋げていくと考えられます。今後の展開として、より広範な LLM モデルやフレームワークとの連携、そしてより高度なキャッシュアルゴリズムの導入などが期待されます。

まとめ

LLM の利用料金は、開発プロジェクトの予算や実行可能性に大きな影響を与えるため、Cachecore のようなキャッシュシステムの登場は、開発者にとって朗報と言えるでしょう。今後、Cachecore がどのように普及し、LLM の利用コスト削減に貢献していくのか、注目されます。