Wikidata: SPARQLクエリサービス(WDQS)のバックエンド更新/置き換え

#Tech

Wikidataのクエリサービス(WDQS)は、現在のデータベースバックエンドであるBlazegraphの技術的容量限界とスケーラビリティ不足により、パフォーマンスの不安定化という課題を抱えていました。

これに対し、Wikidataプラットフォームチームは新たなバックエンドとしてQLeverを採用することを提案しました。

徹底的な性能評価とテストの結果、QLeverはBlazegraphと比較し、レイテンシ、スループット、インデックス更新時間などすべての主要な指標で大幅な改善を示しました。

この移行により、WDQSの安定性と将来的な成長に対応できるスケーラブルな基盤が確保されます。

世界最大級の知識ベースであるWikidataが、その情報提供の基盤となるデータベースを刷新する方針を固めたことが明らかになりました。Wikidataのクエリサービス(WDQS)は、現在のデータベースの限界により、パフォーマンスの不安定化やスケーラビリティの課題に直面していました。この問題を解決するため、Wikidataプラットフォームは、新しいデータベースとして「QLever」の採用を決定したとのことです。

既存システムの限界と課題

Wikidataは、ユーザー数やデータポイントが爆発的に増加する中で、知識グラフのインフラとして「Blazegraph」というオープンソースプロジェクトを使用しています。しかし、このBlazegraphはAmazonによる買収後、メンテナンスが滞っている状態が続いていました。

その結果、WDQSは週に1件程度のサービスレベル目標(SLO)に影響を与えるインシデントが発生するなど、クエリのレイテンシやスループットといったパフォーマンス指標が不安定化していました。既存の対策では根本的な解決に至らなかったと説明されています。

QLeverへの移行がもたらす効果

Wikidataプラットフォームチームは、新しいデータベースの候補を厳格な評価基準に基づき選定しました。評価では、クエリのレイテンシといった定量的な指標に加え、コミュニティの活動状況といった定性的な要素も考慮されています。

テストの結果、QLeverはBlazegraphと比較して、すべての目標とする性能指標を満たすか、それを上回る能力があることが実証されました。この移行により、データの取り込みや実行時のベンチマークにおいて、大幅な改善が見込まれています。

将来的なリスクへの対策

Wikidata側は、新しいシステム導入に伴う様々なリスクを想定し、対策を講じています。例えば、ベンダーのビジネスモデルが大きく変更された場合や、技術的な評価に盲点があった場合などです。

新しい技術アーキテクチャでは、サービス層とアプリケーション層を分離する設計を採用しているため、将来的にバックエンドのデータベースを交換する際の柔軟性が高まると説明されています。これにより、特定のベンダーに依存しすぎる事態を防ぐ狙いがあります。

まとめ

今回のデータベース刷新は、Wikidataが今後も世界中の研究者や開発者に対して、信頼性が高く、持続可能で、スケーラブルな形で知識を提供し続けるための重要な一歩となる見込みです。QLeverの導入により、Wikidataの利用体験は大きく改善されると期待されています。

原文の冒頭を表示(英語・3段落のみ)

Proposal: New Database Backend for WDQS[edit]

This document is intended for community review. Please share all feedback on the WDQS Migration talk page.

This document outlines the proposed selection of QLever as the new backend database for the Wikidata Platform. Blazegraph and its known limitations are the cause of much of the volatility of the Wikidata Query Service (WDQS) and is unable to scale to meet the growth targets of Wikidata. After testing deployments on AWS and on prem infrastructure, repeated ingestion and index update cycles, measuring latency and throughput on a limited set of publicly available and rewritten queries from October-March of FY26, and incorporating community feedback, we believe QLever will put us on the best path to ensuring reliable, sustainable, and scalable access to Wikidata now and into the future.

※ 著作権に配慮し、引用は冒頭3段落までです。続きは元記事をご覧ください。

元記事を読む ↗