ボットではないことの確認システム
ウェブサイト管理者は、AI企業による積極的なウェブスクレイピングを防ぐため、「Anubis」というシステムを導入している。
AnubisはHashcashを応用したPoW（Proof-of-Work）方式を採用し、大規模なスクレイピング行為のコストを劇的に引き上げることが可能である。
ただし、これは根本的な解決策ではなく、一時的な対策として機能している。
最終的な目標は、フォント描画などのブラウザ指紋認証技術を活用し、ヘッドレスブラウザを特定することで、正規ユーザーにPoWチャレンジを提示しないことにある。
ウェブサイトの管理者による、AIによる過剰なデータスクレイピング対策が注目されています。具体的には、Anubisという仕組みを導入し、ボットやAI企業によるサーバーへの負荷増大を防ぐ試みです。この対策は、ウェブサイトの安定稼働とデータ保護を両立させるための「妥協案」として機能しています。
AIスクレイピングへの対策技術
Anubisは、メールスパム対策で提案されたProof-of-Work（PoW）スキーム、Hashcashに似た仕組みを採用しています。これは、アクセスするユーザーに対し、一定の計算処理（ワーク）を要求するものです。個々のユーザーレベルでは負荷は無視できる程度ですが、大量のスクレイパーが同時にアクセスした場合、その負荷が積み重なり、スクレイピングのコストを大幅に高める効果があります。これにより、悪意のある自動収集行為を抑制することを目的としています。
より高度な識別技術への移行
現行のAnubisはあくまで「一時的なプレースホルダーソリューション」であると説明されています。最終的な目標は、より高度な技術、具体的にはヘッドレスブラウザのフィンガープリント（指紋採取）による識別です。フィンガープリントとは、ブラウザがフォントのレンダリング方法など、特定の動作をどのように行うかを分析し、それが人間による操作かボットによる操作かを判断する技術です。この高度な識別が可能になれば、ほとんどの正規ユーザーにPoWの課題を提示する必要がなくなると見られています。
導入における技術的要件
Anubisを機能させるためには、最新のJavaScript機能の使用が必須となっています。この点に関して、一部のセキュリティプラグイン（例：JShelter）はこれらの機能を無効化してしまうため、利用者はこれらのプラグインを無効化するよう求められています。これは、ウェブサイト側が意図したセキュリティ対策を正しく機能させるために必要な、技術的な前提条件となります。
まとめ
Anubisは、AIの進化に伴うデータ収集の課題に対し、負荷増大によるコスト増という形で対抗する新しいアプローチです。今後、フィンガープリント技術との組み合わせにより、より洗練された防御システムへと進化していくことが期待されています。
原文の冒頭を表示（英語・3段落のみ）
Loading...You are seeing this because the administrator of this website has set up Anubis to protect the server against the scourge of AI companies aggressively scraping websites. This can and does cause downtime for the websites, which makes their resources inaccessible for everyone.Anubis is a compromise. Anubis uses a Proof-of-Work scheme in the vein of Hashcash, a proposed proof-of-work scheme for reducing email spam. The idea is that at individual scales the additional load is ignorable, but at mass scraper levels it adds up and makes scraping much more expensive.Ultimately, this is a placeholder solution so that more time can be spent on fingerprinting and identifying headless browsers (EG: via how they do font rendering) so that the challenge proof of work page doesn't need to be presented to users that are much more likely to be legitimate.Please note that Anubis requires the use of modern JavaScript features that plugins like JShelter will disable. Please disable JShelter or other such plugins for this domain.
※ 著作権に配慮し、引用は冒頭3段落までです。続きは元記事をご覧ください。