ボットでないことを確認する仕組み
ウェブサイトの管理者は、AI企業による積極的なウェブスクレイピングからサーバーを防衛するため、Anubisというシステムを導入しています。
Anubisは、メールスパム対策と同様のPoW（Proof-of-Work）スキームを利用しています。
この仕組みは、個人の利用では負荷が軽微ですが、大量のスクレイパーが利用する際にはコストを大幅に増加させます。
ただし、現状は暫定的な解決策であり、今後はフォントレンダリングなどの技術を用いてヘッドレスブラウザを識別し、正規ユーザーへの認証提示を減らすことを目標としています。
ウェブサイトの管理者による、AIによる大規模なデータスクレイピング対策として「Anubis」という仕組みが導入されたことが明らかになりました。これは、AI企業などがウェブサイトから大量の情報を自動で抜き取る行為（スクレイピング）を防ぐための技術的な防御策です。
AIスクレイピングへの対策技術
Anubisは、Hashcashというメールスパム対策で提案されたプルーフ・オブ・ワーク（PoW）方式を応用した仕組みです。ユーザーに対して、一定の計算処理を要求することで、自動化されたボットによる大量アクセスを抑制します。この追加の負荷は個々のユーザーレベルでは無視できる程度ですが、大規模なスクレイパーが利用するとコストが膨大に増大する仕組みです。
PoW導入の目的と課題
このPoWの導入は、AI企業による無許可のデータ収集を防ぐための「暫定的な解決策」とされています。最終的な目標は、ヘッドレスブラウザ（ブラウザの操作を自動化するプログラム）の指紋採取などにより、正規のユーザーにPoWの課題を提示する必要がない状態にすることです。
技術的な制約と利用上の注意点
Anubisの動作には、最新のJavaScript機能の使用が必須となっています。そのため、JShelterのような特定のブラウザ拡張機能やプラグインを使用している場合、それらが機能を無効化してしまう可能性があると注意喚起されています。利用者はこれらのプラグインを無効化する必要があるとのことです。
まとめ
Anubisは、AIの進化に伴うウェブサイトへの負荷増大という新たな課題に対し、技術的な防御壁を築こうとする試みです。今後のより高度な識別技術の開発が期待されます。
原文の冒頭を表示（英語・3段落のみ）
Loading...You are seeing this because the administrator of this website has set up Anubis to protect the server against the scourge of AI companies aggressively scraping websites. This can and does cause downtime for the websites, which makes their resources inaccessible for everyone.Anubis is a compromise. Anubis uses a Proof-of-Work scheme in the vein of Hashcash, a proposed proof-of-work scheme for reducing email spam. The idea is that at individual scales the additional load is ignorable, but at mass scraper levels it adds up and makes scraping much more expensive.Ultimately, this is a placeholder solution so that more time can be spent on fingerprinting and identifying headless browsers (EG: via how they do font rendering) so that the challenge proof of work page doesn't need to be presented to users that are much more likely to be legitimate.Please note that Anubis requires the use of modern JavaScript features that plugins like JShelter will disable. Please disable JShelter or other such plugins for this domain.
※ 著作権に配慮し、引用は冒頭3段落までです。続きは元記事をご覧ください。
Hacker News コメント
機械翻訳。HN の元スレッド ↗
以下は翻訳です。
HNのようだURIフラグメントを削除するので、意図したポストにリンクを貼ることができなかった。最新の投稿時点でこのポストが該当する： https://forum.palemoon.org/viewtopic.php?t=33442#p273914 とにかくCFは「トラブルシューターを質量向上ツールとして提供し、最善の努力で維持する」という。つまり彼らは機能させることを約束していない。実際に我々が会議で問題視したのは唯一のテスト可能な手段だったからだ。CFは既に公約を破っている。私はCFに対して残り少ない忍耐力も尽きようとしている。CFは未だに問題を解決していないし、回答も提供していない。Pale Moonで何が間違っているかや壊れているかも明確に示さず、唯一の有用なツールすら「最善の努力」で放置している。彼らはインターネットとその大部分へのアクセスを制限し続けている。EUのデジタル市場法はこのような行為が受け入れられないことを明確に示している。元々は「推奨バンドルソフトウェア」に対応するために書かれた法律だが、他種のゲートキーパーにも適用可能な基盤を提供している。
原文
Since HN apparently strips out URI fragments I meant to link to this post in the thread (latest post as of writing): https://forum.palemoon.org/viewtopic.php?t=33442#p273914> And worse yet, I was just now told that CF "provide the troubleshooter as a quality-of-life tool and maintain it with best effort." So they aren't even committed to making it work while that was one of the very things that kept coming up in our meeting as it was the only tool remotely available to be able to test Pale Moon (other than testing internally which they seem unwilling to consider, as well) prior to them pushing things to production, so they are already going back on their promises.> I'm really running out of what little patience I have left with CF. They have effectively not addressed our problems, not provided answers, not told me what behaviour is wrong or broken in Pale Moon (according to them), not provided any tools, and are now playing down the one thing we could use in some fashion as "best effort without commitments", while continuing to be gatekeepers for the Internet and access to large swathes of it. EU's Digital Markets Act is pretty clear about how that is not acceptable behaviour -- even if it was written initially to deal with "preferred bundled software" for operating systems, it does lay the groundwork for addressing unfair practices by other types of gatekeepers like CF.
ブラウザがクラッシュするならそれはサイトじゃない、君のブラウザだ。
原文
If your browser crashes it's not the site, it's your browser.