ボットでないことを確認する仕組み

#Tech

ウェブサイトの管理者は、AI企業による積極的なウェブスクレイピングからサーバーを防衛するため、Anubisというシステムを導入しています。

Anubisは、メールスパム対策と同様のPoW(Proof-of-Work)スキームを利用しています。

この仕組みは、個人の利用では負荷が軽微ですが、大量のスクレイパーが利用する際にはコストを大幅に増加させます。

ただし、現状は暫定的な解決策であり、今後はフォントレンダリングなどの技術を用いてヘッドレスブラウザを識別し、正規ユーザーへの認証提示を減らすことを目標としています。

原文の冒頭を表示(英語・3段落のみ)

Loading...You are seeing this because the administrator of this website has set up Anubis to protect the server against the scourge of AI companies aggressively scraping websites. This can and does cause downtime for the websites, which makes their resources inaccessible for everyone.Anubis is a compromise. Anubis uses a Proof-of-Work scheme in the vein of Hashcash, a proposed proof-of-work scheme for reducing email spam. The idea is that at individual scales the additional load is ignorable, but at mass scraper levels it adds up and makes scraping much more expensive.Ultimately, this is a placeholder solution so that more time can be spent on fingerprinting and identifying headless browsers (EG: via how they do font rendering) so that the challenge proof of work page doesn't need to be presented to users that are much more likely to be legitimate.Please note that Anubis requires the use of modern JavaScript features that plugins like JShelter will disable. Please disable JShelter or other such plugins for this domain.

※ 著作権に配慮し、引用は冒頭3段落までです。続きは元記事をご覧ください。

元記事を読む ↗