facebookのクローラを禁止に
| 投稿日 | ： 2024/06/25(Tue) 17:54 |
| 投稿者 | ： 山下 |
| 件名 | ： Re: facebookのクローラを禁止に |
| 投稿日 | ： 2024/07/05(Fri) 11:21 |
| 投稿者 | ： masa |
| 参照先 | ： |
https://gigazine.net/news/20240705-cloudflare-block-ai-scraper-and-crawler/
＞Cloudflareによると、特に（ブロックして欲しいという）リクエスト数が多いAIボットの上位4つは、TikTok運営のByteDanceによる「Bytespider」、AmazonによるAmazonbot、AnthropicによるClaudeBot、OpenAIのGPTBotだったそうです。
＞Cloudflareによると、特に（ブロックして欲しいという）リクエスト数が多いAIボットの上位4つは、TikTok運営のByteDanceによる「Bytespider」、AmazonによるAmazonbot、AnthropicによるClaudeBot、OpenAIのGPTBotだったそうです。
facebookのクローラが1秒間に4回ほどCGOSのSGFを落とそうしていました。
facebookの仕様？みたいなのでiptablesでアクセス禁止にしました。
下の書き方で 173.252.83.0/24 は 173.252.83.0 - 173.252.83.255 を全部拒否
# iptables -A INPUT -s 173.252.83.0/24 -j DROP
# iptables -A INPUT -s 69.171.230.0/24 -j DROP
# iptables -A INPUT -s 69.171.249.0/24 -j DROP
200ぐらいのIPからアクセスしてました。
ちなみにログを見ると29万回がfacebookで6300回がGoogleです。
もう少し頻度が少ないなら問題ないのですが。
facebookはrobots.txt は無視するらしいです。
299850 facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
6385 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.6422.175 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)