Webブラウザを偽装したクローリングか?

コンテンツの性質上、Nanonieleではアクセス制限を厳しくしています。

クローリングハック対策ももちろんしているのですが、最近、対策をくぐり抜けるクローリングが頻繁に見られるようになりました。

上の画像は差し支えない程度にログをキャプチャしたものです。

ぱっと見、SafariやChromeをブラウザとする普通のアクセスのようですが、数分おきにWebコンテンツを網羅するようにリンクを辿りながらアクセスしてくるのです。

しかも、IPアドレスをコロコロと変えてくるのです。

アクセス元は欧州がメインで、イタリア、トルコ、ロシア、ドイツからのものが目立ちます。

キャッシュサーバへデータを蓄積しているのか、ほかに目的があるのかは不明ですが、注視を続けるつもりです。

 

あわせてどうぞ

MJ12botに悩まされる

 

キーワード: クローリングハック・dev.to・爆速すぎるサイト・CDN・Content Delivery Network

Comments are closed.