UA「Mozilla/4.0 (compatible;)」のみは商用プロキシ

本日、Arachmoというサーバー攻撃ツールからのアクセスを除外するように.htsccessを変更。

そんな事もあって最近サーバーログとにらめっこする機会が非常に増えていたのだが、Arachmo以外にも不審なアクセスは結構あり、その中で気になったのがUAが「Mozilla/4.0 (compatible;)だけ」のクローラー見たいなモノ。

UAが「Mozilla/4.0 (compatible;)」だけのアクセスは何なのか色々調べて見た結果をメモ。

サーバーエラーが出るほどの負荷をかけて来ないのでアクセス制限をするのは辞めたけど、なんか気持ち悪くて色々調べてみると。。。

Mozilla/4.0 (compatible;)
▲ブルーコートプロクシという商用のプロキシでした。

どうりでIPに大手企業が並ぶ訳だ。。。
このプロクシの設定も企業によってマチマチで面白い。沖電気さん、ページ取得間隔を3秒毎に設定していてサーバに優しい設計を取っています。エライ！

カテゴリー

ユーザーエージェント,Mozilla/4.0 (compatible;),クローラーなどについて。