ここ数日でサイトパフォーマンス改善に色々効果が出たのでメモ。
- 2日に行った処置
携帯サイトの.htaccessを変更。UA制限からIP制限に切り替え、Google、Yahoo等のクローラーも携帯向けのものだけを許可するようにした。 - 4日に行った処置
逆アクセスランキング用PHP「SimAccess」を作動前にJavascriptでリファラ振り分けを行った。SimAccessへのアクセスは1日3万件から4千件程度に減らした - 6日に行った処置
スパムクローラー対策で.htaccessでの制限を更に厳しく。
1月に色々行った改善は、目に見える形で結果が出なかったけど、ここに来てドカンと効果が出ました。やっぱりApacheの生ログをじっくりと見て、目視で問題確認を行うのがイチバンなのかも。
「パフォーマンス上ドコに問題があるのか?」はサイトによっても個性がありますよねぇ。。。
謎のクローラー「lwp-trivial/1.35」登場
今月に入ってから、「lwp-trivial/1.35」というクローラーが頻繁にサイトをクロールするようになりました。
このクローラーの不思議なところは。。。
▲HOSTがレンタルしている「さくらインターネット」のもの。しかも同じサーバー。
lwp-trivialってのは Perl の LWP::Simpleらしく、特に心配するモノでも無さそうですが、何故最近になって増えたのだろう。。。。?
考えられる原因
- ガンブラー対策でさくらインターネットが自主的にサイトチェックを行っている
- htaccessで一部ファイルは127.0.0.1も規制しちゃってる。。。
(1.と同じくガンブラー対策の為、クロール方法を変更した) - 1月下旬にトレンドマイクロのボット規制した。
≫トレンドマイクロからさくらに「お前の所でセキュリティチェックしろゴルァ」が入った
とりあえずこのlwp-trivial/1.35は非常にお行儀良くクローリングしてくれているので放っておきます。
127.0.0.1を規制しているのはアクセス解析に変なリファラが残ってたりするので、解析ディレクトリなど一部ファイルでのみ弾いてたのですが、運営側で何かしらのチェックをしていたのかな?
う~ん。。。解除しておこう