TOP ≫
サイトパフォーマンス改善経過：2月初旬
ここ数日でサイトパフォーマンス改善に色々効果が出たのでメモ。
▲Googleウェブマスターツールでのサイトパフォーマンス
- 2日に行った処置
携帯サイトの.htaccessを変更。UA制限からIP制限に切り替え、Google、Yahoo等のクローラーも携帯向けのものだけを許可するようにした。 - 4日に行った処置
逆アクセスランキング用PHP「SimAccess」を作動前にJavascriptでリファラ振り分けを行った。SimAccessへのアクセスは1日3万件から4千件程度に減らした - 6日に行った処置
スパムクローラー対策で.htaccessでの制限を更に厳しく。
1月に色々行った改善は、目に見える形で結果が出なかったけど、ここに来てドカンと効果が出ました。やっぱりApacheの生ログをじっくりと見て、目視で問題確認を行うのがイチバンなのかも。
「パフォーマンス上ドコに問題があるのか？」はサイトによっても個性がありますよねぇ。。。
謎のクローラー「lwp-trivial/1.35」登場
今月に入ってから、「lwp-trivial/1.35」というクローラーが頻繁にサイトをクロールするようになりました。
このクローラーの不思議なところは。。。
▲HOSTがレンタルしている「さくらインターネット」のもの。しかも同じサーバー。
lwp-trivialってのは Perl の LWP::Simpleらしく、特に心配するモノでも無さそうですが、何故最近になって増えたのだろう。。。。？
考えられる原因
- ガンブラー対策でさくらインターネットが自主的にサイトチェックを行っている
- htaccessで一部ファイルは127.0.0.1も規制しちゃってる。。。
（1.と同じくガンブラー対策の為、クロール方法を変更した） - 1月下旬にトレンドマイクロのボット規制した。
≫トレンドマイクロからさくらに「お前の所でセキュリティチェックしろゴルァ」が入った
とりあえずこのlwp-trivial/1.35は非常にお行儀良くクローリングしてくれているので放っておきます。
127.0.0.1を規制しているのはアクセス解析に変なリファラが残ってたりするので、解析ディレクトリなど一部ファイルでのみ弾いてたのですが、運営側で何かしらのチェックをしていたのかな？
う～ん。。。解除しておこう
Category: サーバー関連 | 投稿:2010年2月 9日 （最終更新:2010/02/09）
一つ前の記事 : Googleウェブマスターツールで謎の403エラー
一つ後の記事 : 「画像を別ドメインへ」作戦中間報告＆同時接続数無視ユーザーはFireFoxに多い
