Googleウェブマスターツールの「診断」>「クロールエラー」で、謎の403エラーが大量発生しているのを発見。
サイトマップに登録してあるURL訳600個のうち、50個が403エラーに。
発生日は2月1日~2月3日。1日だけならともかく、3日続いているのが気味が悪い。
(現時点での最新が2月3日なので、もっと増えるかも)
※注意
画像内にはHTTPエラーも1001個あるけれど、コチラは意図的にシャットアウトした携帯用URL。
携帯向けクローラーには許可してある。
心当たりはあるけど、、、
2月1日に、携帯向けの.htaccessの記述を変更している。
このあたりを境にエラーが出ているようだが、、、
.htaccessの記述内で「ココだ!」と言う部分が見つからない!
他の心当たりは、、、最近色々サーバ設定いじりすぎで解んない(笑)
(しかも403とは無縁の所をいじってるはずだし)
謎
Googleウェブマスターツールでエラーが記録された日のApacheの生ログを見ても、該当URLで403エラーは確認出来ない。普通にGoogleのクローラーはやって来て該当URLにアクセスしてる。勿論HTTPレスポンスは200または304を返している。
ログ内でエラーが確認出来ないので、対処のしようが無い('Α`)
単なるルーティング問題でスグに解消すれば良いのですが、、、
最近サーバー設定をアレコレいじり過ぎているので、マジで特定できません。
ちょっと様子見。
勝手な予測
1月20日頃からBaidu、Yeti、トレンドマイクロのクローラーを一切禁止する設定にしているけど、それが関連していたら嫌だなw
あと2~3日この状態が続くようなら、各種クローラーの禁止設定を解除してみよう。
Googleのインデックスからサイトが消える=訪問者が半分以下になる=サイト運営の楽しみが半減するので。