robot.txtでの拒否：正しく従うのはGoogleだけ？

現在、ウチのサイトの携帯URLは、PCからの閲覧を禁止しています。
クローラーの徘徊も、.htaccessでIP制限すると同時にrobot.txtに

User-agent: *
Disallow: /index.cgi
Allow: /

と書いて徘徊中止をお願いしています。

・・・が、しかし！

▲クリックで拡大
当サイトの携帯URLの403（閲覧拒否）だけを抜き出したもの。
Yahoo!とmsnからのアクセスばっかり！∑(￣Д￣；)

ちなみにGoogleさんはrobot.txtに「Disallow: /index.cgi」を書いて数日後にはクローラーは徘徊しなくなりました。
robot.txtの設置日2月11日。本日で1ヶ月を過ぎました。。。。

robot.txtでの禁止設定を正しく読み取ってくれるのは現状Googleだけなのかも。

トラックバック一覧: robot.txtでの拒否：正しく従うのはGoogleだけ？

このエントリーのトラックバックURL:
http://www.boktv.x0.com/blog/b4tt8bbx.cgi/2244-del
-delを削除してご使用ください（スパム対策）

トラックバックはすぐには反映されません。また、該当記事へのリンクが無い場合は無効になります。

コメント一覧: robot.txtでの拒否：正しく従うのはGoogleだけ？

Posted by: 菫 | 2010年3月12日 12:36

MSNがわからなくて今PCで調べてみた(;´∀`)>こんなのあったんだ、、

何か最近ねぇ、どんどん疎くなってるわ。ツイッターとかもやっと最近、いぬまるくんで知ったしね(＊=ω=)

Googleはキチンとしてるんだなぁ。ユーザーの意思を尊重してくれてる感じ。

Posted by: けん（管理人） | 2010年3月13日 03:20

MSN利用者は初心者さんに多いですよ～。
(PC購入直後はMSNかOCNがブラウザのトップページに設定されている事が多いから)

ツイッターは今まで軽視してたけど、今月初めの2ちゃんねる陥落時にメチャ使いました。
新しい情報が刻々と流れるサービスを一つは押さえてないと、ネットが面白くないので（＾_＾;

Posted by: ほくと | 2010年3月31日 17:44

そんな数日のことで検索結果はそうそうかわりません。
2週間から3箇月くらい眺めてみるといいと思います。

Posted by: けん（管理人） | 2010年4月 1日 01:30

＞ほくとさん
検索結果反映より、cgi負荷を減らしたくて
robot.txtにDisallowしてみたけど効果が意味無さそう。。。
ってのが主題になってます。

それより何よりアドバイスどもです（＾-＾）
これも暫く待たないと効果が出ないかもしれないですね。

Yahoo!オークション

カテゴリー

robot.txt,拒否,従わないなどについて。