現在、ウチのサイトの携帯URLは、PCからの閲覧を禁止しています。
クローラーの徘徊も、.htaccessでIP制限すると同時にrobot.txtに
User-agent: *
Disallow: /index.cgi
Allow: /
と書いて徘徊中止をお願いしています。
・・・が、しかし！
▲クリックで拡大
当サイトの携帯URLの403（閲覧拒否）だけを抜き出したもの。
Yahoo!とmsnからのアクセスばっかり！∑(￣Д￣；)
ちなみにGoogleさんはrobot.txtに「Disallow: /index.cgi」を書いて数日後にはクローラーは徘徊しなくなりました。
robot.txtの設置日2月11日。本日で1ヶ月を過ぎました。。。。
robot.txtでの禁止設定を正しく読み取ってくれるのは現状Googleだけなのかも。