現在、ウチのサイトの携帯URLは、PCからの閲覧を禁止しています。
クローラーの徘徊も、.htaccessでIP制限すると同時にrobot.txt

User-agent: *
Disallow: /index.cgi
Allow: /

と書いて徘徊中止をお願いしています。

・・・が、しかし!

携帯サイトの403
▲クリックで拡大
当サイトの携帯URLの403(閲覧拒否)だけを抜き出したもの。
Yahoo!とmsnからのアクセスばっかり!∑( ̄Д ̄;)

ちなみにGoogleさんはrobot.txtに「Disallow: /index.cgi」を書いて数日後にはクローラーは徘徊しなくなりました。
robot.txtの設置日2月11日。本日で1ヶ月を過ぎました。。。。

robot.txtでの禁止設定を正しく読み取ってくれるのは現状Googleだけなのかも。