Yuriko.Net 個別記事

2006-10-20
晴れ

Baiduspider に robotx.txt 無視された

ゆりこ による 2006-10-21 00:20:02 の投稿
カテゴリー: ネットワーク

きのう robots.txt を設置しましたが、Baiduspider は無視してくれました……。以下のように、きちんと robots.txt を読んでいるのに、それ以後のアクセスがあるのです。

60.28.17.51 - - [20/Oct/2006:21:58:28 +0900] "GET /robots.txt HTTP/1.1" 200 36 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
--中略--
60.28.17.33 - - [21/Oct/2006:00:10:53 +0900] "GET /arc/2005/12/26/04/22/ HTTP/1.1" 200 13600 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
60.28.17.33 - - [21/Oct/2006:00:10:56 +0900] "GET /arc/2005/08/26/07/21/10/ HTTP/1.1" 200 21780 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
202.108.11.106 - - [21/Oct/2006:00:12:35 +0900] "GET / HTTP/1.1" 200 16576 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

robots.txt にプラスも含んだ「Baiduspider+」と書かないと無視されるのかもしれません。とりあえず修正してみたので、次回のアクセスに期待してみたいと思います。それでもダメなら IP アドレスで拒否することにします。

[追記 2006-10-24 19:15] 6時間後に robots.txt の内容が反映されたようです。robots.txt の記述は問題なかったようです。やれやれ。

トラックバック・コメント »

コメントはありません。

上に戻る

※スパム対策プラグインの影響により、すぐにトラックバックが反映されない場合があります。お手数ですが、半日ほど待ってみてください。

コメント投稿

※発言の責任を明確にするため「名無し」「通りすがり」「匿名希望」等の匿名は不可とします。捨てハンドルでもいいので必ず名乗ってください。
XHTML (使えるタグ): <a href="" title="" ktai=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <img localsrc="" alt=""> .
※スパム対策プラグインの影響により、すぐにコメント内容が表示されない場合があります。お手数ですが、半日ほど待ってみてください。

上に戻る