Yuriko.Net 個別記事

2006-10-24
雨

Baiduspider に robots.txt が反映された

ゆりこ による 19:08:56 の投稿
カテゴリー: ネットワーク

Baiduspider に robots.txt が無視されたかと思いましたが、6時間後に反映されたようです。21日3時12分以降、1時間に1回だけ表紙ページをアクセスするだけになっています。Disallow: / という記述は / も含めて全部ダメだと思うんですが、まあこれぐらいなら許容範囲でしょう。

60.28.17.33 - - [21/Oct/2006:02:18:54 +0900] "GET /arc/2004/09/18/14/07/16/ HTTP/1.1" 200 12214 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
60.28.17.33 - - [21/Oct/2006:02:18:56 +0900] "GET /arc/2005/08/09/11/04/21/21/ HTTP/1.1" 200 14832 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
60.28.17.33 - - [21/Oct/2006:02:18:56 +0900] "GET /arc/2005/08/09/28/30/28/ HTTP/1.1" 200 14598 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
--中略--
202.108.11.106 - - [21/Oct/2006:03:12:06 +0900] "GET / HTTP/1.1" 200 16665 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
--中略--
202.108.11.106 - - [21/Oct/2006:04:12:36 +0900] "GET / HTTP/1.1" 200 16665 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
--中略--
202.108.11.106 - - [21/Oct/2006:05:12:37 +0900] "GET / HTTP/1.1" 200 16665 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

結論として、Baiduspider は robots.txt をちゃんと読んでくれるということですね。ただ、その robots.txt の読み込み頻度がめちゃくちゃ少ないんですが:-)

トラックバック・コメント »

コメントはありません。

上に戻る

※スパム対策プラグインの影響により、すぐにトラックバックが反映されない場合があります。お手数ですが、半日ほど待ってみてください。

コメント投稿

※発言の責任を明確にするため「名無し」「通りすがり」「匿名希望」等の匿名は不可とします。捨てハンドルでもいいので必ず名乗ってください。
XHTML (使えるタグ): <a href="" title="" ktai=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <img localsrc="" alt=""> .
※スパム対策プラグインの影響により、すぐにコメント内容が表示されない場合があります。お手数ですが、半日ほど待ってみてください。

上に戻る