2012-01-17から1日間の記事一覧

百度のクローラのアクセスを制限する

web

たまにすごい勢いでやって来る百度のクローラのアクセスを制限する robots.txtに以下を追加する # 例6.特定の検索エンジンのアクセス頻度を制限(120秒間隔) user-agent: Baiduspider crawl-delay:120 http://www.baidu.jp/info/help/webmaster/control/04.…