2008-12-22から1日間の記事一覧

携帯向けクローラ用robots.txt

携帯用URLとPC用URLを分けている場合のrobots.txtの書き方 とりあえず、携帯用のディレクトリは以下をすべてのクローラからのアクセスを拒否し、携帯用クローラについて適宜許可を出していく方向性 | User-agent: * Disallow: /mobile User-Agent: Googlebot…