ドメインのrobots.txtを取得してGooglebotのアクセス可否・Disallowルール・サイトマップを解析します。robots.txtの新規作成や修正には「生成」タブをご利用ください。
User-agent グループ
サイトマップ URL (省略可)
User-agent: Googlebot
User-agent: *
Disallow:
/