すべてのエージェントがすべてのサイトとそのサブディレクトリにアクセスできるようにする必要がありますが、ディレクトリは 2 つです。
User-agent: *
Disallow: /disable_dir_1/
Disallow: /disable_dir_2/
これはこれを達成するための適切な方法ですか？
質問する
99 次
1 に答える
1
これを自動的に行うツールがあります: robots.txt ジェネレーター
とにかく、あなたのアプローチは問題ありませんが、その点に関しては Google の推奨事項に従うことを強くお勧めします: Google robots.txt の説明
于 2013-10-26T10:39:55.107 に答える