これは私のrobots.txtです。domain.comインデックス作成のベース URL のみを許可し、domain.com/fooやなどのすべてのサブ URL を禁止したいdomain.com/bar.html。
User-agent: *
Disallow: /*/
これが有効な構文かどうかわからないので、Google ウェブマスター ツールを使用してテストしました。このメッセージが表示されます。
robots.txt file is probably invalid.
私のファイルは有効ですか? インデックス作成にベース URL のみを許可するより良い方法はありますか?
更新: Google がrobots.txt4 時間前にダウンロードしました。それがうまくいかない理由だと思います。しばらく待ちますが、問題が解決しない場合は、質問を再度更新します。
バリデーターへのリンクは次のとおりです。ファイル内のエラーを処理するのに役立つ場合があります。
別のバリデーターrobots.txtCheckerをチェックしました。これは、2行目で取得したものです。
ここではワイルドカード文字（「*」など）は使用できません。以下の行は、許可、禁止、コメント、または空白行のステートメントである必要があります。
これはあなたが探しているものかもしれません：
User-Agent: *
Allow: /index.html
Disallow: /
これは、ホームページがindex.htmlであることを前提としています。
index.phpがホームページの場合、index.htmlをindex.phpに交換できるはずです。
User-Agent: *
Allow: /index.php
Disallow: /
index.phpを実行する動的なWebサイトでは、mydomain.com / index.phpにアクセスするとホームページに移動するので、上記は機能するはずです。