AdSense ボットがサイトをクロールする際に問題が発生しないようにするには、robots.txt ファイルに何を追加すればよいですか? Google サポート ( http://support.google.com/adsense/bin/answer.py?hl=en&answer=10532 ) では、次の行を追加することをお勧めします
User-agent: Mediapartners-Google
Disallow:
しかし、多くのオンライン情報源やウィキペディアでさえ、提案されている行は次のとおりです。
User-agent: Mediapartners-Google*
Disallow:
「*」を追加する必要がありますか? また、この「*」記号を追加する理由は何ですか? それが重要なら、なぜ Google はサポート ページに * を追加するように言及していないのでしょうか?