1

Mac の Safari、Chrome、または Firefox でgoogle.com/robots.txtの「ソースを表示」(cmd-I を使用) すると、次のように表示されます。

<html>
  <head></head>
  <body>
    <pre style="word-wrap: break-word; white-space: pre-wrap;">…&lt;/pre>
  </body>
</html>

HTMLはどこから来たのですか？

Google の robots ファイルは単なる例です。すべてのブラウザで、すべてのテキスト ファイルに対して同じ結果が得られます。

robots.txt および sitemap.txt ファイルを生成する Python プログラムを作成していて、正しいヘッダーが送信されていることを確認したかったので、質問しています。

ソース コードに HTML が含まれているのを見て、ヘッダーが間違っているのではないかと心配になりました。

Google の robots.txt ファイルに同じ HTML があるという事実は、それが正常であることを私に安心させますが、なぜそうなのかを知りたいです。

私は 1995 年から Web サイトを構築していますが、この動作に気付いたことは一度もありません。

4

1 に答える 1

1

HTML は、ブラウザで表示するために生成されます。この方法では送信されません (たとえば、curl を使用して表示するか、ブラウザのネットワーク分析機能を使用します)。

Chrome の例: メニュー -> その他のツール -> 開発者ツール。次に、[ネットワーク] タブをクリックして、ページを更新します。

于 2018-06-26T08:02:15.357 に答える