2

Linuxサーバー上にWebサイト（Django）がありますが、Googleはそのサイトをまったく見つけていません。robots.txtサーバーにファイルがないことを知っています。誰かがそれを作成する方法、中に何を書くか、そしてそれをどこに置くかを教えてもらえますか？それは大きな助けになるでしょう！

4

3 に答える 3

7

robottxtはグーグルがあなたのサイトを見つけるためのものではありません。私はあなたがあなたのサイトをグーグルに登録しそしてまたsitemap.xmlを追加しなければならないと思います

robot.txtについてもこちらをご覧ください

robot.txtとは

検索エンジンが頻繁にサイトにアクセスしてコンテンツのインデックスを作成する場合は便利ですが、オンラインコンテンツの一部をインデックスに登録することが望ましくない場合がよくあります。たとえば、ページの2つのバージョン（1つはブラウザで表示するため、もう1つは印刷用）がある場合は、印刷バージョンをクロールから除外する必要があります。そうしないと、重複コンテンツのペナルティが課せられるリスクがあります。また、サイトに機密データがあり、世界中に公開したくない場合は、検索エンジンがこれらのページをインデックスに登録しないこともお勧めします（ただし、この場合、機密データをインデックスに登録しない唯一の確実な方法は、別のマシンでオフラインにしてください）。さらに、画像、スタイルシート、JavaScriptをインデックスから除外して帯域幅を節約したい場合は、

避けるべきWebサイト上のファイルとフォルダーを検索エンジンに伝える1つの方法は、Robotsメタタグを使用することです。しかし、すべての検索エンジンがメタタグを読み取るわけではないため、ロボットのマタタグは単に見過ごされる可能性があります。あなたの意志について検索エンジンに知らせるより良い方法は、robots.txtファイルを使用することです。

Robots.txtとは-> http://www.webconfs.com/what-is-robots-txt-article-12.phpから

于 2012-07-04T09:46:15.533 に答える
1

robot.txtファイルは、インデックスを作成する必要があるコンテンツとインデックスを作成しないコンテンツを検索エンジンに通知するために使用されます。robot.txtファイルは、検索エンジンでインデックスを作成する必要はありません。

検索エンジンによるインデックス作成については、注意すべき点がいくつかあります。

  • インデックスに登録される保証はありません
  • インデックス作成には、1か月、2か月、6か月の時間がかかります
  • インデックスをすばやく作成するには、ブログのコメントなどを通じてサイトへのリンクを共有して、見つけられる可能性を高めてください。
  • http://google.com/webmastersサイトからサイトを送信します。これにより、サイトを改善するためのヒントや、クロール統計も提供されます。
于 2012-07-04T11:31:23.690 に答える
-1

robots.txtの場所はview.pyと同じで、このコードは

ビューで

 def robots(request):      
        import os.path
        BASE = os.path.dirname(os.path.abspath(__file__))
        json_file = open(os.path.join(BASE , 'robots.txt'))    
        json_file.close() 
        return HttpResponse(json_file);

URLで

 (r'^robots.txt', 'aktel.views.robots'),
于 2014-01-06T06:58:35.907 に答える