javascriptまたはcssファイルへのアクセスを許可する必要がある、または許可しない理由はありますか？jqueryなどの特に一般的なファイル。
3106 次
2 に答える
8
検索エンジンが特定のサイトに1日あたり一定量の帯域幅またはURLの数を割り当てることは広く受け入れられています。そのため、一部のウェブマスターは、検索エンジンからのJS、CSS、定型文の画像をブロックして帯域幅を節約し、GoogleやBingが不要な画像ではなくより多くのページをクロールするようにしています。
Google社員のMattCuttsは、過去にウェブマスターがこれを行わないように求めてきました（http://www.seroundtable.com/googlebot-javascript-css-14930.html）。
Googleは、JavaScriptを使用する場合と使用しない場合で、サイトがどのように動作するかを正確に知りたいようです。ページ全体をレンダリングしているだけでなく、PageLoadで実行される他のJavaScript（Facebookのコメントなど）を実行しているという証拠はたくさんあります。
一般的なjQueryファイルでさえブロックすると、Googleはそれが一般的なjQuery実装であるかどうか、またはコアファイルを変更したかどうかを実際に認識しないため、エクスペリエンスが変更されます。
私の提案は、すべてのJS、CSS、および定型文の画像が別のドメインまたはCNAMEから提供されるようにすることです。ログとGoogleウェブマスターツールを介してGooglebotのクロールを監視し、これらのアセットをクロールするために多くの時間と帯域幅を費やしているかどうかを観察します。そうでない場合は、クロールを続けさせます。
各サイトの動作は異なるため、大量の帯域幅を消費している、より頻繁に要求されるファイルのいくつかを実験してブロックし、Googleの「クロールされたページ」が増加するかどうかを確認できます。
于 2012-07-24T23:15:22.940 に答える
1
通常、robots.txt内のJavaScriptおよびCSSファイルへのアクセスを禁止するべきではありません（または禁止する必要はありません）。
ただし、検索エンジン（特にGoogle）は、JavaScriptで生成されたコンテンツのインデックス作成がますます上手になっています。ほとんどの場合、これは良いことです。一方、JavaScriptは、検索エンジンがJavaScriptを実行しないと考えられていたため、検索エンジンからコンテンツを具体的に隠すためにも使用されてきました。これはもう当てはまらないかもしれません。ただし、robots.txtのコンテンツを生成するこれらの特定のJavaScriptファイルを禁止することにより、検索エンジンが非表示のコンテンツを生成および表示することもブロックすることが提案されています-それが要件である場合。
この手法は、アフィリエイトマーケティングリンクのブロックに関して、2010年6月にseomofoによって提案されました。
于 2012-10-04T00:52:13.277 に答える