現在、WordPress で Pinterest のクローンに取り組んでいます。
ピンスクリーンを見るためにログインしなければならないときに、Pinterest がどうやってサイトを検索エンジンにインデックスさせているのか知りたいです。
したがって、ユーザーがサイトにログインする必要があるが、検索エンジンはログインしなくてもすべてをインデックス化できるソリューションが必要です。これは技術的にクローキングですか?
何か案は？
質問する
121 次
2 に答える
0
最も速い方法は、ユーザー エージェント文字列を確認することです。完全なリストはhttp://user-agents.org/にあります。
Leonard が提案した DNS 方式を試してみると、非常に遅いことがわかります。一部の IP には、有効な逆引き参照さえありません。問題のページでは、ユーザー エージェント文字列で googlebot であると主張するリクエストの発信元を確認するためだけに、逆ルックアップを推奨しています。あなたが人気者になるまで、人々がブラウザーをハッキングする (googlebot のふりをする) ことを心配する必要はありません。
于 2013-05-11T14:36:06.843 に答える