0

「PageJacking」は、「WebCrawlers」に見栄えのする Web サイトを作成しており、通常のユーザーには広告/プロモーション コンテンツが表示されます。単純に、ウェブサイトは 'Webcrawler' に対して Good Boy のふりをしますが、ユーザーに対してはそうではありません。

ウィキ : http://en.wikipedia.org/wiki/Pagejacking

クローラーはどのようにして偽の Web サイト (ページジャッキング) を回避できますか?

4

1 に答える 1

0

ユーザー エージェントのスプーフィング。

検索エンジンは、次の 2 つのボットを送信できます。

  • User-Agent真のHTTP ヘッダーを持つボット(検索エンジン ボットであることを明らかにする)
  • 典型的なブラウザーのUser-AgentHTTP ヘッダーを持つボット (人間の訪問者を模倣する)

これで、検索エンジンは 2 つのボットが得た結果を比較できるようになりました。

于 2013-07-14T10:33:31.333 に答える