-5

xvideos から完全な dom コンテンツを取得しようとすると (サイトは最良の例ではありませんが、今のところこれ以上見つけることができません) browser.html() は dom の最後の div 要素のみを返します。ページ上のjavascriptによって最後にレンダリングされたdivだと思いますが、よくわかりません。

var zombie = require("zombie");                                                                                                    

zombie.visit("http://www.xvideos.com/", function (err, browser) {
  console.log(browser.html());                        
})

ありがとう

4

1 に答える 1

0

browser.html()ページ全体を返します。簡単なテストでは、xvideos.com をゾンビでフェッチすると、何らかの「スタブ」ページが生成されることが示されました。

これは単なる理論ですが、おそらく xvideos のユーザーは、ブラウザー検出スクリプトを使用して、最も一般的なブラウザーとは異なるブラウザー (UserAgent) のスタブ ページを返します。おそらく、クローラーから身を守るためのセキュリティ対策です。

于 2012-08-24T11:29:26.393 に答える