node.js - リダイレクト URL をスクレイプします。

Question

とにかく、リダイレクト URL である Web サイトをスクレイピングする方法を知っているかもしれません。例：

request({ uri: 'http://www.toyota.com.my', encoding: 'binary' },

function (error, response, body) {
      // no response receive

}})

http://www.toyota.com.my/に html ドキュメントがないためだと思います。そのため、応答を取得できません。実際のリダイレクト URL はhttp://www.toyota.com.my/index.htmlです。

HTML 応答がない URL を検出する方法を教えてください。

score 3 · Accepted Answer

最終的な URL はにresponse.request.uri.hrefあり、すべてのリダイレクトはにresponse.request.redirectsあります。ちなみに、この例では次のようになります。

[ { statusCode : 302,
    redirectUri: 'http://www.toyota.com.my/index.html' } ]

score 0 · Accepted Answer

以下は私のために働いたrequest:2.81.0

console.log(response.request._redirect.redirects);    

[ { statusCode: 302, redirectUri: 'http://localhost:4000/' } ]

2 に答える 2