0

次のことを実現するには、ブラウザのスクリプトを作成するか、サーバーにリクエストを送信し、ログインし、サイトを閲覧します。リンクを見つけて、それらのリンクに移動します。

とりあえずNodeJSにハマっているので、node.ioを見ていました。非常に簡単にサイトをスクレイピングできますが、問題は、(ログインするために) 投稿しようとすると、何も返されないことです!

nodeio = require "node.io"

nodeio.scrape ->

    @post "http://localhost/auth/login", {
        username: "username"
        password: "password"
    }, ->

        console.log "=====After Login====="

しかし、私はただ得ます

OK: Job complete

ログインに失敗した場合でも、ログイン後に取得する必要がありますconsole.logか?

次に、代わりにブラウザをスクリプト化してこれを実装する方がよいと考えていましたが、実際のリクエストをより厳密にシミュレートできますか?

4

2 に答える 2

2

node.ioはこの仕事に適したツールのようですが、zombie.jsもお勧めします。これは主にテストを対象としているようですが、ドキュメントはスクレイピングにも最適であるように見えます。

スクリプト化されたブラウザルートを使用したい場合は、私の答えを無視してください。:)

于 2012-07-22T18:35:31.100 に答える
2

Selenium または Watir では、ブラウザのスクリプトを作成できます。これらは実際のブラウザを使用するため、下位レベルのツールよりも遅くなりますが、ブラウザが行うすべてのこと (つまり、JavaScript) を行います。

于 2012-07-22T06:08:07.903 に答える