2

私はWebスクレイピングを専門とするPythonプログラマーですが、関連性のあるものが見つからなかったため、この質問をする必要がありました。

純粋なJavascriptベースのサイトをスクレイピングするためにPythonで利用できる人気のある十分に文書化されたフレームワークは何ですか?現在、MechanizeとBeautiful Soupを知っていますが、Javascriptと相互作用しないため、別のものを探しています。機械化するのと同じくらいエレガントでシンプルなものが好きです。

私は少し調査を行いましたが、これまでにSelenium、Selenium 2、Windmillについて聞いたことがあります。

現在、私はこれら3つのうちの1つを選択しようとしていますが、他のことは知りません。

では、これらのフレームワークの機能と、それらの違いを誰かが指摘できますか?Seleniumは別のサーバーを使用してすべてのタスクを実行していると聞きましたが、機能が豊富なようです。また、SeleniumとSelenium2の主な違いは何ですか?私が間違っている場合は教えてください。他のフレームワークを知っている場合は、その機能やその他の詳細について言及してください。

ありがとう。

4

1 に答える 1

0

スクレイピングではなくフロントエンドテスト用に設計されたSeleniumのようなツールを使用する前に、サイトのデータがどこから来ているかを確認する必要があります。行われたXHRリクエスト、それらが取るパラメーター、および結果を確認します。

たとえば、コメントで言及したサイトは、JavaScriptで多くのパラメーターを使用してPOSTリクエストを実行し、結果を表示します。おそらく、このPOSTリクエストの結果を使用するだけでデータを取得できます。

于 2011-06-12T14:34:08.547 に答える