18

ajax のスクレイピングに関するこの質問は既に見ましたが、 python については言及されていません。私はScrapyの使用を検討しましたが、その件に関するドキュメントがいくつかあると思いますが、ご覧のとおり、Web サイトはダウンしています。だから私は何をすべきかわからない。私は次のことをしたい：

送信をクリックしてページからページに移動する example.com の URL は 1 つしかありません。コンテンツを表示するために ajax を使用しているため、URL は変更されません。各ページのコンテンツをスクレイピングしたいのですが、どうすればよいですか?

数字だけをスクレイピングしたいのですが、スクレイピー以外にそれを行うものはありますか? そうでない場合は、ウェブサイトがダウンしていてドキュメントにアクセスできないという理由だけで、その方法のスニペットを教えてください.

4

2 に答える 2

4

答えは非常に便利だと思いましたが、もっとシンプルにしたいと思います。

response = requests.post(request_url, data=payload, headers=request_headers)

request.post は、url、data、および headers の 3 つのパラメータを取ります。これら 3 つの属性の値は、XHR リクエストで確認できます。

リクエストヘッダーとフォームデータ全体をコピーして上記の変数にロードすれば、準備は完了です

于 2017-03-23T08:31:26.463 に答える