問題タブ [grequests]

私は次のことを試しました：

しかし、次のように述べています。

また、処理のためにコールバックに応答を渡す必要があります。

私はこれらすべてに非常に慣れていません。執筆中の論文のために、数千の sourceforge プロジェクトに関するデータを取得する必要があります。データはすべて、URL http://sourceforge.net/api/project/name/[プロジェクト名]/json で json 形式で自由に利用できます。これらの URL の数千のリストがあり、次のコードを使用しています。

このコードを使用して、私が好きな 200 ほどのプロジェクトのデータを取得できますrs = (grequests.get(u) for u in ulist[0:199])。

その後、Python を終了するまでそれ以上のリクエストを行うことはできませんが、Python を再起動するとすぐに、さらに 200 のリクエストを行うことができます。

使用してみましgrequests.map(rs,size=200)たが、これは何もしないようです。

私のコードでは ( https://github.com/chembl/chembl_webresource_client/blob/master/chembl_webresource_client/web_resource.py#L98 )

私は電話していgrequests.mapます：

URLのrsリストとして。そのリストのサイズがある値よりも大きい場合 (私の場合は 300)、次のようになります。

パラメータに関係なくsize（この引数を完全に無視するだけでなく、10から50までの異なる値を試しました）。

これは macOS でのみ発生します。Ubuntu では、任意のサイズの URL リストが機能します。

これは私の小さなライブラリのショーストッパーであるため、助けていただければ幸いです。

私はオブジェクト指向プログラミングをしたことがなく、基本的なスクリプトを書くだけです。

私はgrequestsで遊んでいます

応答は次のとおりです。

通常、応答をテキストに変換してからjsonにロードして解析できるようにしますが、この応答ではそれができません。

私はクラスの概念を理解していますが、それらを使用したことがないか、その応答をどうするかを本当に知りません。

それをjsonに変換する方法はありますか？

Requests ドキュメントによると、イベント フックを .get() 関数に追加できます。

これは問題ありませんが、カスタム パラメーターで *args を設定する方法、たとえば、いくつかのカスタム値を print_url() に渡したいのですが、それらを *args に設定する方法は? このようなものは失敗します:

私はpython 3.4を持っていて、リクエストと他のいくつかの必要なプログラムをWebスクレイプにインストールしました。私の問題は、約 7000 ページ (html/text のみ) をスクレイピングしたいのですが、一度にすべてをスクレイピングしたくないということです。サーバーにアクセスしないように、何らかの遅延が必要です。リクエストが多すぎて、禁止される可能性があります。grequests について聞いたことがありますが、どうやら Python 3.4 には対応していないようです (実際のエラーは vcvarsall.bat が見つからないと言っていますが、ドキュメントでは 3.4 のサポートは見当たりませんでした)。URL 要求を管理できる代​​替プログラムを知っている人はいますか? 言い換えれば、私はすべてをできるだけ速くつかもうとしているのではなく、ゆっくりと着実につかもうとしています。