問題タブ [concurrent.futures]

私はPreparedRequestを知っています.ここですでに見たように、session.send呼び出しでタイムアウトを指定します。sessionrequests.Session

しかし、送信する前にタイムアウトを設定する必要があります。やや本質的に、PreparedRequest オブジェクトに。session.sendメソッドをマップ関数として使用しているため、PreparedRequest インスタンスにマップします。

ここで、何らかの方法でタイムアウトを指定する必要があります。どうすればいいですか？上記のコードは、メソッド内にラップされています。sessionオブジェクトを引数として取得しています。sessionsession.send の並列実行が発生する前に、オブジェクトと共に送信されるすべてのリクエストのタイムアウトを設定する方法はありますか?

ありがとうございました。

この質問の理由を明確にするために：

1. 同じ名前の 2 つのモジュールを使用すると混乱します。それらを区別するものは何を表しているのでしょうか?

2. 一方が解決できて他方が解決できない、またはその逆のタスクは何ですか?

計算の時間を短縮するために、次の投稿で、concurrent.futures で map を使用するように誰かに言われました。しかし、結果を読み取ることができません。

私は Scala を使用して、次のような JSON 応答で応答する API (正確には Play Framework の WS) への HTTP GET 要求を作成しています。

そのためnext_url、返された JSON のフィールドが存在する場合と存在しない場合があります。

私のメソッドが行う必要があるのは、最初の URL の呼び出しから開始し、応答に が含まれているかどうかを確認してnext_urlから、それに対して GET を実行することです。最後にdata、応答からのすべてのフィールドを、すべてのデータ フィールドの 1 つの未来に結合する必要があります。応答に存在next_urlしない場合は終了します。

今、これをブロックする方法で行う方が簡単ですが、私はそれをしたくありません. このような問題に取り組む最善の方法は何ですか?

これは少し奇妙に聞こえるかもしれませんが、Tornado が Future をタイムアウトでラップした後に実行を完了することは可能でしょうか?

だから、このようなもの：

したがって、このシナリオでは、futureタイムアウト前に完了しませんが、呼び出し可能なものは何でも実行し続けたいと思います。

別の言い方をすればgen.WaitIterator、ドキュメントで説明されているように、これを使用して一連の先物の結果を取得できるようにしたいと考えています。

各 Future の結果をできるだけ早く取得する必要がある場合、または他の Future がエラーを生成したとしても一部の Future の結果が必要な場合は、 を使用できますWaitIterator。

これはまさに私が探しているものです。他のタスクよりも時間がかかるタスクがあるため、将来の各結果をできるだけ早く取得したいのですが、例外が 1 つあります。これらの遅いタスクは引き続き結果を生成する必要があるため、後でアクセスできます。

これは可能ですか？

簡単に言うと、約 600 のネットワーク デバイスへの SSH 接続を (Paramiko モジュールを使用して) 確立し、単純なコマンドを発行して解析し、出力を返す Python スクリプトを作成しました。

スレッドを使用せずにスクリプトを実行しましたが、期待どおりに動作するので、スレッドの側面 (またはそれに対する私の理解) に問題があることがわかります。スレッディングに関する私の唯一の経験はCで...

これが私の先物の使い方です：

SSH接続を試みる関数は次のとおりです。

これですべてが完全に機能します。153回目の繰り返しでスクリプトがフリーズしたように見え、約10分後に再開するという事実を除いて. これは、実行の残りの間、オフとオンを繰り返します。

私を困惑させているのは、SSH接続を最大10回試行するアクティブなスレッドが最大10個あり、試行ごとに10秒のタイムアウトがあることです。したがって、私の理解では、最悪の場合、単一のスレッドが終了するまで100秒間アイドル状態になるということです...そうではないので、スレッドがぶら下がったりロックしたりすることと関係がありますか?

最近、concurrent.futures を扱っています。1 つの executor でいくつかの funcs を送信しました。どの future が最初に返されるかを知りたいです。

今が主要部分です。future_monitor がいつ終了するかを知りたいので、他のすべてのアクション先物を終了します。

ドキュメントで次のことを見つけました( https://docs.python.org/dev/library/concurrent.futures.html#concurrent.futures.as_completed ):

、だから私は return_when=FIRST_COMPLETED を待つことができますが、それが実際にモニターの未来であることをどのように保証できますか?

事前にt​​nx！

このコードを使用して API をスクレイピングしています。

スレッドではうまく動作しますが、プロセスを使用しようとするとキューがいっぱいになり、次のエラーが発生します。

当初、このプロセスは小規模なデータの取得では非常に高速に機能していましたが、現在はまったく機能していません。これはバグですか、それとも PRAW オブジェクトがスレッドではなくプロセスで再帰エラーを引き起こすのは何が起こっているのでしょうか?

私が書いているアプリをマルチスレッド化するために、concurrent.futures を使用しています。

netaddr から IPAddress をインポートしてアプリを起動します。

次に、いくつかの入力ファイルを取得し、それらすべてをマルチスレッド化された関数に渡します。

次に、結果が完了するのを待ち、それらを出力変数に追加します。

私が抱えている問題は、将来からの例外を取得し続けることです:

ip_compare 関数は次のとおりです。

先物がロードされたモジュールを認識しない理由は何ですか?

エラーのために IDE がスクリプトの実行を停止すると、メモリに IPAddress が定義されていることがはっきりとわかります。