0

パイソン開発者。概念的な質問があります。同じWebサイトからデータを取得するスクリーンスクレイピングコードを書いていますが、毎回わずかに異なる接続文字列でサーバーに5,000ヒットします。私はそれをマルチスレッドとして作成しました。これは、Python でスレッド化を初めて使用したものです。

現在のように、100 個のスレッドを作成して実行しますが、プログラムが戻ることはありません (モジュールの最後でスレッドに参加しました)。わずか 1,000 個のクエリを実行すると、期待どおりに実行され、すべてが正常に実行されます (返されます)。1,000 を超えると、コンソールに最大再試行エラーが表示されます。だから私の質問は...

マルチスレッドのコンテキストで、サーバーで 1,000 回の実行ごとに 1 分間一時停止してから続行するにはどうすればよいですか?

モジュールでインクリメント カウンタを使用する必要があるかどうかわかりません。また、使用する場合、アクセスをロックと同期する必要がありますか? これは、キューを最大限に活用して実行できるものですか? 私はこのアプリケーションに関する関連情報を 1 週間オフとオンで検索してきましたが、最良の概念的アプローチは私にはわかりません。何か案は？よろしくお願いします...

4

1 に答える 1

0

作成された各スレッドで増加し、すべてのスレッドプロセスの最後で減少する nbThreads 変数を保持します。

while ...
  #Create 1000 threads
  while nbThreads >0:
    time.sleep(2)
  time.sleep(60)

スレッド クラスにタイムアウトを追加して、一定時間後にすべてのスレッドが完了したことを確認するか、タイムアウトをインターセプトして実際に nbThreads を減らすことができます。

于 2013-11-14T22:16:41.993 に答える