複数のWebサイトをスクレイピングしている次のコードがあります。
while len(newData) > 0:
for i in newData:
try:
thread.start_new_thread(download, (i))
except Exception, thread.error:
pass
ただし、私の問題は、各Webサイトをそれぞれ数回複製してスクレイピングしていることです。ダウンロードが完了したら、ダウンロード関数内で newData から URL を削除して、それ以上スレッドを開かないようにします。特定のタスクが完了したら、そのタスクを実行しようとしているすべてのスレッドを強制終了するにはどうすればよいですか? これはスレッド化の最初の試みであり、これが正しい方法であるかどうかはわかりません。