python - マルチスレッドでのファイルへの書き込み

Question

先日Pythonを始めたばかりで、マルチスレッドの概念全体が初めてです。マルチスレッド中のファイルへの書き込みに問題があります。通常の方法で行うと、書き込まれている内容が常に上書きされます。

たとえば 5 つのスレッドを使用しているときにファイルに書き込む適切な方法は何ですか?

Answer 1

パフォーマンスを低下させないための最善の方法は、すべてのスレッド間でキューを使用することです。各スレッドはアイテムをエンキューし、メインスレッドは単にアイテムをデキューしてファイルに書き込みます。キューはスレッドセーフであり、空の場合はブロックされます。または、可能であれば、5つのスレッドからすべての値を返し、それをファイルに書き込むだけです。IOは、実行できる操作のコストが高くなる傾向があるため、可能な限り制限するのが最善です。

また、Pythonのスレッドはマルチコアを利用しないことに注意してください。複数の処理エンジンを利用する場合は、 GILの原因で代わりにマルチプロセッシングを使用します。

ここに簡単な例があります：

from multiprocessing import Process, Queue

def test_1(q):
    for i in range(10):
        q.put('test_1: ' + str(i))

def test_2(q):
    for i in range(10):
        q.put('test_2: ' + str(i))

q = Queue()
p1 = Process(target=test_1, args=(q,))
p2 = Process(target=test_2, args=(q,))
p1.start()
p2.start()

with open('test.txt', 'w') as file:
    while p1.is_alive() or p2.is_alive() or not q.empty():
        try:
            value = q.get(timeout = 1)
            file.write(value + '\n')
        except Exception as qe:
            print "Empty Queue or dead process"
p1.join()
p2.join()

との内容test.txt：

test_1: 0
test_1: 1
test_1: 2
test_1: 3
test_1: 4
test_2: 0
test_1: 5
test_2: 1
test_1: 6
test_2: 2
test_1: 7
test_2: 3
test_1: 8
test_2: 4
test_1: 9
test_2: 5
test_2: 6
test_2: 7
test_2: 8
test_2: 9

Answer 2

1 つの方法は、一度に 1 つのスレッドだけがファイルにアクセスできるように、ファイルをロックすることです。threading.Lockをチェックしてください。