joblib
結果としてリストを返す並列ループを実行する方法を知っています。
numpy
ただし、定義済みのマトリックスを並行して埋めることは可能ですか?
次の最小限の例のマトリックスとデータを想像してください。
column_data = ['a', 'b', 'c', 'd', 'e', 'f', 'x']
data = [['a', 'b', 'c'],
['d', 'c'],
['e', 'f', 'd', 'x']]
x = np.zeros((len(data), len(column_data))
column_data
ソート済みで一意であることに注意してください。data
長方形の行列ではなく、リストのリストです。
ループ:
for row in range(len(data)):
for column in data[row]:
x[row][column_data.index(column)] = 1
このループを並列化することは可能ですか? 並列化を行わないと、70,000 x 10,000
行列への入力は非常に遅くなります。