python - Das worker 永続変数

Question

dask を使用して、あるタスクから別のタスクに取得できる変数を持つ方法はありますか。つまり、ワーカーでロックして、別のタスクを実行するときに同じワーカーで取得できる変数です。

Answer 1

ワーカー自体は単なる Python プロセスであるため、globals().

ただし、値を発行してタスク間で渡す方がおそらくクリーンです。Dask は、関数を再実行して別のマシンで実行する権利を保持しているため、グローバルな状態またはワーカー固有の状態によっては、簡単に問題が発生する可能性があります。