dispy ノードの setup() メソッドに変数を渡す必要があるので、構成ファイルからロードするデータセットをノードに伝えることができます。そうしないと、データセットごとに特定のスクリプトを作成する必要があり、これは面倒です。
def setup(): # executed on each node before jobs are scheduled
# read data in file to global variable
global data
data = open('file.dat').read()
return 0
...
if __name__ == '__main__':
import dispy
cluster = dispy.JobCluster(compute, depends=['file.dat'], setup=setup, cleanup=cleanup)
"file.dat"
したがって、各ノードがデータを一度インスタンス化できるように、文字列をセットアップに渡したいと思います(大きいため)。