python - dask を使用するときに `Bag.take(n)` で空の結果を回避するにはどうすればよいですか?

Question

コンテキスト: Das のドキュメントにはBag.take()、最初のパーティションからのみ収集されることが明確に記載されています。ただし、フィルターを使用すると、最初のパーティションが空で、他のパーティションが空でない場合があります。

質問:アイテムBag.take()を収集するのに十分な数のパーティションn(または使用可能な最大数未満n)から収集するように使用することは可能ですか?

Answer 1

次のようなことができます。

from toolz import take
f = lambda seq: list(take(n, seq))
b.reduction(f, f)

これは、各パーティションの最初の n 要素を取得し、それらをすべてまとめて収集し、結果の最初の n 要素を取得します。