次のようにdaskを使用して大量のデータを読み込もうとしています
import dask.dataframe as dd
df = dd.read_csv('some_file.txt', sep = '|', header = None)
これは正常に機能し、パーティションのセットを取得しますが、何らかの理由で、以下のように設定してインデックスを作成しようとするたびに:
df = dd.read_csv('some_file.txt', sep = '|', header = None).set_index('col1')
マシンのメモリが不足していて、その理由がわかりません