ディスク容量を節約するために dask parquet を使用したテキスト分類データセットがありますが、データセットをトレーニングに分割し、dask_ml.model_selection.train_test_split
.
ddf = dd.read_parquet('/storage/data/cleaned')
y = ddf['category'].values
X = ddf.drop('category', axis=1).values
train, test = train_test_split(X, y, test_size=0.2)
その結果
TypeError: Cannot operate on Dask array with unknown chunk sizes.
助けてくれてありがとう。