Xarray と Dask のドキュメントでは、大規模な NetCDF データセットを Dask バッキングを使用して Xarray にロードする方法について説明しています。しかし、非常に大きなCSV ファイル(> 1GB)がある場合はどうすればよいでしょうか? Dask を介して Xarray データセットにロードすることは可能ですか? Dask バックエンドを使用する方法で Xarray にロードするか、Dask データフレームとしてロードしてそのデータフレームを Xarray データセットに変換しますか?
このデータセットは実験結果で構成されているため、このデータセットで Xarray を使用したいと思います。また、独立変数 (次元として使用する) のさまざまな設定に基づいて実験結果にインデックスを付けたいと考えています。
Xarray from_dataframe()( http://xarray.pydata.org/en/stable/generated/xarray.Dataset.from_dataframe.html?highlight=from_dataframe ) は、Pandas DataFrames のサポートについてのみ言及しており、dask については言及していません。
Dask のドキュメント ( https://examples.dask.org/xarray.html ) には、保存された Xarray データセットからの読み込みのみが記載されています。