米国の気象データを 5 km グリッドの 1 時間ごとの解像度で表す大きな CSV ファイルがあります。データは日ごとに保存されていたので、それらを連結して年間ファイルにしました。最終的な目標は、緯度と経度による変数 (風速、気温、降水量、気圧など) の日次、週次、月次の平均を計算することです。列ヘッダーがないため、ファイルを読み込むときに列名をファイルに追加します。
PythonでPandasで読み込もうとしたところ、メモリに収まらず失敗しました。Dask で読み込むことはできますが、次元を Dask データフレームに追加する方法や、xarray に変換して同じことを行う方法が見つかりません。これらの大きすぎるメモリ ファイルを読み込み、緯度、経度、日時のディメンションを追加し、緯度/経度ごとに日次、週次、月次の平均を計算してファイルを出力する方法はありますか? または、読み込む前に csv を netCDF などに変換する必要がありますか?