問題タブ [netcdf]

「高解像度初期条件」の気候予測データを 1 日分ダウンロードしました。拡張子は .tar.gz だったので、ローカル ディレクトリに展開すると、添付の画像のようなファイルが得られます。拡張子のないファイルはGRIBデータだと思います（最初の単語が「GRIB」であるため）。そのため、大きなファイル (グリッド内の温度や圧力などの気候データを含む GRIB および NetCDF 形式) からデータベースにデータを取得したいのですが、それらはバイナリです。これらのファイルからデータを取得する簡単な方法を教えてください。彼らのウェブサイトでのデータセットの取り扱いに関する情報を得ることができません。

これらのファイルを .csv に変換できればよいのですが、GRIB ファイルを変換するプログラムが見つかりません。

Ubuntu で R パッケージ RNetCDF と ncdf を使用したいと考えています。

install.packages('RNetCDF')またはを試すとinstall.packages('ncdf')、同様のエラーが発生します。

パッケージlibnetcdf6とnetcdf-binUbuntu リポジトリからのパッケージがインストールされます。他に何かする必要がありますか？

私は現在、「Hadoop を使用した時系列マイニング アルゴリズムのためのクラウド コンピューティング」というタイトルのプロジェクトを開始しています。私が持っているデータは、テラバイトを超えるサイズの hdf ファイルです。Hadoop では、さらに処理するための入力としてテキスト ファイルが必要であることがわかっています (map-reduce タスク)。そのため、すべての .hdf ファイルをテキスト ファイルに変換するオプションが 1 つあります。これには多くの時間がかかります。

または、map reduce プログラムで生の hdf ファイルを使用する方法を見つけました。これまでのところ、hdf ファイルを読み取り、そこからデータを抽出する Java コードを見つけることに成功していません。誰かが hdf ファイルを操作する方法についてより良いアイデアを持っている場合は、そのような助けに本当に感謝します.

ありがとう

PythonでnetCDF4パッケージを使用しようとしています。簡単だと思うことをしたいのですが、それを機能させることができず、ドキュメントも見つかりません。リストがあり、そのリストを netCDF4.Variable オブジェクトに格納したいだけです。このコードは、Dataset オブジェクト「netdata」のコンポーネントである netCDF4.Variable オブジェクト「x_data」に「newlist」を格納すると考えました。

しかし、それは行きません。エラーメッセージが表示されます：

ところで、netCDF4 と numpy の両方をインポートしました。また、これは、newlist を numpy 配列に変換せずにこれを行うと、同じエラーが発生します。

確かにこれを行う方法があります。誰でも方法を知っていますか？ありがとう。

補遺: この単純な変更により、エラー メッセージを回避できます。

しかし、私はまだ森から出ていません。データは確実に netdata.variables['x_data'] に格納されますが、netdata を閉じて python を終了し、netCDF 出力を調べると、データがそこにありません。何か案は？再度、感謝します。

PythonでnetCDF4パッケージを使用しようとしています。20mil 近くのデータ レコード (それぞれ 28 バイト) を取り込み、そのデータを netCDF4 ファイルに書き込む必要があります。昨日、一度にすべて実行しようとしましたが、1 時間ほど実行した後、python はコードの実行を停止し、非常に役立つエラー メッセージが表示されました。

とにかく、データのサブセクションでこれを行うと、2,560,000 レコードから 5,120,000 レコードの間のどこかで、コードに十分なメモリがなく、スワッピングを開始する必要があることが明らかになります。もちろん、パフォーマンスは大幅に低下します。2 つの質問: 1) この作業をより効率的に行う方法を知っている人はいますか? 私が考えていることの 1 つは、一度にすべてを行うのではなく、何らかの方法でデータのサブセクションを少しずつ追加することです。誰もそれを行う方法を知っていますか? 2) 最終的にメモリがなくなったときに "Killed" メッセージが表示されたと思いますが、わかりません。誰でもこれに光を当てることができますか？

ありがとう。

補遺: netCDF4 は、この問題に対する回答を提供します。これは、私自身の質問に対する回答で確認できます。というわけで、とりあえず前に進めます。しかし、ここで別の質問があります。netCDF4 の回答は netCDF3 では機能しません。netCDF3 のフレームワークでこの問題を解決する方法を知っている人はいますか? 再度、感謝します。

WindowsでNetCDFを使用しますが、メインプログラムと他のすべてのライブラリはすでにMinGWでコンパイルされているため、MinGWでコンパイルする必要があると思います。

しかし、MinGW（gccバージョン4.6.2）を使用したとき。私はいくつかのエラーメッセージを受け取りました：

libtool内の問題が何であるかわかりません。しかし、arコマンドにはもっと多くの入力が必要だと思います。そして、libtoolスクリプトを生成するときに何か問題があるのでしょうか？

オンラインで検索しましたが、Fortranおよびf90インターフェイスを備えたMinGWバージョンのNetCDFが見つかりません。手を貸してください。どうもありがとう。

非常に大きな netCDF ファイル (それぞれ ~400 Gb) のデータを処理しようとしています。各ファイルにはいくつかの変数があり、すべてシステム メモリよりもはるかに大きくなります (例: 180 Gb と 32 Gb RAM)。私はnumpyを使用しようとしています.netCDF4-pythonは、一度にスライスをコピーしてそのスライスを操作することにより、これらの変数に対していくつかの操作を行います。残念ながら、各スライスを読み取るだけで非常に長い時間がかかり、パフォーマンスが低下しています。

たとえば、変数の 1 つは shape の配列です(500, 500, 450, 300)。スライスを操作したい[:,:,0]ので、次のようにします。

しかし、最後のステップには非常に長い時間がかかります (私のシステムでは約 5 分)。たとえば、形状の変数を(500, 500, 300)netcdf ファイルに保存した場合、同じサイズの読み取り操作には数秒しかかかりません。

これをスピードアップする方法はありますか？明らかな方法は、選択しているインデックスが最初に表示されるように配列を転置することです。しかし、このような大きなファイルでは、これをメモリ内で実行することは不可能であり、単純な操作にすでに長い時間がかかることを考えると、それを試みるのはさらに遅くなるようです。私が望むのは、Fortran のインターフェイス get_vara 関数のように、netcdf ファイルのスライスをすばやく読み取る方法です。または、配列を効率的に転置する何らかの方法。

私はいくつかのnetCDFファイルを持っています。各方向（、、x）に24個y、z異なる時間の値を持つ24個です。最後の時点で、すべてのタイムステップのデータをプロットする必要があります。

プロットでは、特定のポイントで補間する必要があるため、最近傍を知る必要があります。私の計画は、データを3Dセルに分割することです。これにより、データセット全体で最近傍を検索する必要がなくなります。

[x,y,z,v[:]]したがって、最初のステップでは、データファイルを読み込んで、各ポイントの座標と各時間の値を含む配列を作成します。

その後、各ポイントについて、それが属するセルを計算し、それを4次元の配列に追加します：x、、、および：yzv

vecsすべてのデータポイントを含む配列はどこにありますか。これまでのところ機能していますが、私の問題はVGridPoints次のとおりです。配列のリストではなく、値のリストが長いです。後で次のようにアクセスできるように、配列要素に配列を追加するソリューションはありますか？

タイムステップを1つだけ実行すると機能しますが、タイムステップごとにセルと最も近い隣接セルを再計算すると、大きなオーバードライブが発生し、時間の経過とともに場所が変更されません。

necdf ファイルからいくつかの変数を読み込もうとしていますが、エラーが発生します:

よろしくお願いします。

土壌深度マップを視覚化するだけの netcdf ファイルがあります。

土壌の深さのマップを取得するには、緯度と経度、および土地のポイントを接続する必要があるようです.私は本当に混乱しています.誰かがこの種のデータで私を助けてくれますか.