問題タブ [nco]

R から単一の netCDF-4 ファイルを読み書きしたいと思います。このファイルは、同時に多くのノード プロセスによってアクセスされます (開発では最大 100、本番では最大 1000)。

R内からnetCDFの並列I/O機能にアクセスする最良の方法は何ですか?

私が見つけたもの：

• Unidata ページから、並列機能を有効にしてコンパイルするだけでよいことがわかります ( --enable-parallel)。それだけで本当に私がしなければならないことですか？
• ncdf4 パッケージの説明に、並列 io に関する記述が見つかりません。
• I/O が私の計算のボトルネックであることを考えると、私の計算を最適化する方法についてのヒント - 計算中に複数のファイルに書き込み (たとえば、ローカル)、後でファイルを結合する方がよい状況はありますか (たとえば、nco )?

データの毎日のスナップショットを表す大量の netcdf ファイルがあります。ファイル内の変数の最大値と最小値を名前リストに追加するように求めているソフトウェアにこれらを接続したいと考えています。変数に格納されている最大値と最小値を調べるにはどうすればよいですか?

私の変数は深さです（これは、その変数のサイズのアイデアのための ncdump からの抜粋です）...

私はまだこれらのファイルを扱う初心者であり、これまで netcdf 処理に NCO 演算子や matlab を使用してきました。これらのツールのいずれかを使用してこの最大最小照会を実行する簡単な方法はありますか?

今まで、値の範囲が属性に表示される netcdfs があったか、単純な ncdump -v で値を確認するか変数を matlab に保存して、自動表示最大最小ですが、これらの迅速で汚い方法を使用するには値が多すぎます。

どんな助けでも大歓迎です。ごきげんよう、ベックス

緯度 (dim: 26)、経度 (dim:17)、時間 (dim: a lot)、レベル (dim:1、気圧レベル) の 8 つの変数と 4 つの次元を含む netCDF ファイルがあります。特定のプログラムで使用するには、緯度、経度、時間の 3 つの次元のみが必要です。

各変数のレベル ディメンションを削除する簡単な方法はありますか?

私は見つけましncwa -a old_dim ifile.nc ofile.ncたが、タイプを short から float に変換することがあります。short 型を保持すると、属性「scale factor」と「add.offset」が削除されます。問題は、縮尺率のある短いタイプを維持し、オフセットを追加したいということです。

ipython-notebook の netcdf4 パッケージを使用して .nc ファイルを読み込もうとしています。このファイルは、それぞれ [time,lat,long] [12,222,462] の形状を持つ 30 個の .nc ファイルの組み合わせです -- 簡単な NCO コマンドを使用して作成されました -

ncrcat がレコード ディメンションで動作する (そしてレコード ディメンションを必要とする) ことは知っています。これらのファイルでは、時間は無制限のディメンションです。したがって、out.nc の形状は [360,222,462] になると思います。しかし、netcdf4 を使用して .nc ファイルを読み取ると、形状は [12,222,462] のままで、最初の入力ファイルしか読み取らないようです。「ncBrowse」ユーティリティを使用すると、out.nc が予想されるディメンションで表示されるため、out.nc にはより多くのレコードがあることがわかっています。

私は netcdf ファイルを数週間 (usinf netcdf4 と pandas を使用して) 扱っているだけで、初心者の python ユーザーです。ここで明らかな何かが欠けているのではないかと思いますか？

その他の関連情報: Linux マシンでは NCO 演算子を使用してファイルを連結しますが、Windows マシンでは ipython を使用します。個々の入力ファイルは netcdf4 によって正しく読み取られます。

これについて何か助けていただければ幸いです。

netcdf ファイル内の特定のセルを上書きするために使用できる netcdf 演算子 (nco または任意の python netcdf ライブラリから) はありますか?

全球気候データを含む netcdf ファイル内の小さな領域の値を変更したいと考えています。ありがとう！

気候モデルの出力を、毎日の時間ステップで全世界の 1 つの変数 (pr) を持つ netcdf ファイルの形式でダウンロードしました。私の最終的な目標は、ヨーロッパの月次データを取得することです。

以前に netcdf ファイルを使用したことがなく、見つけた netcdf 用の特定のソフトウェアはすべて Windows では動作しないようです。私はRでプログラムしているので、ncdf4パッケージを使用してみましたが、メモリサイズの問題が発生しました(私のファイルは約2Gbです)...私は現在、PythonでnetCDF4モジュールを試しています(初めてPythonを使用するので、簡単に行ってください) ）。

すべてをインストールして、データセットをインポートするためのコードをオンラインで見つけました。

しかし、私が見つけたすべてのチュートリアルは、netcdf ファイルの作成方法に関するものでした... この毎日の降雨量 (変数 pr) を毎月に集計する方法がわかりません。また、さまざまなファイルにさまざまな種類のカレンダーがありますが、その情報にアクセスする方法さえわかりません。

助けてください。データを整理するためだけにLinuxを学ぶ必要はありません:(

NetCDF バージョン 3 のファイルがあります。Windows 用の最新の ncks (2014 年 10 月 1 日リリース) を使用して ncks -4 --cnk_dmn lat,4 --cnk_dmn lon,4 --cnk_dmn time,512 2014.nc 2014_chunked.nc 、NetCDF バージョン 4 の 2014_chunked.nc ファイルを生成したファイルを再チャンクしました。

たとえば、新しいファイル 2014_chunked.nc は WCT で読み取ることができます。ただし、Javaコードは生成されます

そして例外をスローします

コードは

JRE 7 http://www.unidata.ucar.edu/downloads/netcdf/netcdf-java-4/index.jspには最新の NetCDF4.5 を使用し ます。

netcdf jar ファイルを調べたところ、Nc4.class の長さが数バイトしかないことがわかりました。したがって、jar には NetCDF4 iosp がなく、NetCDF 4 ファイルに H5iosp を使用しています。

netcdf 4.2 の HDF5 および HDF4 ファイルを開くための同じ Java コードは正常に動作しますが、4.5 では動作しないため、NetCDF 4.5 Java の新しいバージョンは、私が常に使用していたバージョン 4.2 とは少し異なる方法で使用する必要があると思います。

なにが問題ですか？

次の構造を持つ毎日 600MB の netcdf-4 ファイルをダウンロードしています。

time_counter 次元を固定サイズ (18) から無制限の次元に変換するより良い方法を探しています。

netcdf コマンドと sed でそれを行う方法を見つけました。このような：

これは小さなファイルではうまくいきましたが、600 MB の netcdf ファイルをダンプすると、多くのメモリと時間がかかります。

誰かがこれを達成するための別の方法を知っていますか?

R ill を使用して、15 の変数を持つ 5 次元空間を含む私の NetCDF データを開こうとします。(計算用の変数は行列 1000X920 にあります)

この問題は、実際には以前の他の質問と同じように見えます。

ここや他の人から説明を受けました

最初は RNetCDF パッケージを使用していましたが、試行錯誤の末、パッケージがデータを読み取るときに一貫性がないことがわかりました。そして、ncdfパッケージを使用した後、最終的に改善されました。

単一のファイル内のデータを開くことには問題はありませんが、特定の変数(例: var no 15) に対してフォルダー内の 100 を超えるデータをループしようとすると、プログラムは失敗しました。

また、特定の変数に対してこのようなコマンドを試すと

だから私の質問は、特別な変数ですべてのnetcdfファイルを読み取り、1つのフレームで計算を行う解決策です。以前のソリューションから、netcdf データ全体で変数 15 を生成できませんでした。

この問題の解決策をありがとう。

アップデート：

これが私がした最後のことです

私が書くとき

rbind(df,data.frame(lw))->df }

> nc ですべての netcdf データを取得できます

lw1、lw2...などのように、新しい名前の変数データを自動的に取得するにはどうすればよいですか?適用できません

その後、すべてのデータで計算を行うことができます。

私が試したもう1つのテクニックは、RNetCDFパッケージnを使用してループを実行することです

変数データを取得できますが、すべてのファイル nc から 1 つのデータを取得しただけです。注：私のデータ名のサンプル（data20150102001.nc、data20150102002.nc.....など）

かなり大きな netcdf ファイルの空間サブセットを抽出したいと考えています。netcdfファイルをループして計算を実行 - Python または R

州 (アイオワ州など) に対応する netcdf ファイルのサブセットだけを抽出するにはどうすればよいですか。アイオワ州の境界緯度は次のとおりです。

経度: 89° 5' W ～ 96° 31' W

緯度: 40° 36' N ～ 43° 30' N