問題タブ [hdf5]

クラスターで読み取ろうとしている PyTables によって生成されたかなり大きな HDF5 ファイルがあります。個々のチャンクを読み込んでいるときに、NumPy で問題が発生しています。例を見てみましょう：

HDF5 ファイル内の配列の全体形状は、

この配列の各エントリはnp.float64.

各ノードに size のスライスを読み取らせています(21933063,10,3)。残念ながら、NumPy は 2100 万のサブスライスを一度にすべて読み取ることができないようです。これらのスライスを 10 個のスライスに分割し(2193306,10,3)、次の reduce を使用して動作させることで、これを順番に実行しようとしました。

どこ1 <= k <= 10とchunksize = 2193306。このコードはk <= 9; それ以外の場合は、次のようになります。

Valgrind のmemcheckツールを使用して何が起こっているのかを調べてみましたが、PyTables が原因のようです。トレースに表示される 2 つの主なファイルはlibhdf5.so.6、 と に関連するファイルですblosc。

また、私が持っている場合k=8、私は得ることに注意してください：

しかし、最後のサブスライスを追加すると、次のようになります。

何をすべきか考えている人はいますか？ありがとう！

HDFView がユーザーまたはアプリケーションによって作成された hdf ファイルを開くたびに、次のエラーが表示されます (Red Hat Linux を使用しています)。

私は、64ビットバージョンのEnthought Pythonを使用して、複数のHDF5ファイル間でデータを処理しています。64ビットWindowsでh5pyバージョン1.3.1（HDF5 1.8.4）を使用しています。

特定のデータ階層への便利なインターフェイスを提供するオブジェクトがありますが、h5py.File（fname、'r'）を個別にテストすると同じ結果が得られます。私は長いリスト（一度に最大100個のファイル）を繰り返し処理し、ファイルから特定の情報を引き出しようとしています。私が抱えている問題は、いくつかのファイルから同じ情報を取得していることです。私のループは次のようになります。

hdfviewのようなものを使用してファイルを検査すると、内部が異なることがわかります。ただし、取得したcsvは、すべてのファイルに同じデータが含まれていることを示しているようです。誰かが以前にこの振る舞いを見たことがありますか？この問題のデバッグを開始するために行くことができる提案はありますか？

Pythonを使用して、衛星からの画像データを含むhdfファイル（Hierarchical Data Format）を読み取りました（名前はMODISである必要があります）。Python コードは、画像の経度、緯度、および放射輝度を取得できます。次に、データを使用して画像を生成します。

先生は、目的は画像を地図に載せることだと私に言いましたが、これの意味がわかりません。しかし、彼女は画像を地図に「配置」すると言いました。おそらく「近似最近傍」ライブラリ（ANNライブラリ）を使用する必要があります。

画像がマップに「配置」されると、次のようになります。

では、地図上に画像を「載せる」とはどういう意味でしょうか? ありがとうございました。

現在 .Rdata ファイルをエクスポートしているソフトウェアを変更して、HDF5 や netCDF などの「プラットフォームに依存しないバイナリ形式」でエクスポートするように依頼されました。次の 2 つの理由が挙げられました。

1. Rdata ファイルは R でのみ読み取ることができます
2. バイナリ情報の保存方法は、オペレーティング システムやアーキテクチャによって異なります

また、 「R Data import export manual」では、HDF5 と netCDF については説明されていますが、Rdata ファイルについては説明されていません。

R-help に関する議論では、.Rdata ファイルはプラットフォームに依存しないことが示唆されています。

質問:

1. これらの懸念はどの程度有効ですか？
   • たとえば、Matlab は R を呼び出さずに .Rdata を読み取ることができますか?
2. この点で、他の形式は .Rdata ファイルよりも便利ですか?
3. プログラム自体への変更を最小限に抑えて、すべての .Rdata ファイルの .hdf5 類似物を作成するスクリプトを作成することは可能でしょうか?

Python が SQLite (sqlite3、atpy) および HDF5 (h5py、pyTables) と連携するための選択肢はたくさんあるようです。これらのうち、各データ形式 (SQLite および HDF5) の「科学的」モジュール (numpy、scipy) と最もシームレスに統合されます。

HDF5DotNetを使用して、hdf5 ファイルを開き、データセットの内容を抽出し、内容を標準出力に出力するサンプル コードを教えてもらえますか?

これまでのところ、次のものがあります。

それから少し混乱します。

実際にはデータセットの内容を処理したいのですが、標準出力にダンプしたら、そこから処理できると思います。

更新: 私は自分の問題を解決するのに十分なハッキングを行いました。データセットがマルチアレイであることを認識できませんでした。これは db テーブルに似ていると思いました。万一、興味のある方がいらっしゃいましたら、

Python 2.7 を使用しています。私のシステムは Window Vista、32 ビットを実行しています。

放射輝度、緯度と経度、および画像ファイル(hdf拡張子)を読み取るコードがあります。そして、近似最近傍を実行してマッピングしてみてください。しかし、近似最近傍を実行しようとすると、メモリエラーが発生します。

hdf ファイルだけで 4.70 MB あり、サイズはそれほど大きくないようです。

これが私のコードです：

次に、私の関数とインポートは次のとおりです。

これは定義 get_lat_lon です。

これは定義 interp_knn です (近似された最近傍 ANN です)

エラーは次のとおりです。

では、列スタックがこのエラーを引き起こしていますか? それが問題である場合、それを解決するにはどうすればよいですか? 光をください。

編集：

これらの行を入力して、各値を出力しました

そして、私はこれらの結果を得ました:

MS VC ++ 2010（Visual Studio Professional）にアップグレードして1.45.0をブーストしましたが、MS VC++2008とブースト1.39.0で構築されたHDF51.8.4p1を使用しようとしています。すべてが正常にビルドされます（HDF5libパスに必要なboost_zlib-vc90*。[lib/ dll]を明示的に提供します）。しかし、実行すると、HDF5ライブラリで次の実行時エラーが発生します。

エラーは、HDF5ライブラリに明確に分離されているように見えます。以下の関数呼び出し内のH5File（...）コンストラクターでアクセス違反が発生しています（2行のコードに分割して確認しました）。また、HDF5ファイルアクセスフラグを変更しようとしましたが、役に立ちませんでした。

ここで、m_fileのタイプは次のとおりです。

MS VC ++2010とboost_zlib1.45を使用してHDF5libを構築する以外に手段はありませんか？

編集：

MS VC ++ 2010でHDF5ライブラリを構築することになった（少し面倒でしたが、CMakeルートを使用して問題が解決した）ことをフォローアップしたかっただけで、アプリケーションは正常に動作します。再度、感謝します。

HDF5ファイル（Bathymetric Attributed Grid / BAG）からテキストブロックをダンプする方法を理解しようとしています。私がそうするときh5dump -d /BAG_root/metadata H11703_Office_5m.bag、そして私が試した他のことは何でも、私は常に引用されたXMLの各文字でデータを取得します。生データの内容をファイルまたは端末にダンプする「簡単な」オプションはありますか？