問題タブ [hdf]

HDF5 形式を管理する標準の R パッケージが に変更されたためrhdf5、一部の機能が使用できなくなりました。それらの1つは次のhdf5loadとおりです。

読み込むファイルはどこh5fileにありHDF5ますか。次の方法で問題を解決できます。

問題は、これらの行が非常に多いため、多くのコード行を変更する必要があることです。

h5pointer後で要素を逆参照できるようなオブジェクトを持つ方法はありますか?

私は現在 HDF5 を学習しており、C++ を使用して空のグループに属性を追加する方法を理解する必要があります。HDFView を介してそれを行う方法は知っていますが、単純なグループに属性を追加することに関するドキュメントが見つからないようです。データセットのみです (これは可能ですか?)。

HDFView で、グループを追加し、そのグループを右クリックして [プロパティの表示] を選択すると、[一般] と [属性] のタブを含む新しいウィンドウがポップアップ表示されます。「属性」タブでは、複数の属性を追加できます。私は基本的にこれをやりたいのですが、コードを使用しています。

以下のコードは、単一のグループを新しい H5 ファイルに追加します。

このファイルをMatlabにインポートして、トリミングできるようにしようとしています:

ただし、ファイルを行列ではなくベクトルとして開きます。

ここで R から pandas を開始します。R の本番環境での使用は、膨大な量のデータを (save_image を介して) .RData としてディスクに保存し、次にワークスペースをロードするときに使用することです。pandas ワークスペース全体をディスクに保存する実際の解決策はないようです。

ディルはありますが、生産に値するようには見えません。これは Pandas/Numpy のアンチパターンですか? HDF5 (または最近発表された Apache Arrow) のようなもので実行状態をスナップショットする必要があると考えています。

ハイバネーションについて話しているわけではないことに注意してください。ここではデータ構造について言及しているだけであり、コードの実行状態などではありません。

IRCの言及に関するさらに議論：

• hdf5を使用できますが、この場合、計算されたばかりであっても、使用する前に必ずラウンドトリップしてください。残念ながら、to_hdf/read_hdfは、開始したデータフレームを必ずしも提供するとは限りません
• pickle はデバッグ不可能で、バージョン互換性がなく、Python のみであり、serliaz されていないため安全ではなく、正しいデータが与えられた場合に正しくない可能性があります。

どちらにしても悪いですか？

これはばかげた質問かもしれませんが、パンダのドキュメントや他の場所でまだ答えを見つけていません。同じ質問が以前ここで尋ねられました。しかし、唯一の答えは、パンダのドキュメントを見ることでした。これは、私が述べたように、この問題に対する答えを提供していません。

複数のデータセットを含む hdf ファイルを作成できるようにしたいと考えています。この hdf が閉じられたら、含まれている各データセットを一覧表示できるようにしたいと思います。例えば：

戻り値：

ただし、hdf を閉じてから、次のエラーstore.close()を使用して読み込もうとするとpd.read_hdf()、次のエラーが返されます。

これらすべてのデータセットのリストを返す方法はありますか?

助けてくれてありがとう！

ウィキペディアでは、HDF5 に関する次の批判を読むことができます。

HDF5 に対する批判は、そのモノリシックな設計と長い仕様に由来しています。150 ページのオープン スタンダードですが、HDF5 の C 実装は 1 つしかありません。つまり、すべてのバインディングでバグとパフォーマンスの問題が共有されます。ジャーナリングの欠如と相まって、現在の安定版リリースで文書化 されたバグにより、 HDF5 データベース全体が破損する可能性があります。1.10-alpha ではジャーナリングが追加されていますが、以前のバージョンとの下位互換性はありません。また、HDF5 は UTF-8 を十分にサポートしていないため、ほとんどの場所で ASCII が必要になります。さらに、最新のドラフトでも、配列データを削除することはできません。

これは HDF5 の C 実装に適用されるだけなのか、それとも HDF5 の一般的な欠陥なのか疑問に思っています。

私は時々ギガバイトのデータを生成する科学実験を行っており、すべての場合で少なくとも数百メガバイトのデータを生成しています. 明らかに、データの損失、特に破損は、私にとって大きな不利益となります。

私のスクリプトには常にPython APIh5pyがあるため、 (バージョン 2.5.0)を使用しています。

では、この批判は私に関係がありますか? データの破損について心配する必要がありますか?

hdf ファイルから任意のサイズの次元 1 の配列を読み取りたい。ここでは「外部データセットへの読み取り/書き込み」の例に取り組んでいますが、配列の次元がアプリオリにわからないため、いくつかの追加のサブルーチンを呼び出す必要があります。

m を出力すると正しい値が得られるため、データ空間の次元を見つけることができますが、データ自体を読み取ることはできません。

読み取ろうとしているテスト配列は次のようになります。

プログラム：

経由でコンパイル

出力を生成します：

ありがとう。

呼び出し時にデータを保存する関数を作成したいと思います。クラスへのリンクは次のとおりです。

モンテカルロランナークラス

to_hdf() 関数を作成しましたが、hdf ファイルを作成するだけでデータが保存されません。コードを実行して、その hdf ファイルにデータを配置するのを手伝ってください。