問題タブ [h5py]

私が使う ：

HDF5 ファイル全体(2 GB、それぞれ 2 MB の 1000 個numpyの配列)をメモリに読み込みます。

HDF5 のすべてのコンテンツをメモリにロードするより高速な方法はありますか?

(おそらく、ここでのループは、ファイル内で多くの「移動」(シーク?) を実行します。これは、それぞれf[k]が与えられる順序で配置されていないためfor k in f.iterkeys()ですか?)

Python スクリプトを使用して取得した、別々の .h5 ファイル (Hierarchical Data Format 5、HDF5) に 2 つのデータ セットがあり、それらの間の相関関係を見つけるために統計分析を実行したいと考えています。ここでの私の経験は限られています。Rは何も知りません。

データを SPSS にロードしたいのですが、SPSS は .h5 をサポートしていないようです。ここに行くのに最適な方法は何ですか? すべてを .csv ファイルに書き込むことができますが、変数の名前が失われます。情報を失うことなくデータを変換する方法はありますか? それにしても、なぜ SPSS は h5 をサポートしないのでしょうか?

Rpy モジュールの存在は認識しています。Rでプログラミングを学ぶ価値はあると思いますか? これにより、SPSS と同じメソッドの武器が得られるでしょうか?

ご意見ありがとうございます。

HDF5 を使用して時系列の EEG データを保存しようとしています。これらのファイルは非常に大きく、多くのチャネルで構成されている可能性があり、HDF5 ファイル形式の機能 (遅延 I/O、動的圧縮、mpi など) が気に入っています。

EEG データで行う一般的なことの 1 つは、データのセクションを「興味深い」ものとしてマークすることです。これらのマークをファイルに保存する良い方法に苦労しています。同じデータセットを他のグループなどにリンクするためにサポートされているソフト/ハード リンクが表示されますが、データセットのセクションにリンクする方法がわかりません。

たとえば、睡眠データを含む EEG というデータセットがあるとします。データの処理に時間がかかり、レム睡眠の期間に対応するインデックスを生成するアルゴリズムを実行するとします。これらのインデックス範囲を HDF5 ファイルに保存する最良の方法は何ですか?

私が今考えることができる最善の方法は、3 つの列を持つデータセットを作成することです。最初の列は文字列で、イベント ("REM1") のラベルが含まれ、2 番目/3 番目の列にはそれぞれ開始/終了インデックスが含まれます。 . このソリューションが気に入らない唯一の理由は、HDF5 データセットのサイズがかなり設定されているためです。後でレム睡眠の期間が誤って識別され、そのイベントを追加/削除する必要があると判断した場合、データセットのサイズが必要になります。変更します（データセットを削除する/新しいサイズで再作成することは最適ではありません）。多くのイベント (まばたきイベントをマークすることを想像してください) がある可能性があるという事実によって、これはさらに問題になります。

HDF5 ファイルに、私が気付いていない機能があるかどうかを知りたいと思っています。

かなり複雑な h5 ファイルの一部である numpy 配列を上書きしようとしています。

配列を抽出し、いくつかの値を変更してから、配列を h5 ファイルに再挿入したいと考えています。

ネストされた配列の抽出に問題はありません。

私の試みたコードは次のようになり、成功しませんでした:

健全性チェックとして、次のコードを使用して Matlab でこれを実行しましたが、問題なく動作しました。

これを成功させる方法について何か提案はありますか?

【追記：問題は解決しました。解決策については最後を参照してください]

h5py データセットをスライスしようとしていますが、ここでしかエラーが発生しません

しかし、同じグループ内の別のデータセットをスライスすると、うまくいくようです

の何が悪いのかよくわかりませんdataset['trainlabel']。

誰もこれに遭遇したことがありますか？ありがとう。

PSdatasetは v7.3 .mat ファイルから読み取られます。「traindata」は元は単精度行列で、「trainlabel」は .mat ファイルの int32 ベクトルです。

[解決策:] http://www.lfd.uci.edu/~gohlke/pythonlibs/#h5pyから入手できるビルド済みバージョンで既存の h5py lib (Anaconda に同梱) を上書きします。

h5pyPython ライブラリを使用して HDF5 配列のサイズを変更するにはどうすればよいですか?

メソッドを使用して、に設定し.resizeた配列で試しました。残念ながら、私はまだ何かが欠けています。chunksTrue

HDF5 ファイルの大きなファイル セットがいくつかあり、これらのファイルのデータを XML、TXT、またはその他の読みやすい形式に効率的に変換する方法を探しています。Python パッケージ (www.h5py.org) を使用してみましたが、この作業を十分に迅速に行う方法を見つけることができませんでした。私は Python に限定されず、Java、Scala、または Matlab でコーディングすることもできます。誰かがこれを進める方法についていくつか提案をしてもらえますか?

ありがとう、

TM