問題タブ [hdf5]

WindowsのC++プログラムでデータをディスクにストリーミングする柔軟な方法は何ですか?

後で分析するために、任意のデータ (時間、平均、リセットされた場合のフラグなど) を含む可能性のある柔軟なデータ ストリームをディスクに作成しようとしています。データは不均一で不規則な間隔で入ってくる場合があります。理想的には、このストリームのオーバーヘッドが最小限で、MATLAB などで簡単に読み取れるので、イベントやデータを簡単に分析できます。

パケットの種類を記述したヘッダー ファイルと、それに続く でタグ付けされたデータのワイルド ダンプを含むバイナリ ファイルを考えています。無駄のないカスタム形式を検討していますが、HDF5のようなものにも興味があります。

次のようなHDF5ファイルオープン関数を作成しました。

コンパイルエラーは発生しませんでしたが、次の例外でリンクに失敗しました：リンク中...
ライブラリF：\ Tips \ Debug \ Tips.libおよびオブジェクトF：\ Tips \ Debug \ Tips.expを作成して
いますTwinSatObservation.obj：エラーLNK2001：未解決外部シンボル"public：static class H5 :: FileCreatPropList const H5 :: FileCreatPropList :: DEFAULT"（？DEFAULT @ FileCreatPropList @ H5 @@ 2V12 @ B）
TwinSatObservation.obj：エラーLNK2001：未解決の外部シンボル "public：static class H5： ：FileAccPropList const H5 :: FileAccPropList :: DEFAULT "（？DEFAULT @ FileAccPropList @ H5 @@ 2V12 @ B）
F：\ Tips \ Debug \ Tips.exe：致命的なエラーLNK1120：2つの未解決の外部

VS2008リンカー
hdf5dll.libhdf5_hldll.libhdf5_cppdll.libhdf5_hl_cppdll.libの
「AddtionalDependencies 」入力ボックスに次のライブラリを追加しまし た

追加し忘れたライブラリを教えてください。どうもありがとうございます！

Pythonのモジュールを機能させるために1日を費やしましたh5pyが、成功しませんでした。HDF5 共有ライブラリをインストールし、Web で見つけた指示に従って正しくインストールしました。以下は、モジュールをPythonにインポートしようとしたときに表示されるエラーメッセージです。私も MacPorts 経由でインストールしようとしましたが、やはりうまくいきません。

私はPython27 32ビットを使用しています（別のモジュールにもあったため、i386 HDF5ライブラリをインストールしました...そうであれば？）

どんな助けでも大歓迎です！

ありがとうございました ！

私は HDF5DotNet で遊んでいます ( http://hdf5.net/を参照)。H5Arrayこの種のコンストラクタがたくさんあるクラスがあります:

私は書きます

2D 配列の場合でも、次のようなエラーが表示されます。

内部エラー: F# は最大 4 の .NET 配列次元をサポートします

私の2つの質問は次のとおりです。

1. 2Dデータで機能させるにはどうすればよいですか?
2. 4次元以上のデータで機能させるには?

Visual Studio 2010でFLANN_Example.cppをコンパイルしようとしています。このファイルはFast Library for Approximate Nearest Neighbors（FLANN）の使用例です。実行可能ファイルを生成することを目的としています。ルーチン全体をCMake実行し、静的リンク用にセットアップされたHD5Fライブラリ（依存関係）をインストールしました。

flann_example.cppを除いて、他のすべてのものをコンパイルできます。

出力は次のとおりです。

これが私の追加のインクルードディレクトリです：

これがリンカーの下での私の追加の依存関係です：

コンパイラオプション：

/ I "C：\ Program Files（x86）\ HDF Group \ HDF5 \ 1.8.7 \ include \ cpp" / I "C：/flann-1.6.11- src / src / cpp" / Zi / nologo / W3 / WX- / Od / Ob0 / Oy- / D "WIN32" / D "_WINDOWS" / D "_D​​EBUG" / D "_FLANN_VERSION = 1.6.11" / D "FLANN_STATIC" / D "CMAKE_INTDIR = \" Debug \ "" / D "_MBCS" / Gm- / EHsc / RTC1 / MTd / GS / fp：precise / Zc：wchar_t / Zc：forScope / GR / Fp "flann_cpp_s.dir \ Debug \ flann_example.pch" / Fa "Debug" / Fo " flann_cpp_s.dir \ Debug \ "/Fd"C:/flann-1.6.11-src/bin/lib/Debug/flann_cpp_s.pdb "/ Gd / TP / analysis- / errorReport：queue

いくつかの助けを本当にいただければ幸いです！私はこれに途方もない時間を費やしました。

非常に単純な複合データセットがあり、約100万行の複合データ型があります。

ロング1つ、ダブル3つ。

すべてのプロセッサに均等に分散された集合呼び出しを使用して、MPIと並行して読みたいと思います。

HDF5の低レベルのインターフェースは使用が非常に複雑であり、そのような単純なデータセットの場合、LiteやTableなどの高レベルのAPIの1つを使用できるかどうか疑問に思います。ドキュメントから明らかでないのは、これらのAPIがMPI一括読み取りをサポートしているかどうかです。

誰かがHDF51.8を使用してこの単純なデータセットをC構造体に読み取ることができる最も単純なコードスニペットを書くことができますか？

専門家にとってこれは些細なことだと思いますが、初心者にとっては、HDF5（およびそのドキュメント）の複雑さにより、非常に困難な作業になります。

ありがとう。

大きなデータセット（> 30Gb）を既存のpytablesテーブルに追加しようとしています。テーブルはN列で、データセットはN-1列です。1つの列は、他のN-1列を知った後に計算されます。

numpy.fromfile()データベースに追加する前に、データセットのチャンクをメモリに読み込むために使用しています。理想的には、データをデータベースに貼り付けてから、最後の列を計算し、を使用Table.modifyColumn()して操作を完了します。

numpy.zeros((len(new_data), N))テーブルに追加してからTable.modifyColumns()、新しいデータを入力するために使用することを検討しましたが、追加する必要のあるチャンクごとに空のデータの巨大な配列を生成しないようにするための良い方法を誰かが知っていることを願っています。

MS Visual C++ 2010 Express でプラグインを作成しています。HDF5 ライブラリの機能を組み込みたいと考えています。HDF5-1.8.7_CMake_x86_shared.zip私は、CMake を使用してソースから HDF5 をビルドすることと、プリコンパイル済みライブラリ ( VC 2008 用)をインストールすることの両方を試みました。どちらのビルド ディレクトリ/メソッドについても、プロジェクト プロパティを変更しました。

• C/C++ > 一般 > 追加のインクルード ディレクトリ: includeHDF5 用の を追加します。
• [リンカー] > [一般] > [追加のライブラリ ディレクトリ]: libHDF5 用の を追加します。

これが私のDLLモジュールのスニペットです：

VC++ はファイルを正しく解析して、たとえば、マウスをそのスニペットの上に置いたときに.hポップアップ ドキュメントを視覚的に表示することに注意してください。H5Fcreate私の問題は、使用しようとするモジュールをビルドできないことH5Fcreateです。私のビルド試行からのコンソール出力は次のとおりです。

HDF5 でリンクしようとする両方の方法 (上記のようにプリコンパイルと自己コンパイル) でまったく同じエラーが発生するため、どこが間違っているのかわかりません。

@HasanKhan と @StevieG に感謝します。これらは私のような初心者にとって役立つヒントでした。明確にフォローアップするために、リンカー>入力>追加の依存関係にlibファイルパスを追加する必要がありました。

他の HDF5 機能が必要な場合は、他の lib ファイルを追加する必要があるかもしれません。また、実行時にプラグインが正しく動作するには、HDF5 DLLbinを (から) システム ディレクトリ (たとえば、 )にコピーする必要があることがわかりました。C:\WINDOWS\System32\これで大丈夫です、ありがとう！

HDF5 C++ APIを使用して 2D 配列データセット ファイルを作成しています。HDF グループには、静的に定義された配列サイズから HDF5 ファイルを作成する例があり、以下のニーズに合わせて変更しました。NXただし、実行時にとの両方NYが決定される動的配列が必要です。動的配列の作成に役立つ「new」キーワードを使用して 2D 配列を作成する別の解決策を見つけました。ここに私が持っているものがあります:

ただし、結果のファイルは期待どおりではありません ( からの出力hdf5dump)。

この問題は、2D 配列がどのように作成されたかに起因します (この例は静的配列メソッドでうまく機能するため)。このメールスレッドからわかるように：

HDF5 ライブラリは、低次元の要素へのポインターではなく、要素の連続した配列を想定しています。

私は C++/HDF5 にかなり慣れていないので、要素の連続した配列である動的サイズの配列を実行時に作成する方法がわかりません。電子メール スレッドで説明されているより複雑な「hyperslab」メソッドは実行したくありません。これは非常に複雑に見えるためです。どんな助けでも大歓迎です。

32 ビット Win XP マシンの C# .NET アプリケーションで HDF5 を使用しようとしています。私はこの HDF5 のまったくの初心者です。

http://www.hdfgroup.org/HDF5/release/obtain5.htmlから Windows バイナリ ディストリビューション「HDF5-1.8.7_win_x86.zip」をダウンロードしました 。ダウンロードしたものの下に「windows」ディレクトリがないため、「INSTALL_Windows.txt」の指示に従うことができません。そこから「copy_hdf.bat」ファイルを実行するように指示されます。

現時点での私の意図は、HDF5 を使用していくつかの単純なテキストと数値データを保存することです。誰かがそれについてどうすればよいか提案してもらえますか。