問題タブ [hdf]

Pythonで読み取る必要があるHDF4ファイルがあります。これには を使用しますpyhdf。SDほとんどの場合、クラスを使用してファイルを開くことに非常に満足しています。

そして、次に進みます

ただし、HDF ファイルに複数のグループがあり、いくつかの変数が同じ名前の複数のグループに表示されます。

In Group 1I haveData set 3と in Group 2I haveData set 3なので、私のselectコマンドはそのうちの 1 つだけを選択すると思います (どれがどれかわからなくても?)。

Data set 3から選択 (読み取り) する簡単な方法はありGroup 1ますGroup 2か?

VとVSモジュールを見てきました。すべてのグループやサブグループなどをループしてすべての変数 (データ セット) を検索するサンプル スクリプトを見つけました。しかし、これらの変数がどのグループに属しているかを知るために、これらの変数を親に接続する方法についてのアイデアが得られました。

MODISデータベースからいくつかの HDF ファイルをダウンロードしました。ドキュメントによると0.1、実際の値を取得するには、レイヤーを掛ける必要があります。

HDF レイヤーの名前を Raster Calculator に入力するとエラーが発生しますが、以前に新しいラスターとしてエクスポートすると機能します。しかし、 を掛けた後で0.1も、連続スケールの画像は得られず、黒と白の領域しか得られません。ドキュメントに示されているように、7 つの最高値を除外しましたが、それでも変化はありません。

MODIS ファイルを取得する別の方法は、それぞれのツールボックスを使用することです。このツールでインポートされたデータは正しく表示されますが、上記のリンクから入手できるにもかかわらず、ほとんどのデータをインポートできません。

• 実行に失敗しました (CreateCustomGeoTransformation)
• 実行に失敗しました (ImportEvapotranspiration)

誰かが似たようなことを経験しましたか?

pandas HDFStore を使用して空の DataFrame を格納すると、多くのディスク領域が消費されます。次に例を示します。

ファイルサイズ:

単一の NaN を含む 1000 個の DataFrame は、空の 1000 個の DataFrame よりも約 400 倍少ないスペースを消費します。キーを HDFStore で取得したものとしてマークするより効率的な方法はありますか? (空の DataFrame が非常に多くのスペースを消費することは直感的ではありません。)

私は caffe で深層学習を行っており、HDF5 形式で独自のデータセットを生成しています。131,976 個の画像がすべて 224x224 で、約 480MB になり、各画像にはラベルとして 1x6 配列があります。.h5 ファイルを生成すると、それぞれ 5GB、合計 125GB になることがわかりました。これが予想されることを確認したいだけです。内容を確認しましたが、メモリ要件が 250 倍になる理由がわかりません。私がやっているのは、numpy 配列 X と Y を埋めて、データセット (合計 25) を作成することだけです。

選択から null 応答をブロックする方法を理解しようとしていますが、正しい選択を生成するように where ステートメントを作成する方法を考えていました。たとえば、次のコードがあるとします。

私は本質的に次のように言うのと同等のことを望んでいます:

どうすればそれを行うことができますか？

ありがとう！