問題タブ [hdf]

1 つの列に gps 座標のリストが float-tuples として含まれている大きな csv ファイルがあります。もちろん、ファイルを pandas データフレームとして読み込むと、それらの型は単なる文字列であり、あまり役に立ちません。

私がやりたいことは、文字列を浮動小数点タプルのリストに変換し、データフレームに簡単にロードしてクエリを実行できる形式で保存することです。これに関する重要な制約は、大きなデータセット全体に対してこの変換を計算できないことです。そのため、バイナリ オブジェクトをダンプすることはできません。

私が読んだことから、HDFストアは必要な形式でデータを保存し、行を追加できるようにする必要があるようです。そのため、文字列をGPSエントリに少しずつ変換できるため、メモリに問題は発生しません制限。

ただし、HDF ファイルを作成しようとすると、次のようになります。

このエラーを生成するコードは次のとおりです。

df には、変換関数を POLYLINE 列にマッピングした後、元のデータのスライスが含まれています。これは、少なくとも、この列のすべてのデータが同じ型であることを意味するはずです。

生成されたエラーを解決するにはどうすればよいですか、またはうまく機能する可能性のある他の方法はありますか?

編集:変換前の df.head() は次のようになります:

POLYLINE 列を変換した後 (スペースを節約するために他の列を除外します):

結果の出力もタプルのリストではなくリストのリストになるように変更しました。これらの 1 つの要素を調べると、変換前のエントリが文字列であり、内部リストの 1 つの項目が浮動小数点数であることがわかりますが、出力方法ではこれが明確になりません。

圧縮されたファイルで hdf5 ファイルを読みたいと思います。ここでの問題は、この hdf5 ファイルも bzip2ed (.bz2) ファイルとして二重に圧縮されていることです。

下図を参照してください。

zipファイルは"g2_BIOPAR_SWI_201012250000_GLOBE_ASCAT_V2_0_0.ZIP".

対象のbz2ファイルは"g2_BIOPAR_SWI_201012250000_GLOBE_ASCAT_V2_0_0.h5.bz2".

誰かがそれを行う方法のヒントやガイダンスを教えてもらえますか?

フォルダー内に 1,000 を超える MODIS HDF 画像があります。

それらの名前は、どのファイルを一緒にモザイク化する必要があるかを示しています。

たとえば、以下のファイルで2009090は、これら 3 つの画像を一緒にモザイク化する必要があることを意味します。

または、これら 2 つは同じ日付2009091のものです。

この関数 (関数のソース)を使用してそれらをモザイク化します。

HDF ファイルをhdfNamesに導入するにはどうすればよいですか?

filenameには何を書けばいいですか？

この機能のマニュアルを探してみましたが、何もありませんでした。

ご協力いただきありがとうございます。

R でクロロフィル レベルの HDF データを使用しようとしています。パッケージをrhdf5インストールして実行していますが、HDF データを読み込もうとするとエラーが発生します。

これが私が使用しているコードです

それが生成するエラーは

私はグーグルを見て、この問題を抱えている他の人を見つけましたが、それを修正する方法がわかりません.

HDF5 ファイル (H5、HD5、または階層データ形式と呼ばれることもあります) を Excel にロード/インポートする方法はありますか?

中間の CSV ファイルをエクスポートしたくありません。理想的には、データを変更して Excel で変更し、HDF5 に再保存したいからです (ただし、最初にファイルをロードする問題を解決する答えが受け入れられます)。

HDF5 は、Python の PyTables、pandas、および h5py で使用される形式であることに注意してください (これらのパッケージの専門家は、この質問に答えることができる場合があります)。ただし、この問題を解決するために Python を使用することは避けたいと思います (既存のソフトウェア ツールを使用することをお勧めします)。ODBC を使用する方法があるかもしれませんが、方法がわかりません。

現在、HDFファイル (バージョン 4) を使用しており、pyhdfモジュール ( http://hdfeos.org/software/pyhdf.php ) を使用しています。

を使用して MATLAB で HDF ファイルの 1 つを開くとnctoolbox、次の変数が表示されます。

Python を使用すると、pyhdf2 つの変数しか表示されません。

誰かがここで何が起こっているのかを理解するのを手伝ってくれたら.

経由でデータフレームを小さなチャンクで hdf5 に送信しようとすると、問題が発生しますpd.HDFStore('mystore.h5', mode='a').append(my_frame, chunk)。チャンクは、列とタイプの点ですべて同じです（同じデータフレームから取得されます）が、多くのチャンクで機能し、途中で爆撃します。

ValueError: cannot match existing table structure for [Net_Bal_Amt,Loan_Current_Rate] on appending data

この失敗の原因となったデータフレーム チャンクを出力します。共通点の 1 つは、特定の列の値がすべて「なし」であることです (元はソースから null です)。これを修正する方法がわかりません。空である限り、None、NaN、または null のままにする必要があります。ありがとう。

dtype:

バージョン: pytables:3.1.1 パンダ: 0.15.2 python:3.4

クラッシュ時に追加されるチャンクの dtypes:

で MERRA データに取り組んでいますMatlab。MERRA300.prod.assim.tavg1_2d_rad_Nx 製品の指定された座標のデータをプロットすることに興味があります。

特定の位置データ (緯度/経度に基づく) を抽出する方法について助けが必要ですか? 私が取り組んだコードを添付しています。hereとhereの例も見ました。