問題タブ [pytables]

簡単な質問ですが、Pythonで持っている3番目のparyモジュールをpypyに認識させるにはどうすればよいですか？たとえば、次のエラーが発生します。

これは基本的に、実行しようとしているスクリプトで対話するために使用するpytablesライブラリが見つからないことを意味します。

そうでない場合は、64ビットシステム（つまり、psycoなし）でpytablesにアクセスするためのPythonコードを高速化する方法はありますか？

現在、PyTables にデータをより速く書き込むようにしようとして問題が発生しています。私の現在のシナリオを説明しましょう。

現在、マルチキャストを介して入ってくるデータ、つまり高レートのデータがあります。PyTables に格納するために送信される辞書にデータをハッシュするパーサーとデータ構造があります。

キーがidで、値がidに適用されるデータのインスタンスの配列であるこのディクショナリを受け入れるスレッドがあります。スレッドはキーと値のペアを繰り返し処理し、id に対応するテーブルにデータを追加します。

これが私の現在の実装です。これまでのところ、辞書の配列はバッファとして機能し、時間の経過とともに直線的に増加します。これは私の明らかな問題です。このコードは、ライター スレッドがデータを書き込むために行う一定のループを示しています。

IDをグループのインスタンスにマップできるpytables内にある種の辞書を保存できるかどうか疑問に思っていましたか? 現在、データをグループ内で分離しようとしています。ただし、(getNode メソッドを使用して) これらのグループを検索するための検索時間は非常に長くなります。

ファイルを開いて読み取るときに getNode を呼び出してツリーを検索してグループを見つけるのではなく、ファイル内の辞書を開いてグループ/テーブル インスタンスを検索できるようにしたいと考えています。これは可能性がありますか？

PyTables モジュールをインストールしようとしています。Windows 7 (x32)、Python 2.7.3 (x32)、Cython 0.16、Visual Studio 2008 (9.0) を使用しています。cmd.exe で「管理者として実行」に「python setup.py install --hdf5="C:\Program Files\HDF Group\HDF5\1.8.9"」と記述します。

しかし、未解決の外部シンボルがあり、ビルドに失敗しました:

Pytablesを使用していますが、フォルダー内にh5データベースを作成する方法を考えています。

たとえば、次のようなデータベースファイルを簡単に作成できます。

これにより、pythonディレクトリにファイルが作成されます。サブフォルダ内にtest2.h5ファイルを作成したい場合はどうなりますか？ファイルが作成されるディレクトリをどのように変更できますか？

PythonスレッドモジュールをPyTablesと一緒に使用しようとしています。PyTabesがスレッドセーフかどうか誰かに教えてもらえますか？エラーが発生しましたが、スレッドに関連しているようです。

ありがとう、マーク

私はいくつかの大規模な財務データセットのパンダとパイテーブルをテストしていて、実際の障害に遭遇しました：

pytablesファイルに保存する場合、パンダは多次元データを列ではなく非常に長い行に保存しているように見えます。

これを試して：

出力：

完全にはわかりませんが、エラーメッセージと組み合わせると、Array（2,100000000）は、2行1億列の2D配列を意味すると思います。これは、HDFViewに表示される方法でもあります。

パフォーマンスが極端に低下しました（data ['ticks']。head（）の場合は10秒）。これが原因ですか？

Pytables をインストールしようとしていて、ほとんどすべての依存関係をインストールしました: ただし、pytables をインストールしようとすると:

「サポートされていない HDF5 バージョン」とはどういう意味ですか?

Pythonには比較的新しいので、私が見つけていない明らかな答えがあればすみません。

pytable に格納するという最終目標を持って、いくつかの一時的に連続したバイナリ ファイルを numpy レコード配列に読み込んでいます。私が予想する問題は、すべてのファイルが同じフィールドまたは同じフィールド順序を持っていない可能性があることです。フィールド ラベルまたはインデックスのいずれかを使用して、再配列の列 (行ではなく) を並べ替える numpy 関数を探していました。さらに良いのは、再配列を別の配列に追加するときに、これを行い、欠落している列を説明する関数です。以下は、私が念頭に置いていたもののサンプルです。