問題タブ [blaze]

ネストされた辞書\配列として表されるオブジェクトがありますセット内のすべてのオブジェクトは同じスキーマを持ちますが、配列内のエントリの数はオブジェクトごとに異なる場合がありますこのデータを保存する良い方法を探しています。バッチ操作。具体的には、numpy 配列としての列 \ セットへの高速アクセスが重要です (これが、オブジェクトの単純なリストを使用しない主な理由です)

MultiIndex を使用した pandas は私の最初のアイデアでしたが、可変長配列をサポートできるとは思えません

csv と json からのデータのクエリに blaze を使用しています。ID が指定された ID と等しいレコードを照会する必要があるだけですか? 出来ますか。

上記のコードを実行しようとすると、SyntaxError: 無効な構文が表示されます

したがって、私は Blaze を使用しており、データフレームでこのクエリを実行したいと考えていました。

の場合SELECT *、これは機能します: d[d.col1 > 0]. しかし、すべての列ではなく、col1およびのみが必要です。col2どうすればいいですか？

前もって感謝します！

編集：ここでは次のように作成dします：d = Data('postgresql://uri')

したがって、odoデータ移行に使用していますが、次のエラーに遭遇しました:

ソース テーブルと宛先テーブルのスキーマは同じですが、バックエンドで実行されている sql ステートメントでは、整数値に .0 が含まれています。34ソース テーブルの整数と同様に、次のように表示され34.0ます。

さらに情報が必要な場合はお知らせください。

odo のドキュメントは非常にまばらで、csv ファイルをロードするときなどに、さらにパラメーターを渡す方法について説明していません。たとえば、ファイルが latin1 でエンコードされていることを odo に伝えるにはどうすればよいでしょうか。

非常に大きな csv ファイル (5 GB) があるため、すべてをメモリにロードしたくなく、1 つまたは複数の列を削除したいと考えています。次のコードを blaze で使用してみましたが、結果の列を既存の csv ファイルに追加するだけでした。

パンダまたはブレイズのいずれかを使用して、必要な列のみを保持し、他の列を削除する方法はありますか?

次のようなBlazeデータフレームdfがあります。

列に集計された x 軸の範囲として、ボケ味の棒グラフを作成しようとしています。overallwordcount

これは私が試したコードです:

しかし、次のようにエラーが発生します。

誰でもこれで私を助けることができますか?

ブレイズを使用してロードした〜7,400万行のデータテーブルがあります。

次のフィールドがあります: A、B、C、D、E、F、G

これは非常に大きなデータフレームであるため、特定の基準に適合する行を効率的に出力するにはどうすればよいですか? たとえば、A==4、B==8、E==10 の行が必要です。ルックアップをマルチタスクする方法はありますか? たとえば、スレッド化や並列プログラミングなどで？

並列プログラミングとは、たとえば、1 つのスレッドが行 1 から行 100000 までの一致する行を見つけようとし、2 番目のスレッドが行 100001 から 200000 までの一致する行を見つけようとするということです。