問題タブ [pandas-groupby]

データセットが大きすぎてメモリに収まらない場合に、Python でグループ化操作を行う簡単な方法/モジュールはありますか?

通常はパンダを使用しますが、大規模なデータセットでは機能しません。

これは、計算を実行しなければならない一意のグループの数を把握するのに役立ちます。ありがとうございました。

groupby オブジェクトが と呼ばれているとしdfgroupます。

列 Dist、Class、および Count を含むデータ セットがあります。

そのデータセットを dist でグループ化し、各グループのカウント列をそのグループのカウントの合計で割ります (1 に正規化します)。

次の MWE は、これまでの私のアプローチを示しています。しかし、私は疑問に思います:これを書くためのよりコンパクト/パンダ的な方法はありますか?

列 A と B を持つ DF があるので、行ごとに A と B の値の組み合わせを含む列 C を追加したいと思います。つまり、DF がある場合:

私は作成したいと思います:

明らかに、DF のすべての行を調べて、値をマージするだけです。大きなテーブルの場合、これは非常に遅いです。.unique()また、列 A と B に使用して、すべての組み合わせを反復処理し、ベクトルcol1_unとcol2_unそれぞれを作成してから、次のようなものを使用してテーブル内の関連するインデックスを更新することもできます

これはまだ遅いです。DF全体を検索するのではなく、検索フィールドをこれまで変更されていないインデックスに減らすことで、もう少し遊ぶことができます。まだ遅い。

group by のオプションがあり、2 つの列の組み合わせの一意のペアをすべて見つけて、グループごとに元の DF のインデックスにアクセスする方法がわかりませんでした。助けてください？

次の構造を持つデータフレームrounds（別のデータフレームから列を削除した結果）があります（写真を投稿できません、申し訳ありません）：

groupby次のように、グループの平均を取得できるように使用します。

私は望んでいた手段を手に入れましたが、鍵に問題があります。results_meanデータフレームには次の構造があります。

認識される唯一のキーはtime(実行しましたresults_mean.keys()) です。

私は何を間違えましたか？どうすれば修正できますか？

より良い/より効率的な方法があるかどうか疑問に思っている単純なタスクがあります。次のようなデータフレームがあります。

そして、グループの合計数の値を保持する列を追加したいと思います:

私がこれを行った方法は次のとおりです。

これらの値をデータフレームに直接追加するためのより良い/よりクリーンな方法はありますか?

助けてくれてありがとう。