問題タブ [pandas]

Python とこの興味深いプロット ライブラリの両方を学んでいるので、matplotlib でプロットをレンダリングし始めています。取り組んでいる問題のカスタム プロットについて助けが必要です。このための組み込み関数が既に存在する可能性があります。

問題: テーブル (長方形) を 96 個のセル (8 行 X 12 列) のプロットとして描画しようとしています。各代替セルを特定の色 (チェス盤のように: 黒/白の代わりに他の色の組み合わせを使用します) で色付けし、pandas データ フレームまたは python 辞書から各セルに値を挿入します。列と行のラベルを横に表示します。

サンプルデータ: http://pastebin.com/N4A7gWuH

numpy/pandas ds のセルの値を置き換えて、プロットを次のようにしたいと思います。

サンプル プロット: http://picpaste.com/sample-E0DZaoXk.png

ご意見をお待ちしております。

PS: mathplotlib のメーリング リストに同じものを投稿しました

dataframe次のような外観があるとします。

「b」でグループを作成できます。各グループの 'a' の最後の非 NA 値をすばやく取得する方法はありますか? この場合、グループ A では 3、グループ B では -9 になります。

(この場合、系列「a」は指定どおりにソートされますが、そうでない場合もあります。別の列「c」が存在する可能性があり、それに応じて「最後」が定義されます。)

grouped.groups dict を調べて、独自のループ コードを作成しました。しかし、私の巨大なデータセットを考えると、どうやらそれは非常に非効率的です。これは非常に簡単に実行できると思います-おそらく私はパンダの初心者です:-)

特定の列の値が最大になる行を見つけるにはどうすればよいですか？

df.max()各列の最大値が表示されますが、対応する行を取得する方法がわかりません。

Pandas は numpy に依存しており、pandas の 依存関係をインストールするための未解決のビルドの問題があります。とにかく、以下の例で pip が numpy で終了する理由はありますか? 要件ファイルを使用している場合にも発生します。

次に、派手なセットアップの途中で、パンダのセットアップがトリガーされます。

....そしてnumpyをテストするとき

pandas データ フレームを使用してデータを集計しました。以下は、表示されている実際のデータと、それをどのように集計したかです。

fdf.groupby(['row',col'])['percent'].sum()

http://pastebin.com/R8XWpgtU

私がやりたいのは、これの 2 次元の numpy 配列を作成することです (行 = 行、列 = 列)。これを行うための巧妙な方法はありますか?

私が同様のことをした別の方法は、ピボットテーブルを作成することでした

pivot_table(fdf,values='percent',rows='row',cols='col', aggfunc=np.sum)

この場合、このピボット テーブルを 2D numpy 配列に変換します。このテーブルの各セルにインデックスを付ける方法はありますか? もしそうなら、私はおそらくテーブル自体で大丈夫でしょう.

Kaggle から KDD track1 データセットを取得し、16 GB のハイメモリ EC2 インスタンスで、最大 2.5 GB の 3 列の CSV ファイルをメモリにロードすることにしました。

Python セッションがすべてのメモリ (100%) を使い果たし、その後強制終了されました。

次に、R を使用して (read.table 経由で) 同じファイルを読み取り、5 GB 未満の RAM を使用しましたが、ガベージ コレクターを呼び出した後、2 GB 未満に縮小しました。

私の質問は、これが numpy で失敗した理由と、ファイルをメモリに読み込む適切な方法です。はい、ジェネレーターを使用して問題を回避できますが、それが目標ではありません。

私はこのような入力データから始めています

印刷すると次のように表示されます。

グループ化は非常に簡単です。

印刷するとGroupByオブジェクトが生成されます。

しかし、最終的に必要なのは、GroupByオブジェクトのすべての行を含む別のDataFrameオブジェクトです。言い換えれば、私は次の結果を得たいと思います：

パンダのドキュメントでは、これを実現する方法がよくわかりません。ヒントは大歓迎です。

これは、インストールの初心者向けのpython質問です。パッケージをインストールして呼び出すのはこれが初めてです。pipインストールしました。2つのモジュールをインストールしようとしました-numpyとpandas。

ターミナルで、次のコマンドを実行しました。

両方のコマンドが成功メッセージとともに返されました。これがpandas成功メッセージです（これは私がインストールした2番目のパッケージであり、まだ端末の履歴に残っていました）：

pipnumpyインストール 後に同様のメッセージを返しました。

今、私が起動pythonしてそれを呼び出しようとすると：

このエラーメッセージが表示されます：

私が試したときも同じnumpyです。

誰かが私が間違っていることを教えてもらえますか？

運動データを分析するためのAPIがあります（これは、ランニングキーパーのWebサイトをスクレイプしています）。

私のメインクラスは、pandas.DataFrame基本的に表形式データのコンテナであるのサブクラスです。列名によるインデックス付けをサポートし、列値の配列を返します。

データに存在する「フィットネス活動」のタイプに基づいて、いくつかの便利なプロパティを追加したいと思います。たとえば、プロパティ'running'を追加したいと思います。

DataFrameこれは、「type」列に「running」があるのすべての行を返します。

データに存在するすべてのタイプに対してこれを動的に実行しようとしました。これが私が素朴にしたことです：

その結果、これらのプロパティはすべて、同じタイプのアクティビティ（「ウォーキング」）のデータのテーブルを返すことになりました。

何が起こっているのかというと、プロパティにアクセスするとラムダが呼び出され、定義されたスコープで「type」という名前が検索されます。それがforループの最後の反復だったので、彼らはそれが文字列'walking'にバインドされていることを発見しました。forループの各反復には独自の名前空間がないため、すべてのラムダは、実際に定義されたときに「type」が持っていた値ではなく、最後の反復のみを参照します。

誰かがこれを回避する方法はありますか？私は2つ考えることができますが、それらは特に理想的ではないようです。

1. __getattr__属性がアクティビティタイプであることを確認し、適切な行を返すように定義します。

2. forループの代わりに再帰関数呼び出しを使用して、再帰の各レベルが独自の名前空間を持つようにします。

どちらも私の好みには少し賢すぎて、私も作った場合は慎重にやりとりしなければならないことがpandas.DataFrameすでにあります。__getattr__再帰は機能しますが、型のセットには固有のツリーのような構造がないため、非常に間違っていると感じます。それはフラットであり、コードではフラットに見えるはずです！

hdf5 ファイルを開いてオブジェクトを保存するために pandas HDFSTore オブジェクトを使用していDataFrameます。しかし、その前に、ファイルが空かどうかを調べたいと思います。私のかどうかを調べる方法はありますか

store.h5 の階層ツリーを参照して、オブジェクトが空かどうかを確認する方法はありますか。store.h5 内のオブジェクトのリストを取得したい