3

私はパンダのデータフレームを持っています。最初の列では、同じ値が複数回含まれる場合があります (つまり、最初の列の値は一意ではありません)。

最初の列に同じ値を含む行が複数ある場合は常に、3 番目の列に最大値を持つ行のみを残したいと思います。私はほとんど解決策を見つけました：

import pandas

ls = []
ls.append({'c1':'a', 'c2':'a', 'c3':1})
ls.append({'c1':'a', 'c2':'c', 'c3':3})
ls.append({'c1':'a', 'c2':'b', 'c3':2})
ls.append({'c1':'b', 'c2':'b', 'c3':10})
ls.append({'c1':'b', 'c2':'c', 'c3':12})
ls.append({'c1':'b', 'c2':'a', 'c3':7})

df = pandas.DataFrame(ls, columns=['c1','c2','c3'])
print df
print '--------------------'
print df.groupby('c1').apply(lambda df:df.irow(df['c3'].argmax()))

その結果、次のようになります。

  c1 c2  c3
0  a  a   1
1  a  c   3
2  a  b   2
3  b  b  10
4  b  c  12
5  b  a   7
--------------------
   c1 c2  c3
c1          
a   a  c   3
b   b  c  12

c1私の問題は、インデックスとして持ちたくないということです。私がしたいのは次のとおりです。

  c1 c2  c3
1  a  c   3
4  b  c  12
4

2 に答える 2

4

を呼び出すときdf.groupby(...).apply(foo)、 によって返されるオブジェクトのタイプはfoo、結果が融合される方法に影響します。

Series を返す場合、Series のインデックスが最終結果の列になり、groupby キーがインデックスになります (少し頭をひねる必要があります)。

代わりに DataFrame を返す場合、最終結果は DataFrame のインデックスをインデックス値として使用し、DataFrame の列を列として使用します (非常に賢明です)。

したがって、シリーズを DataFrame に変換することで、必要な出力のタイプを調整できます。

to_frame().TPandas 0.13 では、次のメソッドを使用できます。

def maxrow(x, col):
    return x.loc[x[col].argmax()].to_frame().T

result = df.groupby('c1').apply(maxrow, 'c3')
result = result.reset_index(level=0, drop=True)
print(result)

収量

  c1 c2  c3
1  a  c   3
4  b  c  12

Pandas 0.12 以前では、同等のものは次のようになります。

def maxrow(x, col):
    ser = x.loc[x[col].idxmax()]
    df = pd.DataFrame({ser.name: ser}).T
    return df

ちなみに、behzad.nouri の巧妙で洗練されたソリューションは、小さな DataFrame の場合、私のソリューションよりも高速です。ただし、 は からまでのsort時間の複雑さを軽減するため、より大きな DataFrame に適用すると、上記のソリューションよりも遅くなります。O(n)O(n log n)to_frame

これが私がベンチマークした方法です：

import pandas as pd
import numpy as np
import timeit


def reset_df_first(df):
    df2 = df.reset_index()
    result = df2.groupby('c1').apply(lambda x: x.loc[x['c3'].idxmax()])
    result.set_index(['index'], inplace=True)
    return result

def maxrow(x, col):
    result = x.loc[x[col].argmax()].to_frame().T
    return result

def using_to_frame(df):
    result = df.groupby('c1').apply(maxrow, 'c3')
    result.reset_index(level=0, drop=True, inplace=True)
    return result

def using_sort(df):
    return df.sort('c3').groupby('c1', as_index=False).tail(1)


for N in (100, 1000, 2000):
    df = pd.DataFrame({'c1': {0: 'a', 1: 'a', 2: 'a', 3: 'b', 4: 'b', 5: 'b'},
                       'c2': {0: 'a', 1: 'c', 2: 'b', 3: 'b', 4: 'c', 5: 'a'},
                       'c3': {0: 1, 1: 3, 2: 2, 3: 10, 4: 12, 5: 7}})

    df = pd.concat([df]*N)
    df.reset_index(inplace=True, drop=True)

    timing = dict()
    for func in (reset_df_first, using_to_frame, using_sort):
        timing[func] = timeit.timeit('m.{}(m.df)'.format(func.__name__),
                              'import __main__ as m ',
                              number=10)

    print('For N = {}'.format(N))
    for func in sorted(timing, key=timing.get):
        print('{:<20}: {:<0.3g}'.format(func.__name__, timing[func]))
    print

収量

For N = 100
using_sort          : 0.018
using_to_frame      : 0.0265
reset_df_first      : 0.0303

For N = 1000
using_to_frame      : 0.0358    \
using_sort          : 0.036     / this is roughly where the two methods cross over in terms of performance
reset_df_first      : 0.0432

For N = 2000
using_to_frame      : 0.0457
reset_df_first      : 0.0523
using_sort          : 0.0569

（reset_df_first私が試した別の可能性でした。）

于 2013-12-20T12:54:12.290 に答える