列に月の名前が含まれているpythonpandasデータフレームがあります。
たとえば、辞書を使用してカスタムソートを実行するにはどうすればよいですか。
custom_dict = {'March':0, 'April':1, 'Dec':3}
Pandas 0.15は、これを行うためのはるかに明確な方法を可能にするCategoricalSeriesを導入しました。
まず、月の列をカテゴリに分類し、使用する順序を指定します。
In [21]: df['m'] = pd.Categorical(df['m'], ["March", "April", "Dec"])
In [22]: df # looks the same!
Out[22]:
a b m
0 1 2 March
1 5 6 Dec
2 3 4 April
これで、月の列を並べ替えると、そのリストに関して並べ替えられます。
In [23]: df.sort_values("m")
Out[23]:
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
注:値がリストにない場合は、NaNに変換されます。
興味のある人のための古い答え...
中間シリーズを作成することができ、そのset_index
上で:
df = pd.DataFrame([[1, 2, 'March'],[5, 6, 'Dec'],[3, 4, 'April']], columns=['a','b','m'])
s = df['m'].apply(lambda x: {'March':0, 'April':1, 'Dec':3}[x])
s.sort_values()
In [4]: df.set_index(s.index).sort()
Out[4]:
a b m
0 1 2 March
1 3 4 April
2 5 6 Dec
コメントしたように、新しいパンダでは、シリーズreplace
にはこれをよりエレガントに行う方法があります。
s = df['m'].replace({'March':0, 'April':1, 'Dec':3})
わずかな違いは、辞書の外に値がある場合、これは発生しないことです(同じままです)。
間もなく引数sort_values
付きで使用できるようになります。key
pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'
custom_dict = {'March': 0, 'April': 1, 'Dec': 3}
df
a b m
0 1 2 March
1 5 6 Dec
2 3 4 April
df.sort_values(by=['m'], key=lambda x: x.map(custom_dict))
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
引数はkey
入力としてSeriesを受け取り、Seriesを返します。このシリーズは内部的に引数ソートされ、ソートされたインデックスは入力DataFrameを並べ替えるために使用されます。並べ替える列が複数ある場合は、キー機能が各列に順番に適用されます。キーによる並べ替えを参照してください。
簡単な方法の1つは、出力Series.map
を使用し、Series.argsort
インデックスをdf
使用して使用することDataFrame.iloc
です(argsortはソートされた整数位置を生成するため)。あなたは辞書を持っているので; これは簡単になります。
df.iloc[df['m'].map(custom_dict).argsort()]
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
降順で並べ替える必要がある場合は、マッピングを反転します。
df.iloc[(-df['m'].map(custom_dict)).argsort()]
a b m
1 5 6 Dec
2 3 4 April
0 1 2 March
これは数値項目でのみ機能することに注意してください。それ以外の場合は、を使用してこれを回避しsort_values
、インデックスにアクセスする必要があります。
df.loc[df['m'].map(custom_dict).sort_values(ascending=False).index]
a b m
1 5 6 Dec
2 3 4 April
0 1 2 March
より多くのオプションがastype
(これは現在非推奨です)、またはで使用できますが、正しく機能するpd.Categorical
ように指定する必要があります。ordered=True
# Older version,
# df['m'].astype('category',
# categories=sorted(custom_dict, key=custom_dict.get),
# ordered=True)
df['m'] = pd.Categorical(df['m'],
categories=sorted(custom_dict, key=custom_dict.get),
ordered=True)
これで、簡単なsort_values
呼び出しでうまくいきます。
df.sort_values('m')
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
groupby
出力をソートするときにも、カテゴリの順序が尊重されます。
選択した答えを使用してください!これはこの投稿よりも新しく、パンダで順序付けられたデータを維持するための公式の方法であるだけでなく、機能やパフォーマンスなど、あらゆる点で優れています。以下で説明する私のハッキーな方法は使用しないでください。
人々が私の答えに賛成し続けるので、私はこのアップデートを書いているだけですが、それは受け入れられたものよりも間違いなく悪いです:)
ゲームには少し遅れていますが、任意の関数を使用してpandas Series、DataFrame、およびmultiindexDataFrameオブジェクトを並べ替える関数を作成する方法を次に示します。
df.iloc[index]
Series / DataFrameの行を位置で参照するメソッドを使用します(df.loc
値で参照する、と比較して)。これを使用すると、一連の位置引数を返す関数が必要になります。
def sort_pd(key=None,reverse=False,cmp=None):
def sorter(series):
series_list = list(series)
return [series_list.index(i)
for i in sorted(series_list,key=key,reverse=reverse,cmp=cmp)]
return sorter
これを使用して、カスタムの並べ替え関数を作成できます。これは、AndyHaydenの回答で使用されているデータフレームで機能します。
df = pd.DataFrame([
[1, 2, 'March'],
[5, 6, 'Dec'],
[3, 4, 'April']],
columns=['a','b','m'])
custom_dict = {'March':0, 'April':1, 'Dec':3}
sort_by_custom_dict = sort_pd(key=custom_dict.get)
In [6]: df.iloc[sort_by_custom_dict(df['m'])]
Out[6]:
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
これは、マルチインデックスDataFramesおよびSeriesオブジェクトでも機能します。
months = ['Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec']
df = pd.DataFrame([
['New York','Mar',12714],
['New York','Apr',89238],
['Atlanta','Jan',8161],
['Atlanta','Sep',5885],
],columns=['location','month','sales']).set_index(['location','month'])
sort_by_month = sort_pd(key=months.index)
In [10]: df.iloc[sort_by_month(df.index.get_level_values('month'))]
Out[10]:
sales
location month
Atlanta Jan 8161
New York Mar 12714
Apr 89238
Atlanta Sep 5885
sort_by_last_digit = sort_pd(key=lambda x: x%10)
In [12]: pd.Series(list(df['sales'])).iloc[sort_by_last_digit(df['sales'])]
Out[12]:
2 8161
0 12714
3 5885
1 89238
私にはこれはクリーンに感じますが、最適化されたパンダ操作に依存するのではなく、Python操作を多用します。ストレステストは行っていませんが、非常に大きなDataFrameでは遅くなる可能性があると思います。列の追加、並べ替え、削除とパフォーマンスがどのように比較されるかわからない。コードを高速化するためのヒントをいただければ幸いです。
import pandas as pd
custom_dict = {'March':0,'April':1,'Dec':3}
df = pd.DataFrame(...) # with columns April, March, Dec (probably alphabetically)
df = pd.DataFrame(df, columns=sorted(custom_dict, key=custom_dict.get))
3月、4月、12月の列を持つDataFrameを返します
同じタスクがありましたが、複数の列で並べ替える機能が追加されました。
解決策の1つは、両方の列をpd.Categoricalにして、期待される順序を引数「categories」として渡すことです。
しかし、不明な値や予期しない値を強制できないという要件がいくつかありました。残念ながら、それがpd.Categoricalが行っていることです。また、Noneはカテゴリとしてサポートされておらず、自動的に強制されます。
したがって、私の解決策は、キーを使用して、カスタムの並べ替え順序で複数の列を並べ替えることでした。
import pandas as pd
df = pd.DataFrame([
[A2, 2],
[B1, 1],
[A1, 2],
[A2, 1],
[B1, 2],
[A1, 1]],
columns=['one','two'])
def custom_sorting(col: pd.Series) -> pd.Series:
"""Series is input and ordered series is expected as output"""
to_ret = col
# apply custom sorting only to column one:
if col.name == "one":
custom_dict = {}
# for example ensure that A2 is first, pass items in sorted order here:
def custom_sort(value):
return (value[0], int(value[1:]))
ordered_items = list(col.unique())
ordered_items.sort(key=custom_sort)
# apply custom order first:
for index, item in enumerate(ordered_items):
custom_dict[item] = index
to_ret = col.map(custom_dict)
# default text sorting is about to be applied
return to_ret
# pass two columns to be sorted
df.sort_values(
by=["two", "one"],
ascending=True,
inplace=True,
key=custom_sorting,
)
print(df)
出力:
5 A1 1
3 A2 1
1 B1 1
2 A1 2
0 A2 2
4 B1 2
このソリューションは遅くなる可能性があることに注意してください。