pandas データ フレームがあるとしますdf。
データフレームの列ごとの平均を計算したい。
かんたんだよ：
df.apply(average)
次に、列ごとの範囲 max(col) - min(col)。これも簡単です。
df.apply(max) - df.apply(min)
ここで、各要素について、その列の平均を減算し、その列の範囲で割りたいと思います。その方法がわかりません
ヘルプ/ポインタは大歓迎です。
253834 次
5 に答える
232
In [92]: df
Out[92]:
a b c d
A -0.488816 0.863769 4.325608 -4.721202
B -11.937097 2.993993 -12.916784 -1.086236
C -5.569493 4.672679 -2.168464 -9.315900
D 8.892368 0.932785 4.535396 0.598124
In [93]: df_norm = (df - df.mean()) / (df.max() - df.min())
In [94]: df_norm
Out[94]:
a b c d
A 0.085789 -0.394348 0.337016 -0.109935
B -0.463830 0.164926 -0.650963 0.256714
C -0.158129 0.605652 -0.035090 -0.573389
D 0.536170 -0.376229 0.349037 0.426611
In [95]: df_norm.mean()
Out[95]:
a -2.081668e-17
b 4.857226e-17
c 1.734723e-17
d -1.040834e-17
In [96]: df_norm.max() - df_norm.min()
Out[96]:
a 1
b 1
c 1
d 1
于 2012-09-21T07:14:15.117 に答える
80
ライブラリをインポートしても構わない場合は、このブログsklearnで説明されている方法をお勧めします。
import pandas as pd
from sklearn import preprocessing
data = {'score': [234,24,14,27,-74,46,73,-18,59,160]}
cols = data.columns
df = pd.DataFrame(data)
df
min_max_scaler = preprocessing.MinMaxScaler()
np_scaled = min_max_scaler.fit_transform(df)
df_normalized = pd.DataFrame(np_scaled, columns = cols)
df_normalized
于 2016-05-13T00:48:06.180 に答える
35
これに使用できapply、少しきれいです：
import numpy as np
import pandas as pd
np.random.seed(1)
df = pd.DataFrame(np.random.randn(4,4)* 4 + 3)
0 1 2 3
0 9.497381 0.552974 0.887313 -1.291874
1 6.461631 -6.206155 9.979247 -0.044828
2 4.276156 2.002518 8.848432 -5.240563
3 1.710331 1.463783 7.535078 -1.399565
df.apply(lambda x: (x - np.mean(x)) / (np.max(x) - np.min(x)))
0 1 2 3
0 0.515087 0.133967 -0.651699 0.135175
1 0.125241 -0.689446 0.348301 0.375188
2 -0.155414 0.310554 0.223925 -0.624812
3 -0.484913 0.244924 0.079473 0.114448
groupbyまた、関連する列を選択すると、 とうまく機能します。
df['grp'] = ['A', 'A', 'B', 'B']
0 1 2 3 grp
0 9.497381 0.552974 0.887313 -1.291874 A
1 6.461631 -6.206155 9.979247 -0.044828 A
2 4.276156 2.002518 8.848432 -5.240563 B
3 1.710331 1.463783 7.535078 -1.399565 B
df.groupby(['grp'])[[0,1,2,3]].apply(lambda x: (x - np.mean(x)) / (np.max(x) - np.min(x)))
0 1 2 3
0 0.5 0.5 -0.5 -0.5
1 -0.5 -0.5 0.5 0.5
2 0.5 0.5 0.5 -0.5
3 -0.5 -0.5 -0.5 0.5
于 2015-10-21T03:10:46.473 に答える
2
少し変更: Python Pandas Dataframe: Normalize data between 0.01 and 0.99? しかし、いくつかのコメントから、それは関連性があると考えられていました（ただし、再投稿と見なされた場合は申し訳ありません...）
データムまたは Z スコアの通常のパーセンタイルでは不十分なため、カスタマイズされた正規化が必要でした。時々、母集団の実行可能な最大値と最小値が何であるかを知っていたので、それを自分のサンプル以外に定義したり、別の中間点などを定義したりしたかったのです! これは、0 から 1 の間のすべての入力が必要なニューラル ネットワークのデータを再スケーリングおよび正規化するのに役立つことがよくありますが、一部のデータはよりカスタマイズされた方法でスケーリングする必要がある場合があります...パーセンタイルと stdevs はサンプル カバーを想定しているためです。人口ですが、これが真実ではないことが時々わかります。また、ヒートマップでデータを視覚化するときにも非常に役立ちました。そこで、カスタム関数を作成しました (可能な限り読みやすくするために、ここのコードで追加の手順を使用しました)。
def NormData(s,low='min',center='mid',hi='max',insideout=False,shrinkfactor=0.):
if low=='min':
low=min(s)
elif low=='abs':
low=max(abs(min(s)),abs(max(s)))*-1.#sign(min(s))
if hi=='max':
hi=max(s)
elif hi=='abs':
hi=max(abs(min(s)),abs(max(s)))*1.#sign(max(s))
if center=='mid':
center=(max(s)+min(s))/2
elif center=='avg':
center=mean(s)
elif center=='median':
center=median(s)
s2=[x-center for x in s]
hi=hi-center
low=low-center
center=0.
r=[]
for x in s2:
if x<low:
r.append(0.)
elif x>hi:
r.append(1.)
else:
if x>=center:
r.append((x-center)/(hi-center)*0.5+0.5)
else:
r.append((x-low)/(center-low)*0.5+0.)
if insideout==True:
ir=[(1.-abs(z-0.5)*2.) for z in r]
r=ir
rr =[x-(x-0.5)*shrinkfactor for x in r]
return rr
これは、パンダシリーズ、または単なるリストを取り、指定した低点、中央点、および高点に正規化します. シュリンクファクターもあります！エンドポイント 0 と 1 からデータを縮小できるようにします (matplotlib でカラーマップを組み合わせるときにこれを行う必要がありました: Matplotlib を使用して複数のカラーマップを持つ単一の pcolormesh ) コードがどのように機能するかを見ることができますが、基本的にはサンプルに [-5,1,10] の値がありますが、-7 から 7 の範囲に基づいて正規化したい (つまり、7 を超えるものはすべて、"10" は実質的に 7 として扱われます) 中間点は 2 です。ただし、256 RGB カラーマップに合わせて縮小します。
#In[1]
NormData([-5,2,10],low=-7,center=1,hi=7,shrinkfactor=2./256)
#Out[1]
[0.1279296875, 0.5826822916666667, 0.99609375]
データを裏返しにすることもできます...これは奇妙に思えるかもしれませんが、ヒートマッピングに役立つことがわかりました。ハイ/ローではなく、0 に近い値に対してより暗い色が必要だとします。insideout=True の場合、正規化されたデータに基づいてヒートマップを作成できます。
#In[2]
NormData([-5,2,10],low=-7,center=1,hi=7,insideout=True,shrinkfactor=2./256)
#Out[2]
[0.251953125, 0.8307291666666666, 0.00390625]
したがって、中心に最も近い「2」は、「1」として定義され、最高値です。
とにかく、有用なアプリケーションを持つことができる他の方法でデータを再スケーリングしようとしている場合、私のアプリケーションは適切だと思いました。
于 2017-05-05T18:27:26.403 に答える