名前付きの列と行が連続していない次のインデックス付き DataFrame があります。
a b c d
2 0.671399 0.101208 -0.181532 0.241273
3 0.446172 -0.243316 0.051767 1.577318
5 0.614758 0.075793 -0.451460 -0.012493
新しい列 を既存のデータ フレームに追加し'e'たいのですが、データ フレーム内の何も変更したくありません (つまり、新しい列は常に DataFrame と同じ長さになります)。
0 -0.335485
1 -1.166658
2 -0.385571
dtype: float64
e上記の例に列を追加するにはどうすればよいですか?
編集 2017
コメントと @Alexander によって示されているように、現在、シリーズの値を DataFrame の新しい列として追加する最良の方法は、次を使用することassignです。
df1 = df1.assign(e=pd.Series(np.random.randn(sLength)).values)
2015年を編集このコードで を
取得したと報告された人もいます。
ただし、コードは現在の pandas バージョン 0.16.1 でも完全に動作します。SettingWithCopyWarning
>>> sLength = len(df1['a'])
>>> df1
a b c d
6 -0.269221 -0.026476 0.997517 1.294385
8 0.917438 0.847941 0.034235 -0.448948
>>> df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
a b c d e
6 -0.269221 -0.026476 0.997517 1.294385 1.757167
8 0.917438 0.847941 0.034235 -0.448948 2.228131
>>> pd.version.short_version
'0.16.1'
のSettingWithCopyWarning目的は、データフレームのコピーに対する無効な割り当ての可能性を通知することです。必ずしも間違ったことを言っているわけではありません (誤検知を引き起こす可能性があります) が、0.13.0 以降、同じ目的のためのより適切な方法があることを知らせます。次に、警告が表示された場合は、そのアドバイスに従ってください:代わりに .loc[row_index,col_indexer] = value を使用してみてください
>>> df1.loc[:,'f'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
a b c d e f
6 -0.269221 -0.026476 0.997517 1.294385 1.757167 -0.050927
8 0.917438 0.847941 0.034235 -0.448948 2.228131 0.006109
>>>
実際、パンダのドキュメントで説明されているように、これは現在、より効率的な方法です。
元の答え:
元の df1 インデックスを使用してシリーズを作成します。
df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)
これは、新しい列を追加する簡単な方法です。df['e'] = e
新しい列「e」を既存のデータ フレームに追加し、データ フレーム内は何も変更しないでください。(シリーズは常にデータフレームと同じ長さです。)
eのインデックス値は のインデックス値と一致すると仮定しますdf1。
という名前の新しい列を開始しe、シリーズの値を割り当てる最も簡単な方法は次のeとおりです。
df['e'] = e.values
割り当てる (パンダ 0.16.0+)
Pandas 0.16.0 以降では、assign新しい列を DataFrame に割り当て、新しい列に加えてすべての元の列を含む新しいオブジェクト (コピー) を返す も使用できます。
df1 = df1.assign(e=e.values)
この例(関数のソース コードも含まれています)に従ってassign、複数の列を含めることもできます。
df = pd.DataFrame({'a': [1, 2], 'b': [3, 4]})
>>> df.assign(mean_a=df.a.mean(), mean_b=df.b.mean())
a b mean_a mean_b
0 1 3 1.5 3.5
1 2 4 1.5 3.5
あなたの例に関連して：
np.random.seed(0)
df1 = pd.DataFrame(np.random.randn(10, 4), columns=['a', 'b', 'c', 'd'])
mask = df1.applymap(lambda x: x <-0.7)
df1 = df1[-mask.any(axis=1)]
sLength = len(df1['a'])
e = pd.Series(np.random.randn(sLength))
>>> df1
a b c d
0 1.764052 0.400157 0.978738 2.240893
2 -0.103219 0.410599 0.144044 1.454274
3 0.761038 0.121675 0.443863 0.333674
7 1.532779 1.469359 0.154947 0.378163
9 1.230291 1.202380 -0.387327 -0.302303
>>> e
0 -1.048553
1 -1.420018
2 -1.706270
3 1.950775
4 -0.509652
dtype: float64
df1 = df1.assign(e=e.values)
>>> df1
a b c d e
0 1.764052 0.400157 0.978738 2.240893 -1.048553
2 -0.103219 0.410599 0.144044 1.454274 -1.420018
3 0.761038 0.121675 0.443863 0.333674 -1.706270
7 1.532779 1.469359 0.154947 0.378163 1.950775
9 1.230291 1.202380 -0.387327 -0.302303 -0.509652
この新機能が最初に導入されたときの説明は、ここにあります。
これをNumPy経由で直接行うのが最も効率的です。
df1['e'] = np.random.randn(sLength)
私の元の（非常に古い）提案は使用することでしたmap（これははるかに遅いです）：
df1['e'] = df1['a'].map(lambda x: np.random.random())
恐ろしい を取得しましたSettingWithCopyWarningが、iloc 構文を使用しても修正されませんでした。私のデータフレームは、ODBC ソースから read_sql によって作成されました。上記のローテックによる提案を使用すると、次のことがうまくいきました。
df.insert(len(df.columns), 'e', pd.Series(np.random.randn(sLength), index=df.index))
これは、最後に列を挿入するのにうまくいきました。それが最も効率的かどうかはわかりませんが、警告メッセージは好きではありません。より良い解決策があると思いますが、見つけることができず、インデックスのいくつかの側面に依存していると思います。
注. これは一度だけ機能し、既存の列を上書きしようとするとエラー メッセージが表示されます。
注上記のように、0.16.0 以降では assign が最適なソリューションです。ドキュメントを参照してくださいhttp://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.assign.html#pandas.DataFrame.assign
中間値を上書きしないデータ フロー タイプに適しています。
空の列を作成するには
df['i'] = None
フールプルーフ:
df.loc[:, 'NewCol'] = 'New_Val'
例：
df = pd.DataFrame(data=np.random.randn(20, 4), columns=['A', 'B', 'C', 'D'])
df
A B C D
0 -0.761269 0.477348 1.170614 0.752714
1 1.217250 -0.930860 -0.769324 -0.408642
2 -0.619679 -1.227659 -0.259135 1.700294
3 -0.147354 0.778707 0.479145 2.284143
4 -0.529529 0.000571 0.913779 1.395894
5 2.592400 0.637253 1.441096 -0.631468
6 0.757178 0.240012 -0.553820 1.177202
7 -0.986128 -1.313843 0.788589 -0.707836
8 0.606985 -2.232903 -1.358107 -2.855494
9 -0.692013 0.671866 1.179466 -1.180351
10 -1.093707 -0.530600 0.182926 -1.296494
11 -0.143273 -0.503199 -1.328728 0.610552
12 -0.923110 -1.365890 -1.366202 -1.185999
13 -2.026832 0.273593 -0.440426 -0.627423
14 -0.054503 -0.788866 -0.228088 -0.404783
15 0.955298 -1.430019 1.434071 -0.088215
16 -0.227946 0.047462 0.373573 -0.111675
17 1.627912 0.043611 1.743403 -0.012714
18 0.693458 0.144327 0.329500 -0.655045
19 0.104425 0.037412 0.450598 -0.923387
df.drop([3, 5, 8, 10, 18], inplace=True)
df
A B C D
0 -0.761269 0.477348 1.170614 0.752714
1 1.217250 -0.930860 -0.769324 -0.408642
2 -0.619679 -1.227659 -0.259135 1.700294
4 -0.529529 0.000571 0.913779 1.395894
6 0.757178 0.240012 -0.553820 1.177202
7 -0.986128 -1.313843 0.788589 -0.707836
9 -0.692013 0.671866 1.179466 -1.180351
11 -0.143273 -0.503199 -1.328728 0.610552
12 -0.923110 -1.365890 -1.366202 -1.185999
13 -2.026832 0.273593 -0.440426 -0.627423
14 -0.054503 -0.788866 -0.228088 -0.404783
15 0.955298 -1.430019 1.434071 -0.088215
16 -0.227946 0.047462 0.373573 -0.111675
17 1.627912 0.043611 1.743403 -0.012714
19 0.104425 0.037412 0.450598 -0.923387
df.loc[:, 'NewCol'] = 0
df
A B C D NewCol
0 -0.761269 0.477348 1.170614 0.752714 0
1 1.217250 -0.930860 -0.769324 -0.408642 0
2 -0.619679 -1.227659 -0.259135 1.700294 0
4 -0.529529 0.000571 0.913779 1.395894 0
6 0.757178 0.240012 -0.553820 1.177202 0
7 -0.986128 -1.313843 0.788589 -0.707836 0
9 -0.692013 0.671866 1.179466 -1.180351 0
11 -0.143273 -0.503199 -1.328728 0.610552 0
12 -0.923110 -1.365890 -1.366202 -1.185999 0
13 -2.026832 0.273593 -0.440426 -0.627423 0
14 -0.054503 -0.788866 -0.228088 -0.404783 0
15 0.955298 -1.430019 1.434071 -0.088215 0
16 -0.227946 0.047462 0.373573 -0.111675 0
17 1.627912 0.043611 1.743403 -0.012714 0
19 0.104425 0.037412 0.450598 -0.923387 0
Hum3の場合と同様に、 を.loc解決できず、に頼らSettingWithCopyWarningなければならなかったことを付け加えておきdf.insert()ます。私の場合、偽陽性は「偽の」チェーン インデックスによって生成されました dict['a']['e']。'e'は新しい列であり、dict['a']辞書からの DataFrame です。
また、自分が何をしているのかわかっている場合は、
pd.options.mode.chained_assignment = None
ここに記載されている他の解決策のいずれかを使用して警告を切り替えることができます。
索引付けされたデータがある場合は、新しい列を割り当てる前に、索引をソートする必要があります。少なくとも私の場合は、次のことを行う必要がありました。
data.set_index(['index_column'], inplace=True)
"if index is unsorted, assignment of a new column will fail"
data.sort_index(inplace = True)
data.loc['index_value1', 'column_y'] = np.random.randn(data.loc['index_value1', 'column_x'].shape[0])
を取得した場合SettingWithCopyWarning、簡単な修正は、列を追加しようとしている DataFrame をコピーすることです。
df = df.copy()
df['col_name'] = values