115

実験 (60 人の回答者) からのデータを含む非常に大きなデータフレーム (約 100 万行) があります。

データフレームを 60 個のデータフレーム (各参加者のデータフレーム) に分割したいと思います。

データフレーム には、各参加者の一意のコードであるdataという変数があります。'name'

次のことを試しましたが、何も起こりません (または実行が 1 時間以内に停止しません)。私がやろうとしているのは、dataを小さなデータフレームに分割し、これらをリスト ( datalist) に追加することです。

import pandas as pd

def splitframe(data, name='name'):
    
    n = data[name][0]

    df = pd.DataFrame(columns=data.columns)

    datalist = []

    for i in range(len(data)):
        if data[name][i] == n:
            df = df.append(data.iloc[i])
        else:
            datalist.append(df)
            df = pd.DataFrame(columns=data.columns)
            n = data[name][i]
            df = df.append(data.iloc[i])
        
    return datalist

エラー メッセージは表示されません。スクリプトは永久に実行されているようです。

それを行うスマートな方法はありますか？

4

12 に答える 12

89

データ フレームをスライスするだけで、なぜそれを行わないのか、質問できますか。何かのようなもの

#create some data with Names column
data = pd.DataFrame({'Names': ['Joe', 'John', 'Jasper', 'Jez'] *4, 'Ob1' : np.random.rand(16), 'Ob2' : np.random.rand(16)})

#create unique list of names
UniqueNames = data.Names.unique()

#create a data frame dictionary to store your data frames
DataFrameDict = {elem : pd.DataFrame for elem in UniqueNames}

for key in DataFrameDict.keys():
    DataFrameDict[key] = data[:][data.Names == key]

ちょっと前に、あなたが欲しいのと同じように（私が思うに）データフレームの辞書を持っています。アクセスする必要がありますか? 入力するだけ

DataFrameDict['Joe']

それが役立つことを願っています

于 2013-11-05T14:28:44.703 に答える
67

最初に、新しいエントリ用のスペースが不十分な場合にリストを定期的に拡張する必要があるため、行ごとにリストに追加するのが遅くなるため、アプローチは非効率的です。サイズが決定されるため、この点でリストの理解が優れていますフロントと一度割り当てられます。

ただし、基本的に、データフレームが既にあるため、あなたのアプローチは少し無駄だと思います。なぜこれらのユーザーごとに新しいデータフレームを作成するのですか?

データフレームを列で並べ替え、'name'インデックスをこれに設定し、必要に応じて列を削除しません。

次に、すべての一意のエントリのリストを生成し、これらのエントリを使用してルックアップを実行できます。重要なことに、データのクエリのみを行う場合は、選択基準を使用して、コストのかかるデータ コピーを発生させることなくデータフレームのビューを返します。

とを使用pandas.DataFrame.sort_valuesしpandas.DataFrame.set_indexます。

# sort the dataframe
df.sort_values(by='name', axis=1, inplace=True)

# set the index to be this and don't drop
df.set_index(keys=['name'], drop=False,inplace=True)

# get a list of names
names=df['name'].unique().tolist()

# now we can perform a lookup on a 'view' of the dataframe
joe = df.loc[df.name=='joe']

# now you can query all 'joes'
于 2013-11-06T10:29:02.150 に答える
50

groupbyオブジェクトを にtuples変換してから に変換できdictます。

df = pd.DataFrame({'Name':list('aabbef'),
                   'A':[4,5,4,5,5,4],
                   'B':[7,8,9,4,2,3],
                   'C':[1,3,5,7,1,0]}, columns = ['Name','A','B','C'])

print (df)
  Name  A  B  C
0    a  4  7  1
1    a  5  8  3
2    b  4  9  5
3    b  5  4  7
4    e  5  2  1
5    f  4  3  0

d = dict(tuple(df.groupby('Name')))
print (d)
{'b':   Name  A  B  C
2    b  4  9  5
3    b  5  4  7, 'e':   Name  A  B  C
4    e  5  2  1, 'a':   Name  A  B  C
0    a  4  7  1
1    a  5  8  3, 'f':   Name  A  B  C
5    f  4  3  0}

print (d['a'])
  Name  A  B  C
0    a  4  7  1
1    a  5  8  3

推奨されませんが、グループごとに DataFrame を作成することは可能です:

for i, g in df.groupby('Name'):
    globals()['df_' + str(i)] =  g

print (df_a)
  Name  A  B  C
0    a  4  7  1
1    a  5  8  3
于 2017-07-30T13:18:37.803 に答える
3 
In [28]: df = DataFrame(np.random.randn(1000000,10))

In [29]: df
Out[29]: 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000000 entries, 0 to 999999
Data columns (total 10 columns):
0    1000000  non-null values
1    1000000  non-null values
2    1000000  non-null values
3    1000000  non-null values
4    1000000  non-null values
5    1000000  non-null values
6    1000000  non-null values
7    1000000  non-null values
8    1000000  non-null values
9    1000000  non-null values
dtypes: float64(10)

In [30]: frames = [ df.iloc[i*60:min((i+1)*60,len(df))] for i in xrange(int(len(df)/60.) + 1) ]

In [31]: %timeit [ df.iloc[i*60:min((i+1)*60,len(df))] for i in xrange(int(len(df)/60.) + 1) ]
1 loops, best of 3: 849 ms per loop

In [32]: len(frames)
Out[32]: 16667

これはグループ化の方法です（合計ではなく任意の適用を行うことができます）

In [9]: g = df.groupby(lambda x: x/60)

In [8]: g.sum()    

Out[8]: 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 16667 entries, 0 to 16666
Data columns (total 10 columns):
0    16667  non-null values
1    16667  non-null values
2    16667  non-null values
3    16667  non-null values
4    16667  non-null values
5    16667  non-null values
6    16667  non-null values
7    16667  non-null values
8    16667  non-null values
9    16667  non-null values
dtypes: float64(10)

合計はサイトン化されているため、これは非常に高速です

In [10]: %timeit g.sum()
10 loops, best of 3: 27.5 ms per loop

In [11]: %timeit df.groupby(lambda x: x/60)
1 loops, best of 3: 231 ms per loop
于 2013-11-05T14:26:01.600 に答える
2

リスト内包表記に基づくメソッドとgroupby、分割されたすべてのデータフレームをリスト変数に格納し、インデックスを使用してアクセスできるメソッド。

例

ans = [pd.DataFrame(y) for x, y in DF.groupby('column_name', as_index=False)]

ans[0]
ans[0].column_name
于 2019-02-28T10:57:42.340 に答える
0

データのラベルが既にある場合は、groupby コマンドを使用できます。

 out_list = [group[1] for group in in_series.groupby(label_series.values)]

詳細な例を次に示します。

いくつかのラベルを使用して pd シリーズをチャンクのリストに分割したいとしましょう。たとえば、次のようになりin_seriesます。

2019-07-01 08:00:00   -0.10
2019-07-01 08:02:00    1.16
2019-07-01 08:04:00    0.69
2019-07-01 08:06:00   -0.81
2019-07-01 08:08:00   -0.64
Length: 5, dtype: float64

そして、それに対応するlabel_seriesものは次のとおりです。

2019-07-01 08:00:00   1
2019-07-01 08:02:00   1
2019-07-01 08:04:00   2
2019-07-01 08:06:00   2
2019-07-01 08:08:00   2
Length: 5, dtype: float64

走る

out_list = [group[1] for group in in_series.groupby(label_series.values)]

2out_listの aを返します。listpd.Series

[2019-07-01 08:00:00   -0.10
2019-07-01 08:02:00   1.16
Length: 2, dtype: float64,
2019-07-01 08:04:00    0.69
2019-07-01 08:06:00   -0.81
2019-07-01 08:08:00   -0.64
Length: 3, dtype: float64]

in_seriesそれ自体からいくつかのパラメーターを使用してシリーズをグループ化できることに注意してください。in_series.index.day

于 2019-07-04T22:53:31.150 に答える
-1

同様の問題がありました。10 の異なる店舗と 50 の異なる商品の毎日の売上の時系列がありました。元のデータフレームを 500 個のデータフレーム (10 ストア * 50 ストア) に分割して、それぞれに機械学習モデルを適用する必要がありましたが、手動ではできませんでした。

これはデータフレームの先頭です:

データフレームの先頭: df

2 つのリストを作成しました。1 つはデータフレームの名前用で、もう 1 つは配列 [item_number, store_number] のペア用です。

    list=[]
    for i in range(1,len(items)*len(stores)+1):
    global list
    list.append('df'+str(i))

    list_couple_s_i =[]
    for item in items:
          for store in stores:
                  global list_couple_s_i
                  list_couple_s_i.append([item,store])

2 つのリストの準備ができたら、それらをループして必要なデータフレームを作成できます。

         for name, it_st in zip(list,list_couple_s_i):
                   globals()[name] = df.where((df['item']==it_st[0]) & 
                                                (df['store']==(it_st[1])))
                   globals()[name].dropna(inplace=True)

このようにして、500 個のデータフレームを作成しました。

これが役立つことを願っています！

于 2018-08-23T17:31:40.033 に答える