59

ログファイルからいくつかのデータがあり、エントリを1分ごとにグループ化したいと思います。

 def gen(date, count=10):
     while count > 0:
         yield date, "event{}".format(randint(1,9)), "source{}".format(randint(1,3))
         count -= 1
         date += DateOffset(seconds=randint(40))

 df = DataFrame.from_records(list(gen(datetime(2012,1,1,12, 30))), index='Time', columns=['Time', 'Event', 'Source'])

df：

 Event  Source
 2012-01-01 12:30:00     event3  source1
 2012-01-01 12:30:12     event2  source2
 2012-01-01 12:30:12     event2  source2
 2012-01-01 12:30:29     event6  source1
 2012-01-01 12:30:38     event1  source1
 2012-01-01 12:31:05     event4  source2
 2012-01-01 12:31:38     event4  source1
 2012-01-01 12:31:44     event5  source1
 2012-01-01 12:31:48     event5  source2
 2012-01-01 12:32:23     event6  source1

私はこれらのオプションを試しました：

  1. df.resample('Min')レベルが高すぎて、集計したい。
  2. df.groupby(date_range(datetime(2012,1,1,12, 30), freq='Min', periods=4))例外で失敗します。

  3. df.groupby(TimeGrouper(freq='Min'))正常に動作し、さらに処理するためにオブジェクトを返しますDataFrameGroupBy。例：

    grouped = df.groupby(TimeGrouper(freq='Min'))
grouped.Source.value_counts()
2012-01-01 12:30:00  source1    1
2012-01-01 12:31:00  source2    2
                     source1    2
2012-01-01 12:32:00  source2    2
                     source1    2
2012-01-01 12:33:00  source1    1

ただし、TimeGrouperクラスは文書化されていません。

期間ごとにグループ化する正しい方法は何ですか？データを1分ごとおよび[ソース]列ごとにグループ化するにはどうすればよいgroupby([TimeGrouper(freq='Min'), df.Source])ですか。

4

3 に答える 3

65

DataFrameと同じ長さの任意の配列/シリーズでグループ化できます---実際にはDataFrameの列ではない計算された因子ですら。したがって、分ごとにグループ化するには、次のことができます。

df.groupby(df.index.map(lambda t: t.minute))

分などでグループ化する場合は、上記を使用する列と組み合わせるだけです。

df.groupby([df.index.map(lambda t: t.minute), 'Source'])

個人的には、DataFrameに列を追加して、これらの計算されたものの一部（たとえば、「分」列）を頻繁にグループ化する場合は、グループ化コードの冗長性が低くなるため、それらを格納すると便利です。

または、次のようなものを試すことができます。

df.groupby([df['Source'],pd.TimeGrouper(freq='Min')])
于 2012-06-17T18:56:19.437 に答える
23

元の答えはかなり古く、パンダが時代を導入し たので、今日では別の解決策があります：

df.groupby(df.index.to_period('T'))

さらに、リサンプリングできます

df.resample('T')
于 2018-04-20T12:25:20.000 に答える
13

pd.TimeGrouperは減価償却されます。これがpd.Grouperを使用したv1.05アップデートです

df['Date'] = df.index

df.groupby(['Source',pd.Grouper(key = 'Date', freq='30min')])
于 2020-07-13T06:29:36.303 に答える