8

次のような膨大なファイルがあります。

05/31/2012,15:30:00.029,130​​6.25,1,E,0,,1306.25

05/31/2012,15:30:00.029,130​​6.25,8,E,0,,1306.25

以下を使用して簡単に読むことができます。

  pd.read_csv(gzip.open("myfile.gz"), header=None,names=
  ["date","time","price","size","type","zero","empty","last"], parse_dates=[[0,1]])

このような日付をパンダのタイムスタンプに効率的に解析する方法はありますか? そうでない場合、 date_parser= に渡すことができる cython 関数を作成するためのガイドはありますか?

独自のパーサー関数を作成しようとしましたが、作業中のプロジェクトにはまだ時間がかかりすぎます。

4

3 に答える 3

7

Michael WSの以前のソリューションの改善:

  • への変換pandas.Timestampは、Cython コードの外で実行する方が良い
  • atoiネイティブc文字列の処理は、python funcsよりも少し高速です
  • -lib 呼び出しの数がdatetime2 から 1 に減りました (日付の場合は +1 がときどき)
  • マイクロ秒も処理されます

注意！このコードの日付順は、日/月/年です。

全体として、コードは元のコードよりも約 10 倍高速になっているようconvert_date_cythonです。ただし、これがread_csvSSD ハード ドライブ上でその後に呼び出された場合、読み込みのオーバーヘッドにより、合計時間の差はわずか数パーセントになります。通常のHDDでは、その差はさらに小さくなると思います。

cimport numpy as np
import datetime
import numpy as np
import pandas as pd
from libc.stdlib cimport atoi, malloc, free 
from libc.string cimport strcpy

### Modified code from Michael WS:
### https://stackoverflow.com/a/15812787/2447082

def convert_date_fast(np.ndarray date_vec, np.ndarray time_vec):
    cdef int i, d_year, d_month, d_day, t_hour, t_min, t_sec, t_ms
    cdef int N = len(date_vec)
    cdef np.ndarray out_ar = np.empty(N, dtype=np.object)  
    cdef bytes prev_date = <bytes> 'xx/xx/xxxx'
    cdef char *date_str = <char *> malloc(20)
    cdef char *time_str = <char *> malloc(20)

    for i in range(N):
        if date_vec[i] != prev_date:
            prev_date = date_vec[i] 
            strcpy(date_str, prev_date) ### xx/xx/xxxx
            date_str[2] = 0 
            date_str[5] = 0 
            d_year = atoi(date_str+6)
            d_month = atoi(date_str+3)
            d_day = atoi(date_str)

        strcpy(time_str, time_vec[i])   ### xx:xx:xx:xxxxxx
        time_str[2] = 0
        time_str[5] = 0
        time_str[8] = 0
        t_hour = atoi(time_str)
        t_min = atoi(time_str+3)
        t_sec = atoi(time_str+6)
        t_ms = atoi(time_str+9)

        out_ar[i] = datetime.datetime(d_year, d_month, d_day, t_hour, t_min, t_sec, t_ms)
    free(date_str)
    free(time_str)
    return pd.to_datetime(out_ar)
于 2013-07-11T10:24:57.663 に答える
7

次のcythonコードで信じられないほどのスピードアップ（50X）が得られました：

Python からの呼び出し: タイムスタンプ = convert_date_cython(df["date"].values, df["time"].values)

cimport numpy as np
import pandas as pd
import datetime
import numpy as np
def convert_date_cython(np.ndarray date_vec, np.ndarray time_vec):
    cdef int i
    cdef int N = len(date_vec)
    cdef out_ar = np.empty(N, dtype=np.object)
    date = None
    for i in range(N):
        if date is None or date_vec[i] != date_vec[i - 1]:
            dt_ar = map(int, date_vec[i].split("/"))
            date = datetime.date(dt_ar[2], dt_ar[0], dt_ar[1])
        time_ar = map(int, time_vec[i].split(".")[0].split(":"))
        time = datetime.time(time_ar[0], time_ar[1], time_ar[2])
        out_ar[i] = pd.Timestamp(datetime.datetime.combine(date, time))
    return out_ar
于 2013-04-04T13:32:17.430 に答える
2

日時文字列のカーディナリティはそれほど大きくありません。たとえば、形式の時間文字列の数%H-%M-%Sは です24 * 60 * 60 = 86400。データセットの行数がこれよりもはるかに多い場合、またはデータに重複したタイムスタンプが多数含まれている場合、解析プロセスにキャッシュを追加すると大幅に高速化される可能性があります。

Cython を利用できない場合は、純粋な python での代替ソリューションを次に示します。

import numpy as np
import pandas as pd
from datetime import datetime


def parse_datetime(dt_array, cache=None):
    if cache is None:
        cache = {}
    date_time = np.empty(dt_array.shape[0], dtype=object)
    for i, (d_str, t_str) in enumerate(dt_array):
        try:
            year, month, day = cache[d_str]
        except KeyError:
            year, month, day = [int(item) for item in d_str[:10].split('-')]
            cache[d_str] = year, month, day
        try:
            hour, minute, sec = cache[t_str]
        except KeyError:
            hour, minute, sec = [int(item) for item in t_str.split(':')]
            cache[t_str] = hour, minute, sec
        date_time[i] = datetime(year, month, day, hour, minute, sec)
    return pd.to_datetime(date_time)


def read_csv(filename, cache=None):
    df = pd.read_csv(filename)
    df['date_time'] = parse_datetime(df.loc[:, ['date', 'time']].values, cache=cache)
    return df.set_index('date_time')

次の特定のデータ セットでは、スピードアップは 150x+ です。

$ ls -lh test.csv
-rw-r--r--  1 blurrcat  blurrcat   1.2M Apr  8 12:06 test.csv
$ head -n 4 data/test.csv
user_id,provider,date,time,steps
5480312b6684e015fc2b12bc,fitbit,2014-11-02 00:00:00,17:47:00,25
5480312b6684e015fc2b12bc,fitbit,2014-11-02 00:00:00,17:09:00,4
5480312b6684e015fc2b12bc,fitbit,2014-11-02 00:00:00,19:10:00,67

ipython の場合:

In [1]: %timeit pd.read_csv('test.csv', parse_dates=[['date', 'time']])
1 loops, best of 3: 10.3 s per loop
In [2]: %timeit read_csv('test.csv', cache={})
1 loops, best of 3: 62.6 ms per loop

メモリ使用量を制限するには、dict キャッシュを LRU のようなものに置き換えるだけです。

于 2015-04-08T06:41:07.753 に答える