14

統計処理のために大量の http ログ (80GB 以上) を Pandas HDFStore にインポートしています。1 つのインポート ファイル内であっても、コンテンツを読み込むときにバッチ処理を行う必要があります。これまでの私の戦術は、解析された行を DataFrame に読み込み、DataFrame を HDFStore に格納することでした。私の目標は、DataStore 内の単一のキーに対して一意のインデックス キーを作成することですが、各 DataFrame は独自のインデックス値を再起動します。HDFStore.append() には、DataFrame インデックス値を無視し、HDFStore キーの既存のインデックス値に追加し続けるように指示するメカニズムがあると予想していましたが、それを見つけることができないようです。HDFStore に既存のインデックス値をインクリメントさせながら、DataFrame をインポートしてそこに含まれるインデックス値を無視するにはどうすればよいですか? 以下のサンプル コードは、10 行ごとにバッチ処理を行います。当然実物はもっと大きいでしょう。

if hd_file_name:
        """
        HDF5 output file specified.
        """

        hdf_output = pd.HDFStore(hd_file_name, complib='blosc')
        print hdf_output

        columns = ['source', 'ip', 'unknown', 'user', 'timestamp', 'http_verb', 'path', 'protocol', 'http_result', 
                   'response_size', 'referrer', 'user_agent', 'response_time']

        source_name = str(log_file.name.rsplit('/')[-1])   # HDF5 Tables don't play nice with unicode so explicit str(). :(

        batch = []

        for count, line in enumerate(log_file,1):
            data = parse_line(line, rejected_output = reject_output)

            # Add our source file name to the beginning.
            data.insert(0, source_name )    
            batch.append(data)

            if not (count % 10):
                df = pd.DataFrame( batch, columns = columns )
                hdf_output.append(KEY_NAME, df)
                batch = []

        if (count % 10):
            df = pd.DataFrame( batch, columns = columns )
            hdf_output.append(KEY_NAME, df)
4

1 に答える 1

21

このようにできます。唯一のトリックは、最初に store テーブルが存在しないため、発生get_storerすることです。

import pandas as pd
import numpy as np
import os

files = ['test1.csv','test2.csv']
for f in files:
    pd.DataFrame(np.random.randn(10,2),columns=list('AB')).to_csv(f)

path = 'test.h5'
if os.path.exists(path):
    os.remove(path)

with pd.get_store(path) as store:
    for f in files:
        df = pd.read_csv(f,index_col=0)
        try:
            nrows = store.get_storer('foo').nrows
        except:
            nrows = 0

        df.index = pd.Series(df.index) + nrows
        store.append('foo',df)


In [10]: pd.read_hdf('test.h5','foo')
Out[10]: 
           A         B
0   0.772017  0.153381
1   0.304131  0.368573
2   0.995465  0.799655
3  -0.326959  0.923280
4  -0.808376  0.449645
5  -1.336166  0.236968
6  -0.593523 -0.359080
7  -0.098482  0.037183
8   0.315627 -1.027162
9  -1.084545 -1.922288
10  0.412407 -0.270916
11  1.835381 -0.737411
12 -0.607571  0.507790
13  0.043509 -0.294086
14 -0.465210  0.880798
15  1.181344  0.354411
16  0.501892 -0.358361
17  0.633256  0.419397
18  0.932354 -0.603932
19 -0.341135  2.453220

(必要な場合を除いて) 実際にはグローバル ユニーク インデックスは必ずしも必要ではありませHDFStoreんPyTables。これらの選択パラメータはいつでも追加できます。

In [11]: pd.read_hdf('test.h5','foo',start=12,stop=15)
Out[11]: 
           A         B
12 -0.607571  0.507790
13  0.043509 -0.294086
14 -0.465210  0.880798
于 2013-06-08T12:10:01.417 に答える