3

完全に文字列で構成される CSV データに対していくつかの型変換を行おうとしています。ヘッダー名の辞書を関数に使用し、それらの関数を各 CSV 行にマップすることを考えていました。複数の関数を行に効率的にマップする方法に少しこだわっています。ヘッダーを列挙し、関数へのインデックスの新しい辞書を作成することを考えていました。

header_map = {'Foo':str,
              'Bar':str,
              'FooBar':float}

csv_data = [('Foo', 'Bar', 'FooBar'),
            #lots of data...
           ]

index_map = {}

#enumerate the rows and create a dictionary of index:function
for i, header in enumerate(csv_data[0]):
    index_map[i] = header_map[header]

#retrieve the function for each index and call it on the value
new_csv = [[index_map[i](value) for i, value in enumerate(row)] 
           for row in csv_data[1:]]

このタイプの操作を達成するためのより簡単で効率的な方法を誰かが知っているかどうか、私はただ興味がありますか?

4

3 に答える 3

1

テストしませんでした（サンプル入力なし）が、これはあなたが望むことをするようです：

heads = csv_data[0]
new_csv = heads + [
              tuple(header_map[head](item) for head, item in zip(heads, row))
          for row in csv_data[1:]]
于 2013-01-17T14:00:08.323 に答える
1

using_converterこれは、わずかに高速なメソッドです。

import itertools as IT

header_map = {'Foo':str,
              'Bar':str,
              'FooBar':float}

N = 20000
csv_data = [('Foo', 'Bar', 'FooBar')] + [('Foo', 'Bar', 1123.451)]*N

def original(csv_data):
    index_map = {}
    #enumerate the rows and create a dictionary of index:function
    for i, header in enumerate(csv_data[0]):
        index_map[i] = header_map[header]

    #retrieve the appropriate function for each index and call it on the value
    new_csv = [[index_map[i](value) for i, value in enumerate(row)]
               for row in csv_data[1:]]
    return new_csv

def using_converter(csv_data):
    converters = IT.cycle([header_map[header] for header in csv_data[0]])
    conv = converters.next
    new_csv = [[conv()(item) for item in row] for row in csv_data[1:]]
    return new_csv

def using_header_map(csv_data):
    heads = csv_data[0]
    new_csv = [
        tuple(header_map[head](item) for head, item in zip(heads, row))
        for row in csv_data[1:]]
    return new_csv

# print(original(csv_data))
# print(using_converter(csv_data))
# print(using_header_map(csv_data))

ベンチマークtimeit:

元のコード:

% python -mtimeit -s'import test' 'test.original(test.csv_data)'
100 loops, best of 3: 17.3 msec per loop

少し高速なバージョン (itertools を使用):

% python -mtimeit -s'import test' 'test.using_converter(test.csv_data)'
100 loops, best of 3: 15.5 msec per loop

Lev Levitsky のバージョン:

% python -mtimeit -s'import test' 'test.using_header_map(test.csv_data)'
10 loops, best of 3: 36.2 msec per loop
于 2013-01-17T14:52:10.837 に答える
0

ヘッダーのタイトルの順序がわかっている場合は、辞書の代わりに関数のリストを使用できます。

>>> header = [str, str, float]
>>> csv = [("aaa", "bbb", "3.14")] * 10
>>> map(lambda line: map(lambda f, arg: f(arg), header, line), csv)
[['aaa', 'bbb', 3.14], ['aaa', 'bbb', 3.14], ...
于 2013-01-17T14:09:40.417 に答える