5

csvファイルからPyBrainデータセットにデータを正しくロードする作業コードがいくつかあります:

def old_get_dataset():

    reader = csv.reader(open('test.csv', 'rb'))

    header = reader.next()
    fields = dict(zip(header, range(len(header))))
    print header

    # assume last field in csv is single target variable
    # and all other fields are input variables
    dataset = SupervisedDataSet(len(fields) - 1, 1)

    for row in reader:
        #print row[:-1]
        #print row[-1]
        dataset.addSample(row[:-1], row[-1])

    return dataset

今、代わりに numpy の loadtxt 関数を使用するようにこのコードを書き直そうとしています。addSample は、一度に 1 行ずつデータを追加するのではなく、numpy 配列を取ることができると思います。

読み込まれた numpy 配列が mxn 次元であると仮定すると、最初の mx (n-1) データ セットを最初のパラメーターとして、データの最後の列を 2 番目のパラメーターとして渡すにはどうすればよいですか? これは私がしようとしているものです:

def get_dataset():

    array = numpy.loadtxt('test.csv', delimiter=',', skiprows=1)

    # assume last field in csv is single target variable
    # and all other fields are input variables
    number_of_columns = array.shape[1]
    dataset = SupervisedDataSet(number_of_columns - 1, 1)

    #print array[0]
    #print array[:,:-1]
    #print array[:,-1]
    dataset.addSample(array[:,:-1], array[:,-1])

    return dataset

しかし、次のエラーが発生します。

Traceback (most recent call last):
  File "C:\test.py", line 109, in <module>
    (d, n, t) = main()
  File "C:\test.py", line 87, in main
    ds = get_dataset()
  File "C:\test.py", line 45, in get_dataset
    dataset.addSample(array[:,:-1], array[:,-1])
  File "C:\Python27\lib\site-packages\pybrain\datasets\supervised.py",
       line 45, in addSample self.appendLinked(inp, target)
  File "C:\Python27\lib\site-packages\pybrain\datasets\dataset.py",
       line 215, in appendLinked self._appendUnlinked(l, args[i])
  File "C:\Python27\lib\site-packages\pybrain\datasets\dataset.py",
       line 197, in _appendUnlinked self.data[label][self.endmarker[label], :] = row
ValueError: output operand requires a reduction, but reduction is not enabled

どうすればこれを修正できますか?

4

2 に答える 2

8

多くの実験とデータセットのドキュメントを読み直した後、次はエラーなしで実行されます。

def get_dataset():

    array = numpy.loadtxt('test.csv', delimiter=',', skiprows=1)

    # assume last field in csv is single target variable
    # and all other fields are input variables
    number_of_columns = array.shape[1]
    dataset = SupervisedDataSet(number_of_columns - 1, 1)

    print array[0]
    #print array[:,:-1]
    #print array[:,-1]
    #dataset.addSample(array[:,:-1], array[:,-1])
    #dataset.addSample(array[:,:-1], array[:,-2:-1])
    dataset.setField('input', array[:,:-1])
    dataset.setField('target', array[:,-1:])

    return dataset

それが正しいことをしていることを再確認する必要があります。

于 2012-04-13T02:23:32.263 に答える
0

これを行うための小さな関数を書きました

def load_csv(filename, cols, sep = ',', skip = 0):
    from numpy import loadtxt
    data = loadtxt(filename, delimiter = sep, usecols = cols, skiprows = skip)
    return data
于 2013-12-04T18:28:04.147 に答える