10

txt ファイルで大きなタブ区切りのデータセットを処理するために、Ubuntu 13.10 の ipython3 で pandas 0.12.0 を使用しています。read_table を使用して txt から DataFrame を作成すると機能するように見え、最初の行はヘッダーとして読み取られますが、その名前をインデックスとして使用して最初の列にアクセスしようとすると、KeyError がスローされます。列名がすべて正しく読み取られているように見え、他のすべての列にこの方法でインデックスを付けることができることを考えると、なぜこれが起こるのかわかりません。

データは次のようになります。

RECORDING_SESSION_LABEL LEFT_GAZE_X LEFT_GAZE_Y RIGHT_GAZE_X    RIGHT_GAZE_Y    VIDEO_FRAME_INDEX   VIDEO_NAME
73_1    .   .   395.1   302 .   .
73_1    .   .   395 301.9   .   .
73_1    .   .   394.9   301.7   .   .
73_1    .   .   394.8   301.5   .   .
73_1    .   .   394.6   301.3   .   .
73_1    .   .   394.7   300.9   .   .
73_1    .   .   394.9   301.3   .   .
73_1    .   .   395.2   302 1   1_1_just_act.avi
73_1    .   .   395.3   302.3   1   1_1_just_act.avi
73_1    .   .   395.4   301.9   1   1_1_just_act.avi
73_1    .   .   395.7   301.5   1   1_1_just_act.avi
73_1    .   .   395.9   301.5   1   1_1_just_act.avi
73_1    .   .   396 301.5   1   1_1_just_act.avi
73_1    .   .   395.9   301.5   1   1_1_just_act.avi
15_1    395.4   301.7   .   .   .   .

区切り文字は間違いなくタブであり、末尾または先頭の空白はありません。

この最小限のプログラムでエラーが発生します。

import pandas as pd

samples = pd.read_table('~/datafile.txt')

print(samples['RECORDING_SESSION_LABEL'])

エラーが発生します：

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-65-137d3c16b931> in <module>()
----> 1 print(samples['RECORDING_SESSION_LABEL'])

/usr/lib/python3/dist-packages/pandas/core/frame.py in __getitem__(self, key)
   2001             # get column
   2002             if self.columns.is_unique:
-> 2003                 return self._get_item_cache(key)
   2004 
   2005             # duplicate columns

/usr/lib/python3/dist-packages/pandas/core/generic.py in _get_item_cache(self, item)
    665             return cache[item]
    666         except Exception:
--> 667             values = self._data.get(item)
    668             res = self._box_item_values(item, values)
    669             cache[item] = res

/usr/lib/python3/dist-packages/pandas/core/internals.py in get(self, item)
   1654     def get(self, item):
   1655         if self.items.is_unique:
-> 1656             _, block = self._find_block(item)
   1657             return block.get(item)
   1658         else:

/usr/lib/python3/dist-packages/pandas/core/internals.py in _find_block(self, item)
   1934 
   1935     def _find_block(self, item):
-> 1936         self._check_have(item)
   1937         for i, block in enumerate(self.blocks):
   1938             if item in block:

/usr/lib/python3/dist-packages/pandas/core/internals.py in _check_have(self, item)
   1941     def _check_have(self, item):
   1942         if item not in self.items:
-> 1943             raise KeyError('no item named %s' % com.pprint_thing(item))
   1944 
   1945     def reindex_axis(self, new_axis, method=None, axis=0, copy=True):

KeyError: 'no item named RECORDING_SESSION_LABEL'

単純に実行print(samples)すると、最初の列とそのヘッダーを含むテーブル全体を印刷するという期待される出力が得られます。他の列を印刷しようとすると (つまり、まったく同じコードですが、「RECORDING_SESSION_LABEL」が「LEFT_GAZE_X」に置き換えられています)、正常に機能します。さらに、ヘッダーは正しく読み込まれたようで、pandas は「RECORDING_SESSION_LABEL」をカラム名として認識します。これは、読み込まれた後に .info() メソッドを使用し、サンプルの .columns 属性を表示することで証明されます。

>samples.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 28 entries, 0 to 27
Data columns (total 7 columns):
RECORDING_SESSION_LABEL    28  non-null values
LEFT_GAZE_X                 28  non-null values
LEFT_GAZE_Y                 28  non-null values
RIGHT_GAZE_X                28  non-null values
RIGHT_GAZE_Y                28  non-null values
VIDEO_FRAME_INDEX           28  non-null values
VIDEO_NAME                  28  non-null values
dtypes: object(7)

>print(samples.columns)

Index(['RECORDING_SESSION_LABEL', 'LEFT_GAZE_X', 'LEFT_GAZE_Y', 'RIGHT_GAZE_X', 'RIGHT_GAZE_Y', 'VIDEO_FRAME_INDEX', 'VIDEO_NAME'], dtype=object)

私が関連していると思われる別のエラー動作は、ipython のタブ補完を使用しているときに発生します。これにより、属性であるかのようにサンプルの列にアクセスできます。最初の列を除くすべての列で機能します。すなわち; >samples.R提案のみでタブキーを押しますsamples.RIGHT_GAZE_X samples.RIGHT_GAZE_Y。

では、データフレーム全体を見ると正常に動作し、その名前を正しく読み取ったように見えても、名前で最初の列にアクセスしようとすると失敗するのはなぜですか?

4

4 に答える 4

16

これは (関連する) 既知の問題のようです。GH #4793を参照してください。'utf-8-sig'エンコーディングとして使用するとうまくいくようです。それがなければ、次のようになります。

>>> df = pd.read_table("datafile.txt")
>>> df.columns
Index([u'RECORDING_SESSION_LABEL', u'LEFT_GAZE_X', u'LEFT_GAZE_Y', u'RIGHT_GAZE_X', u'RIGHT_GAZE_Y', u'VIDEO_FRAME_INDEX', u'VIDEO_NAME'], dtype='object')
>>> df.columns[0]
'\xef\xbb\xbfRECORDING_SESSION_LABEL'

しかし、それで、私たちは持っています

>>> df = pd.read_table("datafile.txt", encoding="utf-8-sig")
>>> df.columns
Index([u'RECORDING_SESSION_LABEL', u'LEFT_GAZE_X', u'LEFT_GAZE_Y', u'RIGHT_GAZE_X', u'RIGHT_GAZE_Y', u'VIDEO_FRAME_INDEX', u'VIDEO_NAME'], dtype='object')
>>> df.columns[0]
u'RECORDING_SESSION_LABEL'
>>> df["RECORDING_SESSION_LABEL"].max()
u'73_1'

(上記では Python 2 を使用しましたが、Python 3 でも同じことが起こります。)

于 2014-02-16T13:29:56.653 に答える
3

ファイルの先頭から BOM を条件付きで削除する必要があるようです。次のように、ファイルのラッパーを使用してこれを行うことができます。

def remove_bom(filename):
    fp = open(filename, 'rbU')
    if fp.read(2) != b'\xfe\xff':
        fp.seek(0, 0)
    return fp

# read_table also accepts a file pointer, so we can remove the bom first
samples = pd.read_table(remove_bom('~/datafile.txt'))

print(samples['RECORDING_SESSION_LABEL'])
于 2014-02-16T22:40:24.310 に答える
2

I also stumbled upon similar problem. When I was reading as df = pandas.read_csv(csvfile, sep), the first column had this strange format in name:

df.columns[0]

returned this result:

'\xef\xbb\xbfColName'

When I tried selecting this column, I got an error:

df.ColName

returned

AttributeError: 'DataFrame' object has no attribute 'ColName'

After reading this I just used my external program Sublime to change the encoding and save the file as a new file (save with encoding UTF-8, but without BOM).

Afterwards pandas reads the first column name correctly and I am able to select it withdf.ColName and it returns correct value. Such a small thing that took 45 minutes to solve.

TLDR: Save file with encoding without BOM.

于 2016-10-05T09:49:11.223 に答える