111

複数のインデックスを使用pandas.read_csvして列をフィルタリングすると、正しく入力されないcsvファイルがあります。usecols

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

ダミー列が欠落していることを除いて、df1とdf2は同じである必要がありますが、列のラベルが間違っています。また、日付は日付として解析されています。 

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

名前の代わりに列番号を使用すると、同じ問題が発生します。read_csvステップの後にダミー列を削除することで問題を回避できますが、何が問題になっているのかを理解しようとしています。私はパンダ0.10.1を使用しています。

編集：不正なヘッダーの使用法を修正しました。

4

4 に答える 4

133

解決策は、次の2つのキーワード引数を理解することにあります。

  • 名前usecolsは、ファイルにヘッダー行がなく、整数インデックスではなく列名を使用して他の引数（など）を指定する場合にのみ必要です。
  • usecolsは、DataFrame全体をメモリに読み込む前にフィルターを提供することになっています。適切に使用すれば、読み取り後に列を削除する必要はありません。

したがって、ヘッダー行があるため、渡すheader=0だけで十分であり、さらに渡すnamesと混乱するように見えますpd.read_csv。

2番目の呼び出しから削除namesすると、目的の出力が得られます。

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

それは私たちに与えます：

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
于 2015-01-06T02:47:26.400 に答える
23

このコードはあなたが望むものを達成します---またその奇妙で確かにバグがあります：

私はそれが次の場合に機能することを観察しました：

a）index_colrelを指定します。実際に使用する列の数に応じて、この例では4列ではなく3列になります（ドロップdummyしてからカウントを開始します）

b）同じparse_dates

c）そうではないusecols;）明らかな理由のため

d）ここで私はnamesこの振る舞いを反映するように適応しました

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

印刷する

                x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
于 2013-02-22T18:04:28.777 に答える
8

csvファイルに追加のデータが含まれている場合は、インポート後に列をDataFrameから 削除できます。

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

それは私たちに与えます：

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
于 2013-02-26T22:01:28.703 に答える
1

index_col=Falseパラメータを追加するだけです

df1 = pd.read_csv('foo.csv',
     header=0,
     index_col=False,
     names=["dummy", "date", "loc", "x"], 
     usecols=["dummy", "date", "loc", "x"],
     parse_dates=["date"])
  print df1
于 2019-08-12T13:44:09.620 に答える