5

不正な形式のデータを含む大きな.txtがあります。一部の行を削除し、残りのデータを浮動小数点数に変換したいと思います。'X'またはで行を削除したいのですが'XX'、残りはfloatに変換する必要があり、numberlikeは次のよう4;00.1に変換する必要があり4.001ます。ファイルは次のようになります。

0,1,10/09/2012,3:01,4;09.1,5,6,7,8,9,10,11
1,-0.581586,11/09/2012,-1:93,0;20.3,739705,,0.892921,5,,6,7
2,XX,10/09/2012,3:04,4;76.0,0.183095,-0.057214,-0.504856,NaN,0.183095,12
3,-0.256051,10/09/2012,9:65,1;54.9,483293,0.504967,0.074442,-1.716287,7,0.504967,0.504967
4,-0.728092,11/09/2012,0:78,1;53.4,232247,4.556,0.328062,1.382914,NaN,4.556,4
5,4,11/09/2012,NaN,NaN,6.0008,NaN,NaN,NaN,6.000800,6.000000,6.000800
6,X,11/09/2012,X,X,5,X,8,2,1,17.000000,33.000000
7,,11/09/2012,,,,,,6.000000,5.000000,2.000000,2.000000
8,4,11/09/2012,7:98,3;04.5,5,6,3,7.000000,3.000000,3.000000,2
9,6,11/09/2012,2:21,4;67.2,5,2,2,7,3,8.000000,4.000000

DataFrameに読み込んで、行を選択します

from pandas import *
from csv import *
fileName = '~/data.txt'
colName = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l']
df = DataFrame(read_csv(fileName, names=colName))
print df[df['b'].isin(['X','XX',None,'NaN'])].to_string()

最後の最後の行からの出力は私にのみ与えます：

>>> print df[df['b'].isin(['X','XX',None,'NaN'])].to_string()
    b           c     d       e         f          g         h   i         j   k   l
a                                                                                   
2  XX  10/09/2012  3:04  4;76.0  0.183095  -0.057214 -0.504856 NaN  0.183095  12 NaN
6   X  11/09/2012     X       X  5.000000          X  8.000000   2  1.000000  17  33

行7を取得しません。また、1つの列だけでなくすべてのdfを調べたいと思います（元のファイルは非常に大きいです）。

現時点では、以下のように変換を使用していますが、すべてのdfに適用するには、最初に不要な行を削除する必要があります。

convert1 = lambda x : x.replace('.', '')
convert2 = lambda x : float(x.replace(';', '.'))
newNumber = convert2(convert1(df['e'][0]))

行を選択した後、それらをdfから削除したいのですが、試しdf.pop()ますが、行ではなく列に対してのみ機能します。行に名前を付けようとしますが、うまくいきません。この特定の.txtでは、行[0,3,8,9]からの新しいdfで終了し、列'c'を日付形式、'd'を時間形式、残りを浮動小数点数として指定する必要があります。私はかなり長い間それを理解しようとしていますが、どこに移動するのかわかりません、パンダでそれは可能ですか（おそらくそうあるべきです）、または私はndarray他の何かに変更する必要がありますか？アドバイスありがとうございます

4

1 に答える 1

6

numpy.nan元のフィルターの問題は、空の文字列がデフォルトで解析されるのではなく、「NaN」をチェックすることです。すべての列をフィルタリングして、要素が「X」または「XX」でない行のみを取得する場合は、次のようにします。

In [45]: names = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l']

In [46]: df = pd.read_csv(StringIO(data), header=None, names=names)

In [47]: mask = df.applymap(lambda x: x in ['X', 'XX', None, np.nan])

In [48]: df[-mask.any(axis=1)]
Out[48]: 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 5 entries, 0 to 9
Data columns:
a    5  non-null values
b    5  non-null values
c    5  non-null values
d    5  non-null values
e    5  non-null values
f    5  non-null values
g    5  non-null values
h    5  non-null values
i    5  non-null values
j    4  non-null values
k    5  non-null values
l    5  non-null values
dtypes: float64(6), int64(1), object(5)
于 2012-09-23T01:33:09.643 に答える