2

pandas データフレームにインポートしようとしている pytables で作成されたデータセットがあります。whereステップにフィルターを適用できませんread_hdf。私はパンダ「0.12.0」にいます

私のサンプルpytablesデータ:

import tables
import pandas as pd
import numpy as np

class BranchFlow(tables.IsDescription):
    branch = tables.StringCol(itemsize=25, dflt=' ')
    flow = tables.Float32Col(dflt=0)

filters = tables.Filters(complevel=8)
h5 = tables.openFile('foo.h5', 'w')
tbl = h5.createTable('/', 'BranchFlows', BranchFlow, 
            'Branch Flows', filters=filters, expectedrows=50e6) 

for i in range(25):
    element = tbl.row
    element['branch'] = str(i)
    element['flow'] = np.random.randn()
    element.append()
tbl.flush()
h5.close()

データフレームに問題なくインポートできます：

store = pd.HDFStore('foo.h5')
print store
print pd.read_hdf('foo.h5', 'BranchFlows').head()

これは以下を示します:

In [10]: print store
<class 'pandas.io.pytables.HDFStore'>
File path: foo.h5
/BranchFlows            frame_table [0.0.0] (typ->generic,nrows->25,ncols->2,indexers->[index],dc->[branch,flow])

In [11]: print pd.read_hdf('foo.h5', 'BranchFlows').head()
  branch      flow
0      0 -0.928300
1      1 -0.256454
2      2 -0.945901
3      3  1.090994
4      4  0.350750

しかし、フィルターをフロー列で機能させることができません。

pd.read_hdf('foo.h5', 'BranchFlows', where=['flow>0.5'])

<snip traceback>

TypeError: passing a filterable condition to a non-table indexer [field->flow,op->>,value->[0.5]]
4

1 に答える 1

3

PyTables で直接作成されたテーブルからの読み取りでは、テーブル (全体) を直接読み取ることしかできません。pandas 選択メカニズムを使用するには、pandas ツールを使用して (表形式で) 記述する必要があります (pandas が必要とするメタデータが存在しないため、実行できますが、多少の作業が必要になります)。

したがって、上記のようにテーブルを読み込んでから、新しいテーブルを作成し、テーブル形式を示します。ドキュメントはこちら

In [6]: df.to_hdf('foo.h5','BranchFlowsTable',data_columns=True,table=True)

In [24]: with pd.get_store('foo.h5') as store:
    print(store)
   ....:     
<class 'pandas.io.pytables.HDFStore'>
File path: foo.h5
/BranchFlows                 frame_table [0.0.0] (typ->generic,nrows->25,ncols->2,indexers->[index],dc->[branch,flow])
/BranchFlowsTable            frame_table  (typ->appendable,nrows->25,ncols->2,indexers->[index],dc->[branch,flow])    

In [7]: pd.read_hdf('foo.h5','BranchFlowsTable',where='flow>0.5')
Out[7]: 

   branch      flow
14     14  1.503739
15     15  0.660297
17     17  0.685152
18     18  1.156073
20     20  0.994792
21     21  1.266463
23     23  0.927678
于 2013-09-26T19:14:29.773 に答える