次のような大きな hdfstore ファイル (>10G) をクエリすると、次のようになります。
hdf = pd.HDFStore('raw_sample_storage.h5')
nrows = hdf.get_storer('raw_sample_all').nrows
chunksize = 300000
for i in xrange(nrows//chunksize + 1):
chunk = hdf.select('raw_sample_all', where=[pd.Term('node_id', '==', 1)], start=i*chunksize, stop=(i+1)*chunksize)
print chunk.head(2)
ほとんどのエントリの node_id が 1 であるという結果が得られましたが、一部のエントリには 1 以外の node_id があります。
これは、node_id が 1 以外のエントリがいくつかあることを確認できる結果の一部です。
time GW_time node_id X Y Z status seq \
2 2013-10-22 17:20:58 39821888 1 16927 21438 22722 0 34
6 2013-10-22 17:20:58 39822144 1 16927 21438 22722 0 35
rssi lqi
2 -46 48
6 -51 48
time GW_time node_id X Y Z status \
300002 2013-10-22 17:30:50 59223744 3 19915 20840 22003 0
300006 2013-10-22 17:30:50 59224000 3 19913 20844 22002 0
seq rssi lqi
300002 46 -64 50
300006 47 -64 48
time GW_time node_id X Y Z status \
600000 2013-10-22 17:40:55 79050561 1 17612 22536 21198 0
600004 2013-10-22 17:40:55 79050817 1 17613 22535 21201 0
seq rssi lqi
600000 55 -67 46
600004 56 -67 49
time GW_time node_id X Y Z status \
900003 2013-10-22 17:50:44 98345217 4 18934 20212 19364 0
900007 2013-10-22 17:50:44 98345473 4 18935 20212 19359 0
seq rssi lqi
900003 32 -60 46
900007 33 -60 48
time GW_time node_id X Y Z status \
1200003 2013-10-22 18:00:31 117600065 1 17618 22541 21191 0
1200007 2013-10-22 18:00:31 117600321 1 17620 22538 21187 0
seq rssi lqi
1200003 111 -66 47
1200007 112 -66 48
行 300002 が望ましくない結果であることに気付き、次のようにその特定の領域の周りのノード 1 を選択しようとします。
chunk = hdf.select('raw_sample_all', start=300002-20, stop=300002+20,
where=[pd.Term('node_id', '==', 1)])
結果にはノード 3 のみが返されます。
time GW_time node_id X Y Z status seq rssi lqi
299982 2013-10-22 17:30:50 59222464 3 19912 20838 22003 0 41 -64 48
299986 2013-10-22 17:30:50 59222720 3 19912 20838 22003 0 42 -64 48
299990 2013-10-22 17:30:50 59222976 3 19913 20840 22007 0 43 -64 50
299994 2013-10-22 17:30:50 59223232 3 19913 20840 22007 0 44 -64 50
299998 2013-10-22 17:30:50 59223488 3 19915 20840 22003 0 45 -64 48
300002 2013-10-22 17:30:50 59223744 3 19915 20840 22003 0 46 -64 50
300006 2013-10-22 17:30:50 59224000 3 19913 20844 22002 0 47 -64 48
300010 2013-10-22 17:30:50 59224256 3 19913 20844 22002 0 48 -64 50
300014 2013-10-22 17:30:50 59224512 3 19914 20844 22010 0 49 -64 49
300018 2013-10-22 17:30:50 59224768 3 19914 20844 22010 0 50 -64 50
次に、次のように開始/停止の代わりにインデックスを使用してみます。
chunk = hdf.select('raw_sample_all',
where=[pd.Term('index', '>=', 300002-20),
pd.Term('index', '<=', 300002+20),
pd.Term('node_id', '==', 1)])
今回は正しい結果が返されました。
time GW_time node_id X Y Z status seq rssi lqi
299984 2013-10-22 17:30:50 59222593 1 17613 22543 21203 0 42 -80 48
299988 2013-10-22 17:30:50 59222849 1 17613 22543 21203 0 43 -81 48
299992 2013-10-22 17:30:50 59223105 1 17610 22547 21194 0 44 -81 48
299996 2013-10-22 17:30:50 59223361 1 17610 22547 21194 0 45 -81 47
300000 2013-10-22 17:30:50 59223617 1 17609 22545 21190 0 46 -81 45
300004 2013-10-22 17:30:50 59223873 1 17609 22545 21190 0 47 -81 49
300008 2013-10-22 17:30:50 59224129 1 17606 22547 21199 0 48 -81 48
300012 2013-10-22 17:30:50 59224385 1 17606 22547 21199 0 49 -81 48
300016 2013-10-22 17:30:50 59224641 1 17607 22548 21191 0 50 -81 49
300020 2013-10-22 17:30:50 59224897 1 17607 22548 21191 0 51 -80 48
インデックスの選択でこの問題を回避するかもしれないと思いますが、ほとんどの場合、開始/停止を伴うメソッドも正しい結果を取得するため、完全にはわかりません。失敗した場合、他の場所で失敗する可能性があります。
また、開始/停止メソッドが機能することを本当に望んでいます。これははるかに高速であり、データセットが大きいため、遅いメソッドは非常に時間がかかるためです。
ところで、ご参考までに、次のように「chunksize」を使用することはできません。
df = hdf.select('raw_sample_all',chunksize=300000, where="node_id==1")
for chunk in df:
print chunk.head(2)
chunksize を試すたびに、このような MemoryError が発生しました。多くの問題に苦しんでいる Pandas は、私のような初心者にとっては本当に大変です。どんな助けでも大歓迎です。