エラスティックサーチを使用した集計で次のグループを達成したくありません。同等の SQL は次のようになります (一種の):
SELECT MIN(unix_time) as min_utime, MAX(unix_time) as max_utime
FROM myindex
GROUP BY http_user, src
集計はこのようなものでしょうか?
"aggs":{
"suser":{
"terms":{
"field":"http_user"
},
"aggs":{
"src":{
"terms":{
"field":"src"
},
"aggs":{
"max_utime":{
"max":{
"field":"unix_time"
}
},
"min_utime":{
"min":{
"field":"unix_time"
}
}
}
}
}
}
}
集計のことを正しく理解しているかどうかはわかりません。私は正しいですか?
ソリューションをシミュレートするテストを作成しました。バケット名とキー、またはメトリックと値ごとに list[dict(str, T)] の形式で集計を抽出します
for suser in aggregations.get("suser").get("buckets"):
for src in suser.get('src').get('buckets'):
row = dict(suser=suser.get('key'), src=src.get('key'),
min_utime=src.get('min_utime').get("value"),
max_utime=src.get("max_utime").get("value"))
results_array.append(row)
first_row = results_array[0]
http_user = first_row.get('suser')
src = first_row.get('src')
new_query = {
'query': {
'bool': {
'must': [
{"term":{'http_user': http_user}},
{"term":{'src': src}}
],
"filter":{
"range":{
"@timestamp":{
'gte': datetime.datetime(2016, 10, 3, 10, 22, 44, 569755),
'lte': datetime.datetime(2016, 10, 3, 14, 22, 44, 569755)
}
}
}
}
}
sort = ["unix_time:asc"]
results = []
for hit in scan(es_client, index="my_index", query=new_query, sort=sort)
results.append(hit)
first_hit = results[0].get('_source')
self.assertEqual(first_row.get("min_utime"),
first_hit.get("unix_time"))
テストはランダムに成功または失敗します。また、結果の時間も等しくありません (ただし、集計と新しいクエリの両方のクエリからわかるように、私が提供する日時は常に同じです)。
試験結果:
AssertionError: 1475489579.0 != 1475489620
AssertionError: 1475489961.0 != 1475489980