タイムスタンプでデータセットをクエリしようとしていますが、フル データセット スキャンに対して請求されます。特定のタイムスタンプのみをクエリして、分析されるデータのサイズを減らすことはできますか?
データセットでデータをリアルタイムでストリーミングする Stackdrive Sink を使用していることに注意してください。私はスキーマを制御できません。
SELECT
REGEXP_EXTRACT(httpRequest.requestUrl, r"^.+cid=([0-9]*)") as cid,
REGEXP_EXTRACT(httpRequest.requestUrl, r"^.+pid=([0-9]*)") as pid
FROM
`dataset_20190305` -- Date partition - no time
WHERE timestamp >=TIMESTAMP('2019-03-05 16:50:00')