0

StackDriver によって報告された同時実行クエリの数と、「data_access」ログに表示される内容と、「クエリ」メトリクスで報告された数との間に矛盾が見られます。

午後 1 時 16 分頃に添付された画像からわかるように、同時クエリ数が 87 に急増しました (同時クエリ クォータが 50 であるため、それが可能かどうかはわかりません)。「data_access」から jobCompletedEvent をカウントするとcreateTimeTIMESTAMP("2017-01-19 13:16:48","America/Los_Angeles") でログに記録すると、24 しか表示されません。

このインスタンスは孤立したものではなく、これらの多くが発生しています。

ここに画像の説明を入力

SELECT
  count(*)
FROM (
  SELECT
    createTime,
    startTime,
    endTime
  FROM (
    SELECT
      protoPayload.serviceData.jobCompletedEvent.job.jobStatistics.createTime AS createTime,
      protoPayload.serviceData.jobCompletedEvent.job.jobStatistics.startTime AS startTime,
      protoPayload.serviceData.jobCompletedEvent.job.jobStatistics.endTime AS endTime
    FROM
      `catalog.cloudaudit_googleapis_com_data_access_201701*`))
WHERE
  createTime<TIMESTAMP("2017-01-19 13:16:48","America/Los_Angeles")
  AND endTime>TIMESTAMP("2017-01-19 13:16:48","America/Los_Angeles")

もう少し調べてみると、少しおかしなことになりました。jobGetQueryResultsResponse stats を見ると、クエリは次のとおりです。

    SELECT
    insertId,
    jobId,
    createTime,
    startTime,
    endTime
FROM (
  SELECT
    insertId,
    jobId,
    createTime,
    startTime,
    endTime
  FROM (
    SELECT
      insertId,
      protoPayload.serviceData.jobGetQueryResultsResponse.job.jobName.jobId AS jobId,
      protoPayload.serviceData.jobGetQueryResultsResponse.job.jobStatistics.createTime AS createTime,
      protoPayload.serviceData.jobGetQueryResultsResponse.job.jobStatistics.startTime AS startTime,
      protoPayload.serviceData.jobGetQueryResultsResponse.job.jobStatistics.endTime AS endTime,
      protoPayload.status.message error
    FROM
      `catalog.cloudaudit_googleapis_com_data_access_201701*`))
WHERE
  createTime<=TIMESTAMP("2017-01-19 13:16:48")
  AND endTime>=TIMESTAMP("2017-01-19 13:16:48")

現在、321 レコード (以下のスニペット) が返されます。ここでは、一意の insertID を持つが同じ jobId を持つ多くの重複があります。

116 5467305DA3861.A4954C2.780CB7F5  job__oFOLJVnNr8Xj7zFnNrgqww6_Ww 2017-01-19 13:16:35 UTC 2017-01-19 13:16:36 UTC 2017-01-19 13:16:53 UTC  
117 54672C24D1181.A036F52.D205C885  bqjob_r31c3135d053792f3_00000159b6d384e3_1  2017-01-19 13:03:52 UTC 2017-01-19 13:03:55 UTC 2017-01-19 13:46:09 UTC  
118 54672C333EB29.A498C8D.1E00E7D1  job__oFOLJVnNr8Xj7zFnNrgqww6_Ww 2017-01-19 13:16:35 UTC 2017-01-19 13:16:36 UTC 2017-01-19 13:16:53 UTC  
119 5467285CC92D1.A496505.560166F3  job__oFOLJVnNr8Xj7zFnNrgqww6_Ww 2017-01-19 13:16:35 UTC 2017-01-19 13:16:36 UTC 2017-01-19 13:16:53 UTC  
120 5467355C301E1.A49D803.540CE70C  job__oFOLJVnNr8Xj7zFnNrgqww6_Ww 2017-01-19 13:16:35 UTC 2017-01-19 13:16:36 UTC 2017-01-19 13:16:53 UTC  
121 54673441FDAF9.A49C44D.82036D2F  job__oFOLJVnNr8Xj7zFnNrgqww6_Ww 2017-01-19 13:16:35 UTC 2017-01-19 13:16:36 UTC 2017-01-19 13:16:53 UTC

これにより不整合が発生する可能性があり、クォータへの影響は何ですか。「クエリ数」メトリックの計算方法を明確にしてください。BigQuery StackDriver ログの信頼性と、「data_access」ログから正確な数を取得する最善の方法。

4

0 に答える 0