0

Java APIを使用して、以下のコードを使用してすべてのジョブIDを照会しています

Bigquery.Jobs.List list = bigquery.jobs().list(projectId);
list.setAllUsers(true);

ただし、秘密鍵認証を使用しているWebアプリケーション（つまり、メトリックインサイト）のクライアントIDによって実行されたジョブIDは表示されません。

コマンドラインツール'bqls -j'を使用すると、メトリックインサイトジョブIDのみが表示され、秘密鍵authで実行されたものは表示されません。get allメソッドはありますか？

私がこれを行っている理由は、どのクエリがデータ使用量を消費しているかをよりよく把握しようとしているためです。クエリのソースは複数あります。メトリックの洞察、社内の自動化、手動で行われるものなどです。

4

4 に答える 4

1

バージョン2.0.10以降、bqクライアントはサービスアカウントの資格情報を使用したAPI承認をサポートしています。次のフラグを使用して、特定のサービスアカウントを使用して指定できます。

bq --service_account your_service_account_here@developer.gserviceaccount.com \
    --service_account_credential_store my_credential_file  \
    --service_account_private_key_file mykey.p12 <your_commands, etc>

詳細については、入力bq --helpしてください。

于 2012-10-30T20:59:43.047 に答える
0

ジョーダン -- あなたは私たちがやりたいことに磨きをかけているようですね。プロジェクト/データセットに許可したすべてのアクセスについて、実行されたすべてのクエリの「totalBytesProcessed」の集計/レポートを作成したいと考えています。

私たちが苦労している問題は、データにアクセスする少数の個別の Java プログラム、サード パーティ サービス (メトリック インサイト)、および Web インターフェースを介してクエリにアクセスできる 7 ～ 8 人の個々のユーザーがいるということです。幸いなことに、着信データのソースは 1 つしかないため、そのコストを説明するのは簡単です。クエリについては、現時点では目が見えません（クエリが毎月の請求の大部分になるようです）。

単一のトップレベル認証で作成された 1 つのリストだけで、このレポートの基礎となるデータを取得できれば理想的です。これで、タイムスタンプと実際の SQL テキストから、各クエリをソースに関連付けることができると思います。

この問題をはるかに簡単にする 1 つのことは、ジョブ レコード (またはクエリの job_id のテキスト装飾) により多くの情報がある場合です。クエリに独自のジョブ ID を割り当てることができるかどうかわかりません (おそらく見逃したのでしょうか?)。また、ジョブ レコードにソース情報を記録することは可能でしょうか? 今、大声で考えているだけです...

于 2012-10-30T22:44:01.877 に答える
0

私の推測では、すべてのユーザーの求人を一覧表示する機能が壊れており、通常は回避策があるため、誰も言及していません。現在調査中です。

于 2012-10-30T22:29:47.913 に答える
0

これを照会できる 3 つのテーブルがあります。

region-**.INFORMATION_SCHEMA.JOBS_BY_{USER, PROJECT, ORGANIZATION}

どこ**をあなたの地域に置き換える必要があります。

リージョンJOBS_BY_USER内のクエリの例:eu

select
  count(*) as num_queries,
  date(creation_time) as date,
  sum(total_bytes_processed) as total_bytes_processed,
  sum(total_slot_ms) as total_slot_ms_cost
from
 `region-eu.INFORMATION_SCHEMA.JOBS_BY_USER` as jobs_by_user,
 jobs_by_user.referenced_tables
group by
 2
order by 2 desc, total_bytes_processed desc;

ドキュメントは次の場所で入手できます。

https://cloud.google.com/bigquery/docs/information-schema-jobs

于 2020-07-07T09:27:38.353 に答える