問題タブ [google-bigquery]

ブラウザツールを使用してスキーマを使用して大きなクエリテーブルを作成しました。次回は、ローカルからのAPI呼び出しを使用してそのテーブルにcsvを追加しますが、そのcsvにはすでに指定したすべての列が含まれているわけではありません。そのため、「提供されたスキーマがテーブルxxxxxxxxxxxxx：xxxx.xxxxと一致しません」というエラーが発生します。では、API呼び出しを介して特定の列のbigqueryテーブルに値を追加するにはどうすればよいですか？

私は Google BigQuery を使用していますが、公開されているサンプル テーブルはほとんどありません。それらの 1 つはウィキペディアの改訂履歴 [publicdata:samples.wikipedia] です。

いくつかのテスト目的で、エクスポートして Google Cloud Storage に保存したいと思います。

しかし、Google BigQuery でエクスポート ジョブを実行すると、5 時間実行され、ジョブは失敗します :(

返された唯一のメッセージは Errors: Backend error でした。ジョブが中止されました。

データサイズが35GB前後だからかもしれません。提供された他のすべてのサンプルは 25 GB 未満で、Google Cloud Storage に正常にエクスポートされました。

問題の内容とそれを回避する方法を知っている人はいますか?

Google BigQuery を使用しており、それが提供する POSITION(field) 関数について質問があります。

POSITION 関数は、ネストされたフィールド内のクエリで値の位置を返すと思いました。

しかし、ネストされていないフィールドでも機能することに非常に驚いています。

例えば。

そして出力は

このコンテキストで、POSITION(url) とはどういう意味ですか? また、テストできる Google BigQuery サンプルによって提供されるネストされたフィールドはありますか?

ありがとうございます

ここの Python サンプル コードをモデルにした Python スクリプトを使用して、CSV ファイルを BigQuery に読み込もうとしています: https://developers.google.com/bigquery/docs/developers_guide

しかし、REST API を使用してテーブルをロードしようとすると、次のエラーが発生します。

エラー「385479794093」にリストされている projectId は、渡した projectId ではなく、「プロジェクト番号」です。projectId は「firespotter.com:firespotter」である必要があります。

3 つの異なる場所で正しい値を渡すと、REST API が独自の間違った projectId を提供しなければならないのはなぜですか? プロジェクト ID を渡すか、設定する必要がある別の場所はありますか?

参考までに、関連するコード スニペットを次に示します。

BigQuery で自分のストレージ サイズを制限するための安全策はありますか? または、特定のサイズのしきい値に達した場合にアラートを受け取る方法はありますか?

ありがとう！

この質問は、BigQuery でのデータのクエリのパフォーマンスに関連しています。

クエリのパフォーマンスに影響を与える特定のテーブルまたは列の設定、または列の順序または列に適用される定義が区別可能な方法でデータのフェッチに影響を与えないように、テーブル内のすべての列が実質的に BigQuery によって同等に扱われますか?

ありがとう！

BigQuery テーブルの 1 つに対するすべてのクエリが次のエラーで失敗します。

実行に約 60 秒かかり、失敗します。すべて Web インターフェイスを介して。何が起こっているのでしょうか？

機能しない基本的なクエリを次に示します。

パブリック データ セットのいずれかで基本的なクエリを実行すると、正常に動作します。2分ごとにテーブルにデータを追加しているのだろうか。

アップデート

同じクエリで、散発的にしか発生していないようです。うまくいくこともあれば、失敗することもあります (クエリを 60 秒ほど試行した後)。

Google のruby​​ api クライアントを使用して大きなクエリと通信していますが、次のエラーが発生するクエリを除いて、すべてをセットアップして動作させています。

これが私が呼んでいるものです：

イライラする部分はquery api docsにあります。これらとまったく同じパラメーターが問題なく機能します。何か案は？

データをBigQueryに挿入する際に問題が発生しています。私たちはオランダにあります。

コマンド：
adm @ la478 ads_csv $ time bq load --debug_mode --skip_leading_rows 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
ロード操作でのBigQueryエラー：バックエンドエラー

メトリック：
実際の4m35.997s
ユーザー0m0.963s
sys 0m0.169s

ファイルサイズ：
-rw-rw-rw- 1 adm admin 39M Jul 10 17:02ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz200MB
非圧縮

何をすべきかアドバイスしてもらえますか？

時間がかかりすぎるクエリを開始しました。集計されていないクエリで並べ替えを使用しました。

長時間実行されているジョブを停止する方法はありますか?