問題タブ [google-bigquery]

サービス アカウントアプローチを使用して Google BigQuery にアクセスしようとしています。私のコードは次のとおりです。

ただし、次の例外がスローされます。

例外は次の行で発生します。

次のようなセクションの 2 行目から、Google の API コンソールからアカウント ID を取得しています。

私は何が欠けていますか？

クォータポリシーには、最大クエリ長があります：10KBおよびクエリ機能の1つは、同じスキーマで複数のテーブルを使用できることです。10kbを超えない場合、クエリ内のテーブルの数に制限がありますか？ ？

SELECT からフェッチしたデータを別の既存のテーブルに追加しようとしていますが、次のエラーが発生し続けます。

指定されたスキーマがテーブル projectId : datasetIdと一致しません。既存のテーブル

ここに私のリクエスト本文があります:

writeDispositionオプションが評価されないようです。

BigQuery を提供してくれた Google に感謝します。すばらしい!
BigQuery で近似文字列一致 / あいまい文字列検索は可能ですか?
この機能を BigQuery に追加する予定はありますか?

確かに、Google 独自の近似文字列マッチング アルゴリズムを使用して、Google の知的財産を維持しながら、この機能を BigQuery に提供できます。すべての BigQuery ドキュメントと Stack Overflow の質問を検索しました。もちろん、これを行うアルゴリズムはたくさんありますが、BigQuery と統合するにはどうすればよいでしょうか?

わずかに異なる可能性がありますが、ほとんど同じである 2 つの文字列を比較する必要があります。例えば：

BigQuery のテストから、BigQuery が JOIN するには、2 つの文字列が正確に一致する必要があることがわかりました。各文字列の末尾のスペースの数までもです。BigQuery との統合に関するこの機能またはガイダンスの追加を歓迎します。これは、ウィスコンシン州ミルウォーキーにある地域の革新的な部分所有ジェット会社であるミルウォーキー ジェッツを支援するものです。BigQuery を提供してくださった Google に改めて感謝いたします。

どうもありがとうございました。Andrew Paullin (414) 212-5372

Google BigQuery がネイティブ JSON サポートを実装する計画はありますか?

Hive データ (~20T) を Google BigQuery に移行することを検討していますが、Hive のテーブル定義には、BigQuery でサポートされていないマップ タイプが含まれています。

たとえば、以下の HiveQL です。

ただし、正規表現を使用して回避できます。

次のようなクエリを実行できません：

走ることもできません

そのため、結合で遊び始めることすらできません。テーブル名でデータセットを指定する必要がある場合、bigqueryで結合をどのように実行する必要がありますか？

コンピューターでこの投稿のMichaelによるbigqueryスニペットを試したときに、「401Unauthorized」の問題が発生しました。ryguyrgが提案したように、（[今すぐ更新]をクリックして）コンピューターの時刻を同期すると、コードは機能しましたが、問題は、しばらくして、コードを再実行すると、401エラーで再び失敗することです。大きなクエリリクエストを実行するたびに、コンピュータの時刻を手動で同期する必要があります。

私のコンピューターは正常に機能していると確信しており、サーバーとの時間差は数ミリ秒を超えてはなりません。では、何が問題を引き起こしているのでしょうか？リクエストの前にコードから時間を同期するために何かを試してみませんか、それとももっと良い方法がありますか？

以下は、参照用の401エラーメッセージです。

「予期しない」エラーが発生します。何度か試しましたが、それでもデータを読み込めませんでした。データをロードする他の方法はありますか？

更新：

私はここで見つけることができるファイルを使用しています：

http://saraswaticlasses.net/bad.csv.zip

「読み込み操作でBigQueryエラーが発生しました：予期しない問題が発生しました。もう一度やり直してください。」というエラーが表示されます。

同じファイルはUbuntuでも機能しますが、CentOS 5.4では機能しません（最終版）OSエンコーディングをチェックする必要がありますか？

Google Bigquery のテーブルからデータの一部を削除するためのサポートを追加する計画を知っている人はいますか? 現在私たちが抱えている問題は、時間の経過とともに収集したデータ ポイントの分析に使用していることです。過去 X 日間のデータに対してクエリを実行したいのですが、過去 X 日間のデータの後は、データを BigQuery に保存する必要がなくなりました。

データを削除するために現在考えられる唯一の方法は、データのテーブル全体を削除してから、それを再作成し、X 日間のデータをロードすることです。ただし、これにはデータを毎日の CSV ファイルにも保存する必要があり、最適ではありません。

この問題を処理する方法に関する推奨事項、または近い将来に行削除クエリがある場合は?