問題タブ [google-bigquery]

私は非常に基本的なテーブルを読み込もうとしています: cookie:string,campaign_id:integer,point_type:integer.

私が使用しているファイルは次のとおりです。http://pastie.org/private/xswuhkotlfxmykozrzws5a

ただし、実行 bq load -F '^' myset.my_test myfile_15.txt cookie:string,campaign_id:integer,point_type:integerすると、「ロード操作での BigQuery エラー: myset.my_test で記述されたテーブルを特定できません」と報告されます。

ただし、Web ブラウザー ツールを使用して同じファイルとスキーマをアップロードすると、正常に読み込まれます。私が間違っているかもしれないことについてのアイデアはありますか?

過去3週間（オーストラリア時間の6月4日まで）、昨日まで請求を有効にせずにGoogleBigQueryを使用しています。しかし、今日は「請求を有効にする必要があります」というエラーが表示されます。

私の質問は：

今のところラッキーでしたか？または最近何かが変わった？

公開データでブラウザツールを使い始めてから、いくつかのテーブルを作成しました。すべてが機能し、昨日コマンドラインツールを使い始めましたが、今日はエラーが発生しました。

誰かが同様の問題に直面しましたか？

数十万のオブジェクトを含むGAEデータストアの種類があります。いくつかの関連するクエリ（カウントクエリを含む）を実行したい。Big Queryは、これを行うのに最適なようです。

現在、Big Queryを使用してライブAppEngineデータストアにクエリを実行する簡単な方法はありますか？

毎日いくつかのファイルをアップロードしていますが、そのうちの約半分が成功しています。一部のジョブはエラーを返します...

サーバーで IST 日付形式を使用しています (問題がある場合)

成功したジョブの関連ログは次のとおりです。

アップロード中の一部のファイルでのみエラーが発生するのはなぜですか?

Google BigQuery を使用して次のことを行う予定です (Google を含む、Amazon 以外の Azure サービス以外をお気軽に提案してください)。

R プラットフォームと Google プラットフォームの両方が固定されています。

私の質問は、Google Big Query で R を使用する方法と場所を見つける方法です。RCurl のドキュメントを読みましたが、少し戸惑いました。R と Google BigQuery で実行できる単純なタスクの単一のユース ケースはありますか。

ドキュメントには、ストレージからテーブルに複数のファイルを別々のリクエストでアップロードできると記載されています。

テーブルに入力するCSVファイルを作成する-テーブルに入力するために使用されるデータは、CSVファイルとしてアップロードされます。単一のソースファイルの最大サイズは4GBですが、単一のリクエストまたは個別のリクエストのいずれかで、複数のソースファイルをテーブルにインポートできます。

それらのリクエストを同時に発行できますか？はいの場合、アカウント/バケット/テーブルごとのアップロードリクエストの最大同時数はいくつになりますか？これらの数値に明示的な割り当てがない場合、アップロードリクエストを発行することで、アップロードのスループットを必要なだけ向上させることができるということですか？

ありがとう、

カズ

作成するテーブルのスキーマが定義されているテキスト ファイル schema.txt があります。

このファイルを、テーブルの作成に使用しているマルチパート HTTP 要求に含めたいと考えています。

マルチパート HTTP 要求で schema.txt ファイルを指定するにはどうすればよいですか?

以下は私が現在行っていることです（ただし、機能していません）：

filenm「schema.txt」はどこにありますか。

次のようにスキーマを直接指定できることはわかっています。

しかし、代わりに、スキーマを含むファイルを指定したいと考えています。

BigQuery error in load operation: Backend ErrorBQ でデータをアップロードおよびインポートしようとすると、エラーが発生します。すでにサイズを縮小し、インポート間の時間を増やしましたが、何も役に立ちません。奇妙なことに、しばらく待ってから再試行すると、うまくいきます。

BigQuery ブラウザ ツールでは、一部の行 / フィールドでエラーのように表示されますが、確認したところエラーはありません。そして、明らかにこれは偽のメッセージです。同じファイルのアップロード/インポートを待ってから再試行すると、機能するからです。

Tnks

この投稿に対する Michael の回答を読んでいました。ここでは、パイプラインを使用してデータストアからクラウド ストレージ、ビッグ クエリにデータを移動することを提案しています。

Google App Engine: データストアで Big Query を使用していますか?

この手法を使用して、bigquery テーブルにデータを追加したいと考えています。つまり、mapreduce の実行中にエンティティが繰り返し bigquery に送信されないように、エンティティが処理されたかどうかを知る方法が必要です。毎回テーブルを再構築したくありません。

私の見方では、2 つの選択肢があります。エンティティにフラグを立てて、各エンティティが処理されたときにそれを更新し、その後の実行でそれを除外することができます。または、各エンティティを新しいテーブルに保存してソース テーブルから削除することもできます。2 番目の方法の方が優れているように見えますが、オプションを尋ねたり、落とし穴がないか確認したかったのです。

次のコマンドを使用してデータをロードします。

ゼロ以外の戻りコードを受け取ったときに、データがまだロードされていたことがありました。コマンドが成功したかどうかを確認するにはどうすればよいですか? 戻りコードを確認しても役に立たないようです。エラーが発生したため、同じファイルを再度ロードしたことがありますが、データは既に bigquery で使用可能でした。