問題タブ [google-bigquery]

質問があります：

このデータを生成するもの：

私は最高になりたいとそれぞれtotalに関連しています。pointslocation

私は最終的に：

サブクエリとを使用する必要があると思いますが、MAX(total)これを機能させることはできません。サブクエリで、を選択したいのですpointsが、明らかに許可されていないグループ化はしたくありません。

どうすればこれを行うことができますか？

テキスト検索可能なコンテンツを Google の BigQuery にコピーし、BigQuery API を使用して全文検索を実行することを考えています。

Google BigQuery はそのシナリオをサポートしていますか?

Google BigQuery API で「検索」コマンドが見つかりませんでした: https://developers.google.com/bigquery/docs/reference/v2/

約3400万行のBigQueryテーブルがあります（数か月で最大5億に成長します）。ストレージの料金を取得しましたが、クエリ/分析の料金がどのように機能するのかよくわかりません。

たとえば、約20レコードから3列を返す単純な選択であるクエリを実行すると、644MBが処理されたと表示されます。句の列または条件を削除しても、where6xxMBのデータを処理していることを示しています。

興味深いことに、テーブルからselect count（*）を実行すると、0バイトが処理されたと報告されます。

BigQueryのユースケースの1つは、ダッシュボードとアドホックレポートを作成することです。ただし、テーブルに対して行われる2つのクエリごとに0.03ドルかかる場合、これがどのように実用的であるかはわかりません。

私は何かが足りないのですか？単純なデータアクセスのために処理されるデータの量を減らすための戦略はありますか？

私はこの新しいテクノロジーの使用を経験していました。しかし、私には疑問があります。

なぜTeradataやOracleなどの他のアプリケーションよりもBigQueryを採用する必要があるのでしょうか。これらに対するBigQueryの利点は何ですか？具体的には、データウェアハウス環境で、BigQueryを使用する理由と時期を知りたいのですが。それは私のビジネスにどのように役立ちますか？

この新しいテクノロジーを採用する可能性があるため、できるだけ早くお知らせください。

よろしく、リア

Java Apache HttpClient を使用してマルチパート POST リクエストを送信し、いくつかのテスト データを BigQuery テーブルにインポートしようとしていますが、「無効なアップロード リクエスト」というメッセージとともに HTTP 400 エラーが発生し続けます。必要なものを再現するのに十分十分に BigQuery チュートリアルに従ったと確信していますが、機能していません。誰かがこのリクエストを見て、何か問題があるかどうかを確認できますか?

リクエストは次のように実行されます。

また、addHeader("Content-Type"...) を addHeader("Content-Type:"...) に変更すると、エラーは「Media type 'text/plain' is not supported. Valid media types : [アプリケーション/オクテットストリーム]".

次のエラーが表示されます：ロード操作でのBigQueryエラー：トークンが無効です-無効なトークン：
ステートレストークンの有効期限が切れ ています

大きなプレーンテキスト（またはgzipで圧縮）（〜9千万レコード）ファイルをアップロードしようとすると

データのアップロードを試みるために使用しているコマンドは次のとおりです。

〜/ bigquery-2.0.6] $ python bq.py load --skip_leading_rows 7 -F "\ t" conn_logs.conn /scratch/conn.log /scratch/conn.schema

小さいファイルを試してみると、データは問題なく読み込まれます。

これを引き起こしている原因と、トークンが期限切れにならないようにトークンを更新するにはどうすればよいですか？

ありがとう、

私はbigqueryを使用してアプリを開発しており、基礎となるすべてのデータを所有しています。ユーザーをこのデータのサブセットに公開したいと思います。アクセス範囲は、実装するアクセス許可制御によって決定されます。bigqueryテーブルへのアクセスを許可したくありません。

私の質問は、テーブルへのアクセスに基づいて何かを実行するように設定するにはどうすればよいですか？

ありがとう。

次の SQL クエリのように、Bigquery でテーブルの列名 (テーブル メタデータ) を検索するクエリが必要です。

ステータスは成功と表示されますが、ファイルは実際には big-query に転送されません。

Web インターフェイスから、実際のエラーを確認できます。

1) どの悪いキャラクターを削除する必要があるかを知るにはどうすればよいですか?

2) ジョブのステータスとして「成功」が表示されるのはなぜですか?

アップデート：

ジョブ ID: summary_2012_07_09_to_2012_07_10a2

コマンド プロンプトで表示されたエラー: BigQuery error in load operation: Backend Error

多くの行がまったく処理されませんでした。Web インターフェイスからの詳細:

行:9857286 / フィールド:1、不正な文字 (ASCII 0) が検出されました: フィールドの先頭: <15>

行:9857287 / フィールド:1、不正な文字 (ASCII 0) が検出されました。ファイルの残りは処理されません。

2 回目の試行で正常に処理されたすべての行:

job_id: summary_2012_07_09_to_2012_07_10a3

更新 2:

行:174952407 / フィールド:1、不正な文字 (ASCII 0) が検出されました。ファイルの残りは処理されません。

ジョブ ID: job_19890847cbc3410495c3cecaf79b31fb

私は約2 MBのxmlファイルを持っています（はい!! 2MBの小さなファイル）、ファイルを所定の形式でソートし、フォーマットされた結果を表示したいのですが、プロセス全体で2〜3秒かかりません。時間を短縮すること。

私の質問は、(a) CSV の代わりに XML を大きなクエリに直接プッシュする方法です。(b) リアルタイムでやりたいのですが、どうすれば自分の Web サイトからデータをプッシュし、自分の Web サイトにデータを戻すことができますか? (コマンド ラインでうまくいくと思いますか? (c) 私は .NET に取り組んでいます。