問題タブ [google-bigquery]

^ で区切られたファイルを簡単にアップロードできます...

CN^その他^2012-05-03 00:02:25^^^^^Mozilla/5.0^汎用ウェブブラウザ^^^^^^^^

CN^その他^2012-05-03 00:02:26^^^^^Mozilla/5.0^汎用ウェブブラウザ^^^^^^^^

しかし、どこかに二重引用符があると、エラー メッセージが表示されて失敗します...

行:1 / フィールド:、閉じた二重引用符 (") とフィールド セパレータの間のデータ: フィールドの開始文字: エラーが多すぎます。制限: 0。

CN^others^2012-05-03 00:02:25^^^^^"Mozilla/5.0^汎用ウェブブラウザ^^^^^^^^

私は定期的に "ブラウザ名として Mozilla を含むファイルを取得します。二重引用符でデータを挿入するにはどうすればよいですか?

BigQuery のドキュメントには、OLAP 関数を使用することが記載されています。しかし、開発者向けドキュメントには、MDX クエリ言語、ディメンション、またはファクト テーブルについては言及されていません。BQ に含まれる OLAP 機能がある場合、その機能とその機能

これは、（現在は機能していない）bigqueryフォーラムで尋ねられた質問からの再投稿です。

bqツールからデータをアップロードしているときに、次のエラーが発生します。

複数のファイルを実行しようとしましたが、それぞれに同じ例外があります。

最近失敗したジョブはjob_5251c0bf5eb24436a350bdfbdbdb3cd8

BigQuery APIを使用してテーブルを作成する例に問題があります： https ：//developers.google.com/bigquery/docs/developers_guide#creatingatable

以前はすべて正常に機能しましたが、ここでは常に解析例外が発生します...リクエストで送信された本文の下（チュートリアルの次の例のデータとスキーマに例を実際に変更しましたが、元の例と同じ問題がありましたスキーマ+自己生成データセット）およびエラー応答。

Webインターフェイスと同じスキーマを使用して同じデータセットをアップロードすると、チャームのように機能します。

役立つ手がかりをありがとう！

ジョーグ

Google のビッグデータにアップロードされた github データを操作しようとしています。いくつかのクエリを実行しました (多くの行が生成されました -

例: クエリSELECT actor_attributes_login, repository_watchers , repository_forks FROM [githubarchive:github.timeline] where repository_watchers > 2 and REGEXP_MATCH(repository_created_at, '2012-') ORDER BY actor_attributes_login;

回答には 220,000 行以上ありました。CSV にダウンロードしようとすると、

ダウンロードでき
ません この結果セットには、直接ダウンロードするには行が多すぎます。「テーブルとして保存」を使用して、結果のテーブルをエクスポートしてください。

テーブルとして保存しようとすると、次のエラーが発生しました。

アクセスが拒否されました: ジョブ publicdata:job_c2338ba91e494b21970854e13cdc4b2a: RUN_JOB

また、行数を200程度に制限したクエリを実行しましたが、そのような場合でも上記のエラーが発生しました。ただし、CSVとしてダウンロードできました。

この問題の解決策はありますか?

Big Query のサンプル コードを使用して Big Query を操作しています。Big Query API を使用してデータセット リストを読み取っているときに、次のエラーが発生します。

コードは

例外は

)

同じコードを使用してGoogle plus api経由でGoogle Plusアカウントに接続できるため、これは認証の問題ではないと思います。また、API の例が古くなっていることも確認しました。

それを修正するための提案。

以下は期待どおりに動作しています。

./bq --nosync load -F '^' --max_bad_record=30000 myvserv.xa one.txt ip:string,cb:string,country:string,telco_name:string, ...

1) しかし、2 つの csv ファイル one.txt と two.txt を同じコマンドで送信するにはどうすればよいですか?

2) ファイルを cat してからパイプすることはできません | bg コマンドに ?

3) nosync とはどういう意味ですか?

BigQuery から一貫してこの結果を取得しています。

それを引き起こすクエリは次の形式です。

副選択だけを実行すると、正常に動作するので、「結合」と関係があると思います。ここからどこへ行けばいいですか？

BigQueryの精度を向上させるための問題があります。使用例は次のとおりです。16億レコードのテーブルを使用していますが、このテーブルはそれほど大きくないため、一意のユーザーを見つけようとしています。

最初は「カウントディスティンク」を使用することを考えましたが、ドキュメントに大量のデータが記載されているため、推定結果が得られます。これを改善するために、「countdistinct」ステートメントの代わりに「count+groupby」を試します。しかし、bigqueryの結果は応答が大きすぎます。最初にUserIDでグループ化し、このアイデアを継続しましたが、データの数を減らし、特定のキャンピングを選択し、データの量を大幅に減らしました。しかし、結果は同じで、応答が大きすぎます。

bigQueryで正確に、ユニークユーザーを獲得する方法についてのアイデアや意見はありますか？

Go 用の Google API クライアント ライブラリを使用して BigQuery にデータをアップロードしようとすると、次の応答が返されます。

私のジョブ記述子は次のようになります。

FWIW、このライブラリを使用した他の呼び出しは正常に機能するため、oauth の問題などを除外しました。

編集：リクエストが送信される前にキャプチャしました。これは、http.Client が oauth ヘッダーを追加できるようになる前であることに注意してください。実際のリクエストは大きいので、短くして識別子を削除しました。