問題タブ [bigrquery]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
220 参照

r - bigrquery ライブラリを使用して、繰り返されないレコードを BigQuery に挿入するにはどうすればよいですか?

繰り返されないレコードを BigQuery に挿入しようとしていますが、エラーが発生し続けますArray specified for non-repeated field: record.

私の質問は: bigrqueryライブラリを使用して、繰り返されないレコードを BigQuery に挿入するにはどうすればよいですか?

次のスキーマがある場合:

そして、このデータフレーム:

以下のようにデータを挿入すると、BigQuery でエラーが発生します。

これは、bigrquery が を使用してデータフレームを JSONに変換するためだと思いますjsonlite::stream_out()が、引数 を使用しないため、auto_unbox = TRUEオブジェクトではなく配列になります。これにより、次の改行区切りの JSON が BigQuery に送信されます。

BigQuery に送信する必要がある正しい NDJSON は次のとおりです。

以前にこの問題が発生したことがありますか、またはこれを解決する方法についてアイデアがありますか?

0 投票する
1 に答える
146 参照

r - 実際に BigQuery を実行する*ことなく*、dplyr コードから BigQuery コードを生成しますか?

R パッケージの bigrquery と dbplyr を使用して、tidyverse の原則を使用して bigquery を使用してデータを処理する方法に関するいくつかの簡単な手順をここで確認できます。

これは通常dplyrのコードを使用して機能し、ユーザーが を呼び出すと%>% collect()、dplyr コードを BigQuery の SQL フレーバーに変換し、BigQuery コードを BigQuery で実行します。

これらのパッケージを使用して未加工の BigQuery コードを生成し、実行することはできないかどうか知りたいですか?

私が最終的に求めているのは、実際に BigQuery を使用せずに dplyr から BigQuery コードを生成する方法です(たとえば、オフラインで作業する場合など)。

私がこれまでに知っていること

dplyr コードを記述%>% collect()し、ブラウザの GCP コンソールで生成/実行された BigQuery コードを呼び出して表示できることを知っています。RStudio で同じコードが文字列として返されることを望みます (実行されることはありません)。