問題タブ [bigrquery]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
r - bigquery / bigrquery および dbplyr を使用する年の週は? (lubridate::week に相当)
bigrquery と dbplyr を使用して、日付が対応する年の週を取得しようとしています(つまりlubridate::week()
、
しかし、私は使用bigrquery
していますdbplyr
これまでに試したこと
使用しlubridate::week()
て
だから私はこの自家製の解決策を試みました
別の(かなり醜い)自家製のソリューションと同様に
しかし、bigquery と dbplyr を使用して週番号を取得する方法が見つからないようです
r - Rで複数のリスト列を使用して(BigQueryからロードされた)データフレームを平坦化する方法
R のbigrquery
ライブラリを使用して BQ データベースから R にデータをロードしています。
BQ からロードしているテーブルには、ネストされた構造体が多数含まれています。その結果、bigrquery ドキュメント自体が、ネストされた値が名前付きリストを含むリスト列になることを示しているため、データフレームのこの構造は期待どおりです。
ただし、これをフラットにしたいと思います。リストには、、my_df_from_bq$chances[[1]]$
などの値が含まれていることがわかります。したがって、列名が次のようになるように、このデータフレームをフラット化したいと思います。num_ato_chances
ato_pts_scored
ato_ppp
- シーズン
- o_or_d
- chances_num_ato_chances
- chances_ato_chances_pg
- chances_ato_ppp
- ...
- dribbles_dribbles
- dribbles_dribbles_pctile
...ここで、リスト名は各リスト内の値と連結されます。
r - dbplyr の欠損値を埋める
データベースに次のようなデータがあります。
不足している月を埋めたいと思います:
dbplyr を使用するために BigQuery パッケージを使用しています。UNNEST(GENERATE_DATE_ARRAY(...) を使用して BigQuery でこれが可能であることはわかっていますが、dbplyr ではそれを機能させることはできません。おそらく、この github の問題に関連しています。
r - BigQuery の JSON データ ダンプを R tibble に読み込む
ネストされた繰り返しフィールドを持つ Big Query から JSON 抽出をダウンロードし (パッケージbigrqueryに似ています)、結果の tibble をさらに操作しようとしています。
JSONからロードしてティブルに変換する次のコードがあります
そのため、2 つのリスト列がありました。
- b_nested、この列はネストされたリストです(再帰的にネストを解除しました..もっと自動化された方法があるかもしれません。そうであれば、アドバイスしてください!)
- rr1 と rr2 の場合、これらの列には常に同じ数の要素が含まれます。したがって、rr1 と rr2 の要素 1 は一緒に読み取る必要があります。
ID、rr1、および rr2 を抽出し、ID 行ごとに行が繰り返される長いテーブルを作成する方法をまだ検討中です。
注:この質問は、さらに進むにつれて数回編集されました..最初は、見つけるまでJSONからtibbleに取得するのに行き詰まっていましたunnest_wider()
temp.json :
{"a":"4000","b_nested":{"b1":"(未設定)","b2":"some - text","b3":{"b31":"1591558980","b32 ":"60259425255","b33":{"b3311":"133997175"},"b4":false},"b5":true},"rr1":[],"rr2":[]} {" a":"4000","b_nested":{"b1":"asdfasdfa","b2":"some - text more","b3":{"b31":"11111","b32":"2222 ","b33":{"b3311":"3333333"},"b4":true},"b5":true}, "rr1":["v1","v2","v3"],"rr2 ":["x1","x2","x3"]} {"a":"6000","b_nested":{"b1":"asdfasdfa","b2":"some - text more","b3":{"b31":"11111","b32":"2222","b33":{" b3311":"3333333"},"b4":true},"b5":true},"rr1":["v1","v2","v3","v4","v5"],"rr2 ":["aja1","aja2","aja3","aja14","aja5"]}rr2":["aja1","aja2","aja3","aja14","aja5"]}rr2":["aja1","aja2","aja3","aja14","aja5"]}