問題タブ [datamart]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-bigquery - データ マート レコードの遡及更新
BigQuery データベースに数十億のイベント レコードを保持するデータマートがあります。各レコードには一意のイベント ID があり、作成時に暫定値で設定される 1 つのプロパティ (プロパティ「x」としましょう) が含まれます。
このプロパティ値は暫定的なものですが、後の段階で更新する必要がある場合があります。次の 20 ～ 90 日間で、さまざまなデータ マイニング タスクが実行され、プロパティ「x」の新しい値が得られる可能性があります。
この種の更新を行う最善の方法は何ですか?
私が持っていた2つのアイデア1）。プロパティ「x」をイベント レコードから移動し、新しいディメンションと、イベント レコードとディメンションの間に多対多の結合テーブルを追加します。そうすれば、結合テーブルを更新するだけで済みます。データ エンジニアは、これがクエリやレポートのパフォーマンスに影響を与えるのではないかと心配しています。2)。新しい「作成日」レコードをイベント テーブルに追加し、取得キーをイベント ID と最新の作成日を組み合わせたものに変更します。これにより、同じイベント ID と新しいプロパティ「x」の値と、より最近の作成日の値を持つ新しいレコードを書き込むことで、プロパティ「x」を更新できます。
考え？