1
  1. 複数の配信ストリームに対して 1 つの s3 バケットを設定することをお勧めしますか? (例: 異なるストリーミング スループット、s3 バッファー サイズ/バッファー間隔を持つ 2 つの配信ストリームを検討してください...)

  2. 2 つの配信ストリーム (S1、S2) がデータを redshift にルーティングしている場合。S1 はデータを T1 に配信し、S2 は T2 にデータを配信しています。T2 では、T1 に外部キー制約があります。S2 がデータ (D2) を T2 に配信するときに、D2 によって参照される T1 内のすべてのレコードが S1 によって既に配信されていることを保証できますか? (つまり、配信ストリームに依存関係があります)

ところで、私は firehose を使用して、分析のためにアプリケーション ログを redshift にプッシュしています。

4

2 に答える 2

1
  1. S3 バケットは事実上無限のデータを保存するように設計されているため、質問への答えは間違いなく「はい」です。
  2. 外部キーを定義することはできますが、Redshift は実際にはそれらをまったく強制しません。ここのドキュメントから、

一意性、主キー、および外部キーの制約は情報提供のみを目的としています。それらは Amazon Redshift によって強制されません。それにもかかわらず、主キーと外部キーは計画のヒントとして使用され、ETL プロセスまたはアプリケーション内の他のプロセスがそれらの整合性を強制する場合は宣言する必要があります。

于 2016-06-17T14:41:54.130 に答える