AWS にデプロイされたストリーミング データ / 分析アプリケーションの価格を下げようとしており、Kinesis Firehose を使用してデータを S3 にダンプすることを検討しています。
私の質問は、これに対する S3 のコストを見積もるときに、必要な PUT の数を把握する必要があるということです。
したがって、Firehose がデータをバッファリングしてから S3 にフラッシュすることはわかっていますが、その時点までに蓄積されたすべてのレコードを含む単一の「ファイル」を書き込むのか、それとも各レコードを個別に書き込むのかは不明です。
それで、レコードのサイズに基づいてバッファサイズ/間隔を最適な量に設定すると仮定すると、S3 PUT の数は依然としてレコードの数または Firehose が実行するフラッシュの数と同じですか?
かなりの量の AWS ドキュメントを読みましたが、S3 が料金を請求しないという主張には敬意を表して同意しません。
ストレージおよび読み取り/書き込みリクエストを含む、Amazon S3および Amazon Redshift の使用に関連する料金は別途請求されます。ただし、Amazon Kinesis Firehose が Amazon S3 および Amazon Redshift にロードするデータのデータ転送料金は請求されません。詳細については、Amazon S3 の料金と Amazon Redshift の料金を参照してください。[鉱山を強調]
彼らがあなたに請求しないと言っているのは、0.035 USD/GB 以外の、Kinesis Firehose による転送のための追加料金ですが、バケットとのやり取りに対して支払うことになります. (バケットへのデータ インバウンドには、実際のギガバイトあたりの転送料金は常にかかりません)。
ただし、最終的な分析では、いくつかの調整可能なパラメーターに基づいて、バケットに対するおおよそのリクエスト数を制御しているように見えます。PUT
Q: バッファサイズとバッファ間隔とは何ですか?
Amazon Kinesis Firehose は、着信ストリーミング データを特定のサイズまたは特定の期間バッファリングしてから、宛先に配信します。配信ストリームの作成中に、バッファ サイズとバッファ間隔を構成できます。バッファー サイズは MB 単位で、1MB から 128MB の範囲です。バッファー間隔は秒単位で、範囲は 60 秒から 900 秒です。
https://aws.amazon.com/kinesis/firehose/faqs/#creating-delivery-streams
レコードを収集して大きなファイルに集約していない限り、バッファ サイズとバッファ間隔にポイントがある理由がわかりません...ただし、サービスを起動してスピンすることなく、できます (残念ながら）本当に推測するだけです。
コストは、単一のオブジェクトではなく、kinesis によって実行されるすべての操作に対して 1 つの S3 PUT です。したがって、消防ホースの 1 回のフラッシュは 1 回の投入です。
https://docs.aws.amazon.com/whitepapers/latest/building-data-lakes/data-ingestion-methods.html
https://forums.aws.amazon.com/thread.jspa?threadID=219275&tstart=0