問題タブ [amazon-kinesis-firehose]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
amazon-web-services - kinesis ストリームと firehose を使用したストリーミング データの順序付け
現在のプロジェクトでは、大量のデータをほぼリアルタイムで処理するためのアーキテクチャのジレンマがあります。したがって、これが現在のアーキテクチャの図です。
その絵に私を導いた私の考えの説明は次のとおりです。
APIゲートウェイがリクエストを受け取ると、それはストリームに入れられます（これは私のアプリケーションの性質によるものです-「ファイアアンドフォーゲット」）それが私がその結論に至った方法です。正しい順序を保証する属性。
次に、入力の検証と異常検出を処理するラムダがあります。つまり、次のレイヤーであるデータ強化のためにデータをクリーンに保つ抽象化です。したがって、このラムダはデータをキネシスファイアホースに送信します。これは、「生の」データ（私が絶対に必要なもの）をバックアップし、エンリッチメントを行う変換ラムダを添付できるため、データを保存する必要はありませんS3では、箱から出てきます。したがって、受信したデータ (エンリッチャーがセッション化を行っている) の保存された順序が必要な瞬間まで、すべてが優れています。
したがって、私が考えることができる唯一のことは、最初のラムダでシシオン化を移動することです。これにより、データの強化が考慮され始め、より大きな欠点は、バックアップデータに強化されたデータが含まれることになるため、抽象化が壊れます。アーキテクチャも壊しています。そして、これはすべて、ファイアホースにシャーディングの概念がないために起こっています。
では、aws が提供するすぐに使える機能を失うことなく、その問題の解決策を誰かが考えることができますか?
aws-sdk - Java SDK を使用して AWS Kinesis Firehose ストリームの詳細を取得する方法
Java SDK を使用して AWS Firehose ストリームからバッファサイズやバッファ間隔などの詳細を取得することはできますか?