問題タブ [amazon-kinesis]

単一のシャードを含むストリームを処理する Kinesis アプリケーションがある .war があります。本番環境で戦争の 2 つのインスタンスを展開します。その結果、2 つのワーカーが 1 つのシャードを持つ 1 つのストリームで作業することになります。この問題に対処するための推奨される方法は何ですか? ローカルの開発マシンに 2 つの war をデプロイしてみましたが、各レコードが 1 回だけ処理されるという意味では問題ないようです。AWS がシャードごとに 1 つのインスタンスを推奨していることは知っています。彼らのドキュメントから：

さまざまなサーバーからすべてのレコードをキネシスに入れ、データを複数の S3 ファイルに出力する必要があります。ShardID を試してみましたが、うまくいきません。

助けていただけませんか????

Python/Java で問題ありません。

AWS Kinesis Client Library (KCL)には、次のコードを含むサンプル プロデューサーがあります。

なぜMemoryStreamはそのように残っているのですか? 彼らはストリームを処分すべきではありませんか？ありがとう

kinesis にデータを書き込むことができるマネージド サービスを見つけようとしています。このようにして、メッセージが少なくとも 1 回はキネシス ストリームに配信される必要があります。SQS を使用して Kinesis に書き込むことをお勧めしますか、それとも良い考えですか。水平方向にスケーリングできるソリューションを探しています。

EC2 Web サーバーから RedShift に直接データをストリーミングしたいと考えています。Kinesis を使用する必要がありますか? ベストプラクティスは何ですか? このデータを保存する前に、特別な分析を行う予定はありません。費用対効果の高いソリューションが必要です (ロードする前に DynamoDB を一時ストレージとして使用すると費用がかかる場合があります)。