問題タブ [amazon-kinesis-firehose]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
amazon-kinesis - Kinesis PUT 制限、正確にはどういう意味ですか?
Amazon は、キネシス ストリームはスケーリングできると主張しています"without limits"が"you should keep in mind"、「各シャードは 1 秒あたり最大 1000 個の PUT レコードをサポートできます」とは、ストリームごとに 1 秒あたり 1000 件を超えるメッセージを書き込むことができないことを意味しますか? その数を超えると、メッセージが失われますか?
amazon-web-services - AWS Kinesis Firehose - インデックス ローテーション (Elasticsearch) を使用
新しいストリームを設定しましたAWS Kinesis Firehose。毎週新しいインデックスを作成したいと考えています。
そのためにはIndex Rotation、ストリームを構成するときに設定を使用する必要があります。
しかし、次の週のために毎週末新しいインデックスを作成する必要がありますか? そうでない場合 (できればそうでないことを願っています)、どのFirehoseマッピングを使用するかをどうやって知るのでしょうか? 設定で指定したインデックスで定義されたマッピングを使用しIndexますか?
さらに、古いデータがFirehoseあるとしましょう。古いデータで指定された日付に従って、関連するタイムスタンプを持つインデックスを作成できますか?
ありがとうございました ！
amazon-web-services - IP で保護された Kinesis Firehose と S3 バケット
バケットポリシーが制限された S3 バケットに書き込む Kinesis Firehose ストリーム (AWS 上) を作成しようとしています。
注 : 52.19.239.192/27 は、EU (アイルランド) の IP アドレスです (Redshift クラスターへのアクセスに関するドキュメントに記載されています)。
今のところ、それは機能せず、次のエラーが表示されます: アクセスが拒否されました。提供された IAM ロールの信頼ポリシーで Firehose がロールを引き受けることが許可され、アクセス ポリシーで S3 バケットへのアクセスが許可されていることを確認してください。
バケット ポリシーを無効にすると、完全に機能します。
Firehose に S3 バケットへの書き込みを許可する特定の条件を追加する方法を知っている人はいますか?
事前にどうもありがとう、ダミアン
amazon-kinesis - データのアップサートまたは変換に AWS kinesis を使用できますか?
それぞれ 5 ～ 10 秒ごとに 3 つの異なる csv ファイルが送られてきます。これらの csv ファイルを、更新条件に基づいて 1 つにマージして、ほぼリアルタイムのレポートを作成したいと考えています。私の現在のシステムでは、ファイルを s3 から redshift に 10 秒ごとにプッシュしますが、テーブルを結合するために必要な速度を達成できません。
amazon-web-services - EventSourceMapping を介して Firehose 名をパラメーターとしてラムダに渡す
次の複数のグループを作成する CloudFormation テンプレートがあります。
- キネシス ストリーム
- 消防ホース
- Kinesis からコピーする Lambda 関数
- そして、これらすべてを接続する EventSourceMapping
ここで問題が発生しました。ラムダ関数がどの Firehose に書き込むかを知る必要があります。Firehose をラムダに渡すにはどうすればよいですか?