問題タブ [amazon-kinesis-firehose]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
amazon-web-services - Firehose を使用した Kinesis Stream から S3 へのバックアップ
顧客トランザクションを含む AWS Kinesis Stream を使用しています。トランザクションの処理を開始する前に、トランザクションを S3 にバックアップしたいと考えています。Lambda またはその他のコンピューティングコンポーネントを実行せずに、ベア Kinesis Firehose を使用して Kinesis Stream からトランザクションをバックアップするにはどうすればよいですか?
amazon-redshift - ある時点から Kinesis Firehose ストリームからデータを再取り込みする方法はありますか?
AWS Lambda--> Kinesis Firehose--> Redshift 経由で大量のイベント データを取り込みます。私の質問; ストリームデータを別のクラスターにロードしたい場合など、s3 から時間 (または他のチェックポイント) までに Firehose ストリームデータを再取り込みする方法はありますか?
aws-api-gateway - マッピング テンプレートに改行を追加する方法
些細なことのようですが、うまくいきません。JSON オブジェクトとしてエンコードされたデータを、Firehose を呼び出す API Gateway に送信しています。S3 の結果のファイルには、すべての JSON オブジェクトが 1 行に含まれています。改行を追加できるはずだと読みましたが、何を試してもエラーが発生するか、何もしません。マッピング テンプレートは次のようになります。
何をすべきか？
amazon-kinesis-firehose - Kinesis Firehose putRecord と putRecordBatch
私は Kinesis Firehose の Java API を使用しており、可能な場合は putRecordBatch() を活用しています。ただし、私のアプリケーションでは、1 つのレコードしか送信しないことがあり、それ以上のレコードを待機したり、メモリにキャッシュしたりする余裕がありません。
ただし、各操作の成功/失敗数を追跡しているため、コードは思ったよりも少し複雑です。putRecordBatch は、送信されたレコードのセットから失敗した送信の数を表す int を返します。たとえば、putRecord() は成功するか、例外をスローします。
どこでも putRecordBatch() を使用したいのですが、ドキュメントには、送信するレコードが複数ある場合にのみ使用するように書かれています。
これは少し大雑把かもしれませんが、この API、具体的にはこれらのメソッドの経験がある人はいますか? 私が考えていることを実行し、レコード セットが 1 の場合でも putRecordBatch() をどこでも使用しましたか?
amazon-redshift - Kinesis Firehose デモには区切り文字がありません。Redshift はそれなしでは解析できません。どちらが間違っていますか?
今日、Kinesis、Firehose、および Redshift の最初の学習ステップを行ったとき、Amazon に「デモ データ プロデューサーを試す」設定があることを発見してうれしく思いました。
実際には機能していないように見えることを知って、私はイライラしました。
ということで、掘りに行ってきました。そしてSTL_LOAD_ERROR、区切り文字が期待されていることを示唆するエラーが含まれていること、および のように見えるレコードのフロントが見つかりました{field:val,field:val}{field:val,field:val}。
「どこかで改行を削除しているに違いない」と私は思いました。
掘り下げた後、関連する S3 バケットに驚くべき形式で生産記録があることがわかりました。
つまり、数十 K の単一行ファイルである見かけのレコード間に区切り文字はありません。
他の SO 投稿は、これが実際に期待されるデータ形式であることを示唆しているようです。
データ デモで使用されていない形式のデータが Redshift に必要なのはなぜですか? どちらを再構成しますか?
amazon-web-services - cloudwatch ログ コンシューマーとしての Amazon Kinesis Firehose
私の要件は、AWS から VPC フロー ログを収集することです。VPC フロー ログを作成し、クラウド ウォッチ ログ グループ「フロー ログ グループ」に関連付けました。CloudWatch ログ サブスクリプションから、AWS Kinesis firehose を介してサブスクライブすることを考えましたが、サブスクリプション リストで「Kinesis Firehose」が見つかりませんでした。「Lambda」と「ElasticSearch Service」のみです。これについて私を助けてください。
AWS Kinesis firehose を使用して CloudWatch ログをサブスクライブできませんか。