問題タブ [amazon-kinesis-firehose]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
amazon-web-services - AWS Firehose にデータを入れる CLI
AWS Firehose が本日リリースされました。私はそれをいじっており、AWS CLI を使用してデータをストリームに入れる方法を見つけようとしています。単純な JSON ペイロードと、JSON 属性にマップされる列を持つ対応する Redshift テーブルがあります。さまざまな組み合わせを試しましたが、cli 経由で JSON ペイロードを渡すことができないようです。
私が試したこと：
役に立たなかったcliヘルプを見てきました。この記事は本日公開されましたが、引数「--firehose-name」が「--delivery-stream-name」に置き換えられたため、彼らが使用するコマンドはすでに古くなっているようです。
amazon-web-services - Kinesis Firehose への AWS API Gateway Service プロキシ
現在、Kinesis Firehose 配信ストリームをサービス プロキシ経由で API Gateway エンドポイントにバインドするオプションがあるかどうか教えてください。Firehose PutRecord アクションと新しい PutRecordRequest json を含む Kinesis サービス タイプを使用してそれを実行しようとしましたが、ゲートウェイは、着信要求モデルを通常の kinesis PutRecordRequest モデルにマップしようとしていたというエラーを指定して失敗しました。
amazon-web-services - Node.js AWS Lambda パッケージのコードは、AWS Kinesis Firehose ストリームにデータを追加するために putRecord() を呼び出さない
オブジェクトが指定された S3 バケットに PUT されるときに実行される AWS Lambda デプロイ パッケージ (Node.js を使用) を作成しました。今のところ、ランダムに生成された 10 個のレコードを Kinesis Firehose ストリームに追加するように実行されるコードを構成しました。
Lambda 関数は、レコードを Kinesis ストリームに追加することを除いて、問題なく機能します。AWS CloudWatch ログにエラー メッセージが表示されません。console.log() print ステートメントを使用すると、putRecord() 呼び出しが実行されていないようで、その理由がわかりません。他の誰かがこれを理解できますか？
私の Lambda 関数デプロイ パッケージの一部であるコードは次のとおりです。
CloudWatch Log の出力は次のとおりです。
PS S3 から読み取り、Kinesis に書き込むポリシーで構成された Lambda 関数に関連付けられた IAM ロールがあります。
ios - Amazon Kinesis と iOS
iOS デバイスは Amazon Kinesis Firehose Delivery System にデータを送信できますか? (ドキュメントには iOS 用の API がありません) そうでない場合、iOS デバイス (およびブラウザー) をサポートするリアルタイム データベースを作成するには、AWS のどの製品を使用すればよいでしょうか。
amazon-web-services - AWS Kinesis ストリームへのラウンドロビン
多くのレイテンシーを引き起こすリシャーディングの代わりに、aws キネシス ストリームとストリームへのラウンドロビンを動的に作成するにはどうすればよいですか?
amazon-web-services - S3 への Amazon Kinesis Firehose バッファリング
AWS にデプロイされたストリーミング データ / 分析アプリケーションの価格を下げようとしており、Kinesis Firehose を使用してデータを S3 にダンプすることを検討しています。
私の質問は、これに対する S3 のコストを見積もるときに、必要な PUT の数を把握する必要があるということです。
したがって、Firehose がデータをバッファリングしてから S3 にフラッシュすることはわかっていますが、その時点までに蓄積されたすべてのレコードを含む単一の「ファイル」を書き込むのか、それとも各レコードを個別に書き込むのかは不明です。
それで、レコードのサイズに基づいてバッファサイズ/間隔を最適な量に設定すると仮定すると、S3 PUT の数は依然としてレコードの数または Firehose が実行するフラッシュの数と同じですか?
apache-spark - 連結された Avro ファイルを処理する方法は?
Web アプリケーションから生成されたデータを Apache Avro 形式で保存しています。データはエンコードされて Apache Kinesis Firehose に送信されます。この Firehose はデータをバッファリングし、約 300 秒ごとに Amazon S3 に書き込みます。私は複数の Web サーバーを持っているため、Avro ファイルの複数のブロブが Kinesis に送信され、Kinesis はそれらを連結して定期的に S3 に書き込みます。
S3 からファイルを取得すると、実際には複数のファイルが 1 つにまとめられているため、通常の Avro ツールを使用してデコードすることはできません。区切り文字を追加できると思いますが、ログに記録されているデータにも同じ区切り文字がある場合、危険に思えます。
これに対処する最善の方法は何ですか？同じファイルに連結された複数の Avro ファイルをサポートする標準は見つかりませんでした。