問題タブ [amazon-kinesis]

データのストリームが来るユースケースがあり、同じペースでそれを消費できず、バッファが必要です。これは、SNS-SQS キューを使用して解決できます。Kinesis が同じ目的を解決することを知りましたが、違いは何ですか? Kinesis を好む (または好まない) べき理由は何ですか?

時間ベースのリテンションを持つイベント ブローカーからのイベント ストリーム (代わりに「メッセージ」または単に「データ」と呼ぶこともできます) があります。イベント ブローカーは、Kafka、Amazon Kinesis、またはMicrosoft Event Hubsである可能性がありますが、それが Kafka であるとしましょう。

私の目標は、このイベント ストリームを受け取り、それをコールド ストレージに入れることです。つまり、Hadoop/Spark を介した将来の分析のためにデータを保存します。これは、この「おしゃべりな」イベント ストリームを HDFS の「分厚い」ファイルに変換したいということです。クラウド環境では、HDFS の代わりに S3 または Azure Storage を使用する可能性があります。

また、ソリューションの費用対効果が高いことも望んでいます。たとえば、ディスク容量のコストを削減するために、Avro/ORC などのシリアル化形式を使用しています。私はまた、特定のイベントがコールド ストレージに保持されることを少なくとも 1 回保証するようなものです (1 回限りのボーナス ポイント)。

私の主な質問は次のとおりです。

• 人々はこの問題をどのように解決していますか?
• このシナリオを既に処理しているコンポーネントはありますか?
• 自分でソリューションを開発する必要がありますか?
• 少なくとも、推奨されるパターンはありますか?

AWS データ パイプラインについて読んだとき、すぐにアイデアが浮かびました。Kinesis に統計を生成し、Kinesis からのデータを消費するジョブをパイプラインで作成し、それを 1 時間ごとに redshift にコピーします。オールインワン。

しかし、パイプラインにはキネシスを消費できるノードがないようです。だから今、私は2つの可能な行動計画を持っています:

1. Kinesis のデータが消費され、時間ごとに分割されて S3 に送信されるインスタンスを作成します。パイプラインはそこから Redshift にコピーします。
2. Kinesis から消費し、その場で Redshift に直接 COPY を生成します。

私は何をすべきか？カスタムコードなしで、AWS サービスのみを使用して Kinesis を redshift に接続する方法はありませんか?

シカゴの上司アプリにキネティックを追加しようとしています。キネティック ライブラリをシカゴの上司アプリ内の deps ディレクトリに追加しました。キネティック ディレクトリ内から erlang シェルを実行すると、キネティック ディレクトリのルートに以下のような development.config があります。

シカゴボスアプリを起動してキネティックコマンドを実行すると、無効な資格情報エラーが発生するため、キネティックライブラリは正しくロードされているようですが、awsキーの定数ではないようです...シカゴボスでこれを行う方法はありますか?

ありがとう！

Kinesis を評価していますが、次の動作が見つかりました。精度と基本機能をテストするために、Kinesis を使用して簡単なテストを行っています。

テストは、次のように項目をストリームに生成します。

次に、Amazon Kinesis クライアント ライブラリ (KCL) を次のように使用します。

生成されたレコード数と消費されたレコード数の間に不一致が見られます。たとえば、一連の 2000 アイテムを 3 回連続して送信すると、次のように表示されます。

生産されたものと消費されたものの数がまったく同じではないのはなぜですか? なぜ 2 回目の実行後に 6 アイテムが欠落し、実行 2 と実行 3 の間に少なくとも 2 分待ったにもかかわらず、実行 3 でのみ 2006 の消費レコードを取得したのです。

最後に、このテストの前にチェックポイントの頻度を上げて一連のテストを行ったところ、差異がさらに大きくなりましたか? 消費者へのレコードの送信をトリガーするために Amazon KCL が使用するルールは何ですか? 送信を停止してアイテムをキューに保持するのはなぜですか (実行 2 から 3 のように)? 送られた6000個の最後のアイテムはどこにありますか?

事前にThx

Amazon kinesis Stream からデータをフェッチしているときに、このエラーが発生します。以下の手順を実行しています

1. Amazon kinesis Steam の作成
2. putRecordのapi を使用してデータを入れますAmazonKinesisClient。
3. 次に Worker Of KCL ライブラリを使用して、ストリームからデータを取得します。

Amazon Kinesis の POC を作成したいと考えています。

この記事http://seroter.wordpress.com/2014/01/09/data-stream-processing-with-amazon-kinesis-and-net-applications/の助けを借りて、AWS でストリームといくつかのコードを作成しました。

例外 Amazon.Kinesis.Model.ResourceNotFoundException: Stream POC under account 111111111111 not found が発生しています。