問題タブ [amazon-kinesis]

Cloud Formation テンプレートを使用して Kinesis リソースを作成したかったのですが、リソースのプロパティとして「StreamName」を指定できませんでした。

「認識できないプロパティ「StreamName」と表示されます。テンプレートでストリーム名を指定するにはどうすればよいですか。ありがとう、Nithya。

ツイートを取得して Kinesis ストリームに入れるスクリプトを実行しています。スクリプトの実行を停止し、5 ～ 10 分待ってから再度開始すると、新しいデータが受け入れられ、ShardID と SequenceNumber がエラーなしで返されます。

コンシューマー スクリプトが新しく追加されたデータを検索/解析/消費しようとすると、どこにも見つかりませんが、スクリプトを停止する前のデータはまだ消費されています。

スクリプトを停止せず、ストリームを開いたままにしておくと、この「問題」は発生しないようです。ドキュメントのどこにも言及されていないだけで、人々がストリームにデータを入れている例を見てきました長期間有効なスクリプトを実行する必要はありません。例えば。フォームを送信した後。

ここで API を利用できる Kinesis を使い始めたところです

これを使用して、100 レコードをキネシスにプッシュしました

次に、プッシュされたレコードの数を取得したいと思います。そのために私はこれを使用しています：

上記のイテレータを使用して、カウントを次のように取得しています。

ここに私の関数getDataCount(shardId, myStreamName) があります

しかし、このコードを実行するたびに不一致の結果が得られます。

これに光を当ててください.. :)

Kinesis Stream のデータレコードは 24 時間以内に自動的に削除されることを知っています。しかし、私のアプリケーションでは、データをストリームに書き込むときはいつでも、他のデータを書きたい場合は、最初に挿入されたデータを削除する必要があります。私は AWS Kinesis Stream を初めて使用するので、誰か助けてください... Kinesis Service API からは何の助けも得られませんでした...

Amazon Kinesis Connectors ライブラリを使用して、2 つのエミッターを設定できますか? たとえば、ストリームからレコードをフィルタリングして変換し、Redshift エミッターを使用して結果を Redshift に保存するだけでなく、フィルター処理および変換されたレコードを新しい Kinesis ストリームに送信したいと考えています。

IKinesisConnectorPipeline インターフェイスは 1 つの Emitter 用に設計されているように見えますが、多くのユーザーが 1 つのストリームで複数のことを行っていると思われるため、これを行う標準的な方法は何なのか疑問に思っています。

I am following an tutorial on streaming data from Amazon Kinesis to Hive on Amazon EMR. I was successfully able to do this with a Hive Internal table, but when I try the same with external table I run into a weird EOF error. I have not used STORED BY and STORED AS together before, and I think this could be the issue. I used the IBM guide (http://www-01.ibm.com/support/knowledgecenter/SSPT3X_2.1.1/com.ibm.swg.im.infosphere.biginsights.bigsql.doc/doc/bsql_create_table.html) to verify that they can be used together.

Here is the code I am using to build the hive external table.

And here is the error:

Amazon WebServices で Kinesis ストリームをセットアップしました。また、次のタスクを達成したいと考えています。

1. 単一のシャード (C# Api) を使用して単一のストリームにレコードを配置する - 成功
2. また、複数のプロデューサーが異なるストリームで作業しているサンプル アプリを作成しました - SUCCESS
3. また、サンプルアプリをセットアップして複数のワーカーを実行し、データを単一のストリームに入れました-成功

また、Records で SequenceNumberOrdering を強制できるようにしたいと考えています。

しかし、本当の問題は、Kinesis C# Api を使用した GetRecords Consumer 操作です。

レコード用のサンプル アプリを作成しました。問題は、Kinesis ストリームにレコードが存在しない場合でも反復を停止しないことです。また、SequenceNumber を DB または一部のファイルに保持し、ファイルを再度取得するには時間がかかります。GetRecords に Kinesis Stream を使用する利点は何ですか?

ストリームにデータがない場合でも反復し続けるのはなぜですか?

REFERENCE には次のコードを使用しました。