問題タブ [amazon-kinesis]

AWS Kinesis Client Libraryを使用しています。

デプロイメント中に Kinesis Worker スレッドをシャットダウンして、途中ではなくチェックポイントで停止する方法が必要ですprocessRecords()。

シャットダウンブール値が存在するのを確認しましWorker.javaたが、非公開になっています。

私が必要とする理由は、チェックポイントとべき等性が私にとって重要であり、バッチの途中でプロセスを強制終了したくないからです。

[編集]

@CaptainMurphy のおかげで、ワーカーを安全にシャットダウンするメソッドWorker.javaと. それがしないのは、 で task を呼び出すことです。状態を気にせずに突然終了します。shutdown()LeaseCoordinatorshutdown()IRecordProcessorIRecordProcessor

IRecordProcessorチェックポイント間の冪等性は KCL によって保証されておらず、開発者は設計をフォールト トレラントにする必要があることは理解していますが、それとは関係なく停止する前に適切にシャットダウンする必要があると感じていLeaseCoordinatorます。

デフォルトでは、Kinesis ストリームは最大 10 個のシャードを持つことが許可されていますが、この制限を増やすことができます。プログラムでストリームの制限を取得することは可能ですか? 公式の AWS Java SDK でそれを行う方法を見つけることができませんでした。

jmeter を使用して、Web サービス REST の HTTP 要求を作成します。今、PutRecords メソッドを使用してこのリクエストを Amazon キネシスに送信したいのですが、リクエストを作成する方法、特にキネシスでの署名と認証のためにヘッダー フィールドを設定する方法がわかりません。誰かが休息リクエストを使用しましたか? ありがとう

AWS Kinesis ストリームがあり、それを指す Hive に外部テーブルを作成しました。次に、チェックポイント用の DynamoDB テーブルを作成し、Hive クエリで、ここで説明されているように次のプロパティを設定します。

次の質問があります。

• 常にiteration.no0 に設定して開始する必要がありますか?
• これは常にスクリプトの先頭から開始されますか (削除されようとしている最も古い Kinesis レコード)?
• スクリプトの実行をスケジュールするために cron を設定したとします。「次の」反復番号を取得するにはどうすればよいでしょうか。
• 同じデータに対してスクリプトを再実行するには、同じ実行番号でクエリを再実行するだけで十分ですか?
• select * from kinesis_ext_table limit 100with を何度も実行するとiteration.no=0、最初の Kinesis レコードが削除され始めると、異なる/奇妙な結果が得られますか?

DynamoDB チェックポイント エントリが与えられた場合:

• closedフィールドの意味は何ですか？
• シーケンス番号はインクリメンタルで、開始と終了の間に関係がありますか (例: 終了 - 開始 = 読み取られたレコードの数)?
• endSeqNum しかない (startSeqNum がない) 場合があることに気付きました。これをどのように解釈すればよいですか?

多くの質問があることは知っていますが、ドキュメントでこれらの回答を見つけることができませんでした。

こんにちは、Kinesis を使用してデータ ストリーミングを処理しています。

Kinesis にデータを正常に送信し、Kinesis からデータを取得できます。すべて問題ありません。

ただし、Kinesis の「モニタリング」を確認すると、書き込みスループットのデータは表示されませんが、総受信リクエストのデータは表示されます (添付のスクリーンショットを参照)。Kinesis からデータを正常にプルできるので、ある程度の書き込みスループットがあるはずだと思いますが、モニタリングで書き込みスループットがないのはなぜですか?

それとも、「書き込みスループット」と「着信要求」という用語を誤解している可能性がありますか?

どうもありがとうございました。

Python 用 KCL ライブラリ ( https://github.com/awslabs/amazon-kinesis-client-python )を使用して、Amazon Kinesis Python コンシューマーを構築しようとしています。サンプルコードを確認することから始めました。サンプル コードのプロデューサー スクリプトとコンシューマー スクリプトの両方の部分を実行できましたが、(1 つのシャードを含む) キネシス ストリームからのデータがサンプル Python コンシューマー スクリプトにプッシュされているかどうかを確認できませんsample_kclpy_app.py。

を使用して、ファイルamazon_kclpy_helper.pyを介して Python スクリプトを呼び出す Java コマンドを生成しました。sample.propertiesJava コマンドを実行したところ、ターミナル出力から、Kinesis ストリームからのデータが読み取られていることがわかります。printPython コンシューマー スクリプトの関数にステートメントを追加してprocess_record、データがプッシュされているかどうかを確認しました。しかし、端末出力には表示されません。

loggingまた、ファイルへの書き込みだけでなく、STDOUT メッセージの生成にも使用してみました。また、Python コードに行を追加assert 0して、スクリプトを強制的に失敗させ、ログ出力に例外が表示されることを確認しました。次に、意図的に Python コードに構文エラーを追加しました。しかし、これらのすべてが Java MultiLangDaemon によって検出されたわけではないようです。Java MultiLangDaemon は継続して INFO ログ メッセージを大量に生成していました。

何が問題なのですか？また、データが実際にprocess_recordPython コンシューマー スクリプトの関数に送信されているかどうかを確認するより良い方法はありますか?

私は amazon kines が初めてで、レコードを kinesis に入れるための Java アプリケーションを作成したいと思います。その後、.class を jmeter に入れて、このコードを beanshell サンプルで使用します。しかし、putRecord を呼び出すと、次の例外が発生します。

Javaコードは次のとおりです（現在、私はkinesis eに接続しようとしているだけで、単純なレコードを入れてから、jsonの配列を入れています）：

jmeterで異なるBeanShell Samplerで同じ変数を使用することは可能ですか? 私の目標は、Amazon Kinesis Java アプリケーション (変換済み) を Jmeter にインポートすることですが、このコードの一部は接続であり、jmeter アプリケーションの起動時にこれを一度設定したいと考えています。したがって、別の Beanshell で AmazonKinesisClient 変数を再利用する必要があります。出来ますか？ありがとう

PS: JSONObject にも同じ問題がありますが、そのような場合は jmeter 変数を使用しました (json を文字列として保存します)。

Kinesis Consumer Client を作成しようとしています。それに取り組むために、Kinesis の開発者ガイドと AWS ドキュメントhttp://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-implementation-app-java.htmlを調べました。

2 つの異なるストリームからデータを取得し、それに応じて処理することは可能でしょうか。

2 つの異なる Streamsstream1とがあるとしstream2ます。

ストリームとプロセスの両方から個別にデータを取得することは可能ですか?