問題タブ [amazon-kinesis]

この投稿の後、既存の nodejs コードを Kinesis ログに接続することができました (KCL と MultiLangDaemon を使用)。

問題は、コードをデバッグできないことです。MultiLangDaemon は STDIN/STDOUT を使用して実行された「スクリプト」と対話するため、「node --debug」を呼び出してメッセージを取得すると、次のようになります。

「ポート 57846 でリッスンしているデバッガー」

MultiLangDaemon から次のようなエラーが表示されます。

「SEVERE: シャード shardId-000000000000 のサブプロセス [ポート 57846 でリッスンしているデバッガー] からエラー行を受け取りました」

• nodejs を「静かに」実行して、この STDERR メッセージを送信しない方法はありますか?
• MultiLangDaemon とデバッグの経験がある人はいますか?

ありがとう、シュシュ

Kinesis で Spark Streaming プロジェクトをセットアップしています。Kinesis ストリームに接続しようとすると、Spark から次のエラーが発生します。

テスト データをこのストリームに投稿したり、ベースの Amazon ライブラリを使用してストリームからデータを読み取ったりすると、エラーは発生しません。これは、Spark に接続しようとした場合にのみ発生します。

以下は、テストに使用しているコードです。

Kinesis を使用して、EC2 サーバーにインストールされた Jmeter から送信されたレコードを保存しています。問題は、7200 スレッドを起動し、Kinesis ストリームで 1 つの共有スレッドを使用すると、すべて正常に動作することです。9000 スレッドを起動すると、このエラーが表示されます

そこで、シャードの数を増やして 2 と 3 に設定しましたが、うまくいきません。したがって、問題はシャード番号ではなく、私のJavaコードであるか、他に何がわからないかだと思います。これは私のコードです:

より多くのシャードを使用するための指示がありますか?よろしくお願いします

Amazon JavaScript SDK を使用して、(JavaScript を使用して) ウェブページから Amazon Kinesis にデータを送信したいと考えています。この機能を開いた場合、世界中の誰もがジャンク データを送信するのを防ぐ方法はありますか?

Kinesis JS クライアントの Amazon ドキュメント

SDK AmazonのbatchWriteItemメソッドを使って、たくさんの項目をテーブルに入れたいです。Kinesis からアイテムを取得します。ad にはシャードがたくさんあります。このメソッドを 1 つのアイテムに使用しました。

アイテムは次から渡されます。

多くのレコードを入れたい場合は、次を使用します。

しかし、どうすれば最後のグループを送信できますか? 25個あるときだけ送るのですが、最終的には数が少なくなってしまうので。

サーバーで JSON オブジェクトを継続的に受信する状況がありRESTます。次に、オブジェクトをAWS Kinesisストリームに入れます。オブジェクトを入れながら、キネシスストリームへの接続を初期化します。この初期化はすべてのオブジェクトに対して発生しており、それはオーバーロードです。しばらくの間、kinesis への接続をキャッシュしたいと思います。REST HTTP Cachingオブジェクトのどこにキャッシュされるかを調べましたが、接続は調べませんでした。これを成し遂げる方法は何でも。