問題タブ [amazon-kinesis-kpl]

私は得る

次のJavaスタックトレースを使用:

なにが問題ですか？

ユースケースとして AWS のサービスを学習しています。ドキュメントを調べた後、単純なフローを思いつきました。Streams API と KPL を使用して、データを Kinesis ストリームに取り込みたいと考えています。サンプルの putRecord メソッドを使用して、データをストリームに取り込みます。この JSON をストリームに取り込みます -

データが取り込まれると、putRecordResult で次の応答を取得します -

次に、これらのデータを取得して DynamoDB テーブルにプッシュする Lambda 関数を作成します。ここに私のラムダ関数があります -

どういうわけか、ラムダ関数の実行で console.logs を確認できません。ストリーム ページには、ストリームに putRecord があり、同様に取得されていることがわかりますが、どういうわけか、Lambdafunction ページにも DynamoDB テーブルにも何も表示されません。

Kinesis にデータを取り込むための Java コード用の IAM ポリシー、lambda-kinesis-execution-role である Lambda 関数用の別のポリシー、および DynamoDB がデータをテーブルに取り込むためのポリシーがあります。

それが正しい方法でどのように行われるかを示すチュートリアルはありますか? このプロセスで多くの点が欠けていると感じています。たとえば、データがストリームに入れられたときに Lambda によって処理されて Dynamo で終わるように、これらすべての IAM ポリシーをリンクして同期させる方法などです。

任意のポインタとヘルプは深く感謝しています.

Java ジョブを Linux サーバーにデプロイして、さまざまな API からのデータを消費し、Kinesis に公開しました。私のジョブは、データを公開するために Kinesis ストリームを開くことができず、以下のエラーがスローされます。どんな提案でも大いに役立ちます。

31253 [メイン] エラー com.est.producer.KinesisEstProducer - kinesis java.util.concurrent.ExecutionException への書き込み中にエラーが発生しました: com.amazonaws.services.kinesis.producer.IrrecoverableError: com.google で mkfifo を呼び出した後、パイプが表示されませんでした.common.util.concurrent.AbstractFuture$Sync.getValue(AbstractFuture.java:299) com.google.common.util.concurrent.AbstractFuture$Sync.get(AbstractFuture.java:286) com.google.common.util .concurrent.AbstractFuture.get(AbstractFuture.java:116) com.est.producer.KinesisEstProducer.send(KinesisEstProducer.java:78) で com.est.cable.kafka.agent.Agent.main(Agent.java:102) ) 原因: com.amazonaws.services.kinesis.producer.IrrecoverableError: com.amazonaws.services.kinesis.producer.Daemon で mkfifo を呼び出した後、パイプが表示されませんでした。com.amazonaws.services.kinesis.producer.Daemon.fatalError(Daemon.java:480) での fatalError(Daemon.java:502) com.amazonaws.services.kinesis.producer.Daemon.createPipesUnix(Daemon.java:401) でcom.amazonaws.services.kinesis.producer.Daemon.createPipes(Daemon.java:354) com.amazonaws.services.kinesis.producer.Daemon.access$000(Daemon.java:61) com.amazonaws.services. kinesis.producer.Daemon$1.run(Daemon.java:127) で java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask.run(FutureTask.java:266) ) java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java: 745)745)745)502) com.amazonaws.services.kinesis.producer.Daemon.fatalError(Daemon.java:480) で com.amazonaws.services.kinesis.producer.Daemon.createPipesUnix(Daemon.java:401) で com.amazonaws.services .kinesis.producer.Daemon.createPipes(Daemon.java:354) at com.amazonaws.services.kinesis.producer.Daemon.access$000(Daemon.java:61) at com.amazonaws.services.kinesis.producer.Daemon$1 .run(Daemon.java:127) で java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask.run(FutureTask.java:266) で java.util. java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745) で、concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)502) com.amazonaws.services.kinesis.producer.Daemon.fatalError(Daemon.java:480) で com.amazonaws.services.kinesis.producer.Daemon.createPipesUnix(Daemon.java:401) で com.amazonaws.services .kinesis.producer.Daemon.createPipes(Daemon.java:354) at com.amazonaws.services.kinesis.producer.Daemon.access$000(Daemon.java:61) at com.amazonaws.services.kinesis.producer.Daemon$1 .run(Daemon.java:127) で java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask.run(FutureTask.java:266) で java.util. java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745) で、concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)amazonaws.services.kinesis.producer.Daemon.fatalError(Daemon.java:480) com.amazonaws.services.kinesis.producer.Daemon.createPipesUnix(Daemon.java:401) com.amazonaws.services.kinesis.producer. Daemon.createPipes(Daemon.java:354) at com.amazonaws.services.kinesis.producer.Daemon.access$000(Daemon.java:61) at com.amazonaws.services.kinesis.producer.Daemon$1.run(Daemon. java:127) で java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask.run(FutureTask.java:266) で java.util.concurrent.ThreadPoolExecutor.runWorker で(ThreadPoolExecutor.java:1142) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745) でamazonaws.services.kinesis.producer.Daemon.fatalError(Daemon.java:480) com.amazonaws.services.kinesis.producer.Daemon.createPipesUnix(Daemon.java:401) com.amazonaws.services.kinesis.producer. Daemon.createPipes(Daemon.java:354) at com.amazonaws.services.kinesis.producer.Daemon.access$000(Daemon.java:61) at com.amazonaws.services.kinesis.producer.Daemon$1.run(Daemon. java:127) で java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask.run(FutureTask.java:266) で java.util.concurrent.ThreadPoolExecutor.runWorker で(ThreadPoolExecutor.java:1142) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745) でcom.amazonaws.services.kinesis.producer.Daemon.createPipesUnix(Daemon.java:401) での fatalError(Daemon.java:480) com.amazonaws.services.kinesis.producer.Daemon.createPipes(Daemon.java:354) でcom.amazonaws.services.kinesis.producer.Daemon.access$000(Daemon.java:61) で com.amazonaws.services.kinesis.producer.Daemon$1.run(Daemon.java:127) で java.util.concurrent で.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask.run(FutureTask.java:266) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) で java. java.lang.Thread.run(Thread.java:745) の util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)com.amazonaws.services.kinesis.producer.Daemon.createPipesUnix(Daemon.java:401) での fatalError(Daemon.java:480) com.amazonaws.services.kinesis.producer.Daemon.createPipes(Daemon.java:354) でcom.amazonaws.services.kinesis.producer.Daemon.access$000(Daemon.java:61) で com.amazonaws.services.kinesis.producer.Daemon$1.run(Daemon.java:127) で java.util.concurrent で.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask.run(FutureTask.java:266) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) で java. java.lang.Thread.run(Thread.java:745) の util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)createPipesUnix(Daemon.java:401) com.amazonaws.services.kinesis.producer.Daemon.createPipes(Daemon.java:354) com.amazonaws.services.kinesis.producer.Daemon.access$000(Daemon.java:61) ) com.amazonaws.services.kinesis.producer.Daemon$1.run(Daemon.java:127) で java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask で.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang. Thread.run(スレッド.java:745)createPipesUnix(Daemon.java:401) com.amazonaws.services.kinesis.producer.Daemon.createPipes(Daemon.java:354) com.amazonaws.services.kinesis.producer.Daemon.access$000(Daemon.java:61) ) com.amazonaws.services.kinesis.producer.Daemon$1.run(Daemon.java:127) で java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) で java.util.concurrent.FutureTask で.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang. Thread.run(スレッド.java:745)access$000(Daemon.java:61) at com.amazonaws.services.kinesis.producer.Daemon$1.run(Daemon.java:127) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) java.util.concurrent.FutureTask.run(FutureTask.java:266) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java) :617) java.lang.Thread.run(Thread.java:745) でaccess$000(Daemon.java:61) at com.amazonaws.services.kinesis.producer.Daemon$1.run(Daemon.java:127) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) java.util.concurrent.FutureTask.run(FutureTask.java:266) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java) :617) java.lang.Thread.run(Thread.java:745) で1142) java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745) で1142) java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) で java.lang.Thread.run(Thread.java:745) で

レコードを Amazon Kinesis Stream に入れるために HTTP Post Request を送信しようとしています。いくつかの方法があります (Kinesis クライアント、KPL、AWS ゲートウェイを Kinesis プロキシとして設定)。

Kinesis PutRecord API に関するこのドキュメントを見ました http://docs.aws.amazon.com/kinesis/latest/APIReference/API_PutRecord.html

このリンクで説明されているように、Amazon API Gateway を設定することなく、上記の HTTP POST リクエストを PutRecord に送信することは可能ですか ? html#call-api-with-api-gateway-custom-authorization

KPL と Kinesis Client は何らかの方法で内部的に HTTP POST を使用して PutRecord する必要があるため、その方法が必要です。残念ながら、オンラインでリソースを見つけることができませんでした。

putrecordbatch を使用して複数のレコードをキネシス ストリームに送信する例を探しています。

現在、次の方法で putrecord コマンドを使用して、レコードを kinesis ストリームに送信しています。

aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid\":1,\"productname\":\"phone\",\"productprice\":\" 2.30\"}"'

putrecordbatch の書き方と同様の方法でヘルプをリクエストしてください。

よろしくお願いいたします。 Srivignesh KN

Kinesis Firehose ストリームを構築してデータを Redshift にプッシュし、Kinesis エージェントを使用して EC2 インスタンスからデータをプッシュしようとしています。

Firehose Stream はレコードを解析できますが、Firehose ストリームを識別できず、次の Java エラーが発生します。

よろしく、 Srivignesh KN

amazon-kinesis-producer-sample を実行してみた

Windows7 で amazon-kinesis-producer バージョン 0.10.2 を使用しました。以下のエラーを取得:

ここで何が問題になる可能性がありますか？