問題タブ [amazon-kinesis]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - amazon Kinesis Stream 作成の問題
Amazon Kinesis は初めてです。基本的なドキュメントと Kinesis APi を読み、Kinesis を使い始めました。そこで、ストリームを作成する小さなコードを scala で書きました。しかし、私は以下のような例外に直面しています
スレッド「メイン」の例外 java.lang.NoSuchMethodError: org.joda.time.format.DateTimeFormatter.withZoneUTC()Lorg/joda/time/format/DateTimeFormatter; com.amazonaws.auth.AWS4Signer.(AWS4Signer.java:44) で、sun.reflect.NativeConstructorAccessorImpl.newInstance0(ネイティブメソッド) で、sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) で、sun.reflect.DelegatingConstructorAccessorImpl で。 newInstance(DelegatingConstructorAccessorImpl.java:45) で java.lang.reflect.Constructor.newInstance(Constructor.java:526) で java.lang.Class.newInstance(Class.java:379) で com.amazonaws.auth.SignerFactory.createSigner (SignerFactory.java:119) com.amazonaws.auth.SignerFactory.lookupAndCreateSigner(SignerFactory.java:105) com.amazonaws.auth.
ここに私のコードがあります
ここにpomファイルの私の依存関係があります
scala - 重複するクラス定義がスパークでエラーを発見しました
私はキネシスでスパークストリーミングを使用しており、コードを実行するとこの例外に直面しています
ここに私のコードがあります
そして、次の例外に直面します
java - AmazonKinesisClient に putRecords メソッドがない
http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-using-sdk-java-add-data-to-stream.htmlのチュートリアルに従っています- PutRecords の例を Java からスカラ。
依存関係としてamazon-kinesis-client v1.20andを含めました。aws-java-sdk-kinesis v1.9.16
sbt を使用してコンパイルすると、次のエラーが発生します。
value putRecords is not a member of com.amazonaws.services.kinesis.AmazonKinesisClient
コンソールを使用して実験すると、これらのライブラリに含まれる AmazonKinesisClient のバージョンにはこのメソッドが存在しないように見えることが確認されました。他の誰かがこの問題を抱えていて、誰かがそれを解決する方法を知っていますか?
amazon-web-services - AWS Datapipeline の Kinesis ストリームから読み取る Hive クエリの反復回数を提供する変数
出力が S3 バケットに書き込まれる Hive クエリを実行する AWS Datapipeline を作成しようとしています。その後、データは AWS Redshift クラスターの S3 バケットから移動されます。
Hive クエリは、入力として Kinesis ストリームを使用しています。Kinesis のチェックポイント機能を活用しようとしていて、ShellCommandActivity に変数を渡して、ハイブ スクリプトで反復回数を設定できるようにしたいと考えています。とにかく、datapipeline が実行されるたびに 1 ずつ増加する変数を持つことはできますか?
どんな援助も素晴らしいでしょう！
azure - Microsoft Azure EventHub でのイベント保持
イベント ハブでのメッセージ保持に関する詳細を確認していました。保持ポリシーを 1 日に設定し、いくつかのメッセージを送信したとします。次に、メッセージの保持ポリシーを 3 日間に変更すると、既存のメッセージeventDataも 3 日間保持されますか?
amazon-kinesis - Kinesis 処理が 24 時間遅れています
2 つのプロデューサーと 1 つのコンシューマーがあり、KCL を使用すると、Kinesis からのデータの処理が 24 時間遅れます。どうすればパフォーマンスを改善できますか。
javascript - Javascript を使用した AWS API 署名付き POST リクエスト
私がやろうとしていること: 最終的に: ブラウザ拡張機能 (Safari、Chrome) から AWS Kinesis ストリームにデータを入力したいと考えています。署名プロセス (v4) を使用してリクエストを AWS に送信する必要があります。これには、ヘッダーの設定とそれらの暗号化 (aws 秘密鍵を使用して遠隔サーバー上で) が含まれ、最終的にそれらをリクエストに結合します。
Amazon はヘッダー "Host" を明示的に定義するよう要求していますが、Javascript はそれを設定することを厳密に禁止しています (正当な理由により、他の多くのものも)。
私は何かが欠けているに違いありません—どうすればこれを行うことができますか?
ソース: http://docs.aws.amazon.com/general/latest/gr/sigv4-signed-request-examples.html - 例は Python ですが、サーバー側で Host ヘッダーを使用する方法を示しています
注: 現在 POST を使用しています。GET およびクエリ文字列を説明する例のコメントには、「ホスト」も記載されています。これは、リクエストのヘッダーとして存在する必要があります。
また、同様のセットアップを使用して、クライアントから直接 S3 バケットにファイルをアップロードすることができました。自動化プロセスはわずかに異なります (「ホスト」の要件はありません)。
scala - Scalazon で Kinesis Stream を作成する際の問題
Kinesis ストリームを作成するために、こちらの Scalazon の例に従っています。次のコード:
次のエラーが発生します。
for 内包表記と call を使用しない場合、val createStream = Kinesis.streams.listエラーは発生しません。理由がわからないようです。
同様に、次のコードのビット:
同様のエラーが発生します。
助けてくれてありがとう！