問題タブ [amazon-kinesis-firehose]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
amazon-web-services - AWS Kinesis Firehose が Redshift にデータを挿入しない
Kinesis Firehose で Redshift テーブルにデータをプッシュしようとしています。
firehose ストリームが機能し、S3 にデータを入れています。
しかし、Redshift の宛先テーブルには何も到着しません。
- メトリクスで DeliveryToRedshift 成功は 0 (DeliveryToRedshift レコードは空)
- 負荷ログ (redshift Web コンソール) と STL_LOAD_ERRORS テーブルが空です。
- Firehose が Redshift に接続できることを確認しました (STL_CONNECTION_LOG に接続が表示されます)
これをトラブルシューティングするにはどうすればよいですか?
amazon-web-services - AWS Firehose が Redshift に配信されない - ログはどこにありますか?
私は他の人が同じ問題を抱えていることを知っています[1]。その質問に対して提案されたすべてのトラブルシューティング手法を試しました。要約する：
- これは Redshift への新しい Firehose です
- S3 オブジェクトは、CloudWatch で 100% 成功して予測どおりに表示されます
- Redshift の配信は 0% の成功と表示されているため、試行しているに違いありません
- Firehose が Redshift に接続しているため、ファイアウォール ルールが正しい必要があります。
- 外部列マッピング ファイルで JSON 形式のエントリを使用しています。
- Firehose と Redshift クラスターは us-west-2 リージョンにありますが、バケットは US Standard (us-east-1) にあるため、WITH REGION オプションを使用しています。
- 他の人の道をたどって、消防ホースを削除して再作成しようとしましたが、役に立ちませんでした。
- また、redshift クラスターから COPY を手動で実行しようとしたところ、完全に機能することがわかりました。
- Redshift エラー テーブルにも、バケットのエラー セクションにも何もないようです。
私はこれをあきらめようとしています。失敗を認める前にエラーログを見つける場所について誰か提案がありますか?
json - Amazon Kinesis Firehose ストリームによって s3 に書き込まれたデータの読み取り
Amazon Kinesis Firehose によって最終的に S3 ファイルに書き込まれる Kinesis Firehose ストリームにレコードを書き込んでいます。
私のレコードオブジェクトは次のようになります
S3 に書き込まれるデータは次のようになります。
カンマ区切りなし。
Json 配列のように開始ブラケットはありません
Json配列のように終わりの括弧はありません
このデータを読み取り、ItemPurchase オブジェクトのリストを取得します。
このデータを読み取る正しい方法は何ですか?
amazon-web-services - AWS Kinesis firehose - 現在の統計のクエリ
次のような現在の統計について AWS Kinesis Firehose にクエリを実行する方法はありますか?
- 現在のバッファ内のレコード数?
- どのくらいのバッファが消費されますか?
duplicates - AWS Kinesis Firehose から Redshift へのレコードの重複排除を行う方法は?
公式の AWS Kinesis Firehose のドキュメントを読みましたが、重複したイベントの処理方法については言及されていません。誰もそれについて経験がありますか？誰かが ElasticCache を使用してフィルタリングを行っているとググったのですが、AWS Lambda を使用してそのようなフィルタリング ロジックをカプセル化する必要があるということですか? Firehose のようにデータを Redshift に取り込み、同時に「正確に 1 回」のセマンティクスを持つ簡単な方法はありますか? どうもありがとう！
amazon-web-services - Redshift Copy コマンドを使用してマージを行う
入力を反復処理し、作成した redshift テーブルにアップロードするように構成した AWS Firehose にデータを吐き出すプロセスがあります。1 つの問題は、プロセスでデータを再評価する必要があるため、行が重複する場合があることです。何かのようなもの：
http://docs.aws.amazon.com/redshift/latest/dg/t_updating-inserting-using-staging-tables-.html
そこを見ると、古い行を新しい値に置き換えたいので、次のようになります。
次のようなことは可能ですか:
amazon-redshift - Firehose が Redshift に配信しない理由をデバッグする
Redshift クラスターにデータを配信する Firehose ストリームをセットアップします。短期間は機能していましたが、突然 redshift への配信が停止したようです。私から
これらのコマンドを実行しても、最新の接続またはコピーは一覧表示されません。たとえば、次のように表示されます。
...接続ログに記録されていますが、一定時間後に停止します。テーブルとストリームを再作成しようとしましたが、まだ何も表示されません。ただし、すべてのデータは S3 で受信されています。
もう 1 つの問題は、何も失敗していないことを示すエラー マニフェストが s3 ディレクトリにないことです。
どうすればこれをデバッグできますか?