問題タブ [amazon-kinesis-agent]

Python コードから単純なストリーム データを作成し、ログ ファイルに追加して、Kinesis Agent->Kinesis Firehose を使用してストリーミング データを Redshift クラスターにロードしようとしています。

Python コードが正常に動作していることを確認し、ログ ファイルに追加されるストリーミング データを作成します。キネシス エージェントが正常に開始され、検証が行われ、ログ ファイルからデータを取得して Firehose ストリームにプッシュするための適切な構成も行われました。

Python ファイルは、緯度/経度の位置をランダムに記録する単純なコードです。これは、サンプルのファイアホース ストリーミングを行うためだけのものであるため、サンプル データを使用します。

random_lat_lon.log ファイルの出力:

kinesis-Agent を確認すると、機能していないことがわかり、次のエラー トレースが表示されます。

私の kinesis-Agent.json 構成は次のとおりです。

これは、Kinesis Firehose (Python を使用) を使用した最初のサンプル ラボ体験です。私が理解できなかった何かが欠けています。

誰かが提案を手伝ってくれますか。詳細が必要な場合はお知らせください。

よろしく

こんにちは、私の要件は、ライブ オーディオ ストリームを入力として使用することです。たとえば、2 人の通話などです。そのオーディオをライブでテキストに変換し、抽出したテキストから特定のキーワードを選択してデータベースに挿入します。

https://github.com/aws-samples/amazon-connect-realtime-transcriptionのアーキテクチャに従って、AWS Kinesis ビデオ ストリーム サービスと AWS Transcribe の両方がライブ ストリーミングに使用されますが、リンク: https://aws.amazon.com /blogs/machine-learning/amazon-transcribe-now-supports-real-time-transcriptions/ AWS Transcribe はライブ文字起こしをサポートしていますが、なぜそのアーキテクチャで Kinesis が使用されたのでしょうか?

誰かが知っている場合は、理解を助けてください.Amazon接続がライブ音声をAWS Transcribeに取り込み、ライブ文字起こしできることを願っています.

Kinesis Agent (Docker イメージを使用) を含む JSON ファイルを Kinesis Data Stream に送信しています。Kinesis Data Stream は Kinesis Firehose Delivery Stream のソースとして機能し、ファイルを S3 に書き込む必要がありますが、S3 には何も表示されません。 .

JSON データはデータ ストリームに流れ込み、モニタリングとエージェント ログに表示されます。

JSON ファイルを (エージェントが監視している) 入力フォルダーに 2 秒間隔でコピーする小さなシェル スクリプトがあります。各ファイルは Kinesis エージェントによって取得されます。

ただし、Firehose Delivery ストリームまたは S3 バケットには何も届きません。

私のファイアホースでは、バッファ条件を「1 MB または 60 秒」に設定し、暗号化と圧縮を無効にしました。各ファイルには小さな配列 (ファイルサイズ ~1 KB) しか含まれていないため、これによりファイルが S3 に渡されるようになります。

私は困惑していて、他に何が理由なのかよくわかりません。

どんな助けでも大歓迎です！