問題タブ [amazon-kinesis-agent]

Ubuntu 14.04にエージェントをインストールしました...以前は正常に動作していましたが、突然停止し、起動中に次のエラーが発生しました

Amazon Kinesis Agent を使用して nginx Web アクセス ログを追跡し、アクセス ログを Kinesis にプッシュします。最終的には Kinesis Analytics 内で使用します。

エージェントが実行中で、アクセス ログを追跡し、レコードを Kinesis にプッシュしています。レコードが Kinesis に到着していることがわかるので、接続は良好です。

私が抱えている問題は、フォーマッタ オプションに関連しています。具体的には「LOGTOJSON」に関するものです。

の内容は次の/etc/aws-kinesis/agent.jsonとおりです。

これは、Apache結合ログ形式でログを出力するために使用しているnginx構成のセクションです。

nginx アクセス ログからの出力の数行を次に示します。

Kinesis エージェントからの出力は次のとおりです。レコードが「解析」されているが、「変換」されていないことがわかります。

Kinesis Analytics は、着信データを JSON ストリームではなく CSV ストリームとして検出します。AWS コンソールで未加工のストリーム コンテンツを見ると、次のように表示されます。

そのため、エージェントは変換を行わずに各レコードを送信し、各行をコンマで区切っているように見えます。

ここでどこが間違っているのかわかりません。nginx アクセス ログは正しい形式で書き込まれているように見えますが、Kinesis エージェントはそれを JSON に変換しません。理由は不明です。

任意のポインタをいただければ幸いです。

私の入力ファイルは XML または JSON ですが、これらを処理するようにエージェントを構成する方法を決定するのに助けが必要でしたか? そのため、入力ファイルごとに 1 つの XML/JSON オブジェクトを持つ複数行のレコードです。前処理は必要ありません

これらの複数行のレコードとして、エージェントをこれら 2 つの形式に最適に構成するにはどうすればよいですか?

設定が必要なのは「multiLineStartPattern」パラメータですか? JSON の左中括弧として「{」と言うのと同じくらい簡単ですか?

乾杯

putrecordbatch を使用して複数のレコードをキネシス ストリームに送信する例を探しています。

現在、次の方法で putrecord コマンドを使用して、レコードを kinesis ストリームに送信しています。

aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid\":1,\"productname\":\"phone\",\"productprice\":\" 2.30\"}"'

putrecordbatch の書き方と同様の方法でヘルプをリクエストしてください。

よろしくお願いいたします。 Srivignesh KN

Kinesis Firehose ストリームを構築してデータを Redshift にプッシュし、Kinesis エージェントを使用して EC2 インスタンスからデータをプッシュしようとしています。

Firehose Stream はレコードを解析できますが、Firehose ストリームを識別できず、次の Java エラーが発生します。

よろしく、 Srivignesh KN