問題タブ [amazon-kinesis-firehose]

Amazon Kinesis Agent を使用して nginx Web アクセス ログを追跡し、アクセス ログを Kinesis にプッシュします。最終的には Kinesis Analytics 内で使用します。

エージェントが実行中で、アクセス ログを追跡し、レコードを Kinesis にプッシュしています。レコードが Kinesis に到着していることがわかるので、接続は良好です。

私が抱えている問題は、フォーマッタ オプションに関連しています。具体的には「LOGTOJSON」に関するものです。

の内容は次の/etc/aws-kinesis/agent.jsonとおりです。

これは、Apache結合ログ形式でログを出力するために使用しているnginx構成のセクションです。

nginx アクセス ログからの出力の数行を次に示します。

Kinesis エージェントからの出力は次のとおりです。レコードが「解析」されているが、「変換」されていないことがわかります。

Kinesis Analytics は、着信データを JSON ストリームではなく CSV ストリームとして検出します。AWS コンソールで未加工のストリーム コンテンツを見ると、次のように表示されます。

そのため、エージェントは変換を行わずに各レコードを送信し、各行をコンマで区切っているように見えます。

ここでどこが間違っているのかわかりません。nginx アクセス ログは正しい形式で書き込まれているように見えますが、Kinesis エージェントはそれを JSON に変換しません。理由は不明です。

任意のポインタをいただければ幸いです。

いくつかのチュートリアルに従い、さまざまな IAM 構成とセキュリティ グループを追加して、物事を可能な限りオープンかつ明確に保ちましたが、何も機能しませんでした。これがデバッグ ログで、主なエラーが下に貼り付けられています。これを明確にするために追加する必要がある他のデータがあるかどうか教えてください。

Redshift 出力で AWS Kinesis Firehose を使用しようとしています。Firehose 配信ストリームを作成しました。VPC セキュリティ グループに Redshift クラスターがあります。しかし、Firehose がクラスターに接続できないようです。

これは、VPC セキュリティ グループを作成するスニペットです。

このリンクに従って、「52.19.239.192/27」からの接続を許可するイングレス ルールを設定します。しかし、これは機能していないようで、まだ次のエラーが発生します。

指定された Amazon Redshift クラスターへの接続に失敗しました。セキュリティ設定で Firehose 接続が許可されていること、Amazon Redshift の宛先設定または JDBC URL で指定されたクラスターまたはデータベースが正しいこと、およびクラスターが使用可能であることを確認してください。

私たちが間違っていることを誰か知っていますか？

AWS.firehose サービスのみを選択して、SDK Builder for javascript ( here ) を使用しました。

node.js から使用しようとすると、次のコードを実行しました。

そして、このエラーが発生しました:

/aws-sdk-2.6.6.min.js:7 if(this._events||(this._events={}),"error"===t&&(!this._events.error||s(this._events={})) _events.error)&&!this._events.error.length)){if(e=arguments 1 ,e instanceof Error)throw e;var l=new Error('Uncaught, unspecified "error" event. ('+e+" )");throw l.context=e,l}if(r=this._events[t],a(r))return!1;if(i(r))switch(arguments.length){ケース 1: r.call(this);break;case 2:r.call(this,arguments 1 );break;case 3:r.call(this,arguments 1 ,arguments 2 );break;default:o=Array.prototype. slice.call(arguments,1),r.apply(this,o)}else if(s(r))for(o=Array.prototype.slice.call(arguments,1),c=r.slice() ,n=c.長さ,u=0;u

ReferenceError: オブジェクトに AWS が定義されていません。(/aws-sdk-2.6.6.min.js:7:25500) で Module._compile (module.js:541:32) で Object.Module._extensions..js (module.js:550:10) でModule.load (module.js:458:32) で tryModuleLoad (module.js:417:12) で Function.Module._load (module.js:409:3) で Module.require (module.js:468:17) ) オブジェクトで (internal/module.js:20:19) を必要とします。(/index.js:5:11) Module._compile (module.js:541:32) で

これは AWS SDK ビルダーのバグですか?

他のサービスを含めるべきですか?

これ以上のドキュメントはありますか?

Dynamo DB ストリーム + Lamdba をトリガーとして使用して、Dynamo DB データを Redshift に配置するキネシスを呼び出します。

Dynamo ストリームを使用して、Dynamo DB データを異なるリージョンの Redshift にロードする方法を誰かが提案できますか?

Amazon キネシス分析のマーケティング資料を見て、リアルタイムのログ分析フローを調べています。コンテンツの提案のためにデータが Amazon ES にパイプされる 4 番目のステップがあります。

Amazon ES とは何ですか? それは彼らの柔軟な検索サービスですか? もしそうなら、エラスティック検索からパーソナライズされたレコメンデーションはどのように生成されますか?

API-Gateway > Kinesis Streams > Lambda > FireHose > Redshift Tables を介してすべての分析フィードを消費します。

AWS Lambda は当社の変換フットプリントであり、Kinesis ストリーム レコードを受け入れ、コンテキストに基づいて分析イベントを変更し、それを FireHouse にドロップして Redshift DB に保存します。

このジャーニーでは、特定の条件 (基本的に UPSERT ( Insert | Update ) ) で Redshift レコードを更新したいと考えました。redshift でレコードの重複を避けることができるものはありますか?