0

このガイドに従って、リアルタイムの Web トラフィック データを S3 にロードし、Lambda を構成して ES ドメイン インデックスにロードします。現在、レコードごとに、この {GUID}.json のような名前の S3 バケットに、1 行のみを含む新しい json ファイルを作成しています。例えば：

{"email":"example@test.com","firstname":"Hello","lastname":"World"}

これがライブになると、何百万もの json ファイルが S3 バケットにアップロードされ、Lambda 関数を介して ES にプッシュされます。これはストリーミング データをロードする正しい方法ですか? または、1 時間ごとに複数のレコードを集約するスケジュール プロセスを開発する必要がありますか? 技術的には「リアルタイムストリーミング」ではない気がします。

助言がありますか？

4

1 に答える 1

1

AWS Kinesis Firehose を使用してストリーミング データを ElasticSearch にロードしてみましたか?

参考：https ://aws.amazon.com/kinesis/firehose/firehose-to-elasticsearch-service/

それはあなたの側で必要な努力のほとんどを取り除くでしょう.

于 2016-11-14T16:15:16.280 に答える