次のようなログを含むログ ファイルがあります。
{"log_time": "2020-05-28 16:09:02", "log_level": "INFO", "event": "register", "login_key": "key1", "email": "user1.email.com", some other fields}
{"log_time": "2020-05-28 16:09:03", "log_level": "INFO", "event": "register", "login_key": "key2", "email": "user2.email.com" some other fields}
{"log_time": "2020-05-28 16:09:05", "log_level": "INFO", "event": "button click", "login_key": "key1", some other fields}
{"log_time": "2020-05-28 16:09:06", "log_level": "INFO", "event": "page view", "login_key": "key2", some other fields}
すべてのユーザーは、自分のすべてのアクションが記録されるログイン キーを取得します。また、最初のイベントは、ユーザーの電子メールを含む登録イベントです。
多分私はここで頭を飛び越えていますが、メールと最後のイベントであるログインキーごとに表示されるテーブルをGrafanaで作成しようとしています。したがって、この場合は次のようになります。
login_key email event time
key1 user1@email.com button click 2020-05-28 16:09:05
key2 user2@email.com page view 2020-05-28 16:09:06
関連する派生フィールドを含むデータ ソースとして Loki を使用してテーブルを作成しようとしましたが、集計を行うことも、必要なフィールドをテーブルに表示することさえできませんでした。
lokiまたは別のデータソースを使用してそれを行う方法についてのアイデアはありますか? 私のログファイルはそれほど大きくなく、すべての filebeat-logstash-elasticsearch を設定するのは少しオーバーヘッドのようです。テーブルを生成し、すでにグラファナに接続されているが間違っていると感じるpostgresに保存するためのpythonスクリプトを作成することさえ考えていました。
どんな助けでも大歓迎です