私は次の設定をしています:
FileBeat -> Logstash -> Elasticsearch -> Kibana (すべて 5.1.1)
ログ ファイル ( JSON
) を Filebeat にプッシュすると、Kibana インターフェイスで表示しようとすると、同じログが 3 ~ 4 回追加されます (重複)。FileBeat ログを確認したところ、Filebeat が送信されたログの受信確認を受信せず、再送信を続けていることが原因である可能性があることがわかりました。重複したドキュメントの受信を停止するにはdocument_id
、logstash 構成ファイルで使用する必要があると思います。
すなわち
output
{
elasticsearch {
document_id => "%{offset}"
index => "ap-index"
hosts => ["localhost:9222"]
}
}
私の質問は、オフセット フィールドはドキュメントごとに一意ですか? それは重複の受信を停止する正しい方法ですか?