elasticsearch - カスタム インデックスまたは一意の制約

Question

URL をインデックスに保存したいのですが、一意の URL が必要です。

ドキュメントを保存するために POST リクエストを作成していますが、URL フィールドに基づいてドキュメントの重複を避けたいと考えています。

URL フィールドに一意の制約を指定する方法はありますか?

Answer 1

ここで採用する必要がある戦略は、ドキュメントごとに一意のキーを作成することです。あなたの場合、ドキュメント ID として URL を選択します。

URL が長い場合は、sha1 または同様のアルゴリズムを使用してチェックサムを取得すると、URL の一意のキーを取得できます。これをドキュメント ID にして、常に 1 ページのみが発生するようにします。新しい複製にインデックスを付けたくない場合 (より効率的) は、再度 _create API を使用してインデックスを作成します。新しい複製をドキュメントにしたい場合は、通常のインデックス付けを使用します。

重複ドキュメントが見つかった場合に元のドキュメントを変更する必要がある場合は、upser を使用します。

私はこのブログでこの話題をたくさん取り上げてきました。