問題タブ [elasticsearch-plugin]

PlainElastic.Net クライアントと CURL を使用して、mongodb コレクションのインデックスを作成しようとしています。しかし、私は両方の試みで惨めに失敗しています。

私の.netオブジェクトは次のとおりです

クラス終了

mongodb に移行すると、追加の_idプロパティ フィールドが表示されます

PlainElastic.net では、次の手順を実行しようとしています。

JSON マッピングは次のとおりです。

ElasticSearch ログに次のエラーが表示され続けます

また、エラスティック検索ログで時々

私はこの時点で本当に立ち往生しています。解決策が見つかりません。さらに進めるための助けをいただければ幸いです。

約 2 億のドキュメントを含む ElasticSearch インデックスがあり、インデックスの合計サイズは 90Gb です。

マッピングを変更したので、ElasticSearch にすべてのドキュメントのインデックスを再作成してもらいたいと考えています。

新しいインデックスを (新しいマッピングで) 作成し、古いインデックス内のすべてのドキュメントを調べて、新しいインデックスに挿入するスクリプトを作成しました。

動作しているように見えますが、問題は動作が非常に遅いことです。2 日前に 300 ドキュメント/分で開始し、現在は 150 ドキュメント/分です。

スクリプトは、エラスティック サーチ マシンと同じネットワーク内のマシンで実行されます。

このような速度では、インデックスの再作成が完了するまでに 1 か月かかります。

エラスティック検索インデックスを再インデックス化するためのより高速な手法について知っている人はいますか?

私はelasticsearch-mapper-attachmentsを使用しており、添付ファイル内のテキストをインデックス化して検索できますが、主に画像であるpdfがたくさんあり、base64でエンコードされたものを保存しないようにESを構成できるかどうか疑問に思っていましたファイル。

データを ElasticSearch エンジン サーバーにインデックス付けしています。User というドメイン オブジェクトがあります。以下は、私が使用している関連コードです。現在、_idelasticsearch の属性は、以下に示すように、このコマンドからの増分値に設定されています。

しかし、ワンダーウーマンはドキュメントの ID として SN_NO も持つため、任意の ID を増やしたくありません。このドメイン オブジェクトの一意の ID (SN_NO) を Elasticsearch エンジンにマップするにはどうすればよい_idですか? これが必要な理由は、時間の経過とともに、たとえばwest_sizeなどの属性の1つを変更する必要がある場合があるためです. そして、ばかげた例として、ウエストが細い女性と太っている女性の 2 人のワンダーウーマンを含むエラスティック検索エンジンは必要ありません。

長い質問で申し訳ありませんが、私はそれを読んで面白くするために一生懸命努力しました.

前もって感謝します！

パブリック クラス TestBulkElastic {

}

AmazoneWeb Service Server にマウントされた Couchbase インスタンスと、同じサーバーで実行されている Elastic Search インスタンスがあります。

それらの 2 つの間の接続は正常に行われ、現在まで正常に複製されています... 突然、ElasticSearch で次のエラー ログを取得しました。

いくつかのメモリ値を変更しようとしましたが、うまくいかないようです。

誰かが同じ問題を経験しましたか?

私は多言語データセットと、このデータセットのトークン化を非常にうまく処理する標準アナライザーを持っています。唯一の悪い点は、@、#、: などの特殊文字が削除されることです。標準のトークナイザーを使用して特殊文字を検索できる方法はありますか?

コンボ アナライザー プラグインを調べましたが、期待どおりに動作しませんでした。明らかに、アナライザーの組み合わせは、トークン フィルターのようにチェーンで動作しません。それらは独立して動作するため、私にとっては役に立ちません。また、トークン化する前にデータを処理するために char マッピング フィルターを調べましたが、「type_table」を指定して特殊文字を ALPHANUM に変換できる単語区切りトークン フィルターのようには機能しません。ある単語を別の単語にマップするだけです。その結果、特殊文字を検索できなくなります。また、パターン アナライザーも調べました。これは特殊文字には有効ですが、多言語データ セットにはお勧めできません。

この問題を解決するために、誰かが私を正しい方向に向けることができますか? 前もって感謝します！

インデックスを作成する前にドキュメントに新しいフィールドを追加するプラグインを作成したいと考えています。Solr には、この目的のための特定のコンポーネントUpdateRequestProcessorがあります。

エラスティックサーチに似たものはありますか?