問題タブ [elasticsearch-bulk]

一括挿入をテストしたい

これは私の要求です

このエラーが発生しています：

エラーメッセージが閉じるように表示されている理由がわかりません。}これは正しい JSON であると思います。公式 Web サイトで要求されているように、行末を追加しています。

Elasticsearch Bulk APIを使用してドキュメントを作成または更新しています。

それらが作成または更新であるかどうかは実際にはわかっていますが、それらをすべて作成するindexか、SQL の意味で「アップサート」するだけで、コードを単純化できます。

より明示的なandindexを使用するよりも、使用する (そして ES にそれを理解させる) ことに不利な点はありますか?createupdate

データのインデックス作成に _bulk API を使用しています。最初のドキュメントを除くすべてのドキュメントに親フィールドがあります。

通常、私のドキュメントには次のメタデータがあります。

最初のドキュメントの親フィールドには何を指定すればよいですか?

親フィールドを空白のままにしておく必要がありますか?

または、親フィールドをまったく含めるべきではありませんか?

不正なリクエストが表示される理由を確認するために、多くのことを試しました。リクエスト本文を適切にフォーマットするには、この質問を参照してください。

最初のノードのelasticsearchでの親の指定

これが私のコードです。

Unirest API を使用してリクエストを送信しています。

コードのコメント部分にリクエストボディが格納されます。ファイルのコンテンツを使用し、POSTman を使用して個別にリクエストを送信すると、目標を達成できます。

ES ログ:

We have an elastic search cluster of 3 nodes of the following configurations

The machines are in 3 different zones namely eu-west-1c,eu-west-1a,eu-west-1b.

Each elastic search instance is being allocated 30GB of heap space.

we are using the above cluster for running aggregations only. The cluster has replication factor of 1 and all the string fields are not analyzed , doc_values is true for all the fields.

We are pumping data into this cluster running 6 instances of logstash in parallel ( having a batch size of 1000)

When more instances of logstash are started one by one the nodes of the ElasticSearch cluster starts throwing out of memory error.

What could be the possible optimizations to speed up bulk indexing rate on the cluster?= Will presence of nodes of cluster in the same zone increase bulk indexing? Will adding more nodes in the cluster help ?

Couple of steps taken so far

Increase the bulk queue size from 50 to 1000
Increase refresh interval from 1 seconds to 2 minutes
Changed segments merge throttling to none ( https://www.elastic.co/guide/en/elasticsearch/guide/current/indexing- performance.html)

We cannot set the replication factor to 0 due to inconsistency involved if one of the nodes goes down.

同じインデックスと同じタイプのドキュメントの膨大なセットがありますが、ID は明らかに異なります。既存のものを更新するか、バッチで新しいものを挿入したい。一括インデックス API を使用してそれを達成するにはどうすればよいですか? 以下のようなことをしたいのですが、エラーがスローされます。基本的に、同じインデックスと同じタイプを持つバッチで複数のドキュメントをアップサートしたいと考えています。

エラスティック検索の一括アップロードの警告を修正するためにしばらく時間を費やしました。

残りのリクエストのコンテンツ タイプの検出は廃止されました。[Content-Type] ヘッダーを使用してコンテンツ タイプを指定します

私のリクエストは以下です：

200 ステータスの有効な応答は以下のとおりです。

実験してみると、問題はコンテンツ タイプの文字セットの定義Content-Type: application/x-ndjson; charset=utf-8にあることがわかりました。これを変更してContent-Type: application/x-ndjsonも、警告は表示されません。

エラスティック検索の問題ですか、それともリクエストを間違って作成していますか?

以下の形式の ndjson ファイルがあります

のようなヘッダーを追加したい

各ドキュメントの前に一括操作を使用する前に、同様の質問を見つけました: Elasticsearch Bulk JSON Data

解決策は、次の jq コマンドです。

しかし、私はこのエラーが発生します:

私は何を間違っていますか？私はWindowsを実行していますか、それともより良い解決策がありますか? ありがとう