問題タブ [amazon-elasticsearch]

elasticdumpAWS Elasticsearch Service からインデックスをコピーするために使用しようとしています:

ポリシーの関連部分:

100 個のオブジェクトの後、次のようになります。

AWS がスクロールを妨げているのはなぜですか?

AWS ElasticSearch クラスターにデータをフィードするように AWS Kinesis Firehose Stream をセットアップしており、ドキュメントを Firehose Stream に送信して ElasticSearch にロードすることで、ドキュメントを正常に挿入できます。

idしかし、ドキュメントを Firehose ストリームに送信するときに、ドキュメントの値を手動で指定/設定できるようにしたいと考えています。AWS PHP SDK を使用して Firehose にデータを送信することに成功していますが、ドキュメントの .xml ファイルを手動で設定する方法があるかどうかわかりませんid。

JSON データに 、id、_idおよび値を設定しようとしましたが、すべて役に立ちませんでした。esDocumentId

誰にもアイデアはありますか？

Beanstalk アプリケーションが Elasticsearch サービスにアクセスできるようにしようとしていますが、ドキュメントで見つけたすべての方法でこれらのアプリへのアクセスを許可できません。これまでのところ、アクセスを有効にする唯一の方法は、クラスターを全世界に開放し、特定の IP を有効にすることでした (Elastic Beanstalk の動的な性質を考えると、これは明らかにオプションではありません)。私が試したこと - 「1つ以上のアカウントへのアクセスを許可または拒否...」からAWSアカウントのルートへのポリシーを作成します。「1つ以上のアカウントへのアクセスを許可または拒否...」から、Beanstalk EC2サーバーに割り当てられたIAMロールへのポリシーを作成する ポリシーをBeanstalk IAMロールにアタッチし、elasticsearchドメインでのES:*特権を許可します。

これらの方法がすべて失敗するのはなぜですか? ドキュメントは、これらの各メソッドが機能することを示しているようですが、ここで何が欠けていますか?

私は最近、Elasticsearch について読みました。Jest を使用して Amazon Elasticsearch Service とやり取りしています。Jest のドキュメントとインデックス データを ES に活用することができました。

ただし、ブール クエリを使用してクエリを実行しようとすると、レイテンシが非常に高くなります。POSTMAN を使用して POST リクエストを実行してみましたが、レイテンシーがはるかに短いことがわかりました。

次に例を示します。

Jest クエリ: キー、値を指定: オブジェクトのリストを返します。

JestClient クライアント:

出力: SearchBuilder: 12 ClientExecute: 1193

一方、POSTMAN を使用: 本文を含む POST リクエストがあります。

これは次で実行されます: es.ap-southeast-1.es.amazonaws.com/index/_search 出力:

「かかった」: 1、「timed_out」: false、「_shards」: {「合計」: 10、「成功」: 10、「失敗」: 0 }、

Searchsourcebuilder も使ってみました。しかし、役に立たない。正しい API を使用していますか?

Elasticsearch で最長プレフィックス クエリを実行しようとしています。私の要件は、数字があると仮定することです

エラスティック検索で1234567をクエリすると、一般的な文字の最も長いシーケンスを持つ番号が返されます。この場合は 12345 です。いくつかの解決策をオンラインで検索しますが、スクリプトはすべて弾性検索である必要があります。AWS Elasticservice を使用しており、このクエリは AWS でクエリする必要があります。AWS は、「セキュリティ上の理由」からスクリプトの使用を許可していません。スクリプトを使用せずにこのクエリを実行する方法はありますか?

そこで、2 インスタンスの Amazon Elasticsearch クラスターをスピンアップしました。

logstash-output-amazon_esプラグインをインストールしました。これは私のlogstash構成ファイルです:

今、私は自分の端末からこれを実行しています:

エラーが発生します：

私は何か完全に間違っていると思います。基本的に、logstash を介してダミーのログ入力を amazon Elasticsearch クラスターにフィードしたいだけです。どのように進めればよいですか？

編集ストレージ タイプはインスタンスで、アクセス ポリシーはすべてアクセス可能に設定されています。

編集

ホテルの空室状況をelasticsearchに保存しようとしています。そして、ある日付から別の日付まで利用可能な部屋を検索する必要があります。可用性のためにデータを保存する 2 つの方法を考え出しました。それらは次のとおりです。

ここで、空室状況ディクショナリはすべての日付を格納し、各日付キーの値は true または false であり、その日に利用可能かどうかを表します。

ここで空室状況配列には、部屋が利用可能な日付のみが保存されます

すべての部屋を検索したいのですが、それらはそれfrom_dateまで利用可能であり、辞書または配列to_dateを調べる必要があります.availabilityそして、私の日付範囲は最大365日にわたる場合があります

上記の検索を簡単に実行できるように、これらの可用性データを保存する方法は? そして、日付の範囲を検索する方法が見つからなかったので、何か提案はありますか?

availabilityのアイテムはソートされていない場合がありますのでご注意ください。また、検索するレコードが 1 億件を超える場合もあります。