問題タブ [amazon-elasticsearch]

S3 ディレクトリから Amazon ElasticSearch サービスにデータをコピーしたいと考えています。ガイドに従ってみましたが、残念ながら探している部分がありません。ラムダ関数自体がどのように見えるべきかわかりません (ガイドのこれに関するすべての情報は、「アプリケーションのソース コードを eslambda フォルダーに配置します。」)。ES にファイルの自動インデックスを付けてもらいたいです。

現在、私は試しています

しかし、私は大規模なエラーのようになります elasticsearch.exceptions.RequestError: TransportError(400, u'action_request_validation_exception', u'Validation Failed: 1: index is missing;2: type is missing;3: index is missing;4: type is missing;5: index is missing;6: type is missing;7: ...

データが S3 から ES に移動され、自動マッピングおよび自動インデックス作成されるように設定するにはどうすればよいですか? 参照hereおよびhereに記載されているように、明らかに可能です。

Elasticsearchサービスがサーバー自体で実行されているため、ローカル、開発、およびステージング サーバーでNeo4j ElasticSearch 統合モジュール ( https://github.com/neo4j-contrib/neo4j-elasticsearch ) を使用しています。

しかし、Amazon AWS ElasticSearch サービスが使用され、Neo4j データベースにデータが追加されると、データがエラスティック検索に挿入されないことがあります。

Neo4j と Elasticsearch の間でトランザクションが行われている間、エラーや例外はスローされません。

そのため、なぜそれが起こっているのかをデバッグするのが難しくなっています。

どんなアイデアでも大歓迎です。

編集：

ネットワークの設定については、サーバーはNeo4jがインストールされたEC2インスタンスで、問題のElasticSearchサービスは「AWS ElasticSearch Service」です。時々うまくいくので、ここのネットワークの問題を理解していません。

Neo4j バージョン: 2.3.6 エラスティックサーチ バージョン: 2.3.2

繰り返しますが、これは「AWS ElasticSearch Service」が接続されている場合にのみ発生し、EC2 インスタンス自体で実行されているサービスでは発生しません。

Neo4j サービスと ElasticSearch サービスの間で発生するトランザクションをログに記録する方法があるかどうかを知ることは、非常に役立ちます。

以下はログファイルの内容です: /var/log/neo4j/console.log

API からの応答: ELASTICSEARCH_URL/_nodes/_all/http

EC2 インスタンス:

AWS エラスティックサーチ インスタンス:

AWS Elasticsearch をセットアップした後、Logstash と Kibana プロキシを静的 IP サーバーにインストールし、このドメイン アクセス ポリシーを ES に追加しましたが、正常に動作しています。

ここで、Lambda 関数がes:ESHttpDeleteAWS ES でアクションを実行できるようにする必要があるため、既存のロールを使用して関数を作成し、IAM 管理コンソールから関連イベントをservice-role/Elasticsearchコピーして AWS ES アクセス ポリシーに追加し、次のようにしました。ARN

問題は ES にあります。静的 IP または ARN のドメイン アクセス ポリシーを選択する必要がありますが、両方を選択する必要はありません。コンソールを使用せずに手動でマージしようとすると、機能しませんでした。AWS のドキュメントを確認しましたが、それが可能かどうかについては言及されていませんでした。

Python を使用して最初のインデックスを作成しようとしていますが、404 インデックスが見つからないという例外が引き続き発生します。現在のコードは次のとおりです。

編集:いくつか変更したところ、別のエラーが発生しました。新しい問題のコードとタイトルを更新しました。ここに私の出力があります：

HEAD /test_logs 404 はどういう意味ですか?

そこで、AWS ES への接続を作成しようとしています。同じゾーンの S3 バケットに正常に接続しました。ただし、ES に接続しようとすると、毎回このメッセージが表示されます。

正しいモジュールをインポートしましたが、この問題は解決していないようです。これが私のコードです

これは、私が見つけることができるすべての例と同じように見えますが、何らかの理由で接続できません。

これは Python 3.5 であり、私の開発環境は VS 2015 です。

このガイドに従って、リアルタイムの Web トラフィック データを S3 にロードし、Lambda を構成して ES ドメイン インデックスにロードします。現在、レコードごとに、この {GUID}.json のような名前の S3 バケットに、1 行のみを含む新しい json ファイルを作成しています。例えば：

これがライブになると、何百万もの json ファイルが S3 バケットにアップロードされ、Lambda 関数を介して ES にプッシュされます。これはストリーミング データをロードする正しい方法ですか? または、1 時間ごとに複数のレコードを集約するスケジュール プロセスを開発する必要がありますか? 技術的には「リアルタイムストリーミング」ではない気がします。

助言がありますか？

次のリンクで推奨されているように、s3バケットからapacheログファイルを取得してJSONドキュメントに解析し、ESに追加するラムダ関数を作成しようとしています:

https://github.com/awslabs/amazon-elasticsearch-lambda-samples

しかし、私は常に次のエラーに直面しています:

親切に、これに対する解決策をお勧めします。