問題タブ [data-ingestion]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
json - Elastic 出力を Elastic に取り込む
次のようなエラスティック クエリの出力を JSON ファイルで提供してくれた顧客がいます。
ご覧のとおり、ほぼ 170.000 のレコードがあります。このデータをテスト Elastic に取り込みたいと考えています。取り込む必要があるデータは、_source にあるものです。これをファイルから抽出するにはどうすればよいですか? 入力がJSONファイルにある場合、logstashはそれを行うための適切なツールですか?
ご提案いただきありがとうございます。ハ
amazon-s3 - Sqoop が Postgres から S3 へのインポートに失敗する
私は日常業務で Postgresql から hdfs に、hdfs から S3 にデータをインポートしています。(sqoop import [postgres から hdfs へ] & distcp [hdfs から s3 へ])
中間ステップ (hdfs) を削除し、sqoop を使用してデータを S3 バケットに直接インポートしたいと考えていました。
ただし、インポート操作の最後に同じ sqoop 文字列が失敗します。
--target-dir s3a://path/to/destination私も代わりに 試しました....... LOCATION s3a://path/to/destination
「マッピング: %100 完了」の後、以下のエラー メッセージがスローされます。