elasticsearch - Elasticsearch-hadoop は、異なる ES クラスターに基づいて 2 つの RDD を作成する方法

Question

2 つの異なる ES クラスターから 2 つの Rdd を結合する必要がありますが、1 つの ES クラスターに基づいて 1 つの SparkConf と SparkContext を作成するだけでよいことがわかりました。たとえば、次のようなコード:

var sparkConf: SparkConf = new SparkConf()
sparkConf.set("es.nodes", "192.168.0.22:9200")
val rdd1=sc.esRDD("userIndex1/type1")

では、異なる ES クラスターから 2 つの RDD を作成するにはどうすればよいでしょうか?

Answer 1

cfgのパラメータがありますesRDD。を使用val rdd1=sc.esRDD("userIndex1/type1", Map("es.nodes" -> "192.168.0.22:9200")して構成を設定できます。