apache-spark - スパークSQLでのHadoopのマップ結合と同等

Question

SparkでHadoopのmapjoinに相当するものを探していますが、これを見つけることができましたspark.sql.autoBroadcastJoinThreshold

1. spark SQL で問題なく動作しますか? 試してみましたが、シャッフルの読み書きはパラメータをつけてもつけなくても同じで効果がないようでした。

この値を設定してクエリを実行しましたsqlContext.sql("SET spark.sql.autoBroadcastJoinThreshold=100000000;")

2. SPARK-SQL に他の同等の概念はありますか?

ありがとう ..

Answer 1

1. これは Spark 1.1.0 で導入されました。
2. これは、Spark テスト スイートで (少し) テストされています。 PlannerSuiteを参照してください。
3. あなたのSETクエリは、それをサポートしていないバージョンの Spark によって元気よく静かに飲み込まれます - 私はちょうど 1.0.2 でそれを試しました。