scala - pyspark から Hadoop 構成値を設定する方法

Question

SparkContext の Scala バージョンには、次のプロパティがあります。

sc.hadoopConfiguration

それを使用してHadoopプロパティを設定しました（Scalaで）

例えば

sc.hadoopConfiguration.set("my.mapreduce.setting","someVal")

ただし、SparkContext の Python バージョンにはそのアクセサーがありません。PySpark コンテキストで使用される Hadoop 構成に Hadoop 構成値を設定する方法はありますか?

Answer 1

sc._jsc.hadoopConfiguration().set('my.mapreduce.setting', 'someVal')

動作するはずです

Answer 2

PySpark のソース コード ( context.py ) を調べましたが、直接同等のものはありません。代わりに、いくつかの特定のメソッドが (キー、値) ペアのマップでの送信をサポートしています。

fileLines = sc.newAPIHadoopFile('dev/*', 
'org.apache.hadoop.mapreduce.lib.input.TextInputFormat',
'org.apache.hadoop.io.LongWritable',
'org.apache.hadoop.io.Text',
conf={'mapreduce.input.fileinputformat.input.dir.recursive':'true'}
).count()