2

s3 から寄木細工のファイルを読み取ろうとすると、非常に奇妙なエラーが発生します。スパークブックの次のコードスニペットを使用しています。

package com.knx.rtb.sample

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.functions._

// One method for defining the schema of an RDD is to make a case class with the desired column
// names and types.
case class Record(key: Int, value: String)

object SparkSql {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("SparkSql")
    val sc = new SparkContext(sparkConf)
    sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "accesskey")
    sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "secretKey+JJbat7uEQtX/")

    val sqlContext = new SQLContext(sc)

    // Importing the SQL context gives access to all the SQL functions and implicit conversions.
    import sqlContext.implicits._

    val df = sc.parallelize((1 to 100).map(i => Record(i, s"val_$i"))).toDF()

    //if I remove this line; then I got the error
    df.write.parquet("s3n://adx-test/hdfs/pair.parquet")

    // Read in parquet file.  Parquet files are self-describing so the schmema is preserved.
    val parquetFile = sqlContext.read.parquet("s3n://adx-test/hdfs/pair.parquet")

    // Queries can be run using the DSL on parequet files just like the original RDD.
    parquetFile.where($"key" === 1).select($"value".as("a")).collect().foreach(println)

    // These files can also be registered as tables.
    parquetFile.registerTempTable("parquetFile")
    println("Result of Parquet file:")
    sqlContext.sql("SELECT * FROM parquetFile").collect().foreach(println)

    sc.stop()
  }
}

コード スニペットは問題なく実行されます。ただし、次の行を削除するたびに: df.write.parquet("s3n://adx-test/hdfs/pair.parquet")s3 から parquet ファイルを spark データフレームに読み込むことを意味します (最初に parquet ファイルを書き込まずに)、エラーが発生しました:

スレッド「メイン」の例外 java.lang.IllegalArgumentException: AWS アクセス キー ID とシークレット アクセス キーは、s3n URL の (それぞれ) ユーザー名またはパスワードとして指定するか、fs.s3n.awsAccessKeyId または fs.s3n を設定して指定する必要があります。 awsSecretAccessKey プロパティ (それぞれ)。

コード スニペットの先頭に hadoopConfiguration s3AccessKeyId とシークレットを既に設定しているため、かなり奇妙です。フォーマットで s3n url を使用したいのですs3n://accessId:secret@bucket/pathが、シークレットに/文字が含まれているようです。うまくいきません。

4

1 に答える 1