Zeppelin ノートブックから Amazon S3 にある avro ファイルを読み取りたいです。Databricks には素晴らしいパッケージがあることを理解していspark-avroます。この jar ファイルをクラスターにブートストラップして機能させるために必要な手順は何ですか?
これを手帳に書くと、
val df = sqlContext.read.avro("s3n://path_to_avro_files_in_one_bucket/")
以下のエラーが表示されます -
<console>:34: error: value avro is not a member of org.apache.spark.sql.DataFrameReader
私はこれを見てきました。そこに投稿されたソリューションは、Amazon EMR の最新バージョンでは機能しないと思います。
誰かが私に指針を与えることができれば、それは本当に役に立ちます.