問題タブ [spark-shell]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - spark-shell の Apache Hudi の例で Spark 2.3.0 のエラーがスローされる
spark-shell を使用してこの例 ( https://hudi.apache.org/docs/quick-start-guide.html ) を実行しようとしています。Apache Hudi のドキュメントには、「Hudi は Spark-2.x バージョンで動作します」と記載されています。環境の詳細は次のとおりです。
プラットフォーム: HDP 2.6.5.0-292 Spark バージョン: 2.3.0.2.6.5.279-2 Scala バージョン: 2.11.8
以下の spark-shell コマンドを使用しています (NB - Spark 2.3.2 のそれぞれの spark-avro 依存関係が見つからなかったため、spark-avro バージョンは正確には一致しません)。
データを書き込もうとすると、次のエラーが発生します。
私には、正しいavroバージョンがクラスパスに追加されていないか、ピックアップされていないように見えます。誰でも回避策を提案できますか? 私はかなりの間これで立ち往生しています。