HDP3.1 を使用し、必要な Spark2、Hive、およびその他のサービスを追加しました。Hive の ACID 機能をオフにしました。Spark ジョブがハイブでテーブルを見つけることができません。ただし、テーブルは Hive に存在します。例外のようなもの: org.apache.spark.sql.AnalysisException: テーブルまたはビューが見つかりません Spark の conf フォルダーに hive-site.xml があります。HDP によって自動的に作成されます。ただし、hive の conf フォルダー内のファイルとは異なります。ログから、spark はハイブのthrift URI を正しく取得できます。私はspark sqlを使用し、spark-shellで1つのハイブテーブルを作成しました. spark.sql.warehouse.dir で指定されたフォールドにテーブルが作成されていることがわかりました。その値を hive.metastore.warehouse.dir の値に変更しました。しかし、問題はまだ残っています。また、spark セッションの作成時にハイブ サポートを有効にしました。
val ss = SparkSession.builder().appName("统计").enableHiveSupport().getOrCreate()