問題タブ [hdp]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - Spark sql は HDP のハイブでテーブルを見つけることができません
HDP3.1 を使用し、必要な Spark2、Hive、およびその他のサービスを追加しました。Hive の ACID 機能をオフにしました。Spark ジョブがハイブでテーブルを見つけることができません。ただし、テーブルは Hive に存在します。例外のようなもの: org.apache.spark.sql.AnalysisException: テーブルまたはビューが見つかりません Spark の conf フォルダーに hive-site.xml があります。HDP によって自動的に作成されます。ただし、hive の conf フォルダー内のファイルとは異なります。ログから、spark はハイブのthrift URI を正しく取得できます。私はspark sqlを使用し、spark-shellで1つのハイブテーブルを作成しました. spark.sql.warehouse.dir で指定されたフォールドにテーブルが作成されていることがわかりました。その値を hive.metastore.warehouse.dir の値に変更しました。しかし、問題はまだ残っています。また、spark セッションの作成時にハイブ サポートを有効にしました。