2

Hadoop/Hive 環境用に Bean を構成しようとしています。ドキュメントによると、自動配線する必要がある Apache Hadoop 構成クラスが必要です。参照: http://docs.spring.io/spring-hadoop/docs/2.4.0.RELEASE/reference/html/springandhadoop-store.html (セクション 6.2.2 データセット サポートの構成)

それでも、アプリを実行しようとすると、次のようになります。NoSuchBeanDefinitionException: No qualifying bean of type [org.apache.hadoop.conf.Configuration] found for dependency: expected at least 1 bean which qualifies as autowire candidate for this dependency.

私のクラスはとてもシンプルです:

@SpringBootApplication
public class HiveTestApp implements CommandLineRunner {
    private
    @Autowired
    org.apache.hadoop.conf.Configuration hadoopConfiguration;

    ...

Cloudera クラスターを使用しています。依存関係は次のとおりです。

dependencies {
    compile(
            'org.springframework.boot:spring-boot-starter-web',
            'org.springframework.data:spring-data-hadoop-hive:2.4.0.RELEASE-cdh5',
            'org.apache.hive:hive-jdbc:1.1.0-cdh5.4.3',
    )

今、私は間違っているかもしれませんが、過去に autowired 構成を使用したことを思い出すことができ、それは正常に機能しました。最新版で何か変わった？何か不足していますか？

4

1 に答える 1

1

これが解決策です。

@Configuration
public class ApplicationConfiguration {
    @Value("${com.domain.app.hadoop.fs-uri}")
    private URI hdfsUri;

    @Value("${com.domain.app.hadoop.user}")
    private String user;

    @Value("${com.domain.app.hadoop.hive.jdbc-uri}")
    private String hiveUri;

    @Autowired
    private org.apache.hadoop.conf.Configuration hadoopConfiguration;

    @Bean
    public org.apache.hadoop.conf.Configuration hadoopConfiguration() {
        return new org.apache.hadoop.conf.Configuration();
    }

    @Bean
    public HdfsResourceLoader hdfsResourceLoader() {
        return new HdfsResourceLoader(hadoopConfiguration, hdfsUri, user);
    }

    @Bean
    public HiveTemplate hiveTemplate() {
        return new HiveTemplate(() -> {
            final SimpleDriverDataSource dataSource = new SimpleDriverDataSource(new HiveDriver(), hiveUri);
            return new HiveClient(dataSource);
        });
    }
}

以下設定ファイル。

com.domain.app.hadoop:
  fs-uri: "hdfs://hadoop-cluster/"
  user: "hdfs-user"
  hive.jdbc-uri: "jdbc:hive2://hadoop-cluster:10000/hive-db"

クラスの1つに注入する必要があるため、Hadoop構成オブジェクトをBeanにしました。Bean が必要ない場合は、自分で新しいインスタンスを作成できます。

于 2016-08-08T00:00:36.200 に答える