問題タブ [spring-data-hadoop]

私は 2 つの小さなアプリを持っています。1 つは用途spring-boot-starter-amqp、もう 1 つは用途spring-data-hadoop-bootです。問題なく個別に実行できます。

それらを結合すると、アプリの起動が例外で失敗します: org.springframework.context.ApplicationContextException: Unable to start EmbeddedWebApplicationContext due to missing EmbeddedServletContainerFactory bean.

私のメインクラスはかなり汎用的で、両方とも別々にうまく動作します:

私はここで途方に暮れています。私の知る限り@SpringBootApplication、自動構成やコンポーネントのスキャンなど、必要なすべての注釈が含まれています。使用していないため、Web環境を構成する必要はありませんでした。両方の依存関係がクラスパスにあるのに、なぜそれを行う必要があるのですか? また、どうすれば修正できますか?

アップデート

Spring Boot コードを少し掘り下げました。主な問題はSpringApplication.deduceWebEnvironment()、クラスパス内の特定のクラスの存在に基づいて、どのような環境を構成する必要があるかを自動的に検出することです。

Web 環境では、2 つのクラスがチェックされています。両方がクラスパスにある場合、適切な構成が必要な Web 環境が検出されます。

• javax.servlet.Servlet
• org.springframework.web.context.ConfigurableWebApplicationContext

spring-boot-starter-amqp:1.3.1.RELEASEcontains ConfigurableWebApplicationContext、およびspring-data-hadoop-boot:2.3.0.RELEASE-cdh5contains Servlet(ネイティブ Hadoop ライブラリ内)。

現在、単独で実行すると、どちらの場合も上記のクラスのいずれかが欠落しているため、Web 環境が設定されていません。

しかし、両方を使用すると、両方のクラスが見つかります。Web 環境が検出され、偽陽性であり、構成が必要ですが、提供できません (そして提供したくありません)。

質問は今です-クラスパスにそれらのクラスがある場合でも、非Web環境を強制できますか? または、問題を解決する他の方法はありますか? (Gradle の依存関係から除外する以外)

私は春のデータが初めてで、すべての春のデータの依存関係を分散キャッシュを介して配布しようとしています。しかし、それは機能しておらず、有用なリソースが見つかりません。

application-context.xml内の私の構成:-

spring-data-hadoop jar を各ノードに配布しようとしています。しかし、これまでのところうまくいきません。そうする方法はありますか？どんな助けでも大歓迎です

文字列エンティティを HDFS に書き込むための textFileWriter という名前の Bean があります。Bean 構成ファイルで Spring Bean を構成しました。実行中に NullPointerException が発生します。これについて私を助けてください。

私のBean構成:-

メインクラス:-

この行でヌルポインタ例外が発生しています:-

spring data hadoop を使用して HDFS に簡単なテキストを書き込もうとしていました。しかし、書き込み時に不明な問題が発生しています。

スレッド「メイン」での例外 org.springframework.data.hadoop.store.StoreException: Store 出力コンテキストがまだ初期化されていません。ネストされた例外は java.io.IOException: Unexpected HTTP response: code=404 != 200, op=GETFILESTATUS, message=Not Found at org.springframework.data.hadoop.store.support.OutputStoreObjectSupport.getOutputContext(OutputStoreObjectSupport.java:135) です) org.springframework.data.hadoop.store.output.AbstractDataStreamWriter.getOutput(AbstractDataStreamWriter.java:131) で org.springframework.data.hadoop.store.output.TextFileWriter.write(TextFileWriter.java:132) で com. com.mstack.app.MainApp.main(MainApp.java:32) の mstack.app.MainApp.someMethod(MainApp.java:37) 原因: java.io.IOException: 予期しない HTTP 応答: code=404 != 200 、op=GETFILESTATUS、メッセージ=org.apache で見つかりません。

私のapplication-context.xml:-

メインクラス:-

どんな助けでも大歓迎です！ありがとう

Hadoop/Hive 環境用に Bean を構成しようとしています。ドキュメントによると、自動配線する必要がある Apache Hadoop 構成クラスが必要です。参照: http://docs.spring.io/spring-hadoop/docs/2.4.0.RELEASE/reference/html/springandhadoop-store.html (セクション 6.2.2 データセット サポートの構成)

それでも、アプリを実行しようとすると、次のようになります。NoSuchBeanDefinitionException: No qualifying bean of type [org.apache.hadoop.conf.Configuration] found for dependency: expected at least 1 bean which qualifies as autowire candidate for this dependency.

私のクラスはとてもシンプルです:

Cloudera クラスターを使用しています。依存関係は次のとおりです。

今、私は間違っているかもしれませんが、過去に autowired 構成を使用したことを思い出すことができ、それは正常に機能しました。最新版で何か変わった？何か不足していますか？

私の目標は、HDFS にディレクトリを作成することです。そのために私は使用します：

• spring-data-hadoop:2.4.0.RELEASE
• spring-data-hadoop-store:2.4.0.RELEASE

私の構成クラスでは、Bean を定義します

私のサービスでは、この Bean を使用して、必要なものを記述できます。

HDFSにはavroファイルがあります。名前が生成され、それにファイル名戦略を適用する解決策が見つかりません。

名前を修正したり、Bean を取得したりするにはどうすればよいですか?