問題タブ [spring-data-hadoop]

ローカル マシンの IDE からリモート クラスターで MR コードを実行するために、Spring Data - Hadoopを試しています。

Hadoop 1.1.2、Spring 3.2.4、Spring-Data-Hadoop 1.0.0

私のBean構成ファイル、つまり。applicationContext.xmlは次のとおりです。

hadoop.properties

「Run as ...」を実行しているJavaクラス

出力は次のとおりです。

明らかなように、ユーザー 298790 (私のローカル Windows マシン ユーザー) はクラスターで認識されません。ファイル

1. ドキュメントに記載されているように、ジョブの構成で user="bigdata" を指定しました。
2. ドキュメント。も言及しています：

SHDP は HDFS パーミッションに従い、現在のユーザーの ID (デフォルト) を使用してファイル システムと対話します。特に、HdfsResourceLoader は、パターン マッチングを実行するときに、参照するはずのファイルのみを考慮し、特権アクションを実行しません。ただし、別のユーザーを指定することは可能です。つまり、ResourceLoader はそのユーザーの権限を使用して HDFS とやり取りします。ただし、これはユーザーの偽装規則に従います。API に従って、HdfsResourceLoaderを使用することにしましたが、ドキュメント - 誰でもポインタを提供できますか?

1. Hadoop Secure Impersonationに従って、Windows ユーザー 298790 をリモート クラスター マシン (Ubuntu) ユーザーのグループに追加する必要があると考えています。ユーザー数と Windows クライアント マシンの変更。私の仮定が正しい場合、これらすべてのユーザーの追加と構成を回避するにはどうすればよいですか?

/ core-site.xml への変更の追加/

すべての Hadoop プロセスを再起動しましたが、エラーが解決しません。

次に、新しいユーザー viz を作成することにしました。リモート Ubuntu マシンで 298790 を作成し、偽装の目的でグループ bigdata に追加します。

しかし、クラスターを停止 (および開始) しようとすると、すべてのプロセスのパスワードが要求されます。

そして今、エラーはわずかに修正されました - 最初に接続に失敗し、次に偽装に失敗します:

私はSpringData Hadoopの初心者です。[1] など、www からいくつかの例をチェックアウトします。

それらはすべて、起動時に実行するように構成されています。

しかし、サーブレットを介してジョブを実行したいです。方法？

リモート Hadoop クラスター上のローカル Windows STS から MR ジョブを実行するために、Spring Data for Hadoop を試しています。

私が直面している問題は、ここで詳しく説明されています

以下の質問をすることを余儀なくされた同様のスレッドがあります。

リモート Hadoop クラスターで実行する前に、まずローカル Windows マシン (Eclipse/STS プロジェクトの lib 内など) に .jar ファイルを作成する必要がありますか? Spring Data は単にコードをリモート クラスターにプッシュして実行をトリガーすることはできませんか?

Mahout を使用して次の Mapper と Reducer を作成しました

階級を下げる

これを実行するためのSpring構成

これを実行すると、次のエラーが発生しました。Hadoop マッパー クラスを拡張しましたが、Spring はそれはマッパー クラスではないと言いました。

java.lang.RuntimeException: クラス mypackage.ItemSimilarity.ItemPrefMapper が org.apache.hadoop.mapreduce.Mapper ではありません org.apache.hadoop.conf.Configuration.setClass(Configuration.java:931) で org.apache.hadoop.mapreduce.Job.setMapperClass(Job.java:175) で org.springframework.data.hadoop.mapreduce.JobFactoryBean .afterPropertiesSet(JobFactoryBean.java:153) org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.invokeInitMethods(AbstractAutowireCapableBeanFactory.java:1571) org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1509) ) org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:521) で org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:458) で

Spring Boot で Spring Yarn パッケージを使用しており、@OnContainerStart イベントからマッパーを開始する方法を見つけようとしています。マッパーに引数を渡すにはどうすればよいですか? 使用するマッパー/リデューサーを構成するにはどうすればよいですか? 私はこのガイドに従おうとしています

ありがとう

spring-data-hadoop を使用して Hadoop MR ジョブを作成し、maven-shade-plugin を使用して必要なすべての jar をパックしました。しかし、コマンドライン:hadoop jar からジョブを実行すると、Spring-Bean の ClassNotFound の例外が発生しました。Spring アプリケーション コンテキストの読み込みで発生する問題。その後、maven-assembly-plugin を使用し、必要なすべての jar を lib フォルダーにパックしました。今回はうまくいきました。

なぜmaven-shade-pluginで失敗したのか理解できません。誰かが私の観察を理解するのを手伝ってくれますか?