4

Spring + Maven + Hadoop 環境に問題があります。Apache Hadoop を使用していますが、SpringSource から提供されている spring-hadoop は使用していません。Java で Hadoop を使用するために、次の依存関係を Maven に追加しました。

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>0.20.2</version>
        <exclusions>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jetty</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jetty-util</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jsp-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jsp-api-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>servlet-api-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>javax.servlet</groupId>
                <artifactId>servlet-api</artifactId>
            </exclusion>
            <exclusion>
                <groupId>javax.servlet.jsp</groupId>
                <artifactId>jsp-api</artifactId>
            </exclusion>
            <exclusion>
                <groupId>tomcat</groupId>
                <artifactId>jasper-compiler</artifactId>
            </exclusion>
            <exclusion>
                <groupId>tomcat</groupId>
                <artifactId>jasper-runtime</artifactId>
            </exclusion>
        </exclusions>
    </dependency> 

そして、hadoop mapreduce ジョブを実行しました。Mapreduce ジョブはうまく機能します。

しかし、Hadoop Web UI ( http://xxx.xxx.xxx.xxx:50030/jobtracker.jsp )の「実行中のジョブ」リストから実行されたジョブが表示されません。

Hadoop コマンド (ex-bin/hadoop -jar ....jar ) なしで開始しましたが、Java アプリケーションだけでした。これが理由でしょうか?

4

1 に答える 1