0

私は春のデータが初めてで、すべての春のデータの依存関係を分散キャッシュを介して配布しようとしています。しかし、それは機能しておらず、有用なリソースが見つかりません。

application-context.xml内の私の構成:-

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans xmlns="http://www.springframework.org/schema/hadoop"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:beans="http://www.springframework.org/schema/beans"
       xmlns:hdp="http://www.springframework.org/schema/hadoop"
    xmlns:context="http://www.springframework.org/schema/context"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd
    http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">
    <hdp:configuration>
      fs.defaultFS=${hdp.fs}
    </hdp:configuration>

    <hdp:job id="wordcountJob" 
         input-path="${wc.input.path}" 
         output-path="${wc.output.path}" 
         mapper="${wc.mapper}"
         reducer="${wc.reducer}"/>


    <hdp:cache create-symlink="true">
   <hdp:classpath value="/user/hadoop/DistributedCache/spring-data-hadoop-2.3.0.RELEASE.jar" />
   </hdp:cache>

    <hdp:job-runner id="runner" job-ref="wordcountJob" run-at-startup="true"/>
   <context:property-placeholder location="hadoop-configs.properties"/>
</beans:beans>

spring-data-hadoop jar を各ノードに配布しようとしています。しかし、これまでのところうまくいきません。そうする方法はありますか？どんな助けでも大歓迎です

4

1 に答える 1

0

それをジョブ構成に追加できます。

<hdp:job id="MaxTempJob"
    input-path="${input.path}"
    output-path="${output.path}"
    jar-by-class="com.chanchal.MaxTemperature"
    mapper="com.chanchal.MaxTemperatureMapper"
    map-key="org.apache.hadoop.io.LongWritable"
    map-value="org.apache.hadoop.io.Text"
    libs="/lib/spring-data-hadoop-2.3.0.RELEASE.jar"
/>

libプロジェクトの場所です。

于 2017-01-12T07:09:38.777 に答える