2

私はウージーワークフローを実践しようとしています。私のやり方は、ftp からファイルを取得し、それを cloudera (HDFS) にアップロードすることです。

以下は私のJavaコードです：

public class UploadHDFS extends Configured implements Tool {
    private static final Logger LOGGER = LoggerFactory.getLogger(UploadHDFS.class);
    public static void main(String[] args) throws Exception {
        int res = ToolRunner.run(new Configuration(), new UploadHDFS(), args);
        System.exit(res);
    }

    @Override
    public int run(String[] strings) throws Exception {
        FTPClient client = new FTPClient();
        InputStream ins = null;
        try {

            Configuration conf = getConf();

            System.out.println("------------%%+++++++++++++++++++---------------");
            for (Map.Entry<String, String> entry : conf) {
                System.out.printf("%s=%s\n", entry.getKey(), entry.getValue());
            }
            System.out.println("------------%%++++++++++++-----------");

            String host = conf.get("ftp.host.address").toString();
            String port = conf.get("ftp.port").toString();
            ....
            ....
      return 0;  
    }
}

また、workflow.xml を設定しました。下記参照：

<workflow-app name="XXXXXX_test" xmlns="uri:oozie:workflow:0.4">
<start to="ftp_download_file"/>
<action name="ftp_download_file">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<prepare>
<delete path="${nameNode}/user/admin/XXXXXX_test/B"/>
</prepare>
<configuration>
<property>
<name>ftp.host.address</name>
<value>192.168.1.158</value>
</property>
<property>
<name>ftp.port</name>
<value>21</value>
</property>
</configuration>
<main-class>UploadHDFS</main-class>
<file>workflow.xml#workflow.xml</file>
</java>
<ok to="merger_file"/>
<error to="kill"/>
</action>    
</workflow-app>

ただし、workflow.xml からプロパティを取得できない理由がわかりません。そのシステムは、行に対して NullPointerException をポップアップします。

文字列ホスト = conf.get("ftp.host.address").toString(); 文字列ポート = conf.get("ftp.port").toString();

アイデアを教えてください。

ありがとう！！

4

1 に答える 1

3

システム変数「oozie.action.conf.xml」によって渡される Oozie 構成の場所。Java Action の例のようなコードを使用してください。

public class UploadHDFS {
public static void main(String[] args) throws Exception {
    new UploadHDFS().execute();
}

public void execute() {
    String configurationLocation = System.getProperty("oozie.action.conf.xml");
    Path localConfigurationPath = new Path(configurationLocation);
    Configuration configuration = new Configuration();
    configuration.addResource(localConfigurationPath);
    // .. continue here 
    }
}
于 2013-11-05T09:09:24.897 に答える