apache-pig - プロパティ ファイルのない埋め込み Pig プログラム

Question

私は自分のマシンで実行し、サーバー (hadoop マシン) でクエリを実行して結果を保存する組み込みの Pig プログラムを作成しました。しかし、これでは、クラスパスに pig.property ファイルを与えています。

Pig.property ファイルを指定せずに、Pig-Embedded プログラムを作成できますか??

Answer 1

org.apache.pig.PigServer を使用して、Java プログラムから pig スクリプトを実行できます。

PigServer pigServer = new PigServer(ExecType.MAPREDUCE);
pigServer.registerScript("scripts/test.pig");

クラスパスに「pig.properties」が必要です。

fs.default.name=hdfs://: mapred.job.tracker=: または、java.util.Properties のインスタンスを PigServer コンストラクターに渡します。

Properties props = new Properties();
props.setProperty("fs.default.name", "hdfs://<namenode-hostname>:<port>");
props.setProperty("mapred.job.tracker", "<jobtracker-hostname>:<port>");
PigServer pigServer = new PigServer(ExecType.MAPREDUCE, props);

これもチェック