0

スクリプトをテストするために、homebrew を使用してインストールされた pig をローカルで実行しようとしています。ただし、対話型プロンプトから単純なダンプを実行しようとすると、次のエラーが発生しますpig -x local。

2012-07-16 23:20:40,447 [Thread-7] INFO  org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - Total input paths (combined) to process : 1
[Fatal Error] :63:85: Character reference "&#2" is an invalid XML character.
2012-07-16 23:20:40,688 [Thread-7] FATAL org.apache.hadoop.conf.Configuration - error parsing conf file: org.xml.sax.SAXParseException: Character reference "&#2" is an invalid XML character.

Elastic MapReduce では、同じロード/ダンプが正常に機能します。

XML 構成ファイルが見つかりません。バージョン 0.9.2 と 0.10.0 の両方で試しました。

私は何が欠けていますか？

編集：直接ダウンロード（vs.自作）をチェックしたところ、どちらも機能していないようです

4

2 に答える 2

0

最後に、問題が何であるかを解明しました。結局dtruss -p、pig/javaプロセスで使用する必要がありました。これにより、一時ディレクトリと動的に生成されたxmlファイルが明らかになりました。一時ディレクトリが検出されると、すべてがすぐに配置されました。

私の知る限り、&#2（http://www.fileformat.info/info/unicode/char/02/index.htm）が埋め込まれているネットワーク接続からプロキシ除外を取得していました。そもそも、この無効な値が私のネットワーク設定にどのように含まれるようになったのか、私は最も微妙な手がかりを持っていません。

次に、値は動的に生成されたファイルに取り込まれていました。たとえば、/tmp/hadoop-vertis/mapred/staging/vertis-1005847898/.staging/job_local_0001/job.xml。

問題のある行：

<property><name>ftp.nonProxyHosts</name><value>localhost|*.localhost|127.0.0.1|h&#2;|*.h&#2;</value></property>
<property><name>socksNonProxyHosts</name><value>localhost|*.localhost|127.0.0.1|h&#2;|*.h&#2;</value></property>
<property><name>http.nonProxyHosts</name><value>localhost|*.localhost|127.0.0.1|h&#2;|*.h&#2;</value></property>
于 2012-07-18T09:39:52.603 に答える
0

Hadoop 構成ファイルに正しい構成データがあることを確認する必要があります。

hadoop/conf ディレクトリを見てください。

中を見てください：

hdfs-site.xml mapred-site.xml core-site.xml

于 2012-07-17T09:10:26.920 に答える