0

ローカル デスクトップで apache pig を試しています。

Apacheページのチュートリアルが正確であるか、手順を呼び出すことを望んでいました. pig をインストールし、サンプル コードを貼り付けようとしています: ここからhttp://pig.apache.org/docs/r0.7.0/setup.html#Sample+Code

Local Mode

$ pig -x local
Mapreduce Mode

$ pig
or
$ pig -x mapreduce
For either mode, the Grunt shell is invoked and you can enter commands at the prompt. The results are displayed to your terminal screen (if DUMP is used) or to a file (if STORE is used).

grunt> A = load 'passwd' using PigStorage(':'); 
grunt> B = foreach A generate $0 as id; 
grunt> dump B; 
grunt> store B; 

grunt コマンドを試すために pig -x local と入力する必要があるかどうかは不明です [豚は 2 つのモードのいずれかで実行する必要があるかもしれませんが、箱から出して何をすべきかは明らかではありません]

入力した後

pig -x local 

うなり声のプロンプトが表示されますが、コマンドは次のように言って失敗します:

 Message: org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Input path does not exist: file:/home/<usr>/passwd

Google で検索すると、次のようなメール アーカイブにルーティングされます。そして会話に従います。

ここに私が探している 2 つの点があります: 1] 有線に入る前に [サンプル ログを分析するために少なくとも 1 ~ 2 個の UDF を作成できるようにする] しばらくの間、あなたの手を握る豚のスクリプトと UDF を作成するためのより良いガイドはありますか?エラー。いくつかの簡単な豚のスクリプトを書くのに 4 時間かかるとしたら、ブログの投稿など、良い出発点は何ですか? 残念ながら、「hadoop fs -mkdir -p /home/」はディレクトリが存在することを示しています。では、どうすればそこにファイルを配置できますか。ローカルモードで実行しているので、毎回ファイルを HDFS に置くのではなく、FS で言及したパスで HDFS ルックファイルを確認する方法はありますか?

ありがとう!

4

1 に答える 1

1

pig をローカルで起動すると、ローカル ファイル システムに接続されます。

user@machine~/pig-distrib$ pig -x local
12/08/23 10:10:24 INFO pig.Main: Apache Pig version 0.10.0 (r1328203) compiled Apr 19 2012, 22:54:12
12/08/23 10:10:24 INFO pig.Main: Logging error messages to: /home/user/pig-distrib/logs/pig.log
12/08/23 10:10:24 INFO executionengine.HExecutionEngine: Connecting to hadoop file system at: file:///
grunt> 
...


passwd を見つけるには、次のオプションがあり
ます。
/etc/passwd

grunt> A = load 'passwd' using PigStorage(':');

2.
シェルで次のディレクトリに移動します。

grunt> cd /etc
grunt> A = load 'passwd' using PigStorage(':');

3.
または、ファイルへのフル パスを使用します。

grunt> A = load '/etc/passwd' using PigStorage(':');

これらのリソースも確認できます:
http://www.cloudera.com/wp-content/uploads/2010/01/IntroToPig.pdf
プログラミング Pig オンライン ノート
http://parand.com/say/index.php/2008 /06/19/pig-hadoop-commands-and-sample-results/

于 2012-08-23T08:26:23.043 に答える