hadoop - PIG - 結果の fs -ls をタプルに粗くできますか?

Question

私は豚が初めてです。

豚のスクリプトでは、次のようなことができます。

fs -ls

戻り値:

drwx------   - user group          0 2013-08-28 00:00 .Trash
drwx------   - user group          0 2013-08-02 19:19 .staging
...
...
...

fs -lsの結果をタプルに粗くする方法はありますか?

Answer 1

Java jar を使用すると、このようなことを非常に簡単に行うことができます。まず、ディレクトリからシーケンス ファイルを作成する必要があります。そして、ローダーに以下のようなコードを配置する必要があります。次に、このローダーを使用してシーケンス ファイルをロードすると、期待どおりの結果が得られます。

getNext メソッド (Loader の) では、目的に応じて次のようなコードを記述します。

    ProcessBuilder scanProcess = new ProcessBuilder("strings",file_name);
    final Process process = scanProcess.start();
    InputStream is = process.getInputStream();
    InputStreamReader isr = new InputStreamReader(is);
    BufferedReader br = new BufferedReader(isr);
    String line,resLine="";
    while ((line = br.readLine()) != null)
    {
        if(!line.isEmpty())
        {
            resLine += line;
        }
    }
    protoTuple.add(resLine);
    return tupleFactory.newTuple(protoTuple);

resLine にはコマンドの実行結果が格納されます。コマンドライン引数を渡すには、 ProcessBuilder と Process more を調べることができます