1

私はここでドキュメンテーションを見ましたが、私はそれがかなり不足していると感じていることを告白します。PythonUDFをPigに組み込むことに関する例のコレクションを誰かに教えてもらえないかと思いました。特に

  • Pig 0.10より前では、ブール型は存在しませんが、FILTER操作では結果をブールに解決する必要があります。最新バージョンを持っていない場合、私は戻っ1たり0使用したりすることで永遠に呪われていますか？FILTER alias BY py_udf.f(field) > 0
  • 、、、およびインターフェイスAlgebraicにPythonからアクセスできませんか？AccumulatorFilter
  • 分散キャッシュにもアクセスできませんか？
  • ストア/ロード機能はどうですか？
4

2 に答える 2

2

Python UDF はかなり制限されています。Algebraic または Accumulator インターフェイスを使用することも、Python で LoadFunc を記述することもできません。マップ操作よりも複雑なものについては、おそらく Java UDF に頼る必要があります。

とはいえ、動的な outputSchema を持つより複雑な Python UDF はhttp://ragrawal.wordpress.com/2013/02/24/on-writing-python-udf-for-pig-a-perspective/にあります。これは役に立たない可能性がありますが、Python UDF で何ができるかについて理解を深めることができます。

于 2013-04-03T16:23:01.727 に答える
0

これは特定の質問のほとんどに答えないかもしれませんが、このブログ投稿とリンクされたコードには Python で Pig を使用するいくつかの良い例が含まれており、Store/Load の使用と Python との相互作用が含まれています。

于 2013-04-02T19:36:19.730 に答える