hadoop - Pig: マップ内のキーの数をカウントする

Question

Pig でマップ内のキーの数を数えたいと思います。これを行うために UDF を作成することもできましたが、もっと簡単な方法があることを期待していました。

data = LOAD 'hbase://MARS1'
       USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
         'A:*', '-loadKey true -caching=100000')
       AS (id:bytearray, A_map:map[]);

上記のコードでは、基本的に、キーが持つid列ファミリーの項目数とヒストグラムを作成したいと考えています。A

期待して試してみc = FOREACH data GENERATE id, COUNT(A_map);ましたが、当然のことながらうまくいきませんでした。

または、誰かがこれを完全に行うためのより良い方法を提案できるかもしれません。これがすぐにわからない場合は、Java MapReduce ジョブまたは Pig UDF を作成します。

Answer 1

SIZE は明らかにあなたのために働くはずです（自分で試していません）：

• http://pig.apache.org/docs/r0.7.0/piglatin_ref2.html#SIZE