1

Pig スクリプト用に HbaseStorage をカスタマイズするにはどうすればよいですか? 実際には、データを pig スクリプトにロードする前に、データに対していくつかのビジネス ロジックを実行したいと考えています。HbaseStorage 上のカスタム ストレージのようなものになります。

たとえば、行キーがこの A_B_C のような構造になっています。現在、豚のスクリプトで HbaseStorage に A_B_C キーを渡していますが、入力データを実際の豚のスクリプトに提供する前に、A_B_C_D のようなキーに対してフィルタリングなどのロジックを実行したいと考えています。どのように可能ですか

4

2 に答える 2

0

私は HbaseStorage が非常に面倒なので、通常の Java MR ジョブを作成して HBase にクエリを実行し、カスタム シーケンス ファイルを作成してから、Pig から単純なカスタム ローダーを使用します。すべての Pig スクリプトについて Hbase 内のすべてをスキャンするのではなく、シーケンス ファイルを 1 日に何度も再利用して迅速な結果を得ることができるため、これにより時間を大幅に節約できます。

于 2013-11-26T19:42:58.517 に答える