0

Scalding を HDFS 上の LZO Protobuf データで動作させるための指針はありますか?

バイナリ Protobuf に保存され、Scalding を使用して LZO で圧縮されたファイルを読み込もうとしています。Elephantbird を使用してこれらのファイルを読み取ることはできますか? 任意のポインタをいただければ幸いです！

LzoTraits と LzoProtobufScheme を見ましたか? しかし、データを読み取るためにどのように使用すればよいかわかりませんか? どんな例でも素晴らしいでしょう！

4

1 に答える 1

1

次に例を示します。

case class SomeProto() extends FixedPathSource("/my/greatData/*")
  with LzoProtobuf[MyProtoClassHere] {
    override def column = classOf[MyProtoClassHere]
}

同様の方法で、他のタイプの抽象ベース ソース (TimePathedSource や MostRecentGoodSource など) と混在させることができます。Hadoop-inside-cascading-local トリックを使用する場合は、混在させることができwith LocalTapSourceます (カスケード ローカル モードで実行しない場合、これは必要ありません)。

于 2014-02-14T20:27:33.423 に答える