問題タブ [sequencefile]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hadoop シーケンス ファイル コレクション
レデューサー (Text キーと Iterable MapWritable 値を持つ) は、キーのグループ化を維持するために、すべての Map をシーケンス ファイルに出力するにはどうすればよいでしょうか? たとえば、マッパーが次のようなレデューサーにレコードを送信するとします。
シーケンスファイルを次のように記述したいと思います。
Writable を実装するカスタム値出力クラスを作成する必要があると推測していますが、私が知る限り、コレクションは実際にはシーケンス ファイルで機能しないため、これを行う方法がわかりません。次の map/reduce ステージで、各キーに関連付けられたすべてのマップを 1 つの単位として読み取るように、これを行いたいと思います。
ティア、
java - Hadoop のシーケンス ファイル形式でのキーと値のペアの書き込み/読み取り。
現在、すべての出力がテキスト ファイルにある mapreduce プログラムがあります。プログラムのサンプルを以下に示します。どうすればよいかわかりませんが、リデューサーからキーと値のペアをシーケンスファイル形式で出力することです。 いいえ、hadoop 0.20 ライブラリを使用しているため、SequeceFileFormat 指定子を使用できません
それで、私は何をしますか？以下はサンプルです wordcount プログラムは、私の大きなプログラムのほんの一部です。1つでそれを行う方法を知っていれば、残りでそれを行うことができます. 助けてください。 ワードカウントリデューサー
}
これを実行するメイン プログラムは次のとおりです (マッパーやその他の関係のない詳細は省きました)。
テキスト ファイルをシーケンス ファイルに変換する方法を知っています。私は反対のことをする方法を知っています。それはここでは問題ではありません。Hadoop プログラムで実際にこれを行う例が見つからなかったため、行き詰まっています。
したがって、私が望む出力は、このプログラムがキーと値のペアをテキスト ファイルではなくシーケンス ファイルに書き込むことです。
マッパーでシーケンスファイルを読み込む方法も知りたいです
どんな助けでも大歓迎です。
java - Mahout : シーケンス ファイルに変換できません
いくつかのテキスト ファイルを mahout シーケンス ファイルに変換しようとしています。私もです
しかし、私はいつもこの例外を受け取ります
Hadoop 2.2.0 で Mahout 0.8 を実行しています
何か案は ？
java - Hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z
map-reduce ジョブから、snappy ブロック圧縮シーケンス ファイルを書き込もうとしています。Hadoop 2.0.0-cdh4.5.0 と snappy-java 1.0.4.1 を使用しています。
これが私のコードです：
実行すると、次のようになります。
これらの行をコメントアウトすると、テストに合格します。
ただし、シーケンス ファイルでスナッピー圧縮を使用したいのです。誰かが私が間違っていることを説明してもらえますか?
image - Hadoop sequenceFile から元の画像を取得する際のエラー
まず、すべての画像を Hadoop sequenceFile にパックします。
次に、リデューサーで元の画像をシーケンス ファイルから取得したいと考えています。
しかし、次のエラーがあるため、画像が正しく取得されません。
私の質問は、hadoop でシーケンス ファイルから元の画像を取得する方法ですか?