問題タブ [hdfs]

私のhadoopジョブはHDFSで多数のファイルを生成し、これらのファイルをHDFSからS3にコピーする別のスレッドを作成したいと思います。

誰かがそれを処理するJavaAPIを教えてくれませんか。

ありがとう

ユーザーのローカルマシンからS3バケットへの写真のアップロードサービスを提供できる必要があるJava MapReduceアプリに取り組んでいます。

問題は、アプリを EC2 クラスターで実行する必要があるため、ファイルをコピーするときにローカル マシンを参照する方法がわかりません。メソッド copyFromLocalFile(..) には、EC2 クラスターとなるローカル マシンからのパスが必要です...

問題を正しく説明したかどうかわかりませんが、誰かが私の言いたいことを理解できますか?

ありがとう

Flumeを使用してHDFSにログを収集しています。テストケースでは、ログ収集プロセスが実際の使用に合わせてスケーリングされているため、小さなファイル（〜300kB）があります。

これらの小さなファイルをHDFSブロックサイズ（64MB）に近い大きなファイルに結合する簡単な方法はありますか？

Hadoop アーキテクチャの Namenode は単一障害点です。

大規模な Hadoop クラスターを使用している人々は、この問題にどのように対処していますか?.

プライマリ Namenode に障害が発生した場合にセカンダリ Namenode が引き継ぐ、業界で受け入れられているソリューションはありますか?

私はhadoopが初めてです。Hdfs から入力を取得し、リデューサーの出力を Hbase に書き込む MapReduce ジョブがあります。良い例が見つかりませんでした。

コードは次のとおりです。この例を実行する際のエラーは、マップ内の型の不一致です。ImmutableBytesWritable が IntWritable を受け取りました。

マッパークラス

レデューサークラス

私はHDFSでのみ同様の仕事をしていて、うまくいきました。

2013 年 6 月 18 日編集。大学のプロジェクトは 2 年前に成功裏に終了しました。ジョブ構成（ドライバー部分）については、正解にチェックを入れてください。

違いは何ですか

と

呼び方がわずかに異なるだけで、どちらも同じ働きをします。それらのいずれも、宛先の既存のファイルを上書きしません。それでは、2 つの異なるコマンド セットのポイントは何でしょうか?

最近、著者が Hbase と Hive の統合について言及しているブログを見つけました。これは可能でしょうか。可能であれば、両方を使用する利点は何ですか (パフォーマンスとスケーラビリティの観点から)。私が間違っていた場合は、親切に修正してください。

Hadoop DFS (HDFS)の DFSClient プロトコルと FileSystem クラスの違いは何ですか。これらのクラスは両方とも、リモート クライアントを HDFS の namenode に接続するために使用されます。そのため、それぞれの利点と、リモートクライアント接続に適しているのはどれかを知りたいと思いました。

ローカル ディレクトリ全体を HDFS にコピーできる HDFS API はありますか? ファイルをコピーするための API を見つけましたが、ディレクトリ用の API はありますか?

現在、非常に大きなデータセット（数十億）からデータを効果的に保存および取得する方法の問題に直面しています。私たちはmysqlを使用しており、システム、OS、raid、クエリ、インデックスなどを最適化しており、現在、先に進むことを検討しています。

データの問題を解決するためにどのテクノロジーを追求するかについて、十分な情報に基づいて決定する必要があります。私はHDFSでmap/reduceを調査してきましたが、HBaseについても良いことを聞いています。他にも選択肢があると思います。利用可能なテクノロジーとそれぞれのトレードオフの良い比較はありますか？

それぞれに共有するリンクがあれば、それもありがたいです。