問題タブ [distcp]

hftp プロトコルで distcp を使用して、cdh3 および cdh4 からファイルをコピーしたいと考えています。コマンドは次のようになります。 hadoop distcp hftp://cluster1:50070/folder1 hdfs://cluster2/folder2

しかし、http connection errorjobtracker UIの一部が原因でジョブが失敗します

上記の例外により一部のファイルが失敗することを除いて、folder1 内のほとんどのファイルは folder2 にコピーされます。誰もが私と同じ問題を抱えていますが、この問題を解決するにはどうすればよいですか? 前もって感謝します。

DistCp を実行する方法はありますが、ファイル名の衝突時に名前を変更するオプションはありますか? 例を挙げて説明するのが最も簡単かもしれません。

hdfs:///foo から hdfs:///bar にコピーしていて、foo に次のファイルが含まれているとします。

バーには次のものが含まれます。

次に、コピーの後、バーに次のようなものを含めたいと思います:

そのようなオプションがない場合、これを行うための最も信頼できる/効率的な方法は何ですか? 私自身の自家製バージョンの distcp は確かにそれを行うことができましたが、それは多くの作業とかなりエラーが発生しやすいようです。基本的に、ファイル名は気にせず、ディレクトリだけを気にします。定期的に大量のデータを「統合」ディレクトリにコピーしたいと考えています。

S3 などのソースから HDFS に多数のファイルをコピーするアプリケーションがあります。アプリケーションは内部で apache distcp を使用し、ストリーミングを介してソースから個々のファイルを HDFS にコピーします。

個々のファイルはそれぞれ約 1GB で、1,000 列の文字列があります。すべての列をコピーすることを選択すると、次のエラーで書き込みが失敗します:-

ソースからHDFSに1つの大きなファイルを書き込むのに時間がかかりすぎることが原因だと思います。50、100、または 200 列のみをコピーするようにアプリケーションを変更すると、アプリケーションは最後まで実行されます。各行にコピーされる列の数が 200 を超えると、アプリケーションが失敗します。

ソースファイルを制御することはできません。

リースの有効期限を延ばすことについて何も見つけられないようです。

ポインタはありますか？

distcp によるクラスター内分散コピーを使用しようとしています -

/homeappl/home/user/hadoop-2.2.0/bin/hadoop distcp file:///wrk/user/random.file file:///wrk/user/output18

分散コピーの実行にかかる時間を調べるコマンドはありますか?

、、からのs3DistCpコピーに使用しようとしています。s3://my-bucket/dir1/s3://my-bucket/dir2s3://my-bucket/dir3

そして、3 つのすべての DIR にはいくつかのファイルが含まれています。次のようなことをしたかった：

しかし、それは次のようなエラーを生成します:

「s3://my-bucket/*/」ディレクトリが見つかりません...

ではs3DistCp、パスにワイルドカードを使用しないということですか? 回避策やアイデアはありますか？

以下のコマンドを使用して、1 つの Hadoop クラスター (バージョン 0.20.2) から別の Hadoop クラスター (バージョン 2.2.0) に distcp を実行しています。

そのため、帯域幅の使用率は送信元から送信先までである必要があります。ただし、ソースから宛先へのネットワーク使用率よりも、宛先からソースへのネットワーク使用率が高くなります。

hadoop distcp -bandwidth 指定:

それで、それは何を抑制しますか。