問題タブ [distcp]

distcp ジョブを実行すると、次の問題が発生します。ほぼすべてのマップ タスクが成功としてマークされますが、Container kill というメモが表示されます。

オンライン インターフェースでは、マップ ジョブのログに次のように表示されます。 Progress 100.00 State SUCCEEDED

ただし、注の下には、ほぼすべての試行 (〜 200) に対して、ApplicationMaster によってコンテナーが強制終了されたと表示されます。ApplicationMaster によってコンテナーが強制終了されました。コンテナは要求に応じて殺されました。終了コードは 143 です

試行に関連付けられたログ ファイルに、Task 'attempt_xxxxxxxxx_0' done というログが表示されます。

stderr 出力は、すべてのジョブ/試行に対して空です。

アプリケーション マスター ログを見て、成功した (ただし強制終了された) 試みの 1 つをたどると、次のログが見つかります。

「mapreduce.map.speculative=false」を設定しました!

すべての MAP タスクは SUCCEEDED (distcp ジョブに REDUCE がありません) ですが、MAPREDUCE が長時間 (数時間) 続くと、成功して distcp ジョブが完了します。

「糸のバージョン」= Hadoop 2.5.0-cdh5.3.1 を実行しています

これについて心配する必要がありますか？そして、コンテナが殺される原因は何ですか? どんな提案でも大歓迎です！

2 つの異なるHadoopクラスター間でdistcpコマンドを実行しているときに問題に直面しています。

原因: java.io.IOException: source:hdfs://ip1/xxxxxxxxxx/xxxxx と target:hdfs://nameservice1/xxxxxx/.distcp.tmp.attempt_1483200922993_0056_m_000011_2 の長さが一致しません

-pb と -skipcrccheck を使用してみました:

しかし、何も機能していないようです。

解決策をお願いします。

次のコードを使用して、distcp を介して hdfs から s3 に巨大なファイルをコピーしようとしています。

このリンクに似たようなことをしようとしました。

誰かが以前にこれをやった、助けてください。

一部の HDFS ファイルを運用クラスターから開発クラスターに移動する必要があります。ファイルの変更時間に基づいて、開発クラスターに移動した後、HDFS ファイルでいくつかの操作をテストする必要があります。dev でテストするには、異なる日付のファイルが必要です。

DISTCPでやってみましたが、その中でModification timeが現在時刻で更新されています。ここで見つけた多くのパラメーターを使用して Distcp をチェックしましたdistcp version2 ガイド

変更時間を変更せずにファイルを取得する他の方法はありますか? または、ファイルを hdfs に取得した後、変更時間を手動で変更できますか?

前もって感謝します

セキュリティで保護されていない HDFS クラスターから kerberized クラスターにファイルを転送したいと考えていました。distcp を使用してファイルを転送しています。次のコマンドを使用しました。

kerberized クラスターで上記のコマンドを実行した後、次のエラーが発生します。