問題タブ [distcp]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hadoop distcp 例外
dictcp を使用して CDH4 から CDH5 にデータをコピーしています。CDH5 宛先 namenode でコマンドを実行すると、次の例外が発生します。すでに問題に遭遇したことがあり、解決策を知っている場合はお知らせください。ありがとう。
hadoop - hadoop distcp が機能しない、MR ジョブが受け入れられた状態にある
CDH4 から CDH5 クラスターにデータをコピーしようとしています。CDH5 から distcp ジョブを送信すると、MR ジョブは受け入れられた状態になり、そこに留まります (複数回試しましたが、15 時間以上留まりました)。コピーしたいデータは 10MB 未満です。
以下は、私が使用しているセットアップと手順です。
ソース: CDH4、例 NodeName = cloudera4 宛先: CDH5、例 NodeName = Cloudera1
CDH5 で使用されるコマンド: hadoop distcp hftp://Cloudera4:50070/ hdfs://Cloudera1/
以下はコンソール出力です。
この MR ジョブは永久に Accepted 状態のままです。
私は何日もの間これにこだわっています。本当にありがとうございました。
hadoop - distcp - HDFS ファイルのアクセス実行許可エラー
2 つの異なるクラスター間で distcp を実行しています。私は選択的に行っているので、ファイル単位で行います。両方のクラスターの権限は同じです。distcp を実行しているユーザーは同じです (例では xxx という名前です)。コピー中に問題が発生しました。ファイルの実行許可が必要です。
xxx は私のユーザーです。
宛先クラスター内のファイルには rw-r--r-- 権限が設定されており、フォルダーには rwxr-xr-x が設定されています。元のクラスターのファイルには rw-r--r-- 権限が設定されており、フォルダーには rwxrwxrwx が設定されています。
したがって、ファイルには実行権限が設定されていないのは事実です。
しかし、distcp がファイルの実行許可を要求するのはなぜですか? HDFS では、おそらく、ファイルの実行許可は効果がありません。 Distcp のドキュメントには、実行権限の要求については何も書かれていません。
注: distcp で -overwrite オプションを使用しています - 他には何もありません。distcp バージョン 1 で CDH4.2.1 を使用します。
hadoop - distcp2 の呼び出しが成功したかどうかを判断するにはどうすればよいですか?
私がオンラインで見つけることができる最善のアドバイスは、転送後にファイルを比較するか、-update を使用して 2 回目の実行を行う必要があるということです。2 回目は信頼できないと見なされます。
呼び出しが例外なく返されたかどうかを判断する方法はありますか?