クラスターで非常に奇妙な問題に直面しています。
100 MB (104857600 バイト) を超えるファイルを HDFS にロードしようとすると、次のエラーで失敗します。
すべてのデータノードが不良です... 中止します。
100 MB がファイルサイズのしきい値になっているため、これは非常に奇妙です。
ファイル サイズを 1 バイト (104857601 バイト) 増やして HDFS にロードしようとしても、長いスタック トレースで失敗します。主に「すべてのデータノードが悪い...中止しています」と言っています
誰かが以前に同様の状況に直面したことがありますか?
この動作の原因となった誤った構成変更がある可能性はありますか? はいの場合、変更できる取り込み可能なデータのサイズを制限する構成はありますか?
ありがとう
「以前に似たような状況に直面した人はいますか？」
はい、ありました。hadoop を実行するユーザーの制限を減らす必要があります。Hadoop を Apache Web サイトからダウンロードして Linux ボックスにインストールしましたが、システムが調整されていませんでした。あなたのメッセージを受け取りました。これらは cloudera クイック スタートの設定です。制限をこれらと比較してください。
[cloudera@quickstart ~]$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 30494
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 1024
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited