4

こんにちは、pywebhdfs python lib を使用しています。HDFSでファイルを呼び出して作成しようとすることで、EMRを接続しています。ここでは接続制限に達していないため、実行していることとは無関係と思われる例外を下回っています。それはwebhdfsの仕組みによるものですか

from pywebhdfs.webhdfs import PyWebHdfsClient
hdfs = PyWebHdfsClient(host='myhost',port='50070', user_name='hadoop')
my_data = '01010101010101010101010101010101'
my_file = 'user/hadoop/data/myfile.txt'
hdfs.create_file(my_file, my_data)

スロー:

requests.exceptions.ConnectionError: HTTPConnectionPool(host='masterDNS', port=50070): URL で最大再試行回数を超えました: /webhdfs/v1/user/hadoop/data/myfile.txt?op=CREATE&user.name=hadoop (原因: NewConnectionError(': 新しい接続の確立に失敗しました: [Errno 115] 操作が進行中です',))

4

4 に答える 4

0

私もこの問題を抱えていました。何らかの理由で次の呼び出しが行われていることがわかりました。

send(self, request, stream=False, timeout=None, verify=True, cert=None, proxies=None):

0 のタイムアウトが渡されるため、sendは

MaxRetryError

要するに、タイムアウト = 1 を設定するだけで問題なく動作することがわかりました。

hdfs = PyWebHdfsClient(host='yourhost', port='50070', user_name='hdfs', timeout=1)

これがあなたにとってもうまくいくことを願っています。

于 2016-03-19T06:04:02.400 に答える