問題タブ [dask-distributed]

das クラスターに新しいノードを追加し、conda を使用してすべての依存関係をインストールしました。インストールは、すべての dask ノードでパッケージとバージョンの点で類似しています。

ただし、新しいノードでのタスクは次のエラーで失敗します:

[ worker .... ] : distributed.worker - 警告 - タスクを逆シリアル化できませんでした

他のすべてのノードは正常に動作します。参考までに: すべてのノードに高速な寄木細工がインストールされています。

何か不足している場合はお知らせください。

Dask Distributed Client を使用すると、次のような変数を簡単に取得できます。

しかし、存在しないキーでこれを行うと:

5秒後に私に与えます：

タイムアウトに頼らずに変数が存在するかどうかを事前に確認することはできますか?

よろしく、 ニクラス

HDFS の寄木細工のファイルから作成された dask データフレームがあります。api: set_index を使用して設定インデックスを作成すると、以下のエラーで失敗します。

ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/dask/dataframe/shuffle.py"、64 行目、set_index 部門、サイズ、最小値、最大値 = base.compute (区分、サイズ、最小、最大) ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/dask/base.py"、206 行目、計算結果 = get( dsk, keys, **kwargs) ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/distributed/client.py"、1949 行目、get results = self.gather 内(packed, asynchronous=asynchronous) File "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/distributed/client.py", line 1391, in gather asynchronous=asynchronous) File " /ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/distributed/client.py"、561 行目、同期で return sync(self.loop, func,*args, **kwargs) ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/distributed/utils.py"、241 行目、同期 six.reraise(*error [0]) ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/six.py"、693 行目、リレイズ レイズ値ファイル "/ebs/d1/agent/ conda/envs/py361/lib/python3.6/site-packages/distributed/utils.py", line 229, in f result[0] = yield make_coro() File "/ebs/d1/agent/conda/envs/ py361/lib/python3.6/site-packages/tornado/gen.py"、1055 行目、実行値 = future.result() ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3. 6/site-packages/tornado/concurrent.py"、238 行目、結果 raise_exc_info(self._exc_info) ファイル内 ""、4 行目、raise_exc_info ファイル内 "/ebs/d1/agent/conda/envs/py361/lib/ python3.6/site-packages/tornado/gen.py", line 1063, in run yielded = self.gen.throw(*exc_info) File "/ebs/d1/agent/conda/envs/py361/lib/python3.6/ site-packages/distributed/client.py"、1269 行目、_gather traceback 内) ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/six.py"、692 行目、 reraise raise value.with_traceback(tb) ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/dask/dataframe/io/parquet.py"、144 行目_read_parquet_row_group open=open、assign=views、scheme=scheme) TypeError: read_row_group_file() が予期しないキーワード引数 'scheme' を取得しましたpy」、1269 行目、_gather traceback 内) ファイル「/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/six.py」、692 行目、リレイズ中 raise value.with_traceback( tb) ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/dask/dataframe/io/parquet.py"、144 行目、_read_parquet_row_group で open=open、assign=views 、scheme=scheme) TypeError: read_row_group_file() が予期しないキーワード引数 'scheme' を取得しましたpy」、1269 行目、_gather traceback 内) ファイル「/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/six.py」、692 行目、リレイズ中 raise value.with_traceback( tb) ファイル "/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/dask/dataframe/io/parquet.py"、144 行目、_read_parquet_row_group で open=open、assign=views 、scheme=scheme) TypeError: read_row_group_file() が予期しないキーワード引数 'scheme' を取得しましたscheme=scheme) TypeError: read_row_group_file() が予期しないキーワード引数 'scheme' を取得しましたscheme=scheme) TypeError: read_row_group_file() が予期しないキーワード引数 'scheme' を取得しました

このエラーの理由と修正方法を教えてください。