0

headこのマッピングは、最初の 100 行で呼び出すときに機能します。

ddf['val'] = ddf['myid'].map( val['val'] , meta=pd.Series(float) )

しかし、寄木細工に保存しようとすると:

ddf.to_parquet('myfile.parquet', 
               compression='snappy', 
               write_index=False,
               compute_kwargs={'scheduler':'threads'}
              )

エラーが表示されます: InvalidIndexError: Reindexing only valid with uniquely valued Index objects。

しかし、（パンダシリーズに変換した後）私のインデックスをチェックすると、それはユニークです：val.index.duplicated().any()is False. また、インデックスは、マップ先のデータフレーム列と同じセットです: myid. インデックスには null、nan、または None はありません。インデックスは int64 です。

更新:不思議なことに、元の ddf の各寄木細工のファイルを一度に 1 つずつロードすると、エラーにはなりません。一度に複数ロードするとエラーになります。

4

1 に答える 1