問題タブ [apache-arrow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
332 問題
0
投票する
0
に答える
312
参照
python - python ray - pyarrow.lib.ArrowInvalid:最大サイズを超えました(2GB)
ray を使用して大きなファイルを読み込んで処理しようとしています。
ファイルをマルチプロセッシングし、ソリューションの速度を向上させる目的で ray を使用しています。
この pyarrow エラーが発生し続けます: pyarrow.lib.ArrowInvalid: Maximum size exceeded (2GB)。プラズマオブジェクトストアと関係があるようです。
huge_pages を使用してプラズマ ストアにマウントし、初期化時にレイ オブジェクト ストアのサイズを大きくしようとしました。
どんな助けでも素晴らしいでしょう。