ray を使用して大きなファイルを読み込んで処理しようとしています。
ファイルをマルチプロセッシングし、ソリューションの速度を向上させる目的で ray を使用しています。
この pyarrow エラーが発生し続けます: pyarrow.lib.ArrowInvalid: Maximum size exceeded (2GB)。プラズマオブジェクトストアと関係があるようです。
huge_pages を使用してプラズマ ストアにマウントし、初期化時にレイ オブジェクト ストアのサイズを大きくしようとしました。
どんな助けでも素晴らしいでしょう。