問題タブ [apache-arrow-plasma]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - python ray - pyarrow.lib.ArrowInvalid:最大サイズを超えました(2GB)
ray を使用して大きなファイルを読み込んで処理しようとしています。
ファイルをマルチプロセッシングし、ソリューションの速度を向上させる目的で ray を使用しています。
この pyarrow エラーが発生し続けます: pyarrow.lib.ArrowInvalid: Maximum size exceeded (2GB)。プラズマオブジェクトストアと関係があるようです。
huge_pages を使用してプラズマ ストアにマウントし、初期化時にレイ オブジェクト ストアのサイズを大きくしようとしました。
どんな助けでも素晴らしいでしょう。
python - プラズマの残りのメモリを取得する Python API はありますか?
私はプラズマに比較的慣れていません。Python API を使用してクライアントに接続した後に質問したいのですpyarrow.plasmaが、現在の Plasma オブジェクト ストアの残りの利用可能なメモリを見つける API はありますか? を使用client.list()するとすべてのオブジェクトを取得できるようで、各オブジェクトのサイズ情報があり、要約できます...しかし、もっと簡単な方法はありますか? データをプラズマに入れるときに、ストレージがいっぱいになると、以前のオブジェクトの一部が削除され、このログはコンソールにのみ表示されますよね? では、Python プログラムを実行しているときに、ユーザーはストレージがいっぱいで一部のデータが欠落していることに気付かないのでしょうか?
これについていくつかの指示を得ることを願っています！