問題タブ [apache-arrow]

pyarrow を接続して hdfs の parquet ファイルを読み書きしたいのですが、接続の問題に直面しています

pyarrow と python pandas をインストールしました。リモート マシンで hdfs に接続しようとしています。

参照リンク - https://towardsdatascience.com/a-gentle-introduction-to-apache-arrow-with-apache-spark-and-pandas-bb19ffe0ddae

エラー メッセージ

クライアントのブラウザのインメモリにデータが保存されています。たとえば、データセットが次のようになっているとします。

このデータに対して、次のような重要な SQL ステートメントを JavaScript で実行したいと考えています。

そして、私は得るでしょう：

私が javascript で持っているデータは apache Arrow ( Perspectiveとの関連でも使用されます) として保存され、その apache Arrow データでも SQL を実行したいと思います。最後の手段として、 wasm で sqlliteを使用することは可能だと思いますが、すべてを sqllite ストアに移動することなく、Arrow データを直接クエリできる、より簡単な方法があることを願っています。それに対してクエリを実行します。

これを行う方法はありますか？

WindowsオフラインでApache Arrowを構築しようとしています。Web サイトの指示に従って、すべての依存関係をダウンロードし、環境変数を設定しました。

次のコマンドを使用してビルドを実行しています。

私の変数は次のように設定されています：

これを実行すると、rapidjson ヘッダー ファイルが見つからないという次のエラーが表示されます (上記のリストに存在する場合でも)。

ソース コードの横に Rapidjson ヘッダー ファイルを手動でコピーすることで、これを回避することができました (理想的には、これを行いたくないので、ビルド システムが自動的に取得します)。この手順の後でも、次のエラーが発生します。

これは、thrift が適切に構築されていないために発生しているようです。

これらのファイルがすべて見つからなかったのはなぜですか? また、Boost ライブラリへのパスが設定されていないのはなぜですか? 矢印自体を構築すると、Boost へのパスが自動的に解決されます。

これは、snappy や brotli などの他の依存関係が正常に構築されている間に発生しています。なぜこれが起こっているのですか？ここで Windows に欠けている依存関係はありますか?

どんな助けでも大歓迎です。