問題タブ [snappydata]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python-2.7 - pyspark.sql.snappyインポートSnappyContextから - ImportError:snappyという名前のモジュールがありません
pyspark と snappydata を再インストールした後でも、以下のコードから pyspark.sql.snappy import SnappyContext をインポートしようとするたびに:
エラーが発生します：
助けてください！
pyspark - pyspark DF から辞書を作成する最速の方法
Snappydata と pyspark を使用して SQL クエリを実行し、出力 DF を辞書に変換して mongo に一括挿入します。Spark DF から Dictionary への変換をテストするために、多くの同様のクエリを実行しました。
現在、このメソッドを使用して、バルクDF を辞書map(lambda row: row.asDict(), x.collect())に変換しています。10K レコードの場合、2 ～ 3 秒かかります。
私は自分の考えをどのように実装するかを以下に述べました：
より速い方法はありますか？
apache-spark - SnappyData がサポートする Spark 構造化ストリーミング
私は SnappyData について学びました (そして、それに関するいくつかのビデオを見ました)。主に、パフォーマンスが通常のスパーク ジョブよりも何倍も高速である可能性があると述べている場合に興味深いと思われます。
次のコード (スニペット) は、SnappyData 機能を活用して、ジョブのパフォーマンスを改善し、同じ動作を提供できますか?