hadoop - シャークとスパークのどちらがスピードに優れているか

Question

この2つについて非常に混乱しています。サメはハイブと同じで、100倍高速で、スパークで動作することを知っています。スパークとサメの主な違いを知りたいです。どちらがより速いという意味です。

スパークを使用する必要があるとき、またはサメが必要なとき?????

Answer 1

Spark は分散データ処理のフレームワークであり、Scala、Java、および Python でコードを記述できます。Shark は SparkSQL に名前が変更されました。これは、Spark 上のある種の SQL エンジンです。SQL クエリを記述し、Spark フレームワークを使用して実行します。

Spark プログラミング ガイドはこちら: https://spark.apache.org/docs/latest/programming-guide.html Spark SQL ガイドはこちら: https://spark.apache.org/docs/latest/sql-programming-guide.html

したがって、Spark SQL クエリを作成すると、Spark コードに変換されて実行されます。つまり、一般に、Spark SQL クエリと同じかそれ以上の速度で動作する Spark コードを作成できます。