問題タブ [shark-sql]

このページによると: https://spark.apache.org/sql/ ODBC または JDBC 経由で既存の BI ツールを Spark SQL に接続できます。

これは基本的にEOLであるため、サメを意味するものではありません。

このため、私たちは Shark での開発を別のプロジェクトとして終了し、すべての開発リソースを Spark の新しいコンポーネントである Spark SQL に移しています。

BI ツール (Tableau など) は、ODBC 経由でサメの SQL にどのように接続しますか?

私は持っていて、次のJavaPairRDD<String, String> resultsように呼び出して保存します：

次に、次のようなファイルのコンテンツを取得します。

ここで、Shark を使用して次のような 3 つのフィールドを持つテーブルを作成します。

どうやってやるの？

この2つについて非常に混乱しています。サメはハイブと同じで、100倍高速で、スパークで動作することを知っています。スパークとサメの主な違いを知りたいです。どちらがより速いという意味です。

スパークを使用する必要があるとき、またはサメが必要なとき?????

SHARKクエリをSPARKに移行します。

以下は、group by 句で関数を使用するサンプルのSHARKクエリです。

これと同じクエリがSPARK sql で機能しないため、以下のエラーが発生します。

エラー: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: 式が GROUP BY にありません。

ソリューションの一部として、以下の SPARK クエリを使用しています。これは機能していますが、コードの変更が必要です。それは私の既存のプロジェクトに大きな影響を与えます。したがって、誰もが最小限の影響でより良いソリューションを手に入れることができます。

Hive 0.9 のテーブルに重複がある場合、ブール値を返したいと思います。今のところ、これを行っています。

しかし、これは私にエラーを与えます:

「'where''v'''付近の入力を認識できません。」サブクエリ ソース [DB エラーコード = 11] で "

どこが間違っているのか、ここで何が欠けているのかわかりません!