apache-spark - Query : Spark SQL の Beeline インターフェイス

Question

Beeline スクリプトは、Spark/bin にある HiveServer2 に接続する方法の 1 つです。

以下のように簡単なクエリを実行しました。

出力では、Map-Reduce が起動されていることがわかります。

従来の map-reduce 実行フレームワークに従っているため、Spark のビーライン機能の利点を理解しようとしていますか?

ビーラインでSpark RDD機能を使用できますか?

前もって感謝します。

Answer 1

Beeline は Spark の一部ではありません。

これは単なる HiveServer2 クライアントです。

Spark シェルを起動してシェル内でクエリを実行できますが、これは Beeline とは関係ありません。Beeline は Spark とは何の関係もありません。

Answer 2

これは 1 つの方法です。Mapreduce を使用したくない場合は、エンジンとして使用できます。これはTEZ、メモリ内で MR よりも高速に実行されます。

SET hive.execution.engine=tez;

ただし、spark ifrom beeline を実行することはできません。これは、hiveserver2 に接続するスタンドアロン アプリケーションです。

Answer 3

@MondayMonkeyが言ったことに追加します。Beeline は Spark エンジンの一部ではありません。これは、Spark の Thriftserver (JDBC サーバー) に接続する単なる JDBC クライアントです。Beeline は、Spark SQL とやり取りするための SQL インターフェイスを提供します。