apache-spark - スパークでリサイクルサーバーを起動する

Question

Spark Thriftサーバーの起動を手伝ってくれる人はいますか? スクリプトをスタンドアロン モードで実行しており、ビジネス インテリジェンス ツールでデータを取得したいと考えています。

そのためには、thrift サーバーを起動する必要があります。シェルスクリプトを実行してみました：

$SPARK_HOME/sbin/start-thriftserver.sh

しかし、私はエラーが発生します:

エラー「ps 不明なオプション --0」

Answer 1

Spark 2.2.1 で

cd %SPARK_HOME%\bin
spark-class org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 spark-internal

これにより、Windowsでspark Thriftサーバーが起動しました。別のターミナルで以下の beeline コマンドを実行して、jdbc 接続を開きます

cd %SPARK_HOME%\bin
beeline -u jdbc:hive2://localhost:10000

Answer 2

スクリプトはsbin/Linux では正常に動作しますが、Windows で実行する準備ができていません ( Windowsで Spark のマスターを起動できませんでした を参照してください)。ただし、spark thriftserver は、次のコマンドを使用して、OS から独立してフォアグラウンドで起動できます。

java -cp conf/:jars/* org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 spark-internal

次に、spark で提供される beeline を使用して接続をテストできます。

$ ./bin/beeline -u jdbc:hive2://localhost:10000
Connecting to jdbc:hive2://localhost:10000
16/11/22 13:09:57 INFO Utils: Supplied authorities: localhost:10000
16/11/22 13:09:57 INFO Utils: Resolved authority: localhost:10000
16/11/22 13:09:57 INFO HiveConnection: Will try to open client transport with JDBC Uri: jdbc:hive2://localhost:10000
Connected to: Spark SQL (version 2.0.1)
Driver: Hive JDBC (version 1.2.1.spark2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 1.2.1.spark2 by Apache Hive
0: jdbc:hive2://localhost:10000> show databases;
+---------------+--+
| databaseName  |
+---------------+--+
| default       |
| elo           |
+---------------+--+
2 rows selected (0,26 seconds)