問題タブ [spark-thriftserver]

以下のコマンドを使用して、Windowsで保護されたyarn-2.7.2でHive-1.2.1を使用してspark 1.5.2thriftサーバーを実行しています

以下の例外で停止しました、

これを解決する方法。

ありがとう。

ローカル環境で spark-2.0 thrift サーバーを起動しましたが、正常に動作しています。クラスター環境で試してみると、次の例外がスローされました。

アプリケーション マスター ログをチェックインする場合

Spark-defaults 構成:

Spark Thriftサーバーの起動を手伝ってくれる人はいますか? スクリプトをスタンドアロン モードで実行しており、ビジネス インテリジェンス ツールでデータを取得したいと考えています。

そのためには、thrift サーバーを起動する必要があります。シェルスクリプトを実行してみました：

しかし、私はエラーが発生します:

エラー「ps 不明なオプション --0」

4 ノード クラスタの各ノードの /etc/dse/spark/hive-site.xml に以下の変更を加えます。

spark thrift サーバーと spark-beeline クライアントが実行されるノードで以下の ENV 変数を設定します export AWS_SECRET_ACCESS_KEY=****
export AWS_ACCESS_KEY_ID=*****

以下のようにSparkスリフトサーバーを起動しました

ソースとして S3 バケットを使用して Spark Beeline からテーブルを作成しました

以下のエラーが表示されます

注: AWS キーは有効であり、他の Python スクリプトで動作しています。