問題タブ [livy]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
maven - 「mvn clean package」を使用して Livy をビルドすると、リポジトリで jar が見つからない
私はLivyの初心者で、公式が言ったようにLivyを構築しています。コマンドは次のとおりです。
次に、次のようなエラーが発生します：</p>
[エラー] プラグイン org.apache.maven.plugins:maven-enforcer-plugin:1.4.1 またはその依存関係の 1 つを解決できませんでした: org.apache.maven.plugins:maven-enforcer-plugin:jar が見つかりません: http://repo.maven.apache.org/maven2の1.4.1 が ローカル リポジトリにキャッシュされました。解決は、中央の更新間隔が経過するか更新が強制されるまで再試行されません ->`
をきれいに~/.m2/して使用しますmvn -U clean packageが、これも失敗しました。誰でも私を助けることができますか？ありがとうございました
c# - C#を使用してPySparkステートメントを生成するベストプラクティス?
ある時点で Apache Spark クラスターと通信する ASP.Net Web API を作成しています。
通信は、REST API インターフェイスと私が作成した HTTP クライアントを公開する Spark クラスター上のLivyサーバーを使用して確立されます。
私のビジネス ロジックでは、spark にジョブとして送信される操作を定義する必要があります。今のところ、Livy PySpark セッションを作成し、PySpark コードを送信します。
PySpark コードは、Web API のロジックによって生成されます。コード生成の例として、Python モジュールをインポートする場合は、次のようにします。
これは私には非常に間違っており、繰り返しているようです。
私の質問: インタープリター (Livy) 構文エラーの可能性を最小限に抑えるようなコード文字列を生成するための堅牢な方法 (または設計パターン) はありますか?
apache-spark - livi サーバーは、認証が有効になっている Spark クラスターへの接続に失敗します
3 ノードの Spark 2.1.1 スタンドアロン クラスターを実行していspark.authenticate=trueますが、Livy サーバーが接続に失敗します。これが私の一部です livy.conf
ログでは、何らかの理由でセキュリティが次のように宣言されていることがわかりますDISABLED 。これがこのエラートレースにつながると思います...
PS。単一ノード環境で同じことをテストしたところ、問題なく動作するようです。
ありがとう。