PySpark ジョブを送信するときに --jars PySpark 送信オプションを指定できるようにしたいと考えています。ただし、このオプションはサポートされていません。代替手段はありますか？
1 に答える
1
この問題を提起していただきありがとうございます。必要なフラグをまだ配線していないバグを発見したようです。その意図は--jars、コンソール GUI と の両方で利用可能なオプションを提供するgcloud beta dataproc jobs submit pysparkことであり、数週間以内に次のマイナー リリースで修正を展開できることを願っています。
/usr/lib/hadoop/lib/それまでの間、マスター ノードやワーカー ノードに任意の jar ファイルの依存関係を単純にダンプしてみることができます。初期化アクションを使用して、クラスターのデプロイ時に jar ファイルのダウンロードを自動化すると、クラスターのクラスパスで利用できるようになります。 Spark (および Hadoop) ジョブを自動的に実行します。
于 2015-09-29T23:40:54.597 に答える