問題タブ [dcos]

DC/OS はオフライン環境で実行できますか?

オフライン環境でのインストールが成功した後、ログイン Web 画面が開かず、次のメッセージが表示されました

The server refused the connection。

DCOS Web インターフェイス経由でパッケージ自体をインストールした後、「dcos spark」などのパッケージ cli コマンドをインストールする方法を知っている人はいますか? どうも。

DC/OS は、 confluent 2.0の Schema-registry および Rest-Proxy コンポーネントを実行しません。apache-kafkaMarathon 経由で DC/OS 1.7のパッケージを含む Confluent 2 を起動しました。Marathonアプリの仕様も参照してください。私が理解しているように、Marathon はスクリプトを介して (Marathon アプリの仕様を参照)kafka-scheduler.jarから実行されます。kafka-scheduler.zipどのコンポーネントを実行するか、代わりに のソースを指定できるオプションが見つかりませんでしたkafka-scheduler.jar。

DC/OS クラスターで 3 つのマスターを再起動した後、DC/OS ダッシュボードに接続されているノードが 0 と表示されます。ただし、DC/OS cli からは、6 つのエージェント ノードがすべて表示されます。

dcos cli と Marathon GUI の両方から Marathon でタスクをスケジュールすることはできますが、それらは適切にスケジュールされ、エージェントで実行されます。また、:5050 の mesos インターフェースから、スレーブ ページですべてのエージェントを見ることができます。

エージェント ノードとマスター ノードを再起動しました。また、DC/OS GUI インストーラーを再実行し、プリフライト チェックを実行しましたが、もちろん「既にインストールされています」というエラーで失敗します。

ノードをアンインストール/再インストールする以外に、DC/OS GUI でノードを再登録する方法はありますか?

DCOS で spark-notebook をセットアップしました。タキオンは生態系の一部です。しかし、Tachyon をインストールするための DCOS 方法の説明は見つかりませんでした。最初からインストールすることもできますが、サービスをインストール/登録するための DCOS 準拠の方法があるようです。

どうも。J

DC/OS on AWS で実行されるストリーミング ジョブがあります。初めてジョブを実行し、チェックポイント フォルダーを AWS S3 に指定すると、すべてがうまくいきます。

停止してから再度開始すると、ストリーミングがチェックポイントから回復することを期待していますが、次のエラーが発生します。

エラー SparkContext: SparkContext の初期化中にエラーが発生しました。java.lang.Exception: spark.executor.extraJavaOptions は Spark オプションを設定できません ('-Dspark.mesos.executor.docker.image=mesosphere/spark:1.0.0-1.6.1-2' でした)。./bin/spark-submit を使用する場合は、SparkConf またはプロパティ ファイルで直接設定します。

https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/RecoverableNetworkWordCount.scalaの例を使用して、回復可能なストリーミングを設定しました。

チェックポインティングのための S3 への接続: Spark Streaming checkpoint to amazon s3

思われる問題は、チェックポイント ファイルからスパーク コンテキストを再作成するときに、spark.mesos.executor.docker.imageプロパティを変更しようとすることですが、これをまったく設定していません。

私のスパーク構成は非常に単純で、次のようになります。

誰かが同様の問題に遭遇しましたか。

編集済み

これらすべての方法でspark confを設定しようとしました：

しかし、同じエラーが表示されます。

編集済み 2

ローカルの開発マシン (独自の SMACK スタックのインストール) で同じ AWS S3 チェックポイント構成をテストしたところ、ストリーミングが正しく回復しました。これは、DCOS Spark のパラメーターとプロパティにエラーがあることを意味します。

JIRA の問題も提出しました: https://dcosjira.atlassian.net/browse/DCOS-131

DC/OS をインストールしようとしていますが、オンプレミスで問題に直面しています

以下はエラーログです

エラーログで示唆されているように、「systemctl status dcos-setup.service」と「journalctl -xe」を調査しましたが、実際の原因を特定できませんでした

あなたの助けは非常に高く評価されています!!!...ありがとう

Spark、Spark Jobserver、および Mesosphere の DC/OS について、明らかに理解できないことがたくさんあります。しかし、私は Jobserver プロジェクトがとても好きで、DC/OS クラスターもとても好きで、一緒に動かしたいと思っています。

この例のように、Docker コンテナーを marathon ファイルにスローしても機能しません。これはすべて、渡す SPARK_MASTER の URL がわからないためだと思いました (まだわかりませんが、そこにある助けをいただければ幸いです)。しかし、マラソン ファイルからそれを削除しようとしましたが、それでも実行されるはずです。ローカルモードでプロジェクトを実行し、それも機能しません。これにより、このジョブサーバーを DCOS Spark ディスパッチャーに接続する方法がわからないだけでなく、この Docker コンテナーがクラスターでは失敗するのに、ローカル マシンでは失敗する理由がわかりません。引数。

私のログはあまり表示されず、Docker コンテナは stdout で次のように 137 のステータスで終了します。

これは、ローカルで実行すると、log4j を stdout に実行し続ける前の最後のログであり、jobserver が起動していることを通知します。stderr に次のように表示されます。

server_start.sh が spark jobserver docker から実行されており、そのスクリプトが何らかの理由で死んでいることを示唆しているように見えるのはどれですか?

マラソンファイルをこれまで削除しましたが、それでも同じエラーが発生します。

どんな助けでも大歓迎です。