問題タブ [spark-java]

Java 用の素敵な小さな Web リクエスト フレームワークであるSparkに出会いました。API は素晴らしく有望に見えますが、ライブラリ バンドル自体はかなり奇妙です。スナップショット成果物を依存関係として使用することを提案しているという事実はそのままにしておきます。ロギングに log4j を使用するという事実 (最近のライブラリは jcl または slf4j を使用する傾向があります) と System.out.println を時々使用するという事実はそのままにしておいてください。ただし、独自の log4j.properties が spark-xxx.jar にバンドルされています。クラスパスに log4j.properties が確実に存在するのに、なぜ私のプロジェクトが log4j 構成について不平を言うのかを調査するのに 1 時間かかりました。-Dlog4j.debug=true で答えが得られ、log4j は、spark jar から log4j.properties をロードしたことを告白しました。

これ（ライブラリであり、log4jを使用し、log4j.propertiesをバンドルする）に何らかの動機があるのか​​ 、それとも単に不十分なのか疑問に思います.

Mavenを使用してEclipseでSparkプロジェクトを開始したいと思います。m2eclipseをインストールし、MavenプロジェクトにHelloWorldJavaアプリケーションが動作しています。

Sparkフレームワークを使用したいのですが、公式サイトの指示に従っています。Sparkリポジトリを自分のpom.xml：に追加しました

そして、依存関係：

しかし、Eclipseでエラーが発生します。

この問題を解決するにはどうすればよいですか？Sparkのjarファイルをダウンロードしてローカルリポジトリに配置したくありません。

これは私のpom.xmlファイルです：

この質問が頻繁に聞かれることは知っていますが、そこにある解決策は古いバージョンのMavenにあるようです。

私が実行しているバージョン：

私が使用しているpom.xml：

私は実際にこれまでMavenを使用したことがなく、Sparkプロジェクトの指示に従ってSparkタスクをコンパイルしようとしています。pom.xmlは以下から直接削除されました：

問題は<plugins>誰かがそれを修正する方法を教えてもらえますか？

Cargo プラグインを使用してリモート Tomcat サーバーにデプロイしようとしている Spark フレームワークを使用する Java/Maven Web アプリを持っています。Java を使用してこれを行ったことがなく、静的ファイルを扱うのに苦労しています。私の爆発した戦争のディレクトリ構造は次のとおりです。

アプリ名

-- メタ-INF

- 公衆

---- 画像.jpg

---- html

------ Index.html

-- WEB-INF

次のコードを使用すると：

画像をうまくレンダリングできます。domain.com:8080/app-name/public/image.jpg と domain.com:8080/app-name/public/html/Index.html に移動して、画像と html ファイルの両方にアクセスすることもできます。を使用してhtmlをレンダリングしようとしています...

FileNotFoundException で行き詰まります。localhost で正常に動作します (レンダリング機能も動作します)。リモート サーバーで Index.html ファイルが見つかりません。

Sparkに精通している人は、実際にはそれほど多くの例がないことを知っています。私は、自分が正しい軌道に乗っているというイメージを示すことで、それを望んでいました。誰にも提案はありますか？どういうわけかクラスパスの問題に違いないと思いますが、今はちょっと困惑しています。最も関連性の高いスニペットのみを示しました。必要に応じてもっと投稿できます！

編集:例外は次のとおりです。

Spark マスターとワーカーを開始し、HDFS で wordcount のような MapReduce を簡単に実行できます。

テキストストリームでストリーミングを実行したいのですが、新しい StreamingContext を作成しようとすると、次のエラーが発生します。

ポートを確認したところ、Java で使用されていました。プロセスを強制終了し、Spark-shell から抜け出しました。

StreamingContext のポートをランダムな空きポートに変更する方法はありますか?

Spark (Java のフレームワーク) を使用してクライアントから送信されたデータを読み取る必要があります。

これは、クライアントの投稿リクエストのコードです。jQueryを使用しています。

サーバーのコード:

Spark を使用しているので、ルートを定義するだけです。クライアントから送信されたデータをデータベースに保存したいのですが、すべての属性が null です。

このやり方は正しくないと思います。送信されたデータを読み取るにはどうすればよいですか?

ジャバ:

このコードを実行すると、localhost:4567で次のエラーが発生します。

例はhttp://youtu.be/UH-VD_ypal8から取られています