問題タブ [sbt-assembly]

build.scala ファイルを使用して sbt で構築された単一の scala プロジェクトがあります。sbt-assembly を使用して、このプロジェクトから単一の実行可能な jar ファイルを問題なく生成できます。ここで、複数の実行可能な jar ファイルを生成したいと考えています。各ファイルには、内部および外部の基本依存関係の共通セットと、さまざまな外部依存関係が含まれています。

これは現在のバージョンの sbt-assembly で可能ですか? maven では、pom で複数のプロファイルを定義し、それぞれが個別の jar を生成できるため、これは簡単ですが、sbt-assembly では、アセンブリ設定をプロジェクトに渡しますが、生成する設定を変更する方法がわかりません。複数のjarファイル。

sbtAmazon EMR で実行しようとして実行しようとしている単純な Hadoop ジョブを使用して、はるかに構築しようとしています。ただし、実行するsbt assemblyと次のエラーが発生します。

https://groups.google.com/forum/#!topic/simple-build-tool/tzkq5TioIqMの提案に従おうとしましたが、うまくいきませんでした。

私のbuild.sbtは次のようになります:

例を次に示しbuild.sbtます。

目標は、spark-core"provided"を使用して、それとその依存関係がアセンブリ アーティファクトに含まれないようにすることですが、run- および -test関連タスクのランタイム クラスパスにそれらを再インクルードすることです。

カスタム スコープを使用すると最終的には役立つようですが、実際にデフォルト/グローバル実行/テスト タスクでカスタム スコープを使用しlibraryDependencies、できればデフォルトをオーバーライドする方法がわかりません。私は次のことを試しました：

などは駄目です。

要約すると、これは本質的に、servlet-api が「提供された」スコープにあり、実行/テスト タスクが実際に実行中のコードに servlet-api を提供するサーブレット コンテナをフォークする Web ケースの一般化のように感じます。ここでの唯一の違いは、別の JVM/環境をフォークしていないことです。これらのタスクのクラスパスを手動で拡張し、「提供された」スコープを効果的に「元に戻す」ことを望んでいますが、アセンブリ成果物から依存関係を引き続き除外する方法で行います。

このマージ戦略でhttps://github.com/sbt/sbt-assemblyのsbtassembly を使用しています:

何らかの理由で、静的コンテンツが実行可能 jar に含まれていませんが、Web サービスは正常に動作します (動作します)。

index.html および javascript ファイルを含めるにはどうすればよいですか?

大きな Jar ファイルを作成したい。SBT ASSEMBLYを使用しようとしています。GitHubとこの回答から sbt-assembly をインストールしました。を実行するとsbt assembly、次のエラーが発生しました。

これを解決するために、私はユーザーの README ページに従いました。これは彼が提案するコードです。

このコードを追加した後でも、前述と同じエラーが発生します。私が欠けているものを教えてください。このエラーに関するヘルプをいただければ幸いです。ありがとう！

更新 2:

指定されたリンクに従って除外ルールを追加しました。

更新 3:

問題の原因となっているライブラリを特定できます。

更新 4: 修正

そのため、MergeStrategy を追加することで問題は解決しました。10 を超えるかなりの数の依存関係がありましたが、それぞれに MergeStrategy を追加すると、問題が個別に解決されました。

sbt-assemblyアーティファクトの公開に使用しています。しかし、アーティファクトをコードと依存パッケージに分割する構成を追加しました。

sbt-assembly ページの説明には、アセンブリを発行フェーズに追加する方法が記載されています。

ただし-assembly-0.0.1-SNAPSHOT.jar、 - ではなく、公開されたもののみを取得しassembly-0.0.1-SNAPSHOT-deps.jarます。

を追加しdeps.jarて公開するにはどうすればよいですか?

私は（Java APIで）sparkを使用しており、クラスターにプッシュできる単一のjarが必要ですが、jar自体にsparkを含めることはできません。もちろん、ジョブをデプロイするアプリには、spark が含まれている必要があります。

をお願いします：

1. sbt run - すべてをコンパイルして実行する必要があります
2. sbt smallAssembly - Spark なしで jar を作成する
3. sbt アセンブリ - 展開を容易にするために、すべて (spark を含む) を含む uber jar を作成します。

私は1.と3.が働いています。2.どうすればよいかについてのアイデアはありますか？build.sbt ファイルにどのコードを追加する必要がありますか?

質問はスパークだけに関連するものではありませんが、除外したい他の依存関係も同様です。