1

過去2〜3日からこれを理解しようとしているので、助けが必要です..

Windows-7 (64 ビット) マシンで Hadoop をセットアップしています。これは、R と Hadoop の統合を試すためのものです。

URL にある Hadoop のインストール手順に従いました - http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os

環境変数は以下の通りです。 -3.1.1\bin;C:\Hadoop\protoc-2.5.0-win32

mvn パッケージ -Pdist,native-win -DskipTests -Dtar

Windows SDK 7.1 コマンド プロンプトから上記のコマンドを実行すると、以下のエラーが表示されます...初期のヘルプは大歓迎です..

****************************************************************************************

    [INFO] ------------------------------------------------------------------------
    [INFO] Reactor Summary:
    [INFO]
    [INFO] Apache Hadoop Main ................................ SUCCESS [8.893s] 
    [INFO] Apache Hadoop Project POM ......................... SUCCESS [4.782s] 
    [INFO] Apache Hadoop Annotations ......................... SUCCESS [9.500s]
    [INFO] Apache Hadoop Assemblies .......................... SUCCESS [2.145s]
    [INFO] Apache Hadoop Project Dist POM .................... FAILURE [4.141s]
    [INFO] Apache Hadoop Maven Plugins ....................... SKIPPED
    [INFO] Apache Hadoop Auth ................................ SKIPPED
    [INFO] Apache Hadoop Auth Examples ....................... SKIPPED
    [INFO] Apache Hadoop Common .............................. SKIPPED
    [INFO] Apache Hadoop NFS ................................. SKIPPED
    [INFO] Apache Hadoop Common Project ...................... SKIPPED
    [INFO] Apache Hadoop HDFS ................................ SKIPPED
    [INFO] Apache Hadoop HttpFS .............................. SKIPPED
    [INFO] Apache Hadoop HDFS BookKeeper Journal ............. SKIPPED
    [INFO] Apache Hadoop HDFS-NFS ............................ SKIPPED
    [INFO] Apache Hadoop HDFS Project ........................ SKIPPED
    [INFO] hadoop-yarn ....................................... SKIPPED
    [INFO] hadoop-yarn-api ................................... SKIPPED
    [INFO] hadoop-yarn-common ................................ SKIPPED
    [INFO] hadoop-yarn-server ................................ SKIPPED
    [INFO] hadoop-yarn-server-common ......................... SKIPPED
    [INFO] hadoop-yarn-server-nodemanager .................... SKIPPED
    [INFO] hadoop-yarn-server-web-proxy ...................... SKIPPED
    [INFO] hadoop-yarn-server-resourcemanager ................ SKIPPED
    [INFO] hadoop-yarn-server-tests .......................... SKIPPED
    [INFO] hadoop-yarn-client ................................ SKIPPED
    [INFO] hadoop-yarn-applications .......................... SKIPPED
    [INFO] hadoop-yarn-applications-distributedshell ......... SKIPPED
    [INFO] hadoop-mapreduce-client ........................... SKIPPED
    [INFO] hadoop-mapreduce-client-core ...................... SKIPPED
    [INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SKIPPED
    [INFO] hadoop-yarn-site .................................. SKIPPED
    [INFO] hadoop-yarn-project ............................... SKIPPED
    [INFO] hadoop-mapreduce-client-common .................... SKIPPED
    [INFO] hadoop-mapreduce-client-shuffle ................... SKIPPED
    [INFO] hadoop-mapreduce-client-app ....................... SKIPPED
    [INFO] hadoop-mapreduce-client-hs ........................ SKIPPED
    [INFO] hadoop-mapreduce-client-jobclient ................. SKIPPED
    [INFO] hadoop-mapreduce-client-hs-plugins ................ SKIPPED
    [INFO] Apache Hadoop MapReduce Examples .................. SKIPPED
    [INFO] hadoop-mapreduce .................................. SKIPPED
    [INFO] Apache Hadoop MapReduce Streaming ................. SKIPPED
    [INFO] Apache Hadoop Distributed Copy .................... SKIPPED
    [INFO] Apache Hadoop Archives ............................ SKIPPED
    [INFO] Apache Hadoop Rumen ............................... SKIPPED
    [INFO] Apache Hadoop Gridmix ............................. SKIPPED
    [INFO] Apache Hadoop Data Join ........................... SKIPPED
    [INFO] Apache Hadoop Extras .............................. SKIPPED
    [INFO] Apache Hadoop Pipes ............................... SKIPPED
    [INFO] Apache Hadoop Tools Dist .......................... SKIPPED
    [INFO] Apache Hadoop Tools ............................... SKIPPED
    [INFO] Apache Hadoop Distribution ........................ SKIPPED
    [INFO] Apache Hadoop Client .............................. SKIPPED
    [INFO] Apache Hadoop Mini-Cluster ........................ SKIPPED
    [INFO] ------------------------------------------------------------------------
    [INFO] BUILD FAILURE
    [INFO] ------------------------------------------------------------------------
    [INFO] Total time: 32.981s
    [INFO] Finished at: Thu Feb 13 14:06:51 IST 2014
    [INFO] Final Memory: 32M/190M
    [INFO] ------------------------------------------------------------------------

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (pre-dist) on project hadoop-project-dist: An Ant BuildException has occured : exec returned: 2 -> [Help 1]
org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (pre-dist) on project hadoop-project-dist: An Ant BuildException has occured: exec returned: 2

        at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:216)
        at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:153)
        at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:145)
        at org.apache.maven.lifecycle.internal.LifecycleModuleBuilder.buildProject(LifecycleModuleBuilder.java:84)
        at org.apache.maven.lifecycle.internal.LifecycleModuleBuilder.buildProject(LifecycleModuleBuilder.java:59)
        at org.apache.maven.lifecycle.internal.LifecycleStarter.singleThreadedBuild(LifecycleStarter.java:183)
        at org.apache.maven.lifecycle.internal.LifecycleStarter.execute(LifecycleStarter.java:161)
        at org.apache.maven.DefaultMaven.doExecute(DefaultMaven.java:317)
        at org.apache.maven.DefaultMaven.execute(DefaultMaven.java:152)
        at org.apache.maven.cli.MavenCli.execute(MavenCli.java:555)
        at org.apache.maven.cli.MavenCli.doMain(MavenCli.java:214)
        at org.apache.maven.cli.MavenCli.main(MavenCli.java:158)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.codehaus.plexus.classworlds.launcher.Launcher.launchEnhanced(Launcher.java:289)
        at org.codehaus.plexus.classworlds.launcher.Launcher.launch(Launcher.java:229)
        at org.codehaus.plexus.classworlds.launcher.Launcher.mainWithExitCode(Launcher.java:415)
        at org.codehaus.plexus.classworlds.launcher.Launcher.main(Launcher.java:356)
Caused by: org.apache.maven.plugin.MojoExecutionException: An Ant BuildException
 has occured: exec returned: 2
        at org.apache.maven.plugin.antrun.AntRunMojo.execute(AntRunMojo.java:283)
        at org.apache.maven.plugin.DefaultBuildPluginManager.executeMojo(DefaultBuildPluginManager.java:106)
        at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:208)
        ... 19 more
Caused by: C:\Hadoop\hdfs\hadoop-project-dist\target\antrun\build-main.xml:31: exec returned: 2
        at org.apache.tools.ant.taskdefs.ExecTask.runExecute(ExecTask.java:650)
        at org.apache.tools.ant.taskdefs.ExecTask.runExec(ExecTask.java:676)
        at org.apache.tools.ant.taskdefs.ExecTask.execute(ExecTask.java:502)
        at org.apache.tools.ant.UnknownElement.execute(UnknownElement.java:291)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.tools.ant.dispatch.DispatchUtils.execute(DispatchUtils.java:106)
        at org.apache.tools.ant.Task.perform(Task.java:348)
        at org.apache.tools.ant.Target.execute(Target.java:390)
        at org.apache.tools.ant.Target.performTasks(Target.java:411)
        at org.apache.tools.ant.Project.executeSortedTargets(Project.java:1397)
        at org.apache.tools.ant.Project.executeTarget(Project.java:1366)
        at org.apache.maven.plugin.antrun.AntRunMojo.execute(AntRunMojo.java:270)
        ... 21 more
[ERROR]
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command

[ERROR]   mvn <goals> -rf :hadoop-project-dist

よろしくお願いします

4

4 に答える 4

2

問題は解決しましたか？Hadoop をインストールしていたときに、同様の問題が発生しました。ソースファイルのビルド段階での問題はすべてパス変数の設定に関係していることがわかりました。

1. JRE だけでなく、JDK がインストールされていることを確認します。

2. このリンクの指示に従っている場合は、1 つの追加のパス設定が必要です: http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft -windows-os : .NET MsBuild.exe ホーム ディレクトリをパスに追加します。これは C:\Windows\Microsoft.NET\Framework64\v4.030319 のようになります。

3. すべてのパス値が修正されていることを確認します。インストール中に、Cygwin パスに関連する問題が発生しました。cygwin は cygwin64 という名前のフォルダーにインストールされましたが、最初はパス値として cygwin を追加しただけで、それを理解するのに時間がかかりました。

于 2014-06-10T06:21:50.003 に答える
2

次のコマンドを使用すると、成功します。

mvn clean package -DskipTests -Dtar
于 2016-12-11T03:07:32.837 に答える
1

「mvn package -Pdist,native-win -DskipTests -Dtar」 このコマンドによれば、「ネイティブ ライブラリ」(native-win キーワード) をコンパイルしてパッケージ化しようとしていますが、これを行うには、指定されたリンクで指定されたパッケージは十分ではありません。

これを解決するには、次の 2 つの方法があります。

1) ネイティブ ライブラリは必要ありません。hadoop はネイティブ ライブラリの代わりに「組み込み Java クラス」を使用します。このコマンドを使用してください：あなたの代わりに「mvn package -Pdist -DskipTests -Dtar」

2）ネイティブ ライブラリを使用する場合は、Native Libraries Guideに従ってください。ここには、ネイティブ ライブラリを構築するために必要なすべてのパッケージとその他の重要な情報が記載されています。

私の提案は、最初のオプションを使用することです。これは、Windows でネイティブ ライブラリを構築することには多くの問題があり、Windows では好まれないことをどこかで読んだためです。

Hadoop の src フォルダーにある "Building.txt" を読むと、パッケージ化のためのさまざまなコマンドを使用するのに役立つ場合があります。

上記はあなたの問題の解決策かもしれません.試してみてください

于 2014-02-13T13:45:22.583 に答える
1

同じエラーが発生しました。-Xを指定してmvn package -Pdist,native-win -DskipTests -Dtarを実行すると、 dist-copynativelibs.shスクリプトの実行に問題があることがわかりました。

問題は、Windows コマンド プロンプトが sh コマンドを実行できず、bash コマンドしか実行できないことでした。理由はわかりません - Cygwin が正しくインストールされ、パスに追加されました。そのため、pom ファイル D:\hdfs\hadoop-project-dist\pom.xml で executable="sh" を executable="bash" に変更しました。

<exec executable="bash" dir="${project.build.directory}" failonerror="true">
<arg line="./dist-copynativelibs.sh"/>
</exec>

ビルドは成功しました。

于 2016-03-01T16:41:04.563 に答える