問題タブ [spring-data-hadoop]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
spring - Spring データ Hadoop
Hadoop 2.4.x、Spring 4.0.6、Spring-Data-Hadoop 2.0.1.RELEASE-hadoop24 を使用しています
私はjarファイルのみを実行していますが、問題はありません。しかし、Tomcat で実行するとエラーが発生します。
私のhadoop設定は以下です：
Tomcat 7.0.52 バージョンを実行しています。
そして今、エラー
org.springframework.beans.factory.BeanCreationException: 'hadoopConfiguration' という名前の Bean の作成中にエラーが発生しました: init メソッドの呼び出しに失敗しました。ネストされた例外は java.lang.VerifyError: (クラス: com/google/common/collect/Interners、メソッド: newWeakInterner 署名: ()Lcom/google/common/collect/Interner;) で関数に互換性のない引数です
spring - hadoop 2.x で春から distcp ジョブを実行する
プロジェクトでSpring Data Hadoopを使用しており、Hadoop 1.xでdistcpジョブを実行できました。最近、hadoop 2.x にアップグレードし、そのために spring-data-hadoop を 2.0.4 にアップグレードしました。ほとんどのものはまだ機能していますが、distcp でいくつかの問題が発生しています。spring data hadoop が distcp をこのように呼び出しているようです
ArgumentsSpring コードはクラス内の内部クラスを探していますがDistcp、この内部クラスは新しい Distcp コードにはもう存在しないようです。ジョブを実行すると、このエラーが発生します
私の pom.xml には、spring-data-hadoop 2.0.4.RELEASE と hadoop-distcp.2.2.0 が含まれています。
spring - トラップ Spring コンテキスト クローズ エラー
spring-hadoop を使用した春の統合プロジェクトがあります。次のような Hbase テンプレートがあります。
さて、最後にアプリとコンテキストをシャットダウンすると、奇妙なエラーがスローされ、
oahhbase.client.HConnectionManager : リストに接続が見つからないため、削除できません (接続キー=HConnectionKey{プロパティ={hbase.zookeeper.quorum=xxx.com,xxx.com, hbase.rpc.timeout=60000, hbase .client.prefetch.limit=10、hbase.zookeeper.property.clientPort=2181、zookeeper.znode.parent=/hbase-secure、hbase.client.retries.number=35、hbase.client.pause=100}、ユーザー名='xyz@PQR.COM'})。キーが変更された可能性がありますか？
私が理解しているように、これは無害なエラーであり、Hadoop 1.x でもスローされました。
Hadoop 2.x と Spring-Hadoop-2.0.4 に移行しましたが、以前はスローされなかった例外が spring によってスローされ、
java.lang.Exception: null at org.apache.hadoop.hbase.client.HConnectionManager.deleteConnection(HConnectionManager.java:488) at org.apache.hadoop.hbase.client.HConnectionManager.deleteConnection(HConnectionManager.java:424) at org.springframework.data.hadoop.hbase.HbaseConfigurationFactoryBean.destroy(HbaseConfigurationFactoryBean.java:80) org.springframework.beans.factory.support.DisposableBeanAdapter.destroy(DisposableBeanAdapter.java:258) at org.springframework.beans.factory. support.DefaultSingletonBeanRegistry.destroyBean(DefaultSingletonBeanRegistry.java:578) at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.destroySingleton(DefaultSingletonBeanRegistry.java:554) at org.springframework.beans.factory.support.DefaultListableBeanFactory.destroySingleton(DefaultListableBeanFactory.java:907) at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.destroySingletons(DefaultSingletonBeanRegistry.java:523) at org.springframework.beans.factory.support.DefaultListableBeanFactory.destroySingletons( org.springframework.context.support.AbstractApplicationContext.destroyBeans(AbstractApplicationContext.java:908) の DefaultListableBeanFactory.java:914) org.springframework.context.support.AbstractApplicationContext.doClose(AbstractApplicationContext.java:884) の org.springframework.context .support.AbstractApplicationContext$1.run(AbstractApplicationContext.java:804) 2015-01-22 14:58:20.168 INFO --- [スレッド 11] ossconcurrent。ThreadPoolTaskExecutor : ExecutorService をシャットダウンしています 2015-01-22 14:58:20.170 INFO --- [スレッド 11] osscThreadPoolTaskScheduler : ExecutorService 'taskScheduler' 2015-01-22 14:58:20.175 INFO をシャットダウンしています --- [スレッド 2 ] j.LocalContainerEntityManagerFactoryBean : 永続化ユニット 'default' の JPA EntityManagerFactory を閉じています
質問、ユーザーに表示されないように、このエラーをトラップするにはどうすればよいですか...
洞察をありがとう。
rest - REST を使用した Spark ジョブのトリガー
私は最近apache sparkを試しています。私の質問は、スパークジョブをトリガーするためのより具体的なものです。ここで、spark ジョブの理解に関する質問を投稿しました。仕事で汚れた後、私は自分の要件に移りました。
APIを公開してジョブをトリガーするRESTエンドポイントがあり、Rest実装にはSpring4.0を使用しました。ここで、Spring でジョブをサービスとして実装し、ジョブをプログラムで送信することを考えました。つまり、エンドポイントがトリガーされたときに、特定のパラメーターを使用してジョブをトリガーします。現在、デザインの選択肢はほとんどありません。
以下に記述されたジョブと同様に、Abstract Class may be によって呼び出されるいくつかのジョブを維持する必要があります
/li>JobScheduler。上記の点を拡張すると、サービスによって処理されるジョブの複数のバージョンがあります。
または、Spark Job Server を使用してこれを行います。
まず、この場合、実行に関してもスケーリングに関しても、何が最善の解決策であるかを知りたいと思います。
注: Spark のスタンドアロン クラスターを使用しています。親切に助けてください。
java - Spring-XD と hdfs シンクを maprfs で動作させる
これは、公式にはまだサポートされていない maprfs と連携する spring-xd リリース 1.0.1 に関する質問です。それでも私はそれを機能させたいと思っています。
これが私たちがしたことです：
1) パラメータを受け入れるように xd-shell と xd-worker と xd-singlenode シェル スクリプトを調整しました。--hadoopDistro mapr
2) ライブラリを新しいディレクトリ $XD_HOME/lib/mapr に追加しました
3) と を実行bin/xd-singlenode --hadoopDistro maprしshell/bin/xd-shell --hadoopDistro maprます。
を介してストリームを作成およびデプロイするとstream create foo --definition "time | hdfs" --deploy、データは maprfs のファイル tmp/xd/foo/foo-1.txt.tmp に書き込まれます。ただし、ストリームをアンデプロイすると、次の例外が表示されます。
機能を見てみましたOutputStoreObjectSupport.renameFile()。hdfs 上のファイルが完成すると、このメソッドはファイル /xd/foo/foo-1.txt.tmp の名前を xd/foo/foo1.txt に変更しようとします。これは関連するコードです:
対象のファイルが hdfs 上に存在しない場合、maprfs を呼び出すと例外がスローされるようfs.delete(toPath, false)です。ただし、この場合に例外をスローしても意味がありません。他のファイルシステムの実装では動作が異なると思いますが、これはまだ確認する必要がある点です。残念ながら、MapRFileSystem.java のソースが見つかりません。これはクローズドソースですか？これは、問題をよりよく理解するのに役立ちます。spring-xd から maprfs に書き込んだ経験のある人はいますか? または、spring-data-hadoop を使用して maprfs のファイルの名前を変更しますか?
編集
簡単なテスト ケース (以下を参照) を使用して、Spring XD 以外で問題を再現することができました。この例外は、inWritingSuffix または inWritingPrefix が設定されている場合にのみスローされることに注意してください。そうしないと、spring-hadoop はファイルの名前を変更しようとしません。したがって、これはまだ私にとっては不十分な回避策です。inWritingPrefixes と inWritingSuffixes の使用を控えてください。
hbase - HbaseTemplate デモを実行できません
Hbase 0.98.4.2.2.0.0 および HDFS 2.6.0.2.2.0.0 で HDP2.2 を実行しているため、2.1.2.RELEASE バージョンの spring-data-hadoop を maven pom ファイルに追加しましたが、失敗しました「タイプorg.apache.hadoop.hbase.client.Scanを解決できません。必要な.classファイルから間接的に参照されています」という理由で準拠しているので、pomファイルにhbase-clientを追加する必要がありますか?