1

Storm トポロジを作成し、Kerberos 対応の環境にデプロイしました。HBase と HDFS にデータを書き込むボルトがありますが、HBase と HDFS の資格情報を取得できません。

以前に同じエラーが発生しましたが、クラスターを再起動することで解決しました。それが正しい解決策だったかどうかは疑問です。

また、ボルトが正常に機能していたのに、クラスターが数日間使用されなかった後に突然例外が発生したという同様のシナリオにも直面しました。

これらの認証情報は一時ディレクトリにキャッシュされていますか?

同じのワーカー ログの下を見つけてください。

2016-03-23 08:38:19 bssaAuthUtils [情報] AutoCred を取得しました [com.config.setup.storm.security.AutoHBase@71f139b7、com.config.setup.storm.security.AutoHDFS@51f6292b]
**2016-03-23 08:38:19 cchscsssAutoHBase [エラー] 資格情報マップから資格情報を取得できませんでした。
java.io.StreamCorruptedException: 無効なストリーム ヘッダー: 64756D6D**
        java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:804) で ~[na:1.7.0_67]
        java.io.ObjectInputStream.(ObjectInputStream.java:299) ~[na:1.7.0_67] で
        com.config.setup.storm.security.AutoHBase.getCredentials(AutoHBase.java:96) [config.jar:na] で
        com.config.setup.storm.security.AutoHBase.addCredentialToSubject (AutoHBase.java:129) [config.jar:na] で
        com.config.setup.storm.security.AutoHBase.populateSubject (AutoHBase.java:122) [config.jar:na] で
        backtype.storm.security.auth.AuthUtils.populateSubject (AuthUtils.java:189) [嵐コア-0.9.3.2.2.9.0-3393.jar:0.9.3.2.2.9.0-3393] で
        backtype.storm.daemon.worker$fn__7701$exec_fn__1271__auto____7702.invoke(worker.clj:424) [storm-core-0.9.3.2.2.9.0-3393.jar:0.9.3.2.2.9.0-3393]
        at clojure.lang.AFn.applyToHelper(AFn.java:185) [clojure-1.5.1.jar:na]
        at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
        at clojure.core$apply.invoke(core.clj:617) [clojure-1.5.1.jar:na]
        backtype.storm.daemon.worker$fn__7701$mk_worker__7778.doInvoke(worker.clj:408) [storm-core-0.9.3.2.2.9.0-3393.jar:0.9.3.2.2.9.0-3393] で
        at clojure.lang.RestFn.invoke(RestFn.java:512) [clojure-1.5.1.jar:na]
        backtype.storm.daemon.worker$_main.invoke(worker.clj:540) [storm-core-0.9.3.2.2.9.0-3393.jar:0.9.3.2.2.9.0-3393]
        at clojure.lang.AFn.applyToHelper(AFn.java:172) [clojure-1.5.1.jar:na]
        at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
        backtype.storm.daemon.worker.main (不明なソース) [storm-core-0.9.3.2.2.9.0-3393.jar:0.9.3.2.2.9.0-3393] で
2016-03-23 08:38:19 cchscsssAutoHBase [情報] 資格情報マップに資格情報が見つかりません。
2016-03-23 08:38:19 cchscsssAutoHDFS [エラー] 資格情報マップから資格情報を取得できませんでした。
java.io.StreamCorruptedException: 無効なストリーム ヘッダー: 64756D6D
        java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:804) で ~[na:1.7.0_67]
        java.io.ObjectInputStream.(ObjectInputStream.java:299) ~[na:1.7.0_67] で
        com.config.setup.storm.security.AutoHDFS.getCredentials(AutoHDFS.java:96) [config.jar:na] で
        com.config.setup.storm.security.AutoHDFS.addCredentialToSubject (AutoHDFS.java:128) [config.jar:na] で
        com.config.setup.storm.security.AutoHDFS.populateSubject (AutoHDFS.java:121) [config.jar:na] で
        backtype.storm.daemon.worker$fn__7701$exec_fn__1271__auto____7702.invoke(worker.clj:424) [storm-core-0.9.3.2.2.9.0-3393.jar:0.9.3.2.2.9.0-3393]
        at clojure.lang.AFn.applyToHelper(AFn.java:185) [clojure-1.5.1.jar:na]
        at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
        at clojure.core$apply.invoke(core.clj:617) [clojure-1.5.1.jar:na]
        backtype.storm.daemon.worker$fn__7701$mk_worker__7778.doInvoke(worker.clj:408) [storm-core-0.9.3.2.2.9.0-3393.jar:0.9.3.2.2.9.0-3393] で
        at clojure.lang.RestFn.invoke(RestFn.java:512) [clojure-1.5.1.jar:na]
        backtype.storm.daemon.worker$_main.invoke(worker.clj:540) [storm-core-0.9.3.2.2.9.0-3393.jar:0.9.3.2.2.9.0-3393]
        at clojure.lang.AFn.applyToHelper(AFn.java:172) [clojure-1.5.1.jar:na]
        at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
        backtype.storm.daemon.worker.main (不明なソース) [storm-core-0.9.3.2.2.9.0-3393.jar:0.9.3.2.2.9.0-3393] で
2016-03-23 08:38:19 cchscsssAutoHDFS [情報] 資格情報に資格情報が見つかりません

4

0 に答える 0