0

BigTable テーブルの行をカウントする標準の hbase クラス (RowCounter) を実行します。Google Console の DataProc gui を使用します。それはうまくいきましたが、数週間後、私は同様のjarを実行しようとしましたが、ほとんど説明できない理由でジョブが失敗しました. 存在しない Hbase テーブル名を使用すると、これが理解されるため、これは接続パラメーターの問題のようには見えません。

結果は、1.1.2 と 1.0.1.1 の Hbase クライアントで同じです。1.0.1.1 は例からのものです。1.1.2 バージョンが bdutils によってセットアップされたクラスターで使用されていることがわかりました。

6/02/08 14:35:34 INFO mapreduce.Job:  map 100% reduce 0%
16/02/08 14:35:34 INFO mapreduce.Job: Task Id : attempt_1454940934781_0001_m_000000_0, Status : FAILED
Error: java.io.IOException: Cannot create a record reader because of a previous error. Please look at the previous logs lines from the task's full log for more details.
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRecordReader(TableInputFormatBase.java:174)
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.<init>(MapTask.java:515)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:758)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.IllegalStateException: The input format instance has not been properly initialized. Ensure you call initializeTable either in your constructor or initialize method
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getTable(TableInputFormatBase.java:585)
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRecordReader(TableInputFormatBase.java:169)
    ... 8 more
4

1 に答える 1

3

~今より前に作成された Dataproc クラスタでは、毎週の JVM 自動更新が有効になっていました。これらの更新の 1 つにより、Bigtable クライアント ライブラリで使用される ALPN ブート jar との互換性が失われました。

JVM と ALPN jar のデフォルト バージョンを再び互換性を持つように更新するロールアウトが完了しました。固定イメージを利用するには、新しいクラスターを開始する必要があります。

インプレース修正を実行する必要がある場合は、/usr/local/share/google/alpn の下にあるクラスター内のすべてのノードで ALPN-boot.jar のコピーを更新できます。バージョンの互換性については、この表を参照してください http://www.eclipse.org/jetty/documentation/current/alpn-chapter.html#alpn-versions

于 2016-02-19T22:08:00.297 に答える