1

2つのSingleColumnValueFilterオブジェクトを使用してHBaseテーブルから行をフィルタリングし、列の長い値の範囲内にあるすべてのレコードを取り戻そうとしています。SingleColumnValueFilterのドキュメントによると、独自のコンパレータを渡さない限り、列値の辞書式比較を実行します。APIは、これを実現する方法としてWritableByteArrayComparableを使用するSingleColumnValueFilterを示しています。

WritableByteArrayComparableを拡張し、compareメソッドを上書きするクラスを作成しました。

    public class LongWritableComparable extends WritableByteArrayComparable {

    public LongWritableComparable() {
        super();
    }

    public LongWritableComparable(byte[] value) {
        super(value);
    }

    public LongWritableComparable(Long value) {
        super(Bytes.toBytes(value));
    }

    @Override
    public int compareTo(byte[] otherValue) {
        byte[] thisValue = this.getValue();
        long thisLong = Bytes.toLong(thisValue);
        long otherLong = Bytes.toLong(otherValue);

        if (thisLong == otherLong) {
            return 0;
        }
        if (thisLong < otherLong) {
            return -1;
        }
        return 1;
    }
}

私は以下を使用してフィルターを設定しています：

SingleColumnValueFilter lowerBoundAddressResourceFilter = new SingleColumnValueFilter(
                    graphTable.getResource().getName(),
                    Bytes.toBytes(HBaseProperties.getInstance().getQualifierIpAdressLongRepresentation()),
                    CompareFilter.CompareOp.GREATER_OR_EQUAL,
                    new LongWritableComparable(lowerRangeValue));

しかし、次の例外が発生しています。

2010-08-25 14:24:10,034 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer:
org.apache.hadoop.hbase.UnknownScannerException: Name: -1
        at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1880)
        at sun.reflect.GeneratedMethodAccessor5.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:657)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:915)
2010-08-25 14:24:10,052 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 0 on 60020, call next(-1, 1000) from 172.16.32.215:53206: error: org.apache.hadoop.hbase.UnknownScannerException: Name: -1
org.apache.hadoop.hbase.UnknownScannerException: Name: -1
        at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1880)
        at sun.reflect.GeneratedMethodAccessor5.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:657)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:915)

Webを見ると、この実行の原因についてのコンセンサスは、resultScanner.next（）にアクセスするコードに時間がかかりすぎて、regionServerへのリースがタイムアウトすることですが、この例外は以前にスローされています

ResultScanner resultScanner = table.getScanner(scan);

反復できるResultScannerで戻ります。

誰かが、動作するSingleColumnValueFilterでカスタムコンパレータを使用する例、または私が間違っていることについての洞察を持っているか、知っていますか？

4

1 に答える 1

2

カスタム コンパレータを含む jar は、クエリ対象のテーブルが $HBASE_HOME/lib フォルダーに存在するリージョン サーバーに配置する必要があるようです。jar を配置した後、クラスターを再起動すると、クエリが機能するはずです。

于 2010-08-26T17:39:20.490 に答える