3

データベースのクエリにフェニックス ドライバー 4.0 バージョンを使用しています。また、hbase.client.scanner.caching を 1000 と 10000 に設定してみました。いずれの場合も、10000 行を反復するのに 3 分かかります。反復ループ内にコードを入れていません。1L 以上のレコードをスキャンする必要があるため、30 分以上かかります。

この理由は何でしょうか。

long count = 0;
            while (rs.next())
            {
                if (count % 1000 == 0)
                {
                    log.info("Count == " + count);
                }
                count++;
            }
4

1 に答える 1

0

Hadoop とそのコンポーネントは、グループのような機能が得意で、rowkey を使用してレコードをすばやく検索することでレコードをハッシュ分散すると思います。ただし、反復は苦手です。10000 レコードを実行すると、100000 と同じコストがかかる可能性があります。私の下手な英語を通して私が何を言っているのか理解してください.:)

于 2016-12-27T14:00:22.960 に答える