0

2 ノード クラスターに 147.968 行 (「nodetool cfstats」を表示) の ColumnFamily があります。

Hadoop ジョブを実行すると、「入力レコードのマップ」に 90.174 行しか表示されませんか? 私のHadoop CQL入力構成は次のとおりです。

ConfigHelper.setInputRpcPort(job.getConfiguration(), "9160");
ConfigHelper.setInputInitialAddress(job.getConfiguration(), "xxx.xxx.xxx.xxx");
ConfigHelper.setInputColumnFamily(job.getConfiguration(), KEYSPACE, "columnfamilyname");
ConfigHelper.setInputPartitioner(job.getConfiguration(), "Murmur3Partitioner");

他に設定することはありますか？

4

1 に答える 1

1

入力/出力形式は何ですか? CqlPagingInputFormat を使用することをお勧めします。FTY。cql テーブルの行は列ファミリーの行と同じではないため、CqlPagingInputFormat を使用すると、Cqlsh から取得したのと同じ数の行を取得する必要があります。

于 2013-11-05T00:05:19.110 に答える