cassandra - PIG と Cassandra CqlStorage を使用した output_query の例

Question

以下を使用して、Cassandra CQL 3 テーブルにデータを書き込もうとしています。

STORE G INTO 'cql://keyapse/col_family?output_query=ここに何が入るかわからない' USING CqlStorage();

output_query は次のようになります。

UPDATE col_family SET col1=$0, col2=$3 WHERE KEY=$2

Answer 1

ストレージ URL とデータ準備の両方に注意する必要があります。これはうまくいくはずの例です。

次の構造にデータを挿入する必要があるとします。

CREATE TABLE example (
  row_id text PRIMARY KEY,

  value1 text,

  value2 int
);

次のようなデータを準備する必要があります。

data_to_insert = FOREACH some_set_of_data GENERATE 

    TOTUPLE(TOTUPLE('row_id',row_id)), TOTUPLE(value1, value2) ;

最後に、格納ステートメントは次のようになります。

STORE data_to_insert INTO 'cql://my/example?output_query=update example set value1 @ # , value2 @ #' USING CqlStorage();

Answer 2

CQL3 を使用して、Cassandra のデータ ローダーとして PIG を使用する簡単な方法を書きました。

http://www.schappet.com/pig_cassandra_bulk_load

基本的なセットアップには、@Kernald からの情報が含まれます

STORE data_to_insert INTO
  'cql://myschema/example?output_query=update example set value1 @ #,value2 @ #' USING CqlStorage();