2

私は Sqoop を使いたいと思っていますが、これだけのために Cloudera スタック @ AWS を ElasticMapReduce (私が本当に気に入っています) で実行する価値があるとは思いません。

私の現在の考えは、@ S3 に格納された外部テーブルに移動する必要があるデータを書き、それを mysql にインポートするスクリプトを書くことです。Amazon には SimpleDB に関するものがいくつかあります ( example ) が、そのルートについてもよくわかりません。S3 に存在するデータで問題ありませんが、誰かがより良いアイデアを持っているかどうか疑問に思っています。

ありがとう！

4

1 に答える 1

2

私が使用し、うまく機能する最も簡単なソリューション：

  1. あなたが提案したように、データをS3バケットに入れます。S3 でホストされ、タブ区切り形式などのテーブルを作成できます。最終ステップで 1 つのレデューサーを使用すると、ファイルは 1 つだけになります。
  2. データを MySQL サーバーにダウンロードします。私のお気に入りのツールはs3cmd です。
  3. LOAD DATA INFILE... を使用してデータを MySQL に直接インポートします。
于 2012-01-31T01:15:59.740 に答える