MySQL テーブルから HDFS にデータをインポートしたいと考えています。すべての設定が完了し、sqoop-shell でデータをコピーする単純なジョブを作成できます。ただし、毎回新しいレコードのみをコピーしたいのですが、これを達成する方法がわかりません。ジョブを作成すると、「チェック列」という名前のパラメーターがあり、そこに適していると思われる ID や eventTimestamp などの列があります。ただし、その場合は「最後の値」も入力する必要があります。この最後の値を自分で管理し、毎回新しい「最後の値」で新しいジョブを作成する必要がありますか? このような場合、一度だけ使用されてから再作成する必要があるのに、なぜジョブを作成するのでしょうか? 毎回新しい「最後の値」を保存し、新しいレコードのみをインポートすることで、Sqoop がこれを管理することはできませんか? さらに、「last value": "入力のサイズが、この入力フィールドの許容範囲を超えています。最大許容サイズは -1"?
1 に答える
0
「最後の値」の問題に関して、バグを追加しました: https://issues.apache.org/jira/browse/SQOOP-2640 現在はステータスが修正されているため、リリース 1.99.7 では問題ないはずです。
于 2015-11-07T15:12:44.207 に答える