データが MYSQL データベースから毎日日付付きフォルダーに Hadoop に取り込まれるシナリオがあります。毎日編集される行はほとんどなく、スキーマの変更もあるかもしれません。最新のデータとスキーマのみに関心がある場合、hadoop でこれをどのように処理しますか
Sqoop での増分インポートのドキュメントは次のとおりです。また、Sqoop はデータのインポート中にテーブル名を取得できるため、スキーマが変更された場合でも Sqoop コマンドは同じである必要があります。
bin/sqoop import --connect jdbc:mysql://localhost/bigdata --table widgets -m 1