だから私はテーブルに新しいレコードを挿入するタスクを持っています。
次に、すべての履歴レコードについて同じテーブルをクエリします。
そして、これらすべての履歴レコードを新しいレコードと比較し、一致したものを別のテーブルに保存します。現在、膨大な量のデータがあると、それが不均衡に吹き飛ばされるという問題があります。また、新しい計算ごとに時間がかかります。
時間枠の後に期限切れになり、時代遅れになる可能性があるため、履歴レコードをキャッシュできません。
比較タスクはかなり複雑なので、Java コードで記述します。これを行うためにマップ削減ジョブを書きたくありません。
ハイブを使用してタスクを実行する方法はありますか