luigi図書館を利用し始めたばかりです。私は定期的にウェブサイトをスクレイピングし、新しいレコードを Postgres データベースに挿入しています。を使用するようにスクリプトの一部を書き直そうとしているので、 「マーカー テーブル」luigiがどのように使用されることになっているのかが明確ではありません。
ワークフロー:
- スクレイプデータ
- DB にクエリを実行して、新しいデータが古いデータと異なるかどうかを確認します。
- その場合は、新しいデータを同じテーブルに保存します。
ただし、luigi の を使用postgres.CopyToTableすると、テーブルが既に存在する場合、新しいデータは挿入されません。insertedテーブルの列を使用して、table_updatesどの新しいデータを挿入する必要があるかを判断する必要があると思いますが、そのプロセスがどのように見えるかは不明であり、オンラインで明確な例を見つけることができません.