私はphpでWebアプリケーションに取り組んでいます。地元の求人情報サイトを持っています。私は、ウェブサイト上のすべてのアクティブな求人情報をスクレイピングする単純な html dom のスクレイパーに取り組んでいます。
求人情報には「掲載」日と「締め切り」日があります (締め切り日になると、リストはウェブサイトから削除されます)。
ウェブサイト上のアクティブなリストをすべてスクレイピングし、単純な mysql データベースに保存することに成功しました。現在募集中の求人は325件です。私はそれらすべてをDBに持っています。
私が次にやったのは、スクレーパーが毎時間実行されるように、cron をセットアップすることです。
私が基本的に望んでいるのは、mysql DBへの挿入をどのように進めるべきかということです。現在、スクレーパーが実行されるたびに、すべてのリストが削除され、新しいリストを含むすべてのリストが再度挿入されます。
最終的には、新しい仕事が掲載されるとすぐに、通知システムのようなものを設定する必要があります。電子メール通知が電子メール アドレスに送信されます。
続行するための最良の方法は何ですか?私は現在アイデアがありません..