php - コンテンツ アグリゲーター サービスの戦略

Question

php/Mysql を使用してクライアント向けの RSS、Twitter、およびその他のコンテンツ アグリゲータを作成しました。これには通常、cron ジョブ、いくつかのフィードの解析、データベースへのデータの挿入、保存とその後の再公開、削除、アーカイブなどが含まれます。画期的なものは何もありません。

しかし今、私は一般ユーザー向けのアグリゲーター サービスを構築する任務を負っています。サービスにアクセスできる各ユーザーは、数百ではないにしても、数十のソース フィードを追加できるため、これは迅速に拡張する必要があると思います。数か月以内に数千のフィードを定期的に解析する可能性があり、運が良ければ 1 年以内に 100,000、またはそれ以上になる可能性があります。

究極のモデルは、Googleリーダーが行うことに似ていると思います。

では、これにはどのような戦略が適しているでしょうか。複数のオーバーラップする cron、フィードを継続的に実行して読み取り、API に接続してコンテンツをプルしますか? 必要に応じて、Elastic Cloud などの複数のインスタンスを実行する予定はありますか?

Answer 1

OPはキューによって満足されたようです（最終的な解決策で質問を更新するとよいでしょう）

Answer 2

1 つのフィードを解析するのにかかる時間を計ったことがありますか? フィードの更新をチェックする頻度にもよりますが、フィードが 100,000 件あってもそれほど気にはなりません。もっと複雑なシステムが必要だと確信していますか? そうである場合は、1 つのサーバーを一定数のフィードに制限し、フィードの増加に応じてより多くのハードウェアを投入するなど、より単純なソリューションを検討できます。Amazonはこれでいいと思います。

Answer 3

私はcronをオーバーラップさせません。最後に本当に厄介になります。Ajax で情報を送信する 1 つのシステムと、それを受け取ってレンダリングし、必要に応じてアクションと結果を返す複数のサーバーが必要だと思います。一方で、世界中で利用可能な多くのクラウド ソリューションがあり、さらにうまく機能する可能性があります。