URL のリストが与えられた場合、次の自動化されたタスクをどのように実装しますか (Windows と ubuntu が利用可能な O/S であると仮定します)。これを簡単に実装したり、すぐに使用できる既存のタイプのツールはありますか?
log in with already-known credentials
for each specified url
request page from server
wait for page to be returned (no specific max time limit)
if request times out, try again (try x times)
if server replies, or x attempts failed, request next url
end for each
// Note: this is intentionally *not* asynchronous to be nice to the web-server.
背景: Web サーバーからページを要求するワーカー ツールを実装しているため、それらのページが処理する必要があるデータは後でキャッシュされます。ワーカーは、結果のページのコンテンツは気にしませんが、HTML ステータス コードは気にするかもしれません。私はファントム/キャスパー/ノードのセットアップを検討しましたが、このテクノロジーにあまり詳しくなく、車輪を再発明したくありません (たとえそれが楽しいものであっても)。