http - Webページをカールまたはwgetする方法は？

Question

スタックオーバーフローページを取得して前日のページと比較する夜間のcronジョブを作成したいので、質問、回答、ランキングなどの変更の概要を確認できます。

残念ながら、これを機能させるための適切なCookieなどのセットを取得できませんでした。何か案は？

また、ベータ版が終了すると、ログインせずにステータスページにアクセスできますか？

score 9 · Accepted Answer

ステータスページは、ログインしなくても利用できるようになりました（[ログアウト]をクリックして試してください）。ベータCookieが無効になっている場合、あなたとあなたのステータスページの間に何もありません。

wgetの場合：

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

score 6 · Accepted Answer

そして、これが機能するものです...

curl -s --cookie soba=. https://stackoverflow.com/users

そしてwgetの場合：

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

score 3 · Accepted Answer

良いアイデア：）

あなたはwgetを使ったことがあると思います

--load-cookies (filename)

少し役立つかもしれませんが、Mechanize（Perlまたはpython）のようなものを使用して、ブラウザーをより完全に模倣して、優れたスパイダーを取得する方が簡単な場合があります。

score 2 · Accepted Answer

Cookieを機能させる方法もわかりませんでしたが、ログアウトしているときにブラウザでステータスページにアクセスできたので、stackoverflowが公開されるとこれが機能すると思います。

これは興味深いアイデアですが、基礎となるhtmlコードの差分も取得しませんか？実際のコンテンツではなく、htmlの差分で終わるのを避けるための戦略はありますか？

score 2 · Accepted Answer

そして、これが機能するものです...

curl -s --cookie soba=. http://stackoverflow.com/users

5 に答える 5