python - URL を取得するときに Google App Engine のデフォルト ヘッダーを削除するにはどうすればよいですか?

Question

興味のある craigslist のリストを管理するために、GAE で小さなアプリを作成しようとしています。アプリからこれらのリストからデータを取得したいのですが、そうするたびに craigslist から 404 が返されます。

調査の結果、私のコードが原因ではないことが判明しました。craigslist は HTTP ヘッダーを調べ、User-Agent ヘッダーに「AppEngine-Google」が見つかると、体系的に 404 を返します。

あなたはcurlでそれを見ることができます：

curl http://sfbay.craigslist.org/

動作します（ページを返します）。

curl http://sfbay.craigslist.org/ --header "User-Agent: AppEngine-Google"

何も与えません。

GAE によってデフォルトで設定されているこのヘッダーを削除する方法はありますか? または、問題を回避するための別のアイデアはありますか?

Answer 1

送信リクエストを行う際に、App Engine が自分自身を識別できないようにする方法はありません。これは乱用を防ぐためです。

Craigslist が App Engine をブラックリストに載せることを選択した場合は、回避しようとするのではなく、それについて話す必要があります。