問題タブ [urlfetch]

Google App EngineのurlFetchサービスを使用してURLを取得し、プロキシサイトを実装しようとしています。TwitterやFacebookのようなサイトは、スタイルシートが欠落しているように見えます。GoogleでさえGoogleロゴが欠落していますが、Yahooはすべて正常に開きます。理由がわかりません。

コードをこれに変更すると：

それは奇妙なことを示しています。私は何をすべきか？

私がこれを使うとき：

このページは私がGoogle.comで見たものとは異なります。

私が見たGoogle.comを入手するにはどうすればよいですか？

Java実装でのurlfetchの同時非同期呼び出しの制限と思われるものに気づきました（ここに記載されているように：http ：//code.google.com/appengine/docs/java/urlfetch/overview.html ）

しかし、Pythonのドキュメントにはありません：

http://code.google.com/appengine/docs/python/urlfetch/asynchronousrequests.html

では、Pythonバージョンの非同期urlfetchにも上限が10であり、文書化されていない（または他の場所で文書化されていない）場合はどうでしょうか。それとも、制限は他の何か（または存在しない）ですか？

urlfetch（）で許可されている80以外のポートに存在するURLを照会していますか

非標準ポートのサーバーからデータを取得したい-

http://example.com:8000/WebService?input=a

理想的な例は、非標準ポートでホストされているWebサービスです。

どういうわけかappengineでこれを行うことはできますか？

Google App EngineでUrlfetchのラッパーとして利用できることは承知してurllib2います。ご存知のように、UniversalFeedparserはurllib2を使用します。

urllib2にタイムアウトを設定する方法を知っていますか？
urllib2のtimeoutパラメータはGoogleAppEngineバージョンに移植されていますか？

私は次のような方法には興味がありません：

appcfg.py を使用してローカル データ ストアにいくつかのレコードをアップロードしようとしています。

実際に挿入されるレコードはごく少数で、次の出力が得られます (大量のエラーがあります)。

何が問題なのですか？

私の Gae アプリケーションは、サード パーティのサイトから JSON データを取得します。ダウンロードするアイテムを表す ID を指定すると、このサイトのアイテムのデータは複数のページに編成されるため、コードは、最後の利用可能なページのデータが取得されるまで、ページごとにデータのチャンクをダウンロードする必要があります。
私の簡略化されたコードは次のようになります。

結果は、最初のdata_listアイテムにページ番号 1 のデータが含まれ、最後のアイテムに最新ページのデータが含まれる順序付きリストになります。thisdata_listが取得されると、ビューにレンダリングされます。

このアプローチは 99% の場合に機能しますが、Google App Engine によって課された30 秒DeadlineExceededErrorの制限により、多くのページを含むアイテムで恐ろしい. TaskQueue |を使用しているかどうかを知りたいです。延期| AsyncUrlfetch N urlfetch 呼び出しを何らかの方法で並列化するこのアルゴリズムを改善できます。

AppEngine で urlfetch を使用して POST データをサーバーに送信しようとしています。これらの POST データ項目の一部は同じ名前ですが、値が異なります。

dataただし、この例では、サーバーは、値が であるという名前のアイテムを 1 つだけ受信しているようですbar。どうすればこの問題を解決できますか?

非同期 URL フェッチに関するGoogle App Engine のドキュメントを読む:

アプリは、最大 10 個の同時非同期 URL フェッチ呼び出しを持つことができます

アプリケーションが一度に 10 を超える非同期フェッチを呼び出すとどうなりますか?
Google App Engine は例外を発生させますか、それとも処理待ちの残りの呼び出しを単にキューに入れますか?

非同期 URL フェッチ インターフェイスを試しています。しかし、本番環境でコールバックを使用すると、AssertionError が発生します。

これは、コールバック関数でのデータストア アクセスが原因ですか? コールバック関数にはどのような制限がありますか? 非同期で実行できない API は他にありますか?

これがスタックです...