問題タブ [urlfetch]

Google App Engineでurlfetchを使用するときにプロキシサーバーを指定する方法はありますか？

具体的には、urlfetchを使用して電話をかけるたびに、GAEにプロキシサーバーを経由させたいと考えています。開発者だけでなく、本番環境でもこれを実行したいと思います。

GoogleのアウトバウンドIPアドレスの使用に問題があるため、プロキシを使用したいと思います（レート制限、静的アウトバウンドIPがない、ブラックリストに登録されている場合など）。httpメッセージ自体を編集できれば、プロキシの設定は通常簡単ですが、GAEのAPIではこれを行うことができないようです。

2 つの AppEngine (Java) アプリがあります。1 つは URLFetch を使用して、もう 1 つは予定を作成します。受信側では、Channel API を使用して開いているチャネルがあるかどうかを確認し、新しいデータについて通知する機能を追加しました。

URLFetch 呼び出しが SocketTimeoutException で失敗しています。レシーバー内のすべてのコードが実行されます (通知されるすべてのオープン チャネルを含む) が、呼び出し元のアプリは引き続き SocketTimeoutException を取得します。チャンネル通知行をコメントアウトすると、エラーは発生しません。

これは、開発モードではなく、デプロイされたアプリでのみ発生します。また、呼び出しは、URLFetch で許可されている 60 秒 (または以前の 10 秒) のタイムアウトに達しません。

/show_data/誰かが私のサービスの URL にヒットしたときに get 応答を作成できるようにするために、作成中に/retrieve_data/同じサービスから URL を取得したいと考えています。受信している DeadLineExceeded エラーを回避できるように、別のスレッドで起動するにはどうすればよいですか? 私はpython 2.7を使用していthreadsafe=trueます.

/show_data/したがって、ハンドラーには次のようなものがあります。

次のエラーが発生します。

私のコードをチェックし、いくつかのさまざまなことをログに記録しました。このエラーの原因となっているURLはかなり正常に見えます。それらはurllib.quoteを介して引用されており、ブラウザーを介してそれらにアクセスすると、通常の結果になります。

エラーは、1つではなく多くのURLで発生しています。URLはAPIサービスを指し、アプリ内で構築されます。

ところで、ここにgoogle.appengine.api.urlfetchソースコードへのリンクがあります：http ：//code.google.com/p/googleappengine/source/browse/trunk/python/google/appengine/api/urlfetch.py​​？r =56。

docstringは、「URLが無効な場合はInvalidURLError」の場合にエラーが発生するはずだと述べています。および「URLが空の文字列であるか、明らかに無効である場合、urlfetch.InvalidURLErrorをスローします」

これをテストしたい人のために簡単にするために：

トレースバックは次のとおりです。トレースバック（最後の最後の呼び出し）：ファイル ""、行1、ファイル "/Applications/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/api /urlfetch.py​​ "、263行目、fetch return rpc.get_result（）File" /Applications/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/api/apiproxy_stub_map py "、592行目、get_result return self .__ get_result_hook（self）File" /Applications/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/api/urlfetch.py​​ " 、359行目、_get_fetch_resultでInvalidURLError（str（err））InvalidURLErrorを発生させます：ApplicationError：1

私がこれらすべてに欠けているのは非常に単純なことなのだろうか。コメントやアイデアをいただければ幸いです。ありがとう！

URL を読み込もうとすると、次のエラーが発生します。

DownloadError: ApplicationError: 2 繰り返されるリダイレクトが多すぎます

これは私が使用しているコードです:

http://www.internetofficer.com/seo-tool/redirect-check/でこの Web サイトのリダイレクトを確認した ところ、このサイトがそれ自体にリダイレクトされていることがわかりました。そのため、このページを読み込もうとして、URL フェッチが循環しているようです。その間、このページはブラウザで問題なく読み込まれます。

だから私はこのコードを使用してみました：

ただし、これは何も返しません。このhtmlを取得する方法はありますか?!

それ自体にリダイレクトする URL を読み込もうとしています。私はそれがクッキーをロードしてそれを探していると仮定していますが、それを見ることはないので、このリクエストの無限ループがあります。

urllib2、urlfetch、および httplib2 を試しました。どれも機能しません。

私はこれを試しました：

これはシェルでは機能しますが、Google App Engine では機能しません。urlfetch のドキュメント: http://code.google.com/appengine/docs/python/urlfetch/fetchfunction.html

follow_redirects の下には、「Cookie はリダイレクト時に処理されません。Cookie の処理が必要な場合は、follow_redirects を False に設定し、Cookie とリダイレクトの両方を手動で処理してください。」とあります。

これを行う方法がわかりません。また、ドキュメントにも手がかりがないようです。

私はこの問題を徹底的に調べましたが、私の問題に有効なこのような問題は報告されていません。

非同期 URLFetch は、App Engine サンドボックスから抜け出す最速のメカニズムですか?

http://ikaisays.com/2010/06/29/using-asynchronous-urlfetch-on-java-app-engine/

過去に非常に遅い URLFetch を経験しましたが、Pull Queues はあまりにも多くのレイテンシーを導入すると考えています。

Google App Engine アプリは、ほぼリアルタイムで UDP メッセージを送信する必要があります。App Engine はポート 80 で HTTP のみをサポートするため、UDP メッセージを送信する EC2/Rackspace インスタンスに HTTP POST を使用する予定です。

[編集]

私はGoogleAppEngineを使用しており、いくつかの情報を抽出するためにHTMLコンテンツを解析しようとしています。私が使用しているコードは次のとおりです。

そして、このコードは奇妙な文字で応答を生成します。BeautifulSoupライブラリのprettify（）メソッドとrenderContent（）メソッドを使用してみましたが、効果がありません。

解決策はありますか？再度、感謝します。

サイトの一部で、ユーザーが URL を入力できるようにします。私はappengineに取り組んでいるので、私が考えていたのは、このように検証することです。

利点

• URLパターンを自動的にチェックします
• また、URL が壊れていないこと、読み込み時間が 1 秒以内であることを確認して、サイトのリンクをクリックしたときのユーザー エクスペリエンスを向上させます。

私が見ることができる可能な欠点：

• リクエストは、フェッチが完了するまで待機する必要があります。ユーザーが URL を入力できる機会はほとんどないため (現在はサインアップ時のみ)、これはおそらく大したことではありません。

限られた時間内に 100 ページ近くを取得し、結果コードを応答として返す必要があります。Google Apps には、一度に 10 件の非同期要求という制限があります。キューについて考えていますが、それらはバックグラウンドで動作します。請求可能なアプリが役立つ可能性がありますか? これが私のコードです.14以上のurls []があると失敗します:

ファイル「/base/python_runtime/python_lib/versions/1/google/appengine/api/urlfetch.py​​」、371 行目、_get_fetch_result で DeadlineExceededError(str(err)) DeadlineExceededError: ApplicationError: 5 を発生させます。