問題タブ [urlfetch]

Python と Google App Engine の専門家、

次のリンクにある TD Bank の住宅ローン金利の Web サイトを取得したいと思います。

"http://tdbank.mortgagewebcenter.com/Default.asp"

私は今晩、チュートリアルを通じて Python と Google App Engine を学びましたが、おそらく GZIP の問題であると思われるものに行き詰まっています。

理想的には、私が下に貼り付けているコードを誰かに修正してもらいたいです。または、この Web ページを正常に受信し、python/google アプリ エンジンで解析できるようにするための正しいコードを提供してください (こちらの方が簡単な場合)。

試行 1 - URLFETCH

試行 2 - URLLIB2

YAML ファイル:

どちらの場合も、ブラウザはリダイレクトされます

読み込もうとしている URL を www.google.com などの別の Web ページに変更すると、出力が適切に印刷されます。

よろしくお願いします。

-トッド

専門家、

Google App Engine を使用して最も基本的な Web サイトを取得することさえ、非常に困難な場合があります。

私の場合、次の URL で Web サイトを取得したいと思います。

http://tdbank.mortgagewebcenter.com/PowerSite/CheckRates.aspx/Index/9809

すべての Cookie を受け入れてから、この URL への応答を POST したいと思います (これは単純なフォームの投稿です)。

http://tdbank.mortgagewebcenter.com/PowerSite/CheckRates.aspx/Search

POSTしたい文字列は次のとおりです。

私が得ている問題は、Web ブラウザーで「Cookie が有効になっていません」という Web ページが表示されることです。

以下のコードからわかるように、手動で Cookie を追加しようとしましたが、成功しませんでした。

助けてください！-トッド

yaml ファイル:

urlfetch を使用してスプレッドシートにページ データを入力したいのですが、使用しようとしている URL に無効な引数としてエラーが返されます。問題は、URL で誤解されている文字 (引用符や括弧など) を使用していることだと思います。

以下のコマンドで URL をエンコードしようとしましたが、一部の文字を二重にエンコードしており、それが問題を引き起こしていると想定しています。

そのページに移動する前に、ログインする必要があるWebサイトからhtmlをフェッチするタスクがあります。

低レベルのAPIURLフェッチサービスを使用しています。これが私のコードテストコードです：

これが私のデフォルトのユーザーエージェントです：

開発マシンでは正常に動作しますが、App Engineにデプロイしてテストすると、応答コード500と次のエラーが発生します。

ビューステートMACの検証に失敗しました。このアプリケーションがWebファームまたはクラスターによってホストされている場合は、構成で同じvalidationKeyと検証アルゴリズムが指定されていることを確認してください。>AutoGenerateはクラスターでは使用できません。

説明：現在のWebリクエストの実行中に未処理の例外が発生しました。>エラーとそれがコードのどこで発生したかについての詳細は、スタックトレースを確認してください。

例外の詳細：System.Web.HttpException：ビューステートMACの検証に失敗しました。このアプリケーションがWebファームまたはクラスターによってホストされている場合は、構成で同じ検証キーと検証アルゴリズムが指定されていることを確認してください。AutoGenerateはクラスターでは使用できません。

ASP側でエラーが発生しているようです。

私のコードに何か問題がありますか、またはアプリエンジンにいくつかの制限がありますか？

これが完全なスクリプトです。

ここではint値を期待しています--sheet1.getRange（i + 1,3）.setValue（contLength）。代わりに、スクリプトが実行されるたびに、undefinedまたはint値のいずれかをもたらします。

ここでの問題は何でしょうか？

ありがとう、サミール

docs スプレッドシートに添付されたスクリプトで google code Url fetch サービスを使用しており、1 年以上機能していました。しかし、突然、ドキュメントを Google ドライブに移行すると、サービスが失敗し始めます。

形式は次のとおりです。

コード 4 は 1 年以上変更されていませんが、障害レポートには「予期しないエラー」と表示され続けています。

Pls 物事を整理するにはどうすればよいですか?

次のコードは、Pythonインタラクティブシェルで機能します。

そして200の結果を与えます。

開発サーバーでローカルに実行されているAppEngineアプリで同じコードを実行すると、次のエラーで失敗します。

urlfetchライブラリを直接使用してみました：

urllib2これも失敗します（ AppEngine内で内部的に呼び出されると私は信じているので、これは理にかなっていURLFetchますか？）

ローカルマシンからURLに明確にアクセスできます-では、何が起こっているのでしょうか？

更新：関連するスタックトレース：

App Engine で実行するアプリケーションを開発しています。私のタスクの 1 つは Web サービスを呼び出します。そのために、JAX-RS を使用します。ただし、呼び出しの 1 つは、アプリ エンジンによって設定されたタイムアウト (5 秒) に達します。このタイムアウトを 10 秒に増やしたいのですが、変更できません。実際、JAX-RS では、作成された HttpConnection オブジェクトをキャッチすることはできません。

私の質問は、URL フェッチのタイムアウトをグローバルに設定することは可能ですか?

ありがとう

UrlFetchAppのPOSTサイズ制限が何であるかを調べようとしていますか？スクリプトは、電子メールで送信されたいくつかの添付ファイルをWebサービスにアップロードし、次のエラーを返します。

「制限を超えました：UrlFetch投稿サイズ。（行XX）」。

さまざまなサイズのファイルを送信する以外に、これを理解する方法はありません。

Facebookのウォール/ニュースフィードのように、非常に多くの機能を備えたWebページを作成しています。登録ユーザー（またはFacebook-connect、google auth）は、URLを送信できます。現在、私はこれらのURLを取得し、urllib2を使用してURLのコンテンツを取得し、og：properties、HTMLタイトルタグ、画像のいくつかのタグなどの関連情報を検索しています。

これで、ユーザーがサーバーにURLをフィードして開くようにすると、サーバーが危険にさらされることを理解しました。

私の質問は、リスクがどれほど高いかということです。どのような標準のセキュリティチェックを行うことができますか？

今のところ、何をチェックすればよいかわからないため、「アクティブな」保護なしでURLを開いています。

そして、フェッチされたコンテンツをデータベースに保存するのはどうでしょうか。djangoにはSQLインジェクションに対する保護機能が組み込まれていますか？

ありがとうございました！