問題タブ [urlfetch]

java.net.URLConnectionクラスを使用するClojurehttpライブラリはありますか？ドキュメントによると、私が尋ねている理由は、それがGoogleAppEngineでhttp接続を確立する唯一の受け入れられた方法だからです。

現在、GETリクエストにcom.twinql.clojure.httpを使用していますが、接続時に次のエラーが発生するため、適切なインターフェイスを使用しているとは思いません。

Google App Engine の UrlFetchService には setDeadline FetchOption があり、トリップすると例外が発生すると想定されています。

アプリは、呼び出しを行うときに待機する最大時間を指定できます。最大待機時間を超えると、呼び出しで例外が発生します。

どの例外？

IOException の場合、デッドライン タイムアウトとその他の原因をどのように区別すればよいですか?

Google アプリである種の Web サービスを構築しようとしています。

問題は、Web サイト (HTML スクレイピング) からデータを取得する必要があることです。

リクエストは次のようになります。

これで、App Engine は 3 行目に次の例外を表示します。

これは、リクエストの最大制限が 1 MB であり、ページからの HTML の合計が約 1.5 MB であるためです。

ここで私の質問: スクレイピングする必要があるのは、html の最初の 20 行だけです。ResponseTooLargeException がスローされないように、HTML の一部のみを取得する方法はありますか?

前もって感謝します！

これは私のコードです：

エラーは次のとおりです。

だから私はエラーを見つけることができません、

しましたか。

ありがとう

Google App Engine はurlfetch.fetch()、応答を1MBに制限しています。これの回避策はありますか（有料版に切り替えるかもしれません）？

私は Python を使用していますが、素晴らしい例を提供できれば幸いです。

いくつかのjsonデータを含むデータをWebページからフェッチしたいと思います。問題は、ユーザーがWebサイトにログインしている場合にのみjsonデータが返されることです。そうでない場合は、ログインページが返されます。

だから、result私はjsonデータを持っていることを期待しています。しかし、私はそこにログインページを持っています。ブラウザからログインしてみましたが、うまくいきませんでした。

ブラウザのCookieを使用してこのログインページを通過するにはどうすればよいですか？

アプリ エンジンのバージョンは 1.4.0 です。データ dem.bil は /war/dem.bil ディレクトリの下にあります。これらは、3M であるデータ dem.bil を取得するコードです。 openConnection(); 入力ストリーム b = a.getInputStream(); int len = a.getContentLength(); if (len < 0) { null を返します。} //System.out.println("Total: "+len); byte[] c = 新しい byte[len]; b.read(c,0,len); cを返します。}キャッチ（例外e）{e.printStackTrace（）; null を返します。} }

バージョン 1.4.0 では URLFetch の応答制限が 32MB に増加したことは知っていますが、InputStream b = a.getInputStream(); になると、デバッグは「com.google.appengine.api.urlfetch.ResponseTooLargeException: The response from url localhost:8888/dem.bil was too large.」です。誰かが理由を教えてもらえますか?またはコードに問題がありますか?

アプリ エンジンで 1M を超える fetch() を実行するには、範囲ヘッダーを使用してから、それらの部分とコードを結合します。

しかし、「InputStream in=con.getInputStream();」に行くと、そのデバッグは「URL Fetch Response too large problems」なので、これらのコードの何が問題なのかわかりません。1M を超える fetch() する他の方法はありますか?

私は自分のアプリで urlfetch を使用しています。開発環境ではすべて問題なく動作しますが、実際にデプロイすると urlfetch が非常に信頼できないことがわかりました。正常に動作する (データを取得する) 場合もありますが、数分後に何も返されない場合があり、その後数分後には正常に動作するようになります。これは非常に容認できません。ソース URL が問題 (YQL) ではないことを確認しましたが、開発環境ではすべて正常に動作します。

試すことができるサードパーティのライブラリはありますか?

コード例:

正常に動作する場合もありますが、コードを変更せずに完全にランダムに動作する場合もあります。次のエラーが表示されます。

Google スプレッドシートで Google Apps エンジンを使用すると問題が発生します。別のサーブレットで認証トークンを取得し (Google ClientLogin で)、GET 要求と認証ヘッダーを使用してスプレッドシート フィード xml を取得しようとします (Google ドキュメントで説明されています)。

私のサーブレットは次のようになります。

}

トークンを正しく取得できますが、スプレッドシート フィードを取得するために 2 番目の要求を実行しようとすると、エラー 400 Bad Request が発生し、このエラーを再読み込みしようとすると:

最初のリクエストのみが機能するようです...実際、2番目のリクエストにコメントしてトークンを取得し、最初のリクエストにコメントしてトークンを手書きで2番目のリクエストを実行すると、スプレッドシートフィードのxml出力が正しく表示されます...

後続の 2 つの要求を実行できないのはなぜですか?