問題タブ [urlfetch]

どのURLが応答を受信したかを判断する方法は?

私はnutch1.3でサイトをクロールします。今、crawldbからURLを削除したいのですが、どうすればよいですか？クロールdbからどのように読み取るのですか？クロールdbに存在するURLを見たいのですが。

Google フュージョン テーブルへのグラフを作成したいと考えています。Fusion Table を使用するオプションがあることは知っていますが、Google スプレッドシートを使用して行う必要があります。

プライベート フュージョン テーブルをスプレッドシートにインポートするにはどうすればよいですか?

上記のコードでは、テーブル ヘッダーのみが表示されます。

ニュースストリームからデータを取得してフィルタリングしています。これには、Facebookが5秒以上かかる場合があります。url_fetch()GoogleAppEngineのタイムアウトになりました。

このタイムアウトを回避したり、Facebookが私のリクエストに応答する速度を改善したりする方法はありますか？これは私が私の例外を得る部分です：

Google App Engine の urlfetch 機能を使用して、別の Web サービスにリモートでログインしています。開発ではすべて正常に動作しますが、本番環境に移行するとログイン手順が失敗します。プロダクション URL フェッチをデバッグする方法について何か提案はありますか?

URL フェッチで Cookie やその他のヘッダーを使用しています (ヘッダー内に手動で Cookie を設定しています)。Cookie の 1 つはセッション Cookie です。

エラーや例外はありません。実稼働環境では、URL コマンドにログインを送信するとセッション Cookie が返されますが、セッション Cookie を使用してページを要求すると、それらは無視され、ログイン情報の入力を再度求められます。開発時にセッション Cookie を取得すると、内部ページに問題なくアクセスできます。問題は Cookie の保存に関連していると思いましたが、リクエストがほぼ同じであるため、正しいように見えます。

これは私がそれを呼び出す方法です：

問題に関するいくつかの推測は次のとおりです。

• Google の url fetch 実装の分散型の性質により、問題が発生しています。
• 本番環境では、開発環境とは異なる順序でヘッダーが送信され、サーバーが混乱する可能性があります。
• Google のサーバーの一部は、ターゲット サーバーによってブラックリストに登録されています。

以下は、私が除外したいくつかの仮説です。

• Google キャッシングは積極的すぎます。しかし、ヘッダー Cache-Control: no-store を使用してキャッシュをオフにした後も問題が発生します。
• Google の urlfetch はターゲット サーバーに対して速すぎます。しかし、呼び出しの間に遅延を挿入した後も問題が発生します。
• Google は User-Agent ヘッダーにいくつかのデータを追加します。しかし、そのヘッダーを開発に追加しましたが、問題は発生しません。

本番用 URL フェッチと開発用 URL フェッチには他にどのような違いがありますか? これをデバッグするためのアイデアはありますか?

更新 2

（最初の更新は上記に組み込まれています）それが私が行ったものかどうかはわかりません（おそらく上記の遅延の追加またはキャッシュの無効化）が、現在、本番環境は約50％の時間で動作します. これは間違いなく競合状態のように見えます。残念ながら、問題が自分のコードにあるのか、Google のコードにあるのか、ターゲット サーバーのコードにあるのかはわかりません。

ユーザーが入力した外部 URL から (タイトル、説明) のようなデータを取得したいと考えています。

Facebook のように、外部 URL をコピーすると、その URL からいくつかの情報が取得されます。

jqueryプラグインなどでクライアント側で行う方法はありますか...？

編集:Facebookのステータスで言うように、私は「www.stackoverflow.com」をコピーし、タイトルとそこからいくつかの情報を取得します。私はかなり似たようなものを持っている必要があります。URLから同様の基本情報を取得できるjqueryプラグインはありませんか...

Google App Engine URL Fetch Python APIが認証情報を持つ URL へのアクセスをサポートしていないかどうかを知りたいです:

これは基本的な機能のはずですが、動作させることができず、サポートされているかどうかについてのドキュメントも見つかりませんでした。

Web サービスからデータストアにデータをロードしているときにエラーが発生しました。問題は、Web サービスから返された XML に UTF-8 文字が含まれており、アプリ エンジンがそれらを正しく解釈していないことです。それらを ?? としてレンダリングします。

これを URL Fetch リクエストまで追跡したことは間違いありません。基本的な流れは次のとおりです。タスク キュー -> Web サービス データを取得する -> データをデータストアに入れるので、メイン サイトの要求または応答のエンコーディングとはまったく関係ありません。

Apache Digester の前後にログ メッセージを置いて、それが原因かどうかを確認しましたが、そうではないと判断しました。これは私がログで見たものです：

XML からの文字列: "Doppelg��nger"

消化槽処理後：「ドッペルグ??ンガー」

ここに私のURL取得コードがあります:

これを強制的に入力をUTF-8として認識させる方法はありますか? 読み込んでいるページをテストしたところ、W3c バリデーターはそれを有効な utf-8 として認識しました。

この問題はアプリ エンジン サーバーでのみ発生し、開発サーバーでは問題なく動作します。

ありがとう

私のアプリケーションは、それを実行するためにできるだけ多くの IP を必要とします。

より多くのアプリ ID と Google アカウントを登録しようとしましたが、機能しません。IP は同じ範囲にあります。

これを解決するにはどうすればよいですか?ありがとう!

問題は、開発環境（Google App Engineのローカルサーバー）でurlfetch.fetch（...）を使用してPOSTリクエストを実行すると、期待どおりにHTTP 302ステータスを取得することです（リダイレクトを実行できます）。しかし、アプリをアップロードして.appspot.comから実行しようとすると、403で応答をフェッチします。これは「禁止」です。

詳細：

• URLはhttps（私の銀行サイト）です
• リクエストヘッダーにCookieがあります
• .. ほかに何か ？

リモートサイト（銀行）は、2つのリクエストを異なる方法で認識しているようです。ローカルはOK、「fromgoole」はOKではありません。

私のPythonコード：

Link_HTMLParserは、フレームのソースリンクを取得するための単純なパーサーです（url1の最初の応答コンテンツを見ると、明らかになります）。

問題は2番目の応答にあります：グーグルからの403、そして地元のゲーサーバーからの200。質問の冒頭でPOSTについて説明しましたが、方法（GETまたはPOST）に関係なく問題が発生しているようです。これは、セッション管理の問題だと思います。