問題タブ [urlfetch]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
3 に答える
3990 参照

python - URL取得時のUnicodeEncodeError

lxml を使用して HTML ドキュメント内のすべてのテキスト ノードを取得しようとすると、この問題が発生しますが、 UnicodeEncodeError: が発生し'ascii' codec can't encode character u'\xe9' in position 8995: ordinal not in range(128)ます。encoding = chardet.detect(response)['encoding']しかし、このページ ( )のエンコーディングの種類を調べようとすると、 と表示されますutf-8。1 つのページに utf-8 と ascii があるのは奇妙に思えます。実際、これは:

問題を解決します。

これが私のコードです:

出力:

この問題を解決するにはどうすればよいですか? 他のいくつかのページでこれを行いたいので、個別にエンコードしたくないことに注意してください。

アップデート:

たぶん、ここで何か他のことが起こっています。ターミナルでこのスクリプトを実行すると、正しい出力が得られますが、SublimeText 内で実行すると、UnicodeEncodeError が発生します... ¿

更新 2:

この出力でファイルを作成するときにも発生します。.encode('ascii', 'replace')動作していますが、より一般的な解決策が必要です。

よろしく

0 投票する
0 に答える
864 参照

google-apps-script - urlFetchの利用規約と割り当て-Googleドキュメントを使用してウェブサイトの稼働時間を監視する

ウェブサイトの稼働時間/ダウンタイムを監視するGoogleDocsスプレッドシート(​​および基盤となるスクリプト)を改善してきました。ここで説明を確認し、スプレッドシートをコピーできます:http: //agileadam.com/google-docs-uptime-monitor

私はWeb開発者であり、199の(数は増えるでしょう)Webサイトの稼働時間を監視する必要があります。これは長年の開発の積み重ねであり、私たちが管理するすべてのサイトです。そのため、関数を実行する5分間の時間駆動型トリガーがありました。このトリガーは、すべてのURLをループし、urlFetchを使用してHTTPステータスをチェックします。

2つの質問があります:

  1. これはGoogleドキュメントの利用規約に違反していますか?

  2. 午前5時57分に、「例外:サービスが1日に何度も呼び出されました:urlfetch」というメッセージが表示されました。https://docs.google.com/macros/dashboardによると、私のアカウントの制限は20,000です。私の計算によると、私は約14,000回しか使用していなかったはずです。なぜそれは私に爆撃したのですか?

類似しているドメイン名の多くを削除し(同じサイトの.comと.orgを監視する必要はないと思います)、トリガーを15分ごとに実行するように変更しました。これにより、実行回数が大幅に削減されます。

0 投票する
1 に答える
632 参照

java - 取得したURLとBlobstoreへの保存:AppEngine(java)

以下のメソッドは、画像をフェッチしてGAEブロブストアに保存します。

以前は、20個の画像のURLを取得しようとしたときに機能していました。画像の100URLの新しいセットにエラーがあります。"URL: " + strUrl印刷されていないため、どちらがエラーの原因かわかりません。

appspot.com/_ah/upload/someStringエラーがスローされると、ページは以下のエラーを表示するようにリダイレクトされました。

上記のコードに問題はありますか?私はそれfileServiceがまだ実験モードにあることを知っています。私は何かを逃したことがありますか?

0 投票する
2 に答える
2069 参照

post - Google Apps Script を使用して POST 本文を作成する

ユーザーの Google カレンダーに新しい所有者を追加する Google Apps スクリプトを作成しようとしています。以下の最初のコード ブロックは正しく機能します (カレンダー ACL を JSON 形式で返します)。Google Apps Script を使用して ACL に新しいユーザーを追加するにはどうすればよいですか? 2 番目のコード ブロックは、新しいルールを ACL に挿入しようとする試みを示しています。

サーバー エラー 400 (「解析エラー」) を返す 2 番目のコード ブロックを次に示します。

0 投票する
1 に答える
384 参照

python - Appengineのurlfetchまたはurllib2HEADリクエストを実行できますか?

こんにちはスタックオーバーフロー!

Pythonのurllib2ライブラリがHEADリクエストを実行できることを理解しています。Python2でHEADHTTPリクエストを送信するにはどうすればよいですか。

これは、HEADリクエストを実行する場合、urllib2を使用する必要があることを意味しますか?また、appengineのurlli2はHEADリクエストを実行できます(urlfetchがhttps://developers.google.com/appengine/docs/python/urlfetch/fetchfunctionを実行できるようには見えないため疑わしい)

とても有難い!

0 投票する
1 に答える
3671 参照

google-apps-script - UrlFetchApp 呼び出しを実行するノードの IP アドレスの特定

Google Apps スクリプトで UrlFetchApp を介した Web API 呼び出しの場合、認証 (namecheap.com API) のために HTTP クライアント IP を (HTTP-GET を介して) 送信する必要があります。

クエリ URL に追加するために UrlFetchApp 呼び出しを実行するノードの IP アドレスを特定する方法はありますか?

0 投票する
1 に答える
82 参照

java - urlFetch 、サーブレット、およびスレッド

Appengine-Java で webapp を開発しています。私はこの分野の初心者で、苦労しています。

現在ループを使用しています。各ループは、リストから特定の isbn にアクセスし、urlFetch を介して書籍の詳細を取得します。私の問題は、ループの代わりにスレッドを使用してパフォーマンスを向上させたいということですが、Java は 1 つのスーパークラスしかサポートしておらず、スレッドを拡張できません。何か案は?

0 投票する
4 に答える
34168 参照

google-apps-script - UrlFetchApp.fetch例外をキャッチする方法

からの例外をキャッチする方法はありますUrlFetchApp.fetchか?

応答コードを確認するために使用できると思いresponse.getResponseCode()ましたが、たとえば404エラーが発生した場合、スクリプトは続行されず、で停止することができません。UrlFetchApp.fetch

0 投票する
3 に答える
1489 参照

google-app-engine - URL Fetch は GAE のプロキシ キャッシュを使用しますか?

Google App Engine のサービスURL Fetchがプロキシ キャッシュを使用しているかどうかはわかりませんが、これについては別のスレッドで説明されています。私の質問は: URL Fetch を使用して、GAE 上のアプリからアプリ (ハンドラー) にリクエストを送信した場合、結果はこのプロキシにキャッシュされますか?

ありがとう。

0 投票する
1 に答える
307 参照

api - サービスの認証に失敗しました: カレンダー

ユーザーが自分を所有者としてカレンダーに追加できる Web アプリを作成しようとしています。カレンダーの ACL に新しいルールを挿入しようとしていますが、Calendar API へのアクセスを使用する許可を得ることができません。

ポップアップしたダイアログでスクリプトの実行を承認した後、「サービスの認証に失敗しました: カレンダー」というエラー メッセージが表示されました。

私は間違って何をしていますか?

}