問題タブ [resque-retry]

yクエリは次のようなものです

requestRateTooLarge 例外発生時のリトライロジックのメソッドです。

うまくいっているかどうかはわかりませんが、

Exception: Microsoft.Azure.Documents.RequestRateTooLargeException を取得していますが、一度に約 4000 レコードのクエリと挿入を行っています。

挿入には同じ再試行ロジックを使用しましたが、正常に機能しています。エラーは発生せず、すべてのレコードを正常に挿入しましたが、クエリ データを取得できません。

NSURLSession で接続の再試行を実装したいと考えています。「 timeoutIntervalForRequest 」のようにこれを達成するために設定する必要があるパラメーターはありますかNSURLSession は接続を再試行する責任を負います。

これに対するパラメーターがない場合、どうすればこれを達成できますか?

私の現在のコードは次のとおりです。

応答コードが 200 でない場合、この関数は接続を再試行する必要があります。私も同じことができますか？

これはばかげた質問のように思えるかもしれませんが、StackOverflow の誰かがこれについていくつかのアイデアを持っているのではないかと思いました。なんてこった、右？

Resque を実行するために、1X Dynos を備えた Heroku ワーカーを使用しています。時々、このエラーが発生します: Redis::TimeoutError: Connection timed out. redisそれは宝石で起こります。スタックトレースは次のとおりです。

resque-retryセットアップはできましたが、呼び出しが redis に接続できなくても問題ないと思いenqueueます。

Resque.enqueue私の現在の解決策は、すべての呼び出しをラップして、呼び出しbegin/rescueを再試行できるようにすることです( https://github.com/resque/resque/issues/840enqueueに従って)。しかし、もっと良い方法はありませんか？

私は AsyncTask.THREAD_POOL_EXECUTOR で共通のリクエストとレスポンスを持っています。再試行回数を手動で実装しました。2 つの Web サービスが同時に動作し、互いの再試行回数を使用するとどうなるでしょうか。

クライアント OkHttpClient でレトロフィットを使用しています。

resque-retry の再試行機能をテストする仕様を作成しようとしていますが、テストで binding.pry を正しくヒットさせることができないようです。意図したとおりに機能していることを確認できるように、rspec 3 を使用してこの機能をテストする方法はありますか?

これはリクエスト仕様であり、フィクスチャを介してライブ リクエストをシミュレートしようとしていますが、何を試してもジョブを再試行できないようです。

私はresque_rspecを使用しており、このテスト戦略を試しています。

部分仕様

キュージョブ

キュー ジョブ モジュール

Python Web Scraping で特定の問題が発生しています。背景は、 http: //www.bbc.co.uk/food/recipes/ ですべての食品レシピをスクレイピングしたいということです。さて、以下は私のコードです

単一のレシピに関する情報 (作成者など) を抽出するコードは次のとおりです。

他のすべての関数 (Extract_cooking_time() や extract_preparation_time () など) は上記の関数と同様であると想定できます。最終的に、これらの関数 (レシピに関連する特定の情報を抽出する) をすべて collect_all_information ( ) 単一のレシピに関連するすべてを抽出し、すべての Url のループでこの関数 collect_all_information を呼び出します。毎回、特定のレシピに関連するすべての情報を抽出し、この情報を Recipes.txt というファイルに追加します。

今、私が抱えている問題は、以下のエラーです

ConnectionError: ('接続が中止されました', ConnectionAbortedError(10053, '確立された接続がホスト マシンのソフトウェアによって中止されました', なし, 10053, なし))

このエラーは、約 1000 のレシピをダウンロードした後に発生します (合計 11,000 のレシピがあり、それらすべてをスクレイピング/ダウンロードしたいです。すべてのレシピへのリンクがあり、各レシピで、調理時間などの情報を抽出します。準備時間、著者、材料など）、これに対する同様の回答を探しましたが、各回答は、このエラーはさまざまな理由による可能性があると述べています. ここに私の直感があります。このエラーは、単位時間にスクレイピングされたデータの最大数に何らかの形で関連していると思います (制限を超えたことを意味します)。それぞれ 20 個のレシピがありますが、まだこのエラーが発生しています) !

もう少し情報があります。私は BeautifulSoup 4 と Python 3、Windows 10 を使用しています! このエラーが発生した理由と、それを解決するためにコードの何を変更すればよいかを誰かに教えてもらえますか。あなたの解決策は、理解しやすく実装しやすい限り何でもかまいません。パッケージの「再試行」を使用しようとしたことにも注意してください。コード！したがって、それを回答に含めることもできます。

明確にするために、変数 'c​​ount' を維持して、問題が発生した場所を教えてくれます。レシピをテキスト ファイルに追加する前に、それを出力します (何回繰り返してもこの問題が発生するか)。このような問題が発生した場合でも、少なくともいくつかのレシピをダウンロードしてハードウェアに保存できるように、ファイルに追加します。</p>

事前にお時間をいただきありがとうございます