問題タブ [procfile]

RapGeniusは、Ruby ライブラリ Typhoeus を使用して、Heroku 上のワーカー dyno 全体でスクレイピング タスクを並列化することにより、それらを指す 17 万個の URL すべてをチェックする方法について、この記事を投稿しました。

私は、150 万の URL のスクレイピング (ソースの取得) を含むプロジェクトに取り組んでおり、それを高速化しようとしています。Python に慣れてきたので、redis と python multiprocessing を使用して、デスクトップ全体で並列化するスクレーパーを作成することができました。私が混乱しているのは、Herokuで動作するように変更する方法です。

これが私のプログラムが今どのように設計されているかです：

1) 初期化スクリプトが実行され、事前にすべての URL が Redis キューに保存されます

2) 次のようなすべてのプロセスを開始するスクリプト run_workers.py が実行されます。

3) 次のようなスクレイピング タスクを実行する worker.py 内のワーカー:

• 現在のプログラム構造を Heroku に直接移植できますか? Procfile には何を入れますか? 私の最初の推測は

  init_scrape.py は最初にキューを初期化し、次にワーカーを実行します。しかし、実際にクラウド上で python タスクを配布した経験がないので、コストのかかるミスは避けたいと思っています。

• これをローカルで実行すると、結果をデータベース (URL ごとに 150 万行あり、キャッシュを保存するための空きスペースがある) に直接保存すると、各 UPDATE クエリが遅くなることがわかりました (数分かかります)。結果を一時テーブルに保存し、後で 2 つのテーブルをマージする方がよいでしょうか?

• 私が使用していない、使用すべきテクノロジーは何ですか? たとえば、Celery と Twisted の両方がこの種の適切な候補として言及されているのを見てきました。私はどちらにも慣れていませんが、周辺のグーグルで両方を提案された代替案として見てきました。

私は Heroku チュートリアルの Scala に従っています: https://devcenter.heroku.com/articles/getting-started-with-scala#store-your-app-in-git。「 foreman start 」と入力してアプリケーションをローカルでビルドしようとする と、「エラー: Procfile does not exist」が表示されます。しかし、そうです!! Procfile の内容: web: target/start Web、入力すると: target/start Web、アプリはローカルで問題なく実行されます... アプリケーションを Heroku に正常にデプロイしたので、Procfile に問題はないようです。どういうわけかフォアマンはファイルを見ません...理由はありますか?

PHP アプリケーションの CloudControl で luigi スタックを使用しており、Web ロールと worker ロールを使用しており、pinky スタックに移行したいと考えています。

後者では、web と worker の起動コマンドを定義するために procfile を使用する必要があるようですが、それらがどうあるべきかわかりません。

誰かが実用的な例を提供できますか?

Heroku で Gunicorn からウェイトレスに切り替えようとしています。ログで、ウェイトレスからエラーが発生し続けます。

私のprocfileには、次のものがあります。

.wsgi拡張機能を削除すると、別のエラーが発生します。

wsgifuncウェイトレスのドキュメントにあるので、オブジェクト名も変更しようとしましたが、うまくいきませんでした。

どんな助けでも大歓迎です。次の wsgi.py ファイルがあります。

Rails 4 アプリを Capistrano でデプロイするためにRecapを使用しようとしています。docsでは、次のように述べています。

ruby レシピ [...] には、Procfile で定義されたプロセスの開始と再起動を行うフォアマンのサポートが含まれています。

私のアプリでは、デプロイごとに 2 つのプロセスを再起動する必要があります。

1. 乗客
2. 遅延ジョブ

Gemfile に追加gem 'foreman'しました。Procfile での試みは次のとおりです。

しかし、展開時に何も再起動されないため、明らかに間違っています。

正しい Procfile はどのようになりますか?

あるいは、これがそもそも間違ったアプローチである場合、これらのプロセスがデプロイごとに再起動されるようにするためのより良いアプローチは何でしょうか?

私はシナトラとヘロクが初めてです。小さな Sinatra アプリを heroku にプッシュしようとすると、このエラーが発生します。

これは私のgemファイルがどのように見えるかです

オンラインで見た多くのことを試しましたが、このエラーがまだ表示されます。これがばかげた質問なら申し訳ありませんが、それは私を夢中にさせます! アプリでこれ以上ファイルを見たい場合は、喜んで追加しますが、どのファイルを追加すればよいかわかりません..

お時間をいただきありがとうございます。ご協力いただきありがとうございます。

django アプリを heroku にデプロイしようとしていますが、クラッシュし続けます。誰かが私が間違っていることを知っていますか? これが私のProfileです：

そして、ここに私のherokuログからのスニペットがあります:

私はアプリで作業しており、heroku にデプロイしようとしています。ここに完全なソースがあります。

私が見ている主なエラーは

heroku[router]: at=info method=GET path="/" host=cheesyparts.herokuapp.com request_id=25d2dbb5-e13a-4146-bb3a-9386f997c44c fwd="54.234.191.55" dyno=web.1 connect=2 service=3 status=404 bytes=417

ローカルでフォアマン経由で起動しようとすると、同じ問題が発生します。ただし、 を使用すると、サーバーを起動して実行できますruby parts_server_control.rb run。どんなヒントでも大歓迎です。

config.ru見た目はこんな感じ

制御スクリプトparts_server_control.rbは次のようになります。