コンテンツを投稿するためのFacebookスタイルのURLスクレーパーを作成しました。
誰かがURLを入力すると、リクエストが送信されます。バックエンドでは、Nokogiriを使用してURLを取得し、情報を取得して投稿を作成します。
apple.com、sony.comなどの他のすべてのWebサイトでは正常に機能しますが、元のドメイン( "mywebsite.com")からのリンクを使用するとタイムアウトになり、Herokuが30秒後にリクエストをタイムアウトする以外にエラーは表示されません。 。コンピューターのローカルホストからドメインをスクレイプすると、機能します。
Nokogiriが同じドメインからページの発信をスクレイピングすることを防ぐ何らかの発信ルールはありますか?
Ruby On Rails 3.1.10、Nokogiri 1.4.7、HerokuCedarStackを使用しています。