問題タブ [mechanize-ruby]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
ruby - httpのプロキシ/認証設定の値をRubyに自動的に見つけさせますか?
Ruby gem Mechanize を使用してプロキシ経由で Web サイトにアクセスしていますが、動作していることがわかります。Ruby にプロキシ設定を自動的に入力させることが可能かどうか疑問に思っています。
ユーザー名とプロキシを取得する方法は知っていますが、プロキシは認証を必要とするため、パスワードは知りません。
ruby - Errno::ENOMEM の取得: Mechanize 経由でページを「取得」するときに十分なスペースがありません
私は現在、Web スクレイピングに関するチュートリアルに従おうとしていますが、「Errno::ENOMEM: 十分なスペースがありません」という Ruby エラー メッセージを受け取りました。http://bugs.ruby-lang.org/issues/show/1063から回避策を見つけましたが、より永続的な解決策があるかどうか疑問に思っていました。私は ruby 1.8.7 (2010-12-23 パッチレベル 330) [i386-mingw32] を使用していますが、この問題を修正すると思われる新しいバージョンに更新する立場にはありません。この問題は、より大きなページを取得しようとしたときにのみ発生します。
現在の解決策:
ruby - mechanize（ruby）で画像をこする
mechanizeを使用してweb_pageから画像を保存しようとしています。私はこのコードを使用します：
エラー（タイムアウト設定に問題があると思います）：
「2896バイト（合計12157）を読み取ります」という画像のスクレイピングが開始され、その後フリーズすることがわかります。画像の解析は完了せず、画像は保存されません:(
どうすればこの問題を解決できますか？
ruby-on-rails - Nokogiri ステートメントをスクリーン スクレイピング用の Mechanize に変換するにはどうすればよいですか?
Mechanize を使用して、ページからいくつかのタグをスケープしようとしています。以前は Nokogiri を使用してそれらをスクレイピングすることに成功しましたが、現在はそれらをより広い Mechanize クラスに結合しようとしています。ノコギリの声明は次のとおりです。
そして、これがMechanizeと同等だと思ったものですが、機能していません：
1 つ目は期待どおりにリンク タグを返します<link rel="apple-touch-icon" etc etc..></link>。2 番目のステートメントは、空白の文字列を返します。端をto_s外すと、非常に長い出力が得られます。エラーか、実際の Mechanize オブジェクトか何かだと思います。
文字列に変換しない場合の長い出力へのリンク: https://gist.github.com/eadam/5583541
ruby - ruby の mechanize とは別のページ
私の友人は、Ruby の機械化を使用して、ログイン後にページから Cookie を取得するスクリプトを作成しました。
- 機械化を開始
- ログインを通過する
- フォームから配信されたページから Cookie の値を取得する
スクリプトは彼にはうまくいくようですが、私にはうまくいきません。これをインタラクティブに実行しようとしたところ、Mechanize から返されたページ タイトルがブラウザのものとは異なることに気付きました。ログインすると、ページ タイトルは「SSL VPN - ホーム」ですが、返された送信オブジェクトのタイトル属性を見ると、「お待ちください...」と表示されます。
Mechanize は、目的のページを取得するのに十分な時間待機していない可能性がありますか? 「お待ちください...」は、Mechanize セッションが到達していない、更新またはリダイレクトされる中間ページを暗示しているようです。いずれにせよ、同じタイトルの値は得られません。
ruby - user_agent_alias を使用して「不正な引数 (予期される URI オブジェクトまたは URI 文字列)」をスローする機械化
Twitter から画像を取得しようとしていますが、使用するとクラッシュしますuser_agent_alias。ユーザーエージェントを指定する必要があります。しかし、エージェント エイリアスを使用すると、なぜこのようなことが起こるのでしょうか? それは正常ですか？
{ |agent| agent.user_agent_alias = 'Mac Safari'}ブロックの有無にかかわらず自分で試してみてください:
エラー トレース:
ありがとう！
ruby - RubyはSSHトンネルSocks5プロキシを介して機械化しますか?
SSH トンネル SOCKS5 プロキシを経由するように機械化しようとしています。なんらかの理由で、HTTP 要求中にエラーが発生し続けます。必要になる前にEOFを取得しているように。プロキシ設定をオフにすると機能しますが、プロキシから複数の接続要求を受信する理由がわかりません。
複数のリクエストが返送される原因は何ですか? トンネルを通過する他のトラフィックはありません。
出力：
ruby - Rails で計算されたフォント サイズを取得する
Rails 3 を使用して Web サイトをスクレイピングし、次のようなクエリを実行しています。
私はそれからやっています
ページ上のすべての div のリストを返します。フォント サイズが最大の div を選択したいと思います。Mechanize、Nokogiri、またはその他の Rails gem を使用して div の計算されたフォント サイズを見つけ、そこから最大のフォント サイズのものを選択する方法はありますか?
ありがとう