問題タブ [mechanize]

perl、ruby の機械化に似たライブラリを探しています。

基本的に、.click()フォームボタンをクリックしたり、リンクに移動したりできます。

pythonmechanizeのプロキシサポートについて質問があります。Webクライアントスクリプトを作成していますが、スクリプトにプロキシサポート機能を挿入したいと思います。

たとえば、私が持っている場合：

mechanizeスクリプトにプロキシサポートを追加するにはどうすればよいですか？このウェブサイトを開くときはいつでもwww.example.com、プロキシを経由してほしいです。

これは関連する質問ですが、mechanize / urllib2に答えを適用する方法を理解できませんでした：PythonhttplibライブラリにAリクエストのみを使用させる方法

基本的に、この単純なコードを考えると：

これにより、wiresharkは次のように言います。

これは5秒の遅延です。

システムのどこでもIPv6を有効にしていない（gentooでコンパイルされているUSE=-ipv6）ので、PythonにIPv6ルックアップを試す理由はないと思います。

上記の質問は、AF_INET素晴らしいサウンドのソケットタイプを明示的に設定することを提案しました。urllibを強制する方法や、自分で作成したソケットを使用するように機械化する方法がわかりません。

編集：他のアプリにも遅延があったため、AAAAクエリが問題であることがわかっています。また、ipv6を無効にして再コンパイルするとすぐに、問題は解決しました...引き続きAAAAリクエストを実行するPythonを除きます。

スタンドアロン スクリプトで Webrat を使用して、一部の Web ブラウジングを自動化しようとしています。assert_contain メソッドを機能させるにはどうすればよいですか?

このエラーが発生します

/usr/lib/ruby/gems/1.8/gems/webrat-0.6.0/lib/webrat/core/matchers/have_content.rb:57:in 'assert_contain': undefined method assert' for #<Object:0xb7e01958> (NoMethodError)

SSL が必要なサイトで Mechanize gem を使用した人はいますか?

そのような Web サイトにアクセスしようとすると、Mechanize は標準の HTTP を使用しようとするため、http:// と https:// の間で無限のリダイレクトが発生します。

このサイトから情報 (html テーブル) を解析しようとしています: http://www.511virginia.org/RoadConditions.aspx?j=All&r=1

現在、私は BeautifulSoup を使用しており、私が持っているコードは次のようになります

問題は、開始列と終了列にあります。それらは「なし」として印刷されます

出力：

それらが列リストに保存されることは知っていますが、余分なリンクタグが次のような元のhtmlでの解析を台無しにしているようです:

したがって、印刷する必要があるのは次のとおりです。

任意の提案やヘルプをいただければ幸いです。事前に感謝します。

私の友人は、情報を含む投稿でいっぱいのフォーラムを持っています。時々、彼女は自分のフォーラムの投稿を確認して、結論を出したいことがあります。現在、彼女はフォーラムをクリックして投稿を確認し、結論を出すためのデータ（脳内）の必ずしも正確な画像を生成していません。今日の私の考えは、データが何を言っているのかを彼女に実際に理解させるために必要なHTMLを解析する簡単なRubyスクリプトをたぶん打ち出すことができるだろうということでした。

今日初めてRubyのnet/httpライブラリを使用していますが、問題が発生しました。私のブラウザは私の友人のフォーラムを表示するのに問題はありませんが、メソッドNet :: HTTP.new（ "forumname.net"）は次のエラーを生成するようです：

ターゲットマシンが積極的に拒否したため、接続できませんでした。--connect（2）

そのエラーをグーグルで調べてみると、セキュリティ上の理由から、MySQL（またはそのようなもの）が私のようなおせっかいな人をリモートで突っ込んで欲しくないことに関係していることがわかりました。これは私には理にかなっていますが、不思議に思います。私のブラウザが友人のフォーラムをいじくり回しているのに、私の小さなRubyスクリプトには突っついた権利がないのです。スクリプトがサーバーに脅威ではないことを通知する方法はありますか？書く権利ではなく、読む権利だけが欲しいということですか？

みんなありがとう、

z。

Ruby と Mechanize をインストールしました。のこぎりでは自分のやりたいことができるように思えますが、どうすればいいのかわかりません。

これはどうtableですか？これは、vBulletin フォーラム サイトの HTML の一部にすぎません。HTML 構造を維持しようとしましたが、一部のテキストとタグ属性を削除しました。スレッドごとに、タイトル、作成者、日付、時間、返信、ビューなどの詳細を取得したいと考えています。

HTML ドキュメントにはテーブルがほとんどないことに注意してください。私は、そのtbody,を持つ特定のテーブルの後にい<tbody id="threadbits_forum_251">ます。名前はいつも同じです（願っています）。コードでtbodyとを使用できますか?name

ウェブサイトからいくつかのデータをスクラップしようとしています。私が書き込もうとしているスクリプトは、ページのコンテンツを取得する必要があります。

追加の順位と日付のすべてのオプションを通過するユーザーをシミュレートし、[実行]をクリックすることをシミュレートする必要があります。次に、データをフェッチした後、戻る機能を使用する必要があります。

今のところ、私は追加のスタンディングのためにこのオプションを選択しようとしています：

これが私の（貧弱な）試みです：

ただし、最初のフォームを選択する必要があるselect_form（nr = 0）では失敗します。

これはPythonによって返されるログです：

mechanizeホームページにすべての機能の適切な説明が見つかりませんでした。誰かが私にフォームと機械化を使用するための適切なチュートリアルを教えてくれるか、この特定の問題について私を助けてくれますか？

アンソニー

アクセス/クリックする必要があるページが複数ある場合に、ruby/mechanize/nokogiriを使用してすべてのページに移動/クリックする最良の方法は何ですか? たとえば、ここでは Page 1 of 34ページ番号または次をクリックする必要がありますか? または、より良い解決策はありますか？