問題タブ [mechanize]

Win32 :: IE：Mechanizeをいじって、認証が必要ないくつかのサイトに自動的にアクセスしようとしています。これまでのところ、中程度の成功を収めています。たとえば、yahooメールボックスに自動的にログインできます。しかし、多くのサイトで、CAPTCHAと呼ばれる可能性のある何らかの画像検証メカニズムが使用されていることがわかりました。私は彼らに何もできません。しかし、私が自動アクセスしようとしているサイトの1つは、プレーンテキストの検証コードを使用しています。これは、選択可能およびコピー可能な4桁で構成されています。ただし、これらは、を使用してフェッチできるソースファイルには含まれていません。

インターネット一時ファイル内のすべてのファイルから、Webページに表示されているがソースファイルには表示されていないキーワードを検索しましたが、それでも見つかりません。

何が起こっているのか分かりますか？確認コードがCookieファイルに隠されているのではないかと思っていましたが、見つからないようです:(

以下は、検証コードを除くすべてのフィールド要件を完了するコードです。

いつものように、どんな提案/コメントも大歓迎です:)

アップデート

私はこの問題を解決するためのそれほど賢くない方法を考え出しました。以下に投稿された私自身の回答にコメントしてください。いつものようにありがとう:)

Nokogiri を使用して、select タグのコンテンツ (つまり、オプションでラップされたテキスト) に基づいて、select タグの 'value' 属性のコンテンツを取得するにはどうすればよいでしょうか?

たとえば、次の HTML があるとします。

文字列 (「最初のオプション」など) を指定して、「値」属性の内容 (「1」など) を返すことができるようにしたいと考えています。

私はこれの逆を達成することができました (select タグの 'value' 属性に基づいて select タグのコンテンツを取得します) が、これは私がする必要があることではありません。

私は機械化を使用しており、スクリプト/コンソールを使用してレール環境でテストするときに継承に問題があります。

私がこのように書くとき：

すべて正常に動作します。しかし、次のように WWW::Mechanize のサブクラスを作成しようとすると:

次のエラーが表示されます。

NoMethodError: 予期しないときに nil オブジェクトがあります! /Library/Ruby/Gems/1.8/gems/mechanize-0.9.3/lib/www/mechanize/page.rb:77:in `parser' から nil.parse を評価中にエラーが発生しました

何か不足していますか？

前もって感謝します

Facebookの投稿を自動的に「いいね」するボットを作成しようとしています。Mechanizeを使用してFacebookにログインできますが、残念ながら、いいねボタンへのリンクはMechanizeには理解されません。JSによってわかりにくくなっているようです。私が見る唯一のリンクは、次のような基本です。

Mechanizeに「いいね」のリンクを表示させる方法を知っている人はいますか？

ありがとう

わかりましたので、Python を使用していくつかの Web ページをダウンロードする必要があり、オプションを簡単に調査しました。

Python に含まれるもの:

urllib - 代わりに urllib2 を使用する必要があるようです。urllib は Cookie をサポートしておらず、HTTP/FTP/ローカル ファイルのみ (SSL なし)

urllib2 - 完全な HTTP/FTP クライアントで、Cookie などの最も必要なものをサポートしますが、すべての HTTP 動詞をサポートしているわけではありません (GET と POST のみ、TRACE などはサポートしていません)。

フル機能:

mechanize - Firefox/IE の Cookie を使用/保存でき、2 番目のリンクをたどるなどのアクションを実行でき、積極的にメンテナンスされています (2011 年 3 月に 0.2.5 がリリースされました)。

PycURL - curl が行うすべての機能 (FTP、FTPS、HTTP、HTTPS、GOPHER、TELNET、DICT、FILE、および LDAP) をサポートします。悪いニュース: 2008 年 9 月 9 日以降更新されていません (7.19.0)

新しい可能性:

urllib3 - 接続の再利用/プーリングとファイル投稿をサポート

非推奨 (代わりに urllib/urllib2 を使用):

httplib - HTTP/HTTPS のみ (FTP なし)

httplib2 - HTTP/HTTPS のみ (FTP なし)

最初に私を襲ったのは、urllib/urllib2/PycURL/mechanize がすべてうまく機能するかなり成熟したソリューションだということです。mechanize と PycURL は多くの Linux ディストリビューション (Fedora 13 など) と BSD に同梱されているため、通常、インストールは問題になりません (これは良いことです)。

urllib2 は良さそうですが、なぜ PycURL と mechanize の両方が非常に人気があるように見えるのか疑問に思っています。自分にとって最良の選択ができるように、これらの長所と短所についてフィードバックをいただければ幸いです。

編集: urllib2 の動詞サポートに関するメモを追加

新しいデータを 1 分ごとに取得する Web スクレイピング スクリプトがありますが、数日の間に、スクリプトは 200 MB 以上のメモリを使用することになります。使用する .back() 関数。

docstring を調べたところ、ブラウザー クラスの clear_history() 関数が見つかりました。更新するたびにそれを呼び出しますが、ページを更新するたびにメモリ使用量が 2 ～ 3 MB 高くなります。 編集: うーん、clear_history を呼び出した後、約 30 MB 相当のメモリ使用量になるまで同じことを続けていたようです。まで)...この動作をより定期的に強制する方法はありますか?

mechanize がこの情報をすべて保存しないようにするにはどうすればよいですか? 私はそれを保持する必要はありません。Python スクリプトのメモリ使用量を 15 MB 以下に抑えたいと考えています。

私の小さな機械化コードを手に入れました：

出力：

私は何を間違っていますか？

ちょっとした楽しみとして、非常に小さな Rails ブログを書きました (ただの Hello World です)。次に、mechanize を使用して投稿を作成します。そこで、Ruby Prog を作成し、コーディングを開始しました。

ここに私の問題があります: Rails は、すべての入力を含むフォーム要素を作成します。HTML では、私の入力は次のようになります。

また

さて... Mechanizeを使用した私のRuby Progは次のとおりです。

エラーの場所はわかっていますが、修正方法がわかりません。target_form.post[title] = "test" でクラッシュします。

私は（私を修正してください）、それは入力された名前が原因だと思います.post[title]だけではなく、post[title]ですよね？どうすれば修正できますか？