問題タブ [mechanize-python]

Python Mechanize モジュールを使用して、フォームをトラバースし、コントロール、コンテンツなどを表示しています。このドキュメントは不完全であるため、すべてのメソッドの詳細を共有できる人はいますか?

また、フォームの submit() メソッドと click() メソッドの違いを理解できません。それについてもコメントしてください。

Google の画像検索結果の HTML を解析して、画像の元のリンクを取得しようとしていました。

これまでのところ、Python の Mechanize と BeautifulSoup を使用して、Google の検索の HTML を取得する Python コードを作成することに成功しました。

Google の検索結果の HTML ソースを見ると、Google が元の画像の URL の二重エンコードを class の div に保存していることがわかりましたrg_metaが、Mechanize から受け取った HTML にはそのようなクラスは含まれていません。実際、新しい Web ページ全体が Mechanize を介して返されています。

Google の画像検索 API は知っていますが、この方法で HTML を解析する必要があります。私は何を間違っていますか？Mechanize を Chrome または別のブラウザーとしてマスクできますか?

これは私が試していたことのスニペットです。それは何も返していません：

こんにちは、python mechanize を使用して Web ページからデータを取得しています。検索結果の画像をダウンロードするために、Google画像検索Webページからimgurlを取得しようとしています。

これが私のコードです。検索フォームに「犬」と入力して送信します。(「犬」で検索)

Chrome ブラウザからページソースを見ると、ページソースに「imgurl」があります。しかし、python mechanize からデータを読み取ると、そのようなことはありません。また、1.html（私がpythonで書いたもの）のサイズは、chromeからダウンロードしたhtmlファイルよりもはるかに小さいです。Pythonを使用してWebブラウザとまったく同じhtmlデータを取得するにはどうすればよいですか?

Web ブラウザーと同じように要求ヘッダーを設定する必要がありますか? ありがとう

私はpython-mechanizeを使用していくつかの Web サイトをスクレイピングしていますが、これらのサイトは単にリクエストに応答せず、これらのリクエストが長時間開いたままになっているため、これらのリクエストのタイムアウトを制限する必要があります。

メソッドを使用している間、パラメーターurlopenを使用してタイムアウトを設定できますが、またはメソッドtimeoutなどの高レベル API でそれを行う簡単な方法が見つかりませんでした。理想的には、タイムアウトはブラウザー クラス全体に対して 1 回だけ設定され、すべての呼び出しがそれを尊重します。submitclick

request_classcustomを everyclickとcall に渡すことでこれをカスタマイズすることはおそらく可能submitですが、これはコードを汚染するだけなので、mechanize のブラウザ クラスのタイムアウトを設定するためのより良い解決策を探しています (いいえ、変更したくありません)。を使用したデフォルトのソケットタイムアウトsocket.setdefaulttimeout)。

URL がhttps://サイトを指しているが、これは SSL 暗号化をサポートしていない場合、次の Python コードがエンドツーエンドの盗聴攻撃に対して脆弱かどうかを知りたいです。

なぜ私は疑わしいのですか？Mechanizeは内部的に urllib2 を使用しますが、HTTPS リクエストは urllib2 でサーバーの証明書の検証を行わないためです。

さらに、Urllib2/Mechanize で実際にhttpsまたはhttp接続を使用しているかどうかを確認する方法がわかりません。私の知る限り、Mechanize はブラウザーとして動作するため、SSL がサーバーでサポートされていない場合にhttpにフォールバックするのか、安全でないhttps実装を実行するのかはわかりません。

暗号化されていない Tor 回路から出ているかどうかを確認するにはどうすればよいですか?

コード：

Python3用のmechanizeライブラリをインストールしました。 https://github.com/adevore/mechanize/tree/python3

しかし、インポートすると、このエラーが発生します。

しかし、mechanize が同じ virtualenv ディレクトリにインストールされていることは確かです。

ターミナルでの操作に慣れていないので、この問題を解決する方法がわかりません。

誰でもこの問題を解決するのを手伝ってくれませんか?

前もって感謝します！

上記のコードを使用して、Google 検索結果からフォローアップ リンクを取得していますが、空が返されます。

しかし、コンソールで同じことをすると、リンクが表示されます

何が間違っていますか？

browser.submit() を実行しているとき、このエラー Traceback が表示されます (最新の呼び出しは最後です):

私が考えることができる理由の 1 つは、私が browser.form を印刷しているときに表示されることです。

SubmitButtonControl に何も表示されていないことが原因である可能性があります。誰でもこの問題を解決する方法を提案できますか? HTML送信ボタンのコードでは、これを解決する方法はログインですか?

私は単純な php フォームを持っていて、multimechanize を使用してラジオ ボタンを選択したいと思います。テキスト フィールドに入力することはできますが、ラジオ ボタンやチェックボックスの操作方法がわかりません...

次のことを試しましたが、うまくいきません

さて、コマンド プロンプトから をインストールmechanizeしeasy_installたところですが、テスト用のコード スニペットを少し書き込もうとすると、Python から import できないと表示されmechanizeます。何が問題なのですか? 私は途方に暮れており、慣れていませんmechanize。