問題タブ [mechanize-python]

特定の文字列が特定のページに存在するかどうかを確認しようとしています。これまでのところ、次のものがあります。

そして、私は今何をすべきですか？検索方法を見てきましたが、XPath/CSS 式しか受け付けません。xpath を使用して検索することもできますが、もっと良い方法はありますか?

SSLv3 を必要とする HTTPS URL に SSLv3 を使用するように mechanize に強制するにはどうすればよいでしょうか? すべての SSLv3 専用 URL で mechanize を使用しようとすると、次のエラーが発生します。

Django で mechanize ライブラリを使用するにはどうすればよいですか?

ディレクトリ（/ lib /など）に配置して、必要に応じて含めることができることをオンラインで読みました。

問題は、私が見つけたソースには、構成から最初の使用までの使用方法が示されていなかったことです。残念ながら、私はグーグルの他の場所でも高低を探しましたが、何も見つかりませんでした. また、情報なしでdjangoに関する本をチェックしました..

誰でも私を助けることができますか？

私はpython 2.7でdjangoをローカルにインストールしています。

ありがとうございました

現在、クエリの Google 結果の最初のページのみを取得していますが、最初の 5 ページを取得したいと考えています。

次のような文字列を取得します。https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=0

変数urlsは最初のページの 10 個の結果すべてを取得しますが、この最初のページで 10 個の URL をチェックする条件を追加し始めました。次の URL にも 10 件の結果があります)follow_link()および以下の URLのようなものを使用します。

どうすればこれを行うことができますか？誰か助けてくれませんか？

Python でmechanizeを使用して HTTPS ページにログインしています。ログインは成功しますが、出力は単なる SAML 応答です。ブラウザで開いたときに取得する実際のページ ソースを取得できません。

暗号化された SAML 出力を取得しますが、その SAML 投稿で返信して実際のページにアクセスする方法がわかりません。

ここではPythonの初心者です。

Python スクリプトをオンラインで保存して、職場と自宅の両方で作業できるようにする方法を探しています。Mechanize とおそらく Scrapy を使用して、いくつかの (単純な) Web スクレイピング ツールを構築したいと考えています。

少し調べてみたところ、必要なのはオンライン IDE だと思います (そうですか?)。c9.io を見つけました。問題は、Mechanize でページを開いて読み取るなどの非常に単純なタスクであっても、c9.io が遅すぎることが判明したことです。

オンラインで Web スクレイピング スクリプトを作成、保存、実行するために何を使用すればよいかについて何かアイデアはありますか?

仕事でコマンドラインを使用してスクリプトを保存または実行できないことに注意してください。オンラインで何かが必要です。

YouTubeページを読み込んで、次のように<embed>要素を取得しようとしています。ただし、embed 要素が見つかりません ( をsoup.find('embed')返しますNone)。

ただし、スープをhtmlファイルに書き込んでブラウザにロードすると、<embed>要素がロードされます。おそらくこれは、ブラウザが機械化と何らかのdocument.onload()魔法とは異なることに関係しているのでしょうか?

<embed>要素を表示できるように、ブラウザがページをロードする様子をシミュレートするにはどうすればよいですか?

謝ることから始めたいと思います。私はこれが十分に何度も行われている可能性が高いことを知っています. Web サイトにログインして動作することを確認するために、Python の Requests モジュールを使用しようとしています。また、リクエストを処理するために使用する必要がある文字列を見つけるために、コードで BeautifulSoup を使用しています。

ヘッダーを適切に形成する方法に夢中になっています。ヘッダー情報には正確に何が必要ですか?

また、機械化モジュールを利用する方が良い/よりPythonicである場合は、提案を受け付けます。