問題タブ [mechanize-python]

htaccess - スタイル認証と Cookie を必要とするサイトからファイルをダウンロードしようとしており、python mechanize を使用してこれらのファイルをダウンロードしています。ファイル全体をメモリにロードする前に書き込みを開始する方法はありますか?

編集: 認証/Cookie を追跡するために mechanize.Browser を使用しているため、urlopen を呼び出すときに Browser の状態を使用する方法か、Browser を使用するためのより良い方法が必要です。

edit2: urllib2 を使用して書き直しましたが、簡単な解決策があればまだ少し興味があります。

mechanize私は数ページをこすり取るために使用しています。ページ付けはjavascriptの投稿によって実装され、ページ付けのリンクは実際にはinputボタンです。これらはフォームに含まれていません。これらのクリックをトリガーする方法はありますか？

私はまだスクリプトに取り組んでおり、またはのいずれmechanize-rubyかを使用できますmechanize-python。どちらの解決策も役に立ちます。

ボタンのhtmlは次のとおりです。

mechanize を使用して Web サイトにログインしようとしています。「br.form」を印刷すると、資格情報がフォームに入力されていることがわかります。しかし、実際にフォームを適切に送信する方法がわかりません。

「br.submit()」を使用し、br.title() を印刷して次のページに進んだことを確認しようとしましたが、表示されるタイトルはログイン画面のものであり、ログイン後の画面のものではありません。

Python で mechanize を使い始めたばかりですが、すでにいくつかの問題が発生しています。私は StackOverflow と Google を見回しましたが、ドキュメントは素晴らしく、簡単に機能させることができるはずだと人々が言っ​​ているのを見てきましたが、私はずっとそのドキュメントを探す方法を知らないと思います。見つけられるのは、私がやろうとしている特定のことを行う方法を実際には教えてくれないコード例です。誰かがそのようなドキュメントを教えてくれたら、喜んで自分で読んで問題を解決します。

実際の問題として、ユーザー名とパスワードの情報をフォームで送信して Web サイトにログインしようとしています。情報が正しい場合、通常はリダイレクトされますが、機械化では機能しません。

サブミットを呼び出した後にページの html コンテンツをすぐに印刷すると、認証が有効であることを示す変数がページに表示されるため、これは取得できない部分です。パスワードを間違ったものに変更すると、サイトを通常どおり閲覧している場合と同様に、html に「資格情報が無効です」というメッセージが表示されます。

これが私がやっている方法のコードサンプルです。例で見つけたものを適用しようとしているだけなので、完全に間違っている可能性があることに注意してください。

この特定の例では、http://www.complexejulieequilles.comを開き、下部にある「管理」というテキストのあるリンクをたどり、フォームに資格情報を入力して送信します。通常、最初に表示したページにリダイレクトされますが、管理者のみが使用できるボタンがさらに表示されます。これらのリンクの 1 つをクリックして別のフォームに入力し、メール アドレスや名前などを持っているユーザーのリストを追加したいと考えています。

私が見逃している簡単なものはありますか？基本は理解できたと思いますが、リダイレクトの何が問題なのかを見つけるのに十分なほどライブラリを知りません。

I recently moved from perl to python and am updating some of my scripts which used perls WWW::Mechanize to use python mechanize module.

All good so far but I cant get find the HTTP Status code anywhere? (200, 301, etc)

I've googled and found this but isnt their a way to just view the code?

Getting and trapping HTTP response using Mechanize in Python

Thanks.

Facebookにログインしてステータスを更新するプログラムをサイドプロジェクトとして書いています。プログラムにログインすることができました。ただし、「ここにステータスを入力してください」ボックスになるテキストエリアを選択するのに問題があります。Chromeで「Inspect Element」を使用すると、それが配置されているフォームを確認できますが、プログラムでフォームをリストしても、そのフォームがリストされていないようです...

完全な出力は次のとおりです。

Inspect Elements で Facebook のソースをもう一度調べてみたところ、「navSearch」は「Find People, Things, etc.」です。検索バー、および名前のないフォームがログアウト ボタンに関係しているように見えます。ただし、Inspect Elements は少なくとも 2 つのフォームを提供し、そのうちの 1 つにステータス更新ボックスがあります。JavaScript が原因かどうかを判断できませんでした (ステータス更新ボックスのコード ブロックは にカプセル化されていますが、navSearch フォームとログアウト フォームもカプセル化されています)。ログアウトフォームは別のdivにありますが、機械化にとってはそれほど問題にならないように感じます。私のコードに何か問題があるだけですか、それともまったく別のものですか?

重複の可能性:
Ethics of Robots.txt

サイトでの作業を自動化するために Mechanize を試しています。br.set_handle_robots(False) を使用して、上記のエラーを回避することができました。それを使用することはどれほど倫理的ですか？

そうでない場合は、「robots.txt」に従うことを考えましたが、機械化しようとしているサイトが robots.txt の表示をブロックしています。これは、ボットが許可されていないことを意味しますか? 次のステップは何ですか？

前もって感謝します。

Pythonでフォームを選択しようとしていますが、うまくいきません。

私が取り組んでいるページは次のとおりです。

表示されるエラーは次のとおりです。

手伝ってくれませんか？ありがとう

Python ライブラリ Mechanize を使用してチェック ボックスの値を変更できません。問題は、Mechanize がサポートしていない JavaScript によって値が変更されるため、フォームが目的のアクションを実行しないことです。

find_control() メソッドはエラーを返します。以下は、問題のあるコードのスニペットです。

返されるエラーは次のとおりです。また、find_control() メソッドを以下のコード行に置き換えてみましたが、同じ結果のエラー メッセージが表示されます。

入力が無視された場合、必要な値で「pkid」という名前の新しいフォーム フィールドを作成できましたが、この解決策はテストしていません。また、目的の効果を得るには、同じ名前の追加の入力を作成する必要があることも、少し逆に思えます。

誰かがこれについて正しい方向に向けてくれることを望んでいました。Python Mechanize のドキュメントは少し不足しており、Google 検索もあまり役に立ちませんでした。

私が提出しようとしているフォームの簡素化されたバージョンは以下のとおりです。

このサイトにアクセスするためのプログラムを作成しようとしています。パスワードと ID の両方が正しい場合、ページは別の URL にリダイレクトされます。ユーザー ID が間違っている場合はポップアップでユーザーに通知され、パスワードが間違っている場合は何も表示されません (Try Barcode:21290004296682 PW:0000)。

私が直面している問題は、機械化して「間違ったバーコード」と「間違ったパスワード」を区別できないことです。つまり、間違ったバーコードを入力した後に表示されるポップアップ ダイアログを認識できません。

誰でも助けてもらえますか？私がこれを悪意のある目的で行っていると人々が考える前に、これは実際には私の大学の情報セキュリティ プロジェクトのためです。