問題タブ [lwp]

Perl スクリプトは初めてです。テキスト ファイルを解析し、解析したテキストをエンコードして、URL に添付したいと考えていました。知っている場合は、適切なリソースを教えてください。これが私の大きな問題です。

ここで、Perl の LWP モジュールを使用して URL を実行し、それをテキスト ファイルに保存しようとしています。次のプログラムを使用して Google に接続しましたが、「401 UNAUTHORIZED」エラーが発生します。助けてください - ユーザー認証の詳細とパスワードをどこに入力すればよいですか?

LWP::UserAgentWeb サイトへのログインとデータのダウンロードに使用するブラウザーをエミュレートする Perl スクリプトがあります。LWP::UserAgent最近、その Web サイトが変更され、ログインするには JavaScript を有効にする必要がありました。JavaScriptが有効になっているかどうかを判断するために Web サイトが何を行っているかをどのように知ることができますか。JavaScript が有効なブラウザですか?

私は現在、ヨーロッパの財団に関するデータを含むサイトを解析するアプローチに取り組んでいます。

http://www.foundationfinder.ch/には 790 の財団のデータセットがあります。すべてのデータは自由に使用でき、著作権の制限はありません。

目標は何ですか: データを解析してローカルに保存したい: より良い検索とより便利な使用方法のために: おそらく、それを Calc に保存することも、より良い MySQL-Database にすることもできます。

質問: Perl で HTML を解析する最も簡単な方法は何ですか? LWP と Mechanize のどちらを使用する必要がありますか?

何人かの友人が私に Python を試してみるように言った!? 美しいスープ。Perl LWP や Python Beautiful Soup を使ったアプローチを考えました。私が見ることができないようなサイトを解析するための他のアプローチ。さて、方法があります-PHPを使用します。はい、どうにかして PHP (および Curl) を使用できます。

どのアプローチが最適です。Perl と LWP または Mechanize? またはPythonのもの...？

言語の問題以外に、最初のステップで誰か助けてくれませんか? ・トラックに乗るのを手伝う!? ご連絡をお待ちしております

よろしくゼロ

現在、ページのデータを解析する方法を解決しています：http ://www.foundationfinder.ch/

私はPerlでそれをするのが大好きです：まあ-私は仕事をするための最良の方法であるとただ考えています。私は素晴らしい学習曲線の前にいると思います。;）このタスクは私にいくつかの素晴らしいPerlのレッスンを与えるでしょう。現時点では、それは私の頭の上に少し行きます...;-)

だからここにサンプルページがあります：

...そして、Id=0とId=100000の間の特定の範囲内で、790の結果ページすべてを見つけることができると思ったので、ループで道を進むことができると思いました。

http://www.foundationfinder.ch/ShowDetails.php?Id=11233&InterfaceLanguage3%Type=Html http://www.foundationfinder.ch/ShowDetails.php?Id=927&InterfaceLanguage=1&Type=Html http：//www.foundationfinder。 ch / ShowDetails.php？Id = 949＆InterfaceLanguage = 1＆Type = Html http://www.foundationfinder.ch/ShowDetails.php?Id=20011&InterfaceLanguage=1&Type=Html http://www.foundationfinder.ch/ShowDetails.php?Id= 10579＆InterfaceLanguage = 1＆Type = Html

私はPerl-Wayに行くことができると思いましたが、よくわかりません。同じURL[以下を参照]で異なるクエリ引数を使用してLWP:: UserAgentを使用しようとしていたのですが、LWP::UserAgentがクエリ引数をループする方法はありますか？LWP::UserAgentにそれを行うためのメソッドがあるかどうかはわかりません。えーと、Mechanizeの方が使いやすいと時々聞いたことがあります。しかし、それは本当に簡単ですか！？

ところで; しかし、PHPの方法で行く場合は、Curlでそれを行うことができます-できませんでした！？

これが私のアプローチです：私はそれを理解しようとしました。そして、私はマンページとハウツーを深く掘り下げました。URLを構築するループを作成し、Curlを繰り返し使用することができます

上記のように：ここにいくつかの結果ページがあります。

http://www.foundationfinder.ch/ShowDetails.php?Id=11233&InterfaceLanguage3%Type=Html http://www.foundationfinder.ch/ShowDetails.php?Id=927&InterfaceLanguage=1&Type=Html

または、リクエストを送信する前に、クエリ引数を計算して追加するrequest_prepareハンドラーを追加することもできます。

繰り返しますが、目的は次のとおりです。データを解析し、その後、ローカルのMySQLデータベースに保存します。

extern_uidを定義する必要があります！？

そしてこのように行きます：

さて、しかし今私は立ち往生しています-私は助けが必要です-私はこのような仕事をすることができますか！？

よろしく

零

私のコース サイトにログインし、すべてのコンテンツ (講義の宿題など) をダウンロードするプログラムを作成しようとしている、やや経験の浅いプログラマーです。明らかにパスワードで保護されたサイトなので、それを与える必要があります. LWP::UserAgent などを十分に理解しており、資格情報を使用する必要があることも理解しています。私が理解できないのは、次のページに到達する方法です。ログインに進むことはできますが、perl はどのようにしてログインの結果を取得するのでしょうか?

コード例（明らかにログ情報を取り出しました）：

応答のコンテンツは、資格情報を渡さなかった場合と同じコンテンツです。明らかに、ここで何かが欠けています....

もう 1 つ、私の知る限り、私のコース サイトには固有の URL がありません。

Perlを使用してWebページのリダイレクトを確認したいと思っていました。LWP を使用してみましたが、503 リダイレクトのみをキャッチし、htaccess リダイレクトや Javascript リダイレクトはキャッチしません。どんな助けでも大歓迎です。

ありがとう

私が書いたいくつかのコードに問題があります。これは基本的に私自身の概念実証であり、別の形式を取得するために単語を実行するために使用します (楽しいアイスランド語の活用)。コードでは、単語自体からの URL が複数の結果につながる場合に備えて、if 文が必要でした。そこから関連するリンクを見つけ、そこからコンテンツを取得し、TableExtract を使用して必要なテーブルを取得します。私が何も役に立たないことを除いて。

私はこれに比較的慣れていないことを認めます (最初の perl をほぼちょうど 1 週間前に書きました)。しかし、私は完全に困惑しており、大量のグーグル検索を行っても何も役に立ちませんでした。

スパイダーは次のことを行う必要があります。

1. ログインフォームを投稿してログインする
2. Cookieによるログイン統計の維持
3. ホームページのランダムなリンクをたどる

スパイダーの目的は、多くのユーザーがWebサイトを閲覧していることをシミュレートして、新しいWebサイトをビジー状態に保つことです。

私はLWPとWWW::Mechanizeを見ました。どのモジュールを使用すべきかわからない、または他のより良い提案。あなたがコード例を持っているなら、とても良いです。

ありがとう。

私はperlが初めてです。ここ数日、「get」を介して Web サイトのソース コードをコンピュータに保存する簡単なスクリプトをいくつか作成しました。彼らは当然のことをしますが、フォーラムである Web サイトのコンテンツを取得しません。フォーラム以外の Web サイトは問題なく機能します。何が起こっているのか分かりますか？問題のチャンクは次のとおりです。

昨日、この問題を Perl Monks に投稿しましたが、それを試したすべての人に有効でした ( http://www.perlmonks.org/?node_id=909968を参照)。ただし、問題を単純化するために別の URL を使用していました。

HTTPS 経由で api.betfair.com に接続しようとしていますが、ブラウザで確認した有効な証明書があります。ubuntu を実行しており、Perl の 2 つのバージョンがあります。システム 1 5.10.0 は動作し、perlbrew 経由でインストールされた 5.14.0 は失敗します。コードは次のとおりです。

システムPerl 5.10.0でこれを実行すると、正常に動作し、次のようになります。

Perl 5.14.0 で実行すると、次のようになります: Content-Type: text/plain Client-Date: Fri, 17 Jun 2011 08:34:30 GMT

HTTPS_CA_FILE の設定のコメントを外して 5.14.0 で再実行すると、次のようになります。

バージョン 20110409 の Mozilla::CA をインストールしています。 /cacert.pem" が存在し、私が読み取ることができます。Perl 5.14.0 では LWP 6.02 を、Perl 5.10.0 では 5.836 を使用しています。HTTPS_DEBUG=1 を設定するとデバッグ情報が出力されるはずですが、5.14.0 ではなく Perl 5.10.0 を使用している場合にのみ (私にとっては) これを行います。

私は決してSSLの第一人者ではありませんが、私が見つけたいくつかのことを試してみました.

更新: PERL_UNICODE=SAL が設定されていたためだと思いましたが、設定を解除しても問題は解決しません。

更新: バージョン: Linux ubuntu 10.10 コードネーム maverick openssl 0.9.80 (私の ubuntu ディストリビューションでは最新の状態になっていると思います