問題タブ [lwp]

こんばんは、親愛なるコミュニティ！

Webスパイダー/クローラーのように、複数のWebページを処理したい。私はいくつかのビットを持っています-しかし今、私はいくつかの改良されたスパイダーロジックを持っている必要があります。target-urlhttp: //192.68.214.70/km/asps/schulsuche.asp?q =e&a=50を参照してください

アップデート：

2つの素晴らしいコメントのおかげで私はたくさん得ました。これで、コードは非常にうまく実行されます。最後の質問：データをファイルに保存する方法...パーサーに結果をファイルに書き込むように強制する方法。これは、コマンドラインで6000を超えるレコードを取得するよりもはるかに便利です...そして、出力がファイルで行われる場合は、最終的なクリーンアップを行う必要があります。出力を参照してください。すべての出力をターゲットURLと比較する場合-次に、これにはクリーンアップが必要であることを確認してください。どう思いますか？！もう一度target-urlhttp: //192.68.214.70/km/asps/schulsuche.asp?q =e&a=50を参照してください

ありとあらゆる情報のためのthx！零！

ここに古い質問があります：ワンショット関数の一部としてうまく機能しているようです。しかし、ループの一部として関数を含めるとすぐに、何も返されません...どうしたのですか？

最初から始めましょう：ターゲットを参照してくださいhttp://192.68.214.70/km/asps/schulsuche.asp?q=e&a=50 このページには6000以上の結果があります！どうすればすべての結果を得ることができますか？私はモジュールLWP::simpleを使用しており、すべての6150レコードを取得するために使用できるいくつかの改善された引数が必要です...私は非常に協力的なメンバーtadmicから盗むコードを持っています（このフォーラムを参照）-そしてそれは基本的に非常にうまく動作します。しかし、いくつかの行を追加した後-（現時点では）いくつかのエラーを吐き出します。

試行：最初の5ページのURLは次のとおりです。

URLの「s」属性はページ1では0から始まり、その後はページごとに50ずつ増加することがわかります。この情報を使用して、ループを作成できます。

コードをテストしたところ、次の結果が得られました。

ところで：ここでは57行目と58行目： ...コマンドラインはihaveエラーがここにあることを示しています..：

どう思いますか？バックスラッシュが欠落していますか？結果が正しくなるようにコードを修正してテスト実行する方法！？

ゼロからのご連絡をお待ちしております

私が得るエラーを見てください：

インターネットからファイルをダウンロードするアプリケーションを開発しています。ファイルは主にftpサーバーにあり、ファイルを取得する機能を使用していますLWP::Simple。getstoreしかし、私はダウンロードの速度を制限したいと思いwgetます...

or内に実装された--limit-ratefromに似たものを見たことがありますか??wgetLWPLWP::Simple

ありがとう

XML を別のサーバーに POST するスクリプトを作成していますが、プラス記号 (+) に問題があります。これが私のコードです：

属性コードでわかるように、値の文字列には %2B があり、他のサーバーは値 "Ws+suHG7Xqk01RaIxm2L/w1L" を受け取ります。

%2B リテラルを送信するにはどうすればよいですか。

前もって感謝します

ウェルチ

特定のURLにリクエストを送信する必要がありHTTP POST、配列として解釈できるパラメータ名を指定する必要があります-次のようになります：

ただし、何を試しても、LWPは常に[]文字をエスケープしています。

サンプルコードは次のとおりです。

送信されたデータは次のようになります。

そして、私はそれがこのように見える必要があります：

私はリモートアプリケーションを制御できず、何にも影響を与えることができません。このような単一のパラメーターを指定するだけです（実際にはそうではありませんが、配列のパラメーターとして）。これを行う方法を見つける必要があります。 、Perlエスケープブラケット文字なし。

and （および他の多くのもの）'array'として定義しようとしましたが、LWPは配列パラメーターの概念を理解していないようです。このパラメーターに複数の値がある場合でも、それらはすべて同じパラメーター名（）で送信されます。どちらも動作しません。arrayarrayref?array=123&array=456&array=789

ほとんどの場合、POSTリクエストを行うときにLWPがこれらの文字を自動的にエスケープするのを（モジュールソースを変更する以外に）どうにかして防ぐことができるかどうか疑問に思っています。

ありがとう。

このフォームを使用して認証するために3つの入力があるWebサイトにログインしようとしました。

ブラウザからログインすると、ログインに成功するとhttp://www.example.com/myhome.htmlにリダイレクトされます。

しかし、次のスクリプトはログインしておらず、同じlogin.htmlページを返します。私は何か見落としてますか？エラーメッセージが表示されません。投稿は成功しましたか？

最大数百万行を返す可能性のあるHTTPを介したクエリの結果を解析しようとしています。各行を解析する必要があります。理想的には、接続から一度に1行ずつ読み取り、それを解析しながら解析したいと思います。つまり、基本的にはFileHandle風のイテレーターですが、既存のHTTPライブラリはすべて、すべてのコンテンツを一度にフェッチするように見えます。ファイル、またはb）コード参照を使用してチャンクを処理します。Aは2パスソリューションであるため理想的ではありません（データが送信された後、ファイルを1行ずつ読み取る必要があり、おそらく不必要にストレージを占有します）。Bは、コードrefで処理するのではなく、各行を返すことができるようにするために理想的ではありません。さらに、チャンクは行ではないため、LWPソリューションはLWP行の再構成の恩恵を受けません。（AnyEventとCoroを使用した）非ブロッキングソリューションがあることは知っていますが、これらは行ごとの処理よりも非ブロッキングに関心があるようです。誰かが私をここで良い方向に向けることができますか、それとも私は間違った木を吠えていますか？

1 つの AWS インスタンスで SES を正常にセットアップしました。現在、2 番目の (複製されていない) インスタンスで使用しようとしていますが、SES スクリプトのいずれかを実行すると、エラーが発生します。

私は得る：

email.us-east-1.amazonaws.com:443 に接続できません (証明書の検証に失敗しました) LWP::Protocol::https::Socket: SSL 接続試行が不明なエラーで失敗しましたerror:14090086:SSL ルーチン:SSL3_GET_SERVER_CERTIFICATE:certificate /usr/local/share/perl/5.8.8/LWP/Protocol/http.pm 行 51 で検証に失敗しました。

Perl を機能させるのは難題であり、インスタンスで別の方法で行った可能性があります。これを修正するために探している場所はありますか？

私が実行すると：

私は得る：

これは、ses-get-stats.pl が機能するインスタンスと同じ応答です。

daxim の提案に従って証明書ファイルを作成した後、以下を実行します。

戻り値：

証明書を含む追加情報が続きます。

CGI::Application使用してビルドしたフォームがありHTML::Template、このようなHTMLフォームが含まれています

今、私はを書く必要があります、そしてこれに使用できるreceiver.plかどうか疑問に思いましたか？LWP

または、POSTデータを取得するために特別に作成されたPerlモジュールは存在しますか？

特定の Web サイトから応答を取得するには、HTTP/1.1 という 1 つの正確な要求文字列を指定する必要があります。で試してみtelnetましたが、必要な応答が得られます（リダイレクトが必要ですが）。

しかし、同じ要求文字列を に渡そうとするとHTTP::Request->parse()、メッセージが表示されるだけです400 URL must be absolute。

私がLWP言ったように、応答はtelnet.

これはコードです：

誰でもここで私を助けることができますか？

LWPUserAgentモジュールを使用してそのようなzipファイルを送信しようとしているPerlスクリプトがあります

ここで、$fnameはファイルのパスです。サーバー側では、POST配列には「送信」しかないようですが。ファイルをbase64でエンコードして、変数に割り当てる必要がありますか？これを行うための最良の方法は何ですか？