問題タブ [lynx]

1 つのテキスト ファイルに 50 の奇妙な URL のリストを作成しました (各行に 1 つの URL)。ここで、各 URL について、Web サイトのテキストを抽出して保存します。これは、Linux のシェル スクリプトの仕事のように思えます。

現時点では、私は物事をまとめています：

1. sed -n 1p listofurls.txtURLファイルの最初の行を読み取ることができたとします。listofurls.txt
2. 出力をlynx -dump www.firsturl...使用して、さまざまなコマンドをパイプ処理して整理およびクリーンアップできます。やった、それはうまくいく。

自動化する前に、URL を lynx にパイプするのに苦労しています:

動作しません。

1 つの URL に対して、さらに重要なことに、私が持っている各 URL に対してどのように言うことができますlistofurls.txtか?

Vimでマークされた単語をGoogleにマッピングし、最初の結果(検索結果ではない)を表示しますか?

これは私がこれまでに試したことです：

明らかに、10<down>うまくいきません。また、"something"マークされた単語に置き換える必要があります。

各行に 1 つずつ、テキスト ファイルに URL のリストがあります。次の方法を使用して、lynx を介してそれぞれを実行し、タグのないテキストのダンプを取得したいと思います。

(私も shell-exec を試しました) しかし、それは動作しません - 空の出力ファイルまたはメッセージが表示されます: 'lynx' は、内部または外部コマンド、操作可能なプログラムまたはバッチ ファイルとして認識されません。私はcygwinを介して実行していますが、lynxはそのように正常に動作します。

質問:

1. このようにできるはずですか？
2. 代わりに、テキスト ファイルを「インクルード」して各 URL をループすることにより、cygwin コンソールから実行できますか?
3. 別の方法をお勧めしますか？

助けてくれてありがとう。

DM

特定の Web サイト (最初の引数) が変更されたかどうかを通知するスクリプトを作成する必要があります。私はそのようなことを書きましたが、それは動作せず、エラーを見つけ続けることができません

ここで UNIX シェル スクリプトを作成するのはかなり新しいので、他にもいくつか例を見てみましょうが、まだほとんどゼロから試しています。会社の配送を追跡しようとしています。追跡番号を Web サイトに入力し、結果をファイル (配送済み/未配送) に grep するスクリプトを実行したいと考えています。コマンド ラインで lynx コマンドを使用して Web サイトにアクセスし、結果を確認できますが、スクリプトでは Web ページを返すだけで、追跡番号を入力しません。

これまでに試したコードは次のとおりです。

追跡番号 (PRO 番号と呼ばれる) 1034548607 の結果を取得しようとしています。

ページを保存するために POST を実行した後、GET ページにリダイレクトして戻ります (つまり、「Post/Redirect/Get」パターン)。

これは、lynx と派生物 (リンク、elinks)を除いて、私がテストしたすべての「メインストリーム」(および一部のそれほどメインストリームではない) ブラウザーで正常に動作します。彼らは POST を実行し、私は 303 を返し、ブラウザーは他のページにとどまります (GET 応答で URL をロードしません)。

302 と 301 を使用して、Cache-Controlヘッダーをno-cache;に設定してみました。違いはありませんでした。

実行後のサーバーからの応答例POST /:

私はたまたま Sinatra を使用しているので、問題を示す Sinatra のサンプル アプリケーションを次に示します。

これは設計によるものですか？それとも、他のほとんどのブラウザーとは HTTP 仕様の読み方が違うのでしょうか? lynx にリダイレクトを実行させ、ページを再度取得させるにはどうすればよいですか?

テスト済み:

ウェブサイトがモバイル フレンドリーかどうかをチェックするシェル/Python スクリプトを書きたかったのです。ブラウザを使用すると、これは次の場所にアクセスすることで簡単に実行できます-

例えば ​​-

curl, wget,コマンドを使用してコンテンツを取得しようとしましたlynxが、うまくいきませんでした。

どうすればそうできますか？