curl - cygwin curl または wget で 404 を見つけます

Question

引用された URL が多数含まれているテキスト ドキュメントを検索して、それらのいずれかが 404 であるかどうかを確認しようとしています。404 がある場合は、テキスト ドキュメントに挿入しようとした URL を取得したいと思います。誰でも私がこれを行うのを手伝ってもらえますか?

404 の場合は URL のみを探しています。wget --spider などの他のすべての出力は必要ありません。

Answer 1

スクリプト

#!/bin/sh
while read
do
  echo "$REPLY"
  if wget --spider -q "$REPLY"
  then
    echo "200 OK"
  else
    echo "404 Not Found"
    echo "$REPLY" >> p404s.txt
  fi
  echo
done < test-urls.txt

スクリプト出力

http://stackoverflow.com
200 OK

http://stackoverflow.com/1
404 Not Found

http://superuser.com
200 OK