0

2,50,000を超えるWebサイトのURLがリストされたテキストドキュメントがあります。各URLを調べて、特定のURL（別のサイト）にリダイレクトされる場合は、別のテキストファイルに保存したいと思います。

私はC＃開発者であり、ファイルや小さな断片の読み取りまたは書き込みの方法を知っていますが、可能な限り任意のプログラミング言語で上記のタスクとスクリプトを実行するための最良のロジックまたは方法を探しています。

4

2 に答える 2

5 
string url = "http://www.google.com";
var req = (HttpWebRequest)HttpWebRequest.Create(url);
req.AllowAutoRedirect = false;

using (var resp = req.GetResponse())
{
    var location = resp.Headers["Location"];
    if (!String.IsNullOrEmpty(location))
    {
        Console.WriteLine("url is redirected to " + location);
    }
}
于 2012-09-08T09:27:41.753 に答える
2

bash スクリプトを使用します。何かのようなもの

#!/bin/bash

$SITESFILE=/path/to/your/input/file
$OUTPUTFILE=/path/to/your/output/file
$TARGETURL=http://where.to/redirect

for SITE in `cat $SITESFILE`; do
  REDIRHEADER=`curl -i $SITE | head -n15 | grep -i 'Location: $TARGETURL'`
  test -n "$REDIRHEADER" && echo $SITE >> $OUTPUTFILE
done;

cURL をインストールする必要があります。

于 2012-09-08T09:29:46.647 に答える