php - Web ページ上のすべてのファイルと URL のリストを取得する方法

Question

Web ページ上のすべてのファイルと URL のリストを取得しようとしています。URL を入力すると、 http://tools.pingdom.comに表示されるリストのようなものになります。現在、cURL または wget を使用して、php でこれを実行しようとしています。この種のファイル/パスリストを取得する方法について誰か提案がありますか?

Answer 1

文字列内のドキュメントを取得したら、正規表現を使用してすべての URL を見つけます。

URL を正規表現と一致させる

PHP で正規表現を使用する

Answer 2

$url="http://wwww.xyz.com";
$data=file_get_contents($url);
$data = strip_tags($data,"<a>");
$d = preg_split("/<\/a>/",$data);
foreach ( $d as $k=>$string ){
    if( strpos($string, "<a href=") !== FALSE ){
        $string = preg_replace("/.*<a\s+href=\"/sm","",$u);
        $stringu = preg_replace("/\".*/","",$string);
        $url = $string
    }
}

編集：

または、次の関数を使用できます。

function getAllUrls($string)
{
    $regex = '/https?\:\/\/[^\" ]+/i';
    preg_match_all($regex, $string, $matches);
    return ($matches[0]);
}

$url_array = getAllUrls($string);
print_r($url_array);