0

検索エンジンで自動的に検索を実行し（検索ボックスで指定された電話番号を検索）、結果のページを任意のもの（XML、テキスト）として取得するアプリケーションを作成しようとしています。いくつかのWebクローラー/スクレーパーを試しましたが、検索を実行して結果のデータを保存するものが見つかりませんでした。彼らは私が必要としているものではない要求されたページデータしか取得できません。

言語はC＃、VB.Net、またはJavaであり、ソリューションを提供する限り重要ではありません。ありがとう。

これを行うツールまたはコードスニペットを探しています。

4

1 に答える 1

1

このような関数はデータを文字列として抽出しますが、その中のデータを自分で解析する必要があります:

Public Shared Function GetWebPageData(ByVal address As Uri) As String
    Dim request As HttpWebRequest
    Try
        request = DirectCast(WebRequest.Create(address), HttpWebRequest)

        Using response As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse)
            Using reader As StreamReader = New StreamReader(response.GetResponseStream())
                Return reader.ReadToEnd
            End Using
        End Using
    Catch ex As Exception
        'TODO handle the error here....
        Return ""
    End Try
End Function

使用法：

Dim xml As String = Networking.GetWebPageData(New Uri("http://www.hitta.se/077-570%2005%2000/f%C3%B6retag_och_personer"))
Debug.WriteLine(xml)
于 2012-11-05T10:39:01.483 に答える