6

米国内のすべての州立公園や国立公園を、GPS 座標と土地面積とともに検索できる Web スクレーパーを検索または構築しようとしています。Scrapy のようないくつかのフレームワークを調べたところ、 http://wiki.dbpedia.org/Aboutなど、ウィキペディア専用のサイトがいくつかあることがわかりました。これらのいずれかに特定の利点はありますか、またはオンラインデータベースに情報をロードするのにどちらかがうまく機能しますか?

4

3 に答える 3

12

このウィキペディアのページのようなページを解析したいとしましょう。次のコードは機能するはずです。

var doc = new HtmlDocument(); 
doc = .. //Load the document here. See doc.Load(..), doc.LoadHtml(..), etc.

//We get all the rows from the table (except the header)
var rows = doc.DocumentNode.SelectNodes("//table[contains(@class, 'sortable')]//tr").Skip(1);
foreach (var row in rows) {
    var name = HttpUtility.HtmlDecode(row.SelectSingleNode("./*[1]/a[@href and @title]").InnerText);
    var loc = HttpUtility.HtmlDecode(row.SelectSingleNode(".//span[@class='geo-dec']").InnerText);
    var areaNodes = row.SelectSingleNode("./*[5]").ChildNodes.Skip(1);
    string area = "";
    foreach (var a in areaNodes) {
        area += HttpUtility.HtmlDecode(a.InnerText);
    }

    Console.WriteLine("{0,-30} {1,-20} {2,-10}", name, loc, area);
}

テストしたところ、次の出力が生成されます。

Acadia                         44.35A°N 68.21A°W    47,389.67 acres (191.8 km2)
American Samoa                 14.25A°S 170.68A°W   9,000.00 acres (36.4 km2)
Arches                         38.68A°N 109.57A°W   76,518.98 acres (309.7 km2)
Badlands                       43.75A°N 102.50A°W   242,755.94 acres (982.4 km2)
Big Bend                       29.25A°N 103.25A°W   801,163.21 acres (3,242.2 km2)
Biscayne                       25.65A°N 80.08A°W    172,924.07 acres (699.8 km2)
Black Canyon of the Gunnison   38.57A°N 107.72A°W   32,950.03 acres (133.3 km2)
Bryce Canyon                   37.57A°N 112.18A°W   35,835.08 acres (145.0 km2)
Canyonlands                    38.2A°N 109.93A°W    337,597.83 acres (1,366.2 km2)
Capitol Reef                   38.20A°N 111.17A°W   241,904.26 acres (979.0 km2)
Carlsbad Caverns               32.17A°N 104.44A°W   46,766.45 acres (189.3 km2)
Channel Islands                34.01A°N 119.42A°W   249,561.00 acres (1,009.9 km2)
Congaree                       33.78A°N 80.78A°W    26,545.86 acres (107.4 km2)
Crater Lake                    42.94A°N 122.1A°W    183,224.05 acres (741.5 km2)
Cuyahoga Valley                41.24A°N 81.55A°W    32,860.73 acres (133.0 km2)
Death Valley                   36.24A°N 116.82A°W   3,372,401.96 acres (13,647.6 km2)
Denali                         63.33A°N 150.50A°W   4,740,911.72 acres (19,185.8 km2)
Dry Tortugas                   24.63A°N 82.87A°W    64,701.22 acres (261.8 km2)
Everglades                     25.32A°N 80.93A°W    1,508,537.90 acres (6,104.8 km2)
Gates of the Arctic            67.78A°N 153.30A°W   7,523,897.74 acres (30,448.1 km2)
Glacier                        48.80A°N 114.00A°W   1,013,572.41 acres (4,101.8 km2)
(...)

それがスタートだと思います。一部のページが失敗した場合は、レイアウトが変更されるかどうかなどを確認する必要があります。

もちろん、解析したいすべてのリンクを取得する方法も見つける必要があります。

重要なことの 1 つ:ウィキペディアをスクレイピングすることが許可されているかどうか知っていますか? わかりませんが、それを行う前に確認する必要があります...;)

于 2012-09-20T05:43:36.703 に答える
5

質問は少し古いですが、現在利用可能な別の代替手段は、スクレイピングを回避し、protectedplanet.netから生データを直接取得することです。これには、保護地域の世界データベースと国連の保護地域リストからのデータが含まれています。(開示: 私は、データベースとウェブサイトを作成および維持する組織であるUNEP-WCMCで働いていました。)

非商用利用は無料ですが、ダウンロードするには登録が必要です。たとえば、このページでは、米国内の 22,600 の保護地域を KMZ、CSV、および SHP としてダウンロードできます (緯度、経度、境界、IUCN カテゴリ、およびその他のメタデータが多数含まれています)。

于 2013-05-23T11:28:33.247 に答える
1

これは最善のアプローチではないと考えます。

私の考えは、openstreetmap.org (またはクエリ可能なその他の GEO ベースの API) から API にアクセスし、必要なデータを要求することです。国立公園はかなり簡単に見つかる可能性があります。ウィキペディアなどの情報源から名前を取得し、GEO API のいずれかに必要な情報を提供するように依頼できます。

ところで、ウィキペディアの国立公園リストの何が問題になっていますか?

于 2012-09-14T08:52:34.010 に答える