4

現在、非常に大きな kml (xml) ファイルを ruby​​ (Nokogiri) で解析しようとしていますが、少し問題があります。

解析コードは優れています。実際、このコードは私の問題とはあまり関係がありませんが、念のために共有します。

geofactory = RGeo::Geographic.projected_factory(:projection_proj4 => "+proj=lcc +lat_1=34.83333333333334 +lat_2=32.5 +lat_0=31.83333333333333 +lon_0=-81 +x_0=609600 +y_0=0 +ellps=GRS80 +to_meter=0.3048 +no_defs", :projection_srid => 3361)
f = File.open("horry_parcels.kml")
kmldoc = Nokogiri::XML(f)

kmldoc.css("//Placemark").each_with_index do |placemark, i|
      puts i
      tds = Nokogiri::HTML(placemark.search("//description").children[0].to_html).search("tr > td")
      h = HorryParcel.new
      h.owner_name = tds.shift.text
      tds.shift
      tds.each_slice(2) do |k, v|
        col = k.text.downcase
        eval("h.#{col} = v.text")
      end
      coords = kmldoc.search("//MultiGeometry")[i].text.gsub("\n", "").gsub("\t", "").split(",0 ").map {|x| x.split(",")}
      points = coords.map { |lon, lat| geofactory.parse_wkt("POINT (#{lon} #{lat})") }
      geo_shape = geofactory.polygon(geofactory.linear_ring(points))
      proj_shape = geo_shape.projection
      h.geo_shape = geo_shape
      h.proj_shape = proj_shape
      h.save
    end

とにかく、私はこのコードを kml のはるかに小さなサンプルでテストしましたが、動作します。

しかし、実物をロードすると、Ruby は何かを処理しているかのようにただ待機します。しかし、この「処理」は、私が他のことをしている間、今では数時間に及んでいます。お気づきかもしれませんがeach_with_index、目印の配列にカウンター ( ) があり、この数時間の間、コマンド ラインにi値が1 つもありませんでした。put奇妙なことに、まだタイムアウトしていませんが、これが機能する場合でも、これを行うためのより良い方法が必要です。

Google Earth (ここでは Google Earth Pro) で KML ファイルを開き、データをより小さくて管理しやすい kml ファイルに保存できることはわかっていますが、設定方法を考えると、これは非常に手作業で専門的ではないプロセスになります。

これが役立つ場合の kml のサンプル (目印が 1 つだけ) です。

<?xml version="1.0" encoding="UTF-8"?>
<kml xmlns="http://www.opengis.net/kml/2.2" xmlns:gx="http://www.google.com/kml/ext/2.2" xmlns:kml="http://www.opengis.net/kml/2.2" xmlns:atom="http://www.w3.org/2005/Atom">
<Document>
    <name>justone.kml</name>
    <Style id="PolyStyle00">
        <LabelStyle>
        <color>00000000</color>
        <scale>0</scale>
    </LabelStyle>
    <LineStyle>
        <color>ff0000ff</color>
    </LineStyle>
    <PolyStyle>
        <color>00f0f0f0</color>
    </PolyStyle>
</Style>
<Folder>
    <name>justone</name>
    <open>1</open>
    <Placemark id="ID_010161">
        <name>STUART CHARLES A JR</name>
        <Snippet maxLines="0"></Snippet>
        <description>""</description>
        <styleUrl>#PolyStyle00</styleUrl>
        <MultiGeometry>
            <Polygon>
                <outerBoundaryIs>
                    <LinearRing>
                        <coordinates>
                            -78.941896,33.867893,0     -78.942514,33.868632,0 -78.94342899999999,33.869705,0 -78.943708,33.870083,0 -78.94466799999999,33.871142,0 -78.94511900000001,33.871639,0 -78.94541099999999,33.871776,0 -78.94635,33.872216,0 -78.94637899999999,33.872229,0 -78.94691400000001,33.87248,0 -78.94708300000001,33.87256,0 -78.94783700000001,33.872918,0 -78.947889,33.872942,0 -78.948655,33.873309,0 -78.949589,33.873756,0 -78.950164,33.87403,0 -78.9507,33.873432,0 -78.95077000000001,33.873384,0 -78.950867,33.873354,0 -78.95093199999999,33.873334,0 -78.952518,33.871631,0 -78.95400600000001,33.869583,0 -78.955254,33.867865,0 -78.954606,33.867499,0 -78.953833,33.867172,0 -78.952994,33.866809,0 -78.95272799999999,33.867129,0 -78.952139,33.866803,0 -78.95152299999999,33.86645,0 -78.95134299999999,33.866649,0 -78.95116400000001,33.866847,0 -78.949281,33.867363,0 -78.948936,33.866599,0 -78.94721699999999,33.866927,0 -78.941896,33.867893,0 
                        </coordinates>
                    </LinearRing>
                </outerBoundaryIs>
            </Polygon>
        </MultiGeometry>
    </Placemark>
      </Folder>
  </Document>
</kml>

編集: 私が扱っているデータの 99.9% は*.shpフォーマットされているため、この 1 週間はこの問題を無視してきました。しかし、このプロセスをデスクトップ コンピューター (ラップトップ以外) で実行し、タイムアウトするか終了するまで実行します。

class ClassName

attr_reader :before, :after

def go
  @before = Time.now
  run_actual_code
  @after = Time.now
  puts "process took #{(@after - @before) seconds} to complete"
end

def run_actual_code
  ...
end

end

上記のコードは、所要時間を教えてくれるはずです。そこから (実際に終了した場合)、ドキュメントのテキスト コンポーネントの SAX 解析または "原子化" を行わずに (そうでなければ PERFECT) コードが実行されると予想される時間の大まかな経験則を計算できるはずです。

4

2 に答える 2

1

実際には、よりアクセスしやすいソースからデータのコピーを取得することになりましたが、一般的な問題に対する可能な解決策を提示したかったので、ここに戻ってきました。以下。Less はずっと前に構築されたものであり、ほとんどの場合、デフォルトで UNIX の一部になっています。

http://en.wikipedia.org/wiki/Less_%28Unix%29

スタイルシート言語 (「LESS」) とは関係ありませんが、less はテキストビューアー(ファイルを編集できず、読み取りのみ) であり、自分で全体をスキャンするまで、読み取り中のドキュメント全体をロードしません。つまり、いわば最初の「ページ」をロードし、次のページを呼び出すのを待ちます。

ruby スクリプトが何らかの方法でテキストの「ページ」をパイプすることができたとしても...ちょっと待って....未消化のテキストの終わりからの終了区切りがないという事実のために、XML 構造はそれを許可しません。ファイル......したがって、フロントエンドでいくつかのカスタム作業を行う必要があります。最初のカップルの親ブラケットを切り取って、XML の子を 1 つずつ抜き出し、最後の閉じ親ブラケットを壊すことができます。パーサーはスクリプトが終了したと判断し、別の閉じ括弧に遭遇するためです。

私はこれを試していませんし、試すものもありません。しかし、もしそうなら、nロットのテキストブロックを、lessまたはそれに似たものを介してRuby（またはPythonなど）にパイプしてみます。おそらく、より原始的なものかどうかはわかりません

于 2014-02-25T01:14:35.480 に答える