問題タブ [rexml]

46344 個の xml リンクを収集し、すべての xml ファイルで 16 個の要素ノードを収集するこの ruby​​ スクリプトがあります。プロセスの最後の部分は、CSV ファイルに保存することです。私が抱えている問題は、時間がかかりすぎることです。1～2時間以上かかります..

これは、すべての XML リンクを含むリンクのないスクリプトです。会社のものであるため、リンクを提供することはできません。

スクリプトは次のとおりです。動作しますが、時間がかかります。

このスクリプトはより大きなスクリプトの一部です。このスクリプトを実行すると、「<p></p>」も出力されます。どうすればこれを削除できますか？

私はこの正規表現を使用しました： m.gsub!(/(?=\S)(\d|\W)/,"")

ただし、文字「<」と「/>」のみが削除されました。

これが私のスクリプトです：

より大きなスクリプトの一部であるこのスクリプトがあります。互いに少し異なるように見えるツリーの異なる XML ファイルがあり、nil-object と xpath 式をより適切に処理するために何らかのタイプの制御構造が必要です

私が今持っているスクリプトは、nil オブジェクトを出力します。

出力：

説明: bestrykning、kalandrering、tryckning、kemiteknik

説明: Vill du jobba med internationella och globala frågor med... 説明: グローバリゼーションの研究は、今日の世界を理解する上でますます重要になってきており、グローバル スタディーズの学校は研究のためのユニークな環境です。

説明：

説明：

説明: Kursen behandlar identifieringen och beskrivningen av sjukliga förändringar i menskliga skelett. Kursen ger en ämnesistorisk bakgrund och skelettförandringars förhållanden to moderna kliniska data diskuteras.

Nokogiri、REXML、Rubyを1か月間使っています。クロールしようとしているこの巨大なデータベースがあります。私がスクレイピングしているのは、HTMLリンクとXMLファイルです。

クロールしてCSVファイルに保存したいXMLファイルは正確に43612あります。

私のスクリプトは、おそらく500 xmlファイルをクロールする場合に機能しますが、それよりも大きいと時間がかかりすぎてフリーズするなどの問題が発生します。

ここではコードを分割して読みやすくしました。スクリプト/コード全体はここにあります：https ：//gist.github.com/1981074

nokogiriでこれをすべて行う方法が見つからなかったため、2つのライブラリを使用しています。個人的にはREXMLの方が使いやすいと思います。

私の質問：これをすべてクロールするのに1週間もかからないように、どうすれば修正できますか？どうすれば高速に実行できますか？

これが私のスクリプトです：

必要なlibが必要です：

そのグラブデータを格納するための配列の束を作成します。

スペックサイトからすべてのxmlリンクを取得し、@urlsという配列に格納します

@urls配列をループスローし、xpathで取得するすべての要素ノードを取得します。

次に、それらをCSVファイルに保存します。

実際、Rails 3.2.1 を使用した jruby-1.6.7 で REXML::Document を使用して XML 文字列を解析する際に問題が発生しました。

私は次のような文字列を持っています

以前は、jruby-1.6.5.1 で動作していました。

現在のところ、次のように失敗します。

ヘッダーを次のように変更すると、次のようになります。

すべて順調。システムにライブラリがありませんか? それは既知の問題ですか? US-ASCII は無効ですか??

RSS フィードの読み取りに Rexml を使用していますが、小さなサイズのフィードでも問題なく動作しています。大きなサイズのフィードは、シミュレーターでは正常に動作しますが、デバイスでは動作しません。大きなサイズのデータ​​をどのように処理できますか?

私はRUBYでXML解析を学んでいます（実際、以前はXML解析をしたことがありませんでした）。このリンクを参照してください - http://www.tutorialspoint.com/ruby/ruby_xml_xslt.htm DOM のような解析の例では、すべての映画のタイトルに続いて映画の種類が出力されます。しかし、タイトルとタイプをペアとして出力してから、次の xml ノードに移動したいと考えています。

どうすればこれを達成できますか?

どこを見ても答えは見つかりませんでした。

SOAP APIを使用しており、応答の一部のみをXMLとしてデータベースに保存したいと考えています。

コードは次のとおりです。

これにより、応答のノード内のすべてのXMLが得られます。

ノードではなく、そのノードのコンテンツのみが必要です。

今私は得る：

しかし、私は欲しいだけです：

Rails3.2.xでruby1.9.3-headを使用しています。

どこかで.value（）メソッドを見つけましたが、それは要素では機能しません。これは、XPath検索から取得したものです。

お知らせ下さい。

これが私の最初の投稿です。Rubyを使い始めたばかりで、XML処理にREXMLを使用しています。ここに私のxmlファイルの小さなサンプルを示します：

私の目的は、タグの最後の数値を、配列から取得した値のリストと一致させることです。私は次のコードスニペットでこれを達成しました：

調査したい特定の識別子を取得したら、次に戻って選択し、次に選択して、その特定の識別子のノードの値を取得します。

XPathのチュートリアルと式、およびこのWebサイトの関連する質問の多くを見て、軸と、祖先/後続の兄弟などのさまざまな概念について学びました。しかし、私は本当に混乱していて、これを簡単に理解できません。

何か助けが得られるのか、誰かが私を「読みやすい」オンラインリソースに向けてくれるのかと思っていました。

ありがとうございました。

アップデート：

私は次のようなコードのさまざまな組み合わせを試してきました。

コードはコンパイルされますが、何も出力されません。私は何がそんなに間違っているのだろうと思っています。

sphinx経由で実行しようとしていthinking-sphinxますが、検索ページに移動するまではすべて正常に動作します

私は次のモデルを持っています

私のアプリケーションコントローラーには、（いくつかのWeb検索の後）インクルードがあります

しかし、学生コントローラーのインデックスアクションに行くと

次のエラーが表示されます

何が起こっているかについて何か考えはありますか？

私のenvは次のとおりです

レール2.3.8

前もって感謝します