parsing - Spider と Indexer に適した言語

Question

私は Ruby とそのフレームワークが大好きですが、フィード パーサーとインデクサーを開発するのに Ruby On Rails が最適だとは思いません。

おそらく、Python または Java の方が適しているでしょう。どの言語をお勧めしますか?

Answer 1

フィード (RSS?) は通常、(少なくとも通常の Web ページと比較して) かなりよく構造化されています。Java / Bean シェルベースの DOM パーサーであるWeb Harvestを調べてください(特に)。これを使用して、インターネットからのデータ取得を自動化できます。学習しなければならないドメイン固有言語 (XML で定義) があります。学習曲線は少し険しいかもしれませんが、努力する価値は十分にあると感じました.

Answer 2

Ruby は、次のようなタスクには適していると思います。

• http://rubyrss.com/
• http://www.ruby-doc.org/stdlib/libdoc/rss/rdoc/index.html
• http://railscasts.com/episodes/173-screen-scraping-with-scrapi

Ruby に慣れているなら、Java や Python などに頼る理由はないと思います。ほとんどのタスクに。Ruby ライブラリの多くはネイティブ実装上にあることに注意してください。

Answer 3

私は Java にあまり詳しくありませんが、Python はこの仕事に非常に適していると言えます。

BeautifulStoneSoup という非常に高速な XML パーサー モジュールを使用できます。BeautifulSoup ライブラリの一部です。また、シンプルなインデクサーのみを探している場合、Python には軽量で非常に高速な sqlite エンジンが組み込まれています。