ここで尋ねられる質問の多くは、私が行っている研究に関連しています。これらの質問と回答は広く分散しており、手動でブラウジングすることで常に簡単に見つけることができるわけではありません。
一連のキーワードに基づいて、これらの関連する Q & A を自動的に検索し、その情報をさらに詳細な調査へのポインタとして使用したいと考えています。
この種のサイトマイニングに使用できるツール (できればオープンソース) はありますか? 私はウェブの第一人者ではありません。それらを開発しようとすると長い時間がかかり、R&D に費やすことができた時間にも影響を与えます。
あなたの質問からあなたがプログラマーかどうかは明らかではないので、あなたが求めているのはアプリやサービスという意味でのツールなのか、それともサイトマイニングを容易にするライブラリーなのかはわかりません。
後者でRubyを使用する場合は、WWW::Mechanizeを徹底的にお勧めします。Web ページを (DOM またはテキストで) 検索し、リンクをたどり、フォームに記入するためのスクリプトを作成するための優れた API を提供します。サイト内の複数の Web ページにまたがる情報を整理するために、これを何度か使用しました。
ruby バージョンはperl の以前のライブラリに基づいていたと思いますが、使用していない perl バージョンを保証することはできません。
別のオプションは、Yahoo!を使用することです。パイプ。(デモ)
このようなシステムは、フィードの URL やフィルターなどを組み合わせてオンラインで視覚的に構築できます。プログラミングに比べて学習時間は最小限です。[編集：時制]
キーワードに基づくすべてのタグには RSS フィードが添付されているので、関連するキーワードを購読してデータを検索することから始めます。関連する概念やその他の関連するキーワードを見つける最も簡単な方法のようです。