sql - Rでウィキペディアの記事のデータベースを分析するには?

Question

これは「大きな」質問で、どうやって始めればいいのかわからないので、どなたか教えていただければ幸いです。これが「良い」質問でない場合は、お詫びしてスレッドを閉じます。

ウィキペディアのデータベース (英語のデータベースとしましょう) を調べて、統計を取りたいと思っています。たとえば、ウィキペディアの各時点 (過去 2 年間としましょう) にアクティブな編集者 (定義する必要があります) が何人いるかに興味があります。

そのようなデータベースを構築する方法、アクセスする方法、データの種類を知る方法などはわかりません。だから私の質問は：

score 8 · Accepted Answer

そして、おそらく必要なファイルは次のとおりです。

# 2010-03-17 04:33:50 done Log events to all pages.
    * This contains the log of actions performed on pages.
    * pages-logging.xml.gz 1.0 GB

次に、xml を MySQL にインポートします。日、週、年などごとのユーザーのヒストグラムを生成する場合、R は必要ありません。単一の MySQL クエリでそれを行うことができます。何かのようなもの：

select DAYOFYEAR(wiki_edit_timestamp), count(*)
from page_logs
group by DAYOFYEAR(wiki_edit_timestamp)
order by DAYOFYEAR(wiki_edit_timestamp);

等

（実際のスキーマが何であるかはわかりませんが、そのようなものになるでしょう。）

問題が発生することは間違いありませんが、多くのことも学べます。幸運を！

score 5 · Accepted Answer

あなたは出来る

すでに述べたように、ウィキペディアデータベースダンプを操作します。
ライブの mediawiki API を操作するには、Rosettacode のこの最小限の例、またはS3 クラスを使用した私の未完成のアプローチ、またはPeter Konings によるこのパッケージを参照してください。
ウィキペディアからナレッジベースにナレッジを抽出する取り組みであるdbpediaと連携します。それらは、私があまり知らないオンラインの sparql アクセスと、ダウンロード用の n トリプルとしてのデータセットも提供します。R スクリプトの出発点となる可能性のあるこの python スクリプトを参照してください。このアプローチは、ウィキペディアに保存されているコンテンツ (インフォボックスなど) にアクセスするのに役立つかもしれませんが、ウィキペディアへの寄稿者に関する情報が利用できるかどうかはわかりません。

score 2 · Accepted Answer

2

WikiXRay（Python / R）とzoteroを試してください。

于 2010-05-17T09:44:25.303 に答える

3 に答える 3