ウィキペディアは、すべてのページ ビューを 1 時間ごとのテキスト ファイルで提供します。(たとえばhttp://dumps.wikimedia.org/other/pagecounts-raw/2014/2014-01/を参照)
プロジェクトの場合、2014 年のキーワードとそれに関連するページ ビューを抽出する必要があります。しかし、1 つのファイル (1 時間を表すため、合計 24*365 ファイル) は約 80MB です。これは、手動で行うのが難しい作業になる可能性があります。
私の質問: 1. ファイルを自動的にダウンロードする方法はありますか? (ファイルが適切に構成されているので、これは役に立ちます)
ダウンロード？もちろん、それは簡単です:
wget -r -np http://dumps.wikimedia.org/other/pagecounts-raw/
再帰的な wget がそれを行います。これらのファイルは現在廃止されていることに注意してください。代わりにhttp://dumps.wikimedia.org/other/pagecounts-all-sites/を使用することをお勧めします。
私はこのプロジェクトに取り組みました: https://github.com/idio/wikiviews
のように呼び出すだけでpython wikiviews 2 2015、2015 年 2 月のすべてのファイルがダウンロードされ、1 つのファイルに結合されます。