web-scraping - Getting the list of ALL topic names from Freebase

Question

According to Freebase, they have 23,407,174 topics. What is the easiest way to get the UI friendly names (essentially the 'text' attribute of the topic JSON, example of a single topic JSON is here) of ALL of these TOPICs? I don't need any other meta information.

Answer 1

wget -O - http://download.freebase.com/datadumps/latest/freebase-simple-topic-dump.tsv.bz2 | bunzip2 | cut -f 2 > freebase-topic-names.txt

ただし、名前が何を参照しているかを知るために、おそらく Freebase ID も必要です。

wget -O - http://download.freebase.com/datadumps/latest/freebase-simple-topic-dump.tsv.bz2 | bunzip2 | cut -f 1,2

2 つの追加の後処理が必要です。

1. タブは \t としてエスケープされます
2. 文字列 \N は null (存在しない) 名を表します

Answer 2

私たちが提供するSimple Topic Dumpを見てください。1 GB を超える圧縮データですが、API を介してすべての名前を取得しようとするよりも、ダウンロードの方が高速です。