ここからソースコードをダウンロードしました。Toby Segaran 著 'Programming Collective Intelligence' の第 4 章の例を実行してみました。私のpythonバージョンは2.7.2です。インタープリターに次のコードを入力します。
import searchengine
pages=['http://en.wikipedia.org/wiki/Programming_language']
crawler = searchengine.crawler('searchindex.db')
crawler.crawl(pages)
そしてメッセージを取得します：
Could not open http://en.wikipedia.org/wiki/Programming_language
または時々メッセージを受け取ります：
Indexing http://en.wikipedia.org/wiki/Programming_language
Could not parse page http://en.wikipedia.org/wiki/Programming_language
要約すると、クローラーはページをインデックスしません。私は何を間違っていますか？