私はrobotparsesライブラリで遊んでいて、次のサンプルプログラムを試しています。
http://docs.python.org/library/robotparser.html
私のコードは現在-
import robotparser
def TestMain():
#Check robots.txt
rp = robotparser.RobotFileParser()
rp.set_url("http://www.musi-cal.com/robots.txt")
rp.read()
rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
私が遭遇している問題は、コードを実行すると正常に実行されても何も返されないということです。誰かがその理由を知っていますか?
ありがとう