1

Web クローラーで Jsoup を使用しています。これは、Web ページをダウンロードするために使用するコードです。

String ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30";
Document doc = Jsoup.connect(url).userAgent(ua).timeout(20000).get(); 
Elements links = doc.select("a[href]");

Java プログラムを Googlebot としてマスクするにはどうすればよいですか?

4

1 に答える 1

2

以下を使用しますuserAgent

Mozilla/5.0 (互換; Googlebot/2.​​1; + http://www.google.com/bot.html )

続きを読む

于 2013-08-27T12:34:32.910 に答える