3

urllib2を使用してページを取得したいのですが、ページ全体を取得できません。

これがPythonのコードです：

import urllib2
import urllib
import socket
from bs4 import BeautifulSoup
# define the frequency for http requests
socket.setdefaulttimeout(5)

    # getting the page
def get_page(url):
    """ loads a webpage into a string """
    src = ''

    req = urllib2.Request(url)

    try:
        response = urllib2.urlopen(req)
        src = response.read()
        response.close()
    except IOError:
        print 'can\'t open',url 
        return src

    return src

def write_to_file(soup):
    ''' i know that I should use try and catch'''
    # writing to file, you can check if you got the full page
    file = open('output','w')
    file.write(str(soup))
    file.close()



if __name__ == "__main__":
            # this is the page that I'm trying to get
    url = 'http://www.imdb.com/title/tt0118799/'
    src = get_page(url)

    soup = BeautifulSoup(src)

    write_to_file(soup)    # open the file and see what you get
    print "end"

私は一週間中問題を見つけるのに苦労しています!! ページ全体が表示されないのはなぜですか？

手伝ってくれてありがとう

4

2 に答える 2

2

EOFを示す空の文字列を返さない限り、readを複数回呼び出す必要がある場合があります。

def get_page(url):
    """ loads a webpage into a string """
    src = ''

    req = urllib2.Request(url)

    try:
        response = urllib2.urlopen(req)
        chunk = True
        while chunk:
            chunk = response.read(1024)
            src += chunk
        response.close()
    except IOError:
        print 'can\'t open',url 
        return src

    return src
于 2012-04-11T10:56:01.310 に答える
2

同じ問題が発生しました。urllibでしたが、bs4でした。

使用する代わりに

BeautifulSoup(src)

また

soup = bs4.BeautifulSoup(html, 'html.parser')

使ってみてください

soup = bs4.BeautifulSoup(html, 'html5lib')
于 2018-04-30T21:41:48.607 に答える