-4

次のコードを使用して、page_dataの「/ xxxxx/」のような文字列を「/xxxxx.html」に置き換えたいのですが、機能しません。page_dataは、クローラーによってダウンロードされるバイト型です。

page_data.replace(each, neweach)

それらを次のように変更した場合のみ：

page_data = page_data.replace(each, neweach)

page_dataのstrings（each）は実際に置き換えられます。

コード全体は以下のとおりです。

import os
import sys
import re
import urllib
import urllib2

class WebGet(object):
    base_url = ""
    urls_list = []
    history_list = []
    replace_ch={}

    def __init__(self, base_url):
        self.base_url = base_url[:-1]
        self.urls_list.append('/')
        self.replace_ch[">>"] = "%3E%3E"
        self.replace_ch["<<"] = "%3C%3C"
        self.replace_ch["::"] = "%3A%3A"

    def recurseGet(self):
        '''Get page data recursively'''
        while(len(self.urls_list) != 0):
            url_suffix = self.urls_list[0]
            self.urls_list.remove(url_suffix)
            self.history_list.append(url_suffix)
            url_to_get = self.base_url + url_suffix

            "Get page data with url"
            print "To get",url_to_get
            page_data = urllib2.urlopen(url_to_get).read()
            page_data_done = self.pageHandle(page_data)

            "Write the page data into file"
            if url_suffix[-1] == '/':
                url_suffix = url_suffix[:-1]
            if url_suffix == '':
                url_suffix = "index"
            elif url_suffix[0] == '/':
                url_suffix = url_suffix[1:]
            url_suffix.replace('/','\\')
            url_suffix.replace('>>','%3E%3E')
            url_suffix.replace('<<','%3C%3C')
            url_suffix.replace('::','%3A%3A')
            file_str = "e:\\reference\\"+url_suffix
            if file_str.rfind("\\") != 12:
                new_dir = file_str[:file_str.rfind("\\")]
                if os.path.isdir(file_str) == False:
                    os.mkdir(file_str)
            file_str = file_str.strip()+".html"
            print "write file",file_str
            f_page = open(file_str, "wb")
            f_page.write(page_data_done)
            f_page.close


    def pageHandle(self, page_data):
        page_data.replace("http://www.cplusplus.com/","/") #here the replace works

        re_rule = '<a href="/reference(/\S{2,40}/)\">'
        list_page_urls = re.findall(re_rule, page_data)
        for each in list_page_urls:
            neweach = each
            neweach = neweach[:-1]+".html"
            #page_data = page_data.replace(each, neweach)
            page_data.replace(each, neweach)
            if each in page_data:
                print "fail replace"
            if each in self.history_list:
                continue
            elif each in self.urls_list:
                continue
            elif each == '/':
                continue                
            self.urls_list.append(each)

        return page_data

def main():
    url = "http://www.cplusplus.com/reference/"
    fc = WebGet(url)
    fc.recurseGet()

if __name__ == "__main__":
    main()

なぜこれなのか？

4

1 に答える 1

3

それがreplaceメソッドの機能であるため、関連する文字が置き換えられた文字列のコピーを返します。

何よりも、文字列は Python では不変であるため、他の方法では機能しません。

于 2012-11-30T11:21:47.087 に答える