0

私はこれらの以前の質問を見てきました

ウェブサイトからのニュースとメモを統合しようとしています。

レピュテーション ニュース サービスの Web サイトでは、ユーザーはコメントやビューを投稿できます。

ユーザーのコメントなしでニュース コンテンツのみを取得しようとしています。BeautifulSoupとhtml2textで作業してみました。しかし、ユーザーのコメントはテキスト ファイルに含まれています。カスタムプログラムの開発も試みましたが、上記の 2 つよりも有用な進歩はありませんでした。

誰もが続行する方法の手がかりを提供できますか?

コード：

import urllib2
from bs4 import BeautifulSoup
URL ='http://www.example.com'
print 'Following: ',URL
print "Loading..."
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
identify_as = { 'User-Agent' : user_agent }
print "Reading URL:"+str(URL)    
def process(URL,identify_as):
    req = urllib2.Request(URL,data=None,headers=identify_as)
    response = urllib2.urlopen(req) 
    _BSobj = BeautifulSoup(response).prettify(encoding='utf-8')
    return _BSobj #return beauifulsoup object
print 'Processing URL...'
new_string = process(URL,identify_as).split()

print 'Buidiing requested Text'
tagB = ['<title>','<p>']    
tagC = ['</title>','</p>']
reqText = []
for num in xrange(len(new_string)):
    buffText = [] #initialize and reset
    if new_string[num] in tagB: 
        tag = tagB.index(new_string[num])
        while new_string[num] != tagC[tag]:
            buffText.append(new_string[num])
            num+=1
        reqText.extend(buffText)


reqText= ''.join(reqText)
fileID = open('reqText.txt','w')
fileID.write(reqText)
fileID.close()
4

1 に答える 1

1

これは、ページのコンテンツをファイルに取得する urllib を使用して書いた簡単な例です。

import urllib
import urllib.request
myurl = "http://www.mysite.com"

sock = urllib.request.urlopen(myurl)
pagedata = str(sock.read())                          
sock.close()

file = open("output.txt","w")
file.write(pagedata)
file.close()

次に、多くの文字列フォーマットを使用して、必要な html の部分を抽出できるはずです。これにより、何かを始めることができます。

于 2013-07-10T15:36:53.827 に答える