python - Python lxmlスクリーンスクレイピング?

Question

PythonでHTML解析を行う必要があります。いくつかの調査の後、lxml が私の最良の選択のようですが、私がやろうとしていることを助ける例を見つけるのに苦労しています。これが私が聞いている理由です。表示可能なすべてのテキストのページをスクレイピングする必要があります。すべてのタグと JavaScript を取り除きます。表示可能なテキストを残すために必要です。十分に単純に聞こえます..私はHTMLParserでそれを行いましたが、JavaScriptをうまく処理していません

class HTML2Text(HTMLParser.HTMLParser):
    def __init__(self):
        HTMLParser.HTMLParser.__init__(self)
        self.output = cStringIO.StringIO()

    def get_text(self):
        return self.output.getvalue()

    def handle_data(self, data):
        self.output.write(data)

def ParseHTML(source):
    p = HTML2Text()
    p.feed(source)
    text = p.get_text()
    return text

lxmlでこれを行う方法、またはHTMLParserを使用するより良い方法についてのアイデア..追加のライブラリが必要ないため、HTMLParserが最適です..みんなに感謝します

スコット F.

score 4 · Accepted Answer

私が知っている「Javascript でうまくいく」画面スクレイピングライブラリはありません。

score 2 · Accepted Answer

scare.pyはあなたのためにこれを行うことができます。

それは次のように簡単です：

import scrape
s = scrape.Session()
s.go('yoursite.com')
print s.doc.text

このビデオの約2:40にジャンプして、scrap.pyの作成者からのすばらしい概要を確認してください： pycon.blip.tv/file/3261277

score 0 · Accepted Answer

あなたのコードは賢く、ある程度柔軟だと思います。

class HTML2Text(HTMLParser.HTMLParser):
    def __init__(self):
        HTMLParser.HTMLParser.__init__(self)
        self.output = cStringIO.StringIO()
        self.is_in_script = False
    def get_text(self):
        return self.output.getvalue()
    def handle_data(self, data):
        if not self.is_in_script:
            self.output.write(data)
    def handle_starttag(self, tag, attrs):
        if tag == "script":
            self.is_in_script = True
    def handle_endtag(self, tag):
        if tag == "script":
            self.is_in_script = False

def ParseHTML(source):
    p = HTML2Text()
    p.feed(source)
    text = p.get_text()
    return text

score 0 · Accepted Answer

BeautifulSoup ( http://www.crummy.com/software/BeautifulSoup/ ) は、多くの場合、python html スクレイピングに関する質問に対する正しい答えです。

score 0 · Accepted Answer

解析対象のページで実行中の JavaScript を処理する Python HTML 解析ライブラリを私は知りません。Alex Martelli などによって与えられた理由により、「十分に単純」ではありません。

このタスクでは、単に HTML を解析するだけでなく、Web アプリケーションのテストフレームワークを調べるよりも高いレベルに進むことを考える必要があるかもしれません。

JavaScript を実行でき、Python ベースであるか、Python とインターフェースできる 2 つ:

残念ながら、これらのフレームワークの「単体テスト」指向によって、実際に可視テキストを削り取ることができるかどうかはわかりません。

したがって、他の唯一の解決策は、 python-spidermonkeyをアプリに統合するなどして、自分で行うことです。

python - Python lxmlスクリーンスクレイピング?

5 に答える 5

Related

Reference