1

urllib を使用して Siteadvisor から取得した結果に基づいて、100k のドメイン名を CSV に処理しています (最善の方法ではありません)。ただし、現在のスクリプトでは作成されるスレッドが多すぎて、Python でエラーが発生します。これらのエラーを防ぐために、このスクリプトを「チャンク」して、一度に X 個のドメイン (たとえば、10 ～ 20) を実行する方法はありますか? 前もって感謝します。

import threading
import urllib

class Resolver(threading.Thread):
    def __init__(self, address, result_dict):
        threading.Thread.__init__(self)
        self.address = address
        self.result_dict = result_dict

    def run(self):
        try:
            content = urllib.urlopen("http://www.siteadvisor.com/sites/" + self.address).read(12000)
            search1 = content.find("didn't find any significant problems.")
            search2 = content.find('yellow')
            search3 = content.find('web reputation analysis found potential security')
            search4 = content.find("don't have the results yet.")

            if search1 != -1:
                result = "safe"
            elif search2 != -1:
                result = "caution"
            elif search3 != -1:
                result = "warning"
            elif search4 != -1:
                result = "unknown"
            else:
                result = ""

            self.result_dict[self.address] = result

        except:
            pass


def main():
    infile = open("domainslist", "r")
    intext = infile.readlines()
    threads = []
    results = {}
    for address in [address.strip() for address in intext if address.strip()]:
        resolver_thread = Resolver(address, results)
        threads.append(resolver_thread)
        resolver_thread.start()

    for thread in threads:
        thread.join()

    outfile = open('final.csv', 'w')
    outfile.write("\n".join("%s,%s" % (address, ip) for address, ip in results.iteritems()))
    outfile.close()

if __name__ == '__main__':
    main()

編集：andyortliebの提案に基づく新しいバージョン。

import threading
import urllib
import time

class Resolver(threading.Thread):
    def __init__(self, address, result_dict, threads):
        threading.Thread.__init__(self)
        self.address = address
        self.result_dict = result_dict
        self.threads = threads
    def run(self):
        try:
            content = urllib.urlopen("http://www.siteadvisor.com/sites/" + self.address).read(12000)
            search1 = content.find("didn't find any significant problems.")
            search2 = content.find('yellow')
            search3 = content.find('web reputation analysis found potential security')
            search4 = content.find("don't have the results yet.")

            if search1 != -1:
                result = "safe"
            elif search2 != -1:
                result = "caution"
            elif search3 != -1:
                result = "warning"
            elif search4 != -1:
                result = "unknown"
            else:
                result = ""

            self.result_dict[self.address] = result

            outfile = open('final.csv', 'a')
            outfile.write(self.address + "," + result + "\n")
            outfile.close()
            print self.address + result

            threads.remove(self)
        except:
            pass


def main():
    infile = open("domainslist", "r")
    intext = infile.readlines()
    threads = []
    results = {}

    for address in [address.strip() for address in intext if address.strip()]:
        loop=True
        while loop:
            if len(threads) < 20:
                resolver_thread = Resolver(address, results, threads)
                threads.append(resolver_thread)
                resolver_thread.start()
                loop=False
            else:
                time.sleep(.25)


    for thread in threads:
        thread.join()

#    removed so I can track the progress of the script
#    outfile = open('final.csv', 'w')
#    outfile.write("\n".join("%s,%s" % (address, ip) for address, ip in results.iteritems()))
#    outfile.close()

if __name__ == '__main__':
     main()
4

2 に答える 2

2

既存のコードは美しく機能します。__init__内部のメソッドを変更Resolverして、一度に 1 つずつではなく追加のアドレス リストを取得するだけです。そのため、アドレスごとに 1 つのスレッドを使用する代わりに、10 ごとに 1 つのスレッドを使用します (たとえば)。そうすれば、スレッドが過負荷になることはありません。

run明らかに、アドレスの配列ではなくアドレスの配列をループするように、少し変更する必要がありますself.address。

必要に応じて簡単な例を作成できますが、コードの品質からすると、非常に簡単に処理できると思います。

お役に立てれば！

要求に応じて以下の例を編集します。単一のアドレスではなく、アドレスのインスタンス リストを送信するように main を変更する必要があることに注意してResolverください。ファイルの形式とアドレスの保存方法について詳しく知らなければ、これを処理できませんでした。run注-ヘルパー関数を使用してメソッドを実行できますが、例としてこれがより理解しやすいと思いました

class Resolver(threading.Thread):
    def __init__(self, addresses, result_dict):
        threading.Thread.__init__(self)
        self.addresses = addresses  # Now takes in a list of multiple addresses
        self.result_dict = result_dict

    def run(self):
        for address in self.addresses: # do your existing code for every address in the list
            try:
                content = urllib.urlopen("http://www.siteadvisor.com/sites/" + address).read(12000)
                search1 = content.find("didn't find any significant problems.")
                search2 = content.find('yellow')
                search3 = content.find('web reputation analysis found potential security')
                search4 = content.find("don't have the results yet.")

                if search1 != -1:
                    result = "safe"
                elif search2 != -1:
                    result = "caution"
                elif search3 != -1:
                    result = "warning"
                elif search4 != -1:
                    result = "unknown"
                else:
                    result = ""

                self.result_dict[address] = result
            except:
                pass
于 2010-06-28T18:26:24.137 に答える
2

これはやや厳格かもしれませんが、Resolver.run が完了すると、threads.remove(self) を呼び出すことができるように、Resolver にスレッドを渡すことができます。

次に、いくつかの条件をネストして、空きがある場合にのみスレッドが作成され、空きがない場合は空きができるまで待機するようにすることができます。

for address in [address.strip() for address in intext if address.strip()]:
        loop=True
        while loop:
            if len(threads)<20:
                resolver_thread = Resolver(address, results, threads)
                threads.append(resolver_thread)
                resolver_thread.start()
                loop=False
            else: 
                time.sleep(.25)
于 2010-06-28T18:42:10.187 に答える