0

ファイルをクラウド アカウントにアップロードする Python スクリプトがあります。しばらくは機能していましたが、今では「Exception in thread Thread-1 (most likely raised during interpreter shutdown)'エラー」が発生し始めました。調査した結果、問題が修正されないことを示すこの python の問題http://bugs.python.org/issue14623が見つかりました。

ただし、これが私に当てはまるかどうかは正確にはわかりません。誰かが修正を指摘してくれることを願っています。これはI / Oバウンドであるため、pythonのスレッド化を維持し、マルチプロセッシングの使用を避けたいと思います。これは削除されたバージョン (この問題もある) ですが、フル バージョンでは、upload.py に共有したいリストがあるため、同じメモリで実行したいと考えています。

完了してすべてのファイルがアップロードされた後にのみ、常に中断します。「t.daemon = True」を削除しようとしましたが、同じ時点で（すべてのファイルがアップロードされた後）、（壊れるのではなく）ハングします。q.join()また、「t.daemon = True」と一緒に削除しようとしましたが、完了後にハングします。t.daemon = True と q.join() がないとitem = q.get()、スクリプトの実行が終了するときにブロックしていると思います (推測です)。

主要：

 import logging 
import os 
import sys
import json
from os.path import expanduser
from Queue import Queue
from threading import Thread
from auth import Authenticate
from getinfo import get_containers, get_files, get_link
from upload import upload_file 
from container_util import create_containers
from filter import MyFilter

home = expanduser("~") + '/'

directory = home + "krunchuploader_logs"

if not os.path.exists(directory):
    os.makedirs(directory)

debug = directory + "/krunchuploader__debug_" + str(os.getpid())
error = directory + "/krunchuploader__error_" + str(os.getpid())
info = directory + "/krunchuploader__info_" + str(os.getpid())

os.open(debug, os.O_CREAT | os.O_EXCL)
os.open(error, os.O_CREAT | os.O_EXCL)
os.open(info, os.O_CREAT | os.O_EXCL)

formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')


logging.basicConfig(level=logging.DEBUG,
    format='%(asctime)s - %(levelname)s - %(message)s',
    filename=debug,
    filemode='w')

logger = logging.getLogger("krunch")

fh_error = logging.FileHandler(error)
fh_error.setLevel(logging.ERROR)
fh_error.setFormatter(formatter)
fh_error.addFilter(MyFilter(logging.ERROR))

fh_info = logging.FileHandler(info)
fh_info.setLevel(logging.INFO)
fh_info.setFormatter(formatter)
fh_info.addFilter(MyFilter(logging.INFO))

std_out_error = logging.StreamHandler()
std_out_error.setLevel(logging.ERROR)
std_out_info = logging.StreamHandler()
std_out_info.setLevel(logging.INFO)

logger.addHandler(fh_error)
logger.addHandler(fh_info)
logger.addHandler(std_out_error)
logger.addHandler(std_out_info)



def main():
    sys.stdout.write("\x1b[2J\x1b[H")
    print title
    authenticate = Authenticate()
    cloud_url = get_link(authenticate.jsonresp)
    #per 1 million files the list will take
    #approx 300MB of memory.
    file_container_list, file_list = get_files(authenticate, cloud_url)
    cloud_container_list = get_containers(authenticate, cloud_url)
    create_containers(cloud_container_list,
        file_container_list, authenticate, cloud_url)

    return file_list

def do_the_uploads(file_list):
    def worker():
    while True:
        item = q.get()
        upload_file(item)
        q.task_done()

    q = Queue()
    for i in range(5):
    t = Thread(target=worker)
    t.daemon = True
    t.start()

    for item in file_list:
    q.put(item)

    q.join()


if __name__ == '__main__':
    file_list = main()
    value = raw_input("\nProceed to upload files? Enter [Y/y] for yes: ").upper()
    if value == "Y":
    do_the_uploads(file_list)

アップロード.py:

def upload_file(file_obj):
    absolute_path_filename, filename, dir_name, token, url = file_obj
    url = url + dir_name + '/' + filename

    header_collection = {
        "X-Auth-Token": token}

    print "Uploading " + absolute_path_filename
    with open(absolute_path_filename) as f:
    r = requests.put(url, data=f, headers=header_collection)
    print "done"

エラー出力:

Fetching Cloud Container List... Got it!
All containers exist, none need to be added

Proceed to upload files? Enter [Y/y] for yes: y
Uploading /home/one/huh/one/green
Uploading /home/one/huh/one/red
Uploading /home/one/huh/two/white
Uploading /home/one/huh/one/blue
 Uploading /home/one/huh/two/yellow
done
Uploading /home/one/huh/two/purple
done
done
done
done
done
Exception in thread Thread-1 (most likely raised during interpreter shutdown):
Traceback (most recent call last):
  File "/usr/lib64/python2.7/threading.py", line 808, in __bootstrap_inner
  File "/usr/lib64/python2.7/threading.py", line 761, in run
  File "krunchuploader.py", line 97, in worker
  File "/usr/lib64/python2.7/Queue.py", line 168, in get
  File "/usr/lib64/python2.7/threading.py", line 332, in wait
<type 'exceptions.TypeError'>: 'NoneType' object is not callable

更新: 問題を修正したように見えるスクリプトの最後に time.sleep(2) を配置しました。スリープにより、スクリプトが寿命を迎えて閉じる前にデーモンを終了できると思いますか? メインプロセスはデーモンが終了するまで待たなければならないと思いました。

4

1 に答える 1

2

「ポイズン ピル」を使用して、労働者を優雅に殺すことができます。すべての作業をキューに入れたら、ワーカーが認識して終了する特別なオブジェクトをワーカーごとに 1 つ追加します。Python がプロセスをシャットダウンする前にスレッドが終了するのを待つように、スレッドを非デーモンにすることができます。

worker認識して終了させる簡潔な方法は、組み込み関数poisonの 2 つの引数の形式をループで使用することです。iter()for

def do_the_uploads(file_list):
    def worker():
        for item in iter(q.get, poison):
            upload_file(item)

    poison = object()
    num_workers = 5
    q = Queue()
    for i in range(num_workers):
        t = Thread(target=worker)
        t.start()

    for item in file_list:
        q.put(item)

    for i in range(num_workers):
        q.put(poison)
于 2013-11-13T15:29:41.943 に答える