0

言語処理用のカスタム パイプラインで Spacy.io を使用しようとしていますが、パイプラインにカスタム関数を追加すると、プロセスが 1 つのスレッドでしか実行されないようです。デフォルトのパイプライン プロセスでは、指定されたすべてのスレッドが使用されます。

これは私がパイプラインを定義した方法です:

nlp = spacy.load(language, create_pipeline=custom_pipeline)

これはcustom_pipeline機能です:

def custom_pipeline(nlp):
    return (nlp.tagger, score_vocab_pipe)

これは私がパイプラインを実行する方法です:

nlp.pipe(texts, batch_size=1000, n_threads=8)

カスタム パイプライン関数が spacy でマルチスレッドをサポートするための要件はありますか?

4

1 に答える 1