言語処理用のカスタム パイプラインで Spacy.io を使用しようとしていますが、パイプラインにカスタム関数を追加すると、プロセスが 1 つのスレッドでしか実行されないようです。デフォルトのパイプライン プロセスでは、指定されたすべてのスレッドが使用されます。
これは私がパイプラインを定義した方法です:
nlp = spacy.load(language, create_pipeline=custom_pipeline)
これはcustom_pipeline
機能です:
def custom_pipeline(nlp):
return (nlp.tagger, score_vocab_pipe)
これは私がパイプラインを実行する方法です:
nlp.pipe(texts, batch_size=1000, n_threads=8)
カスタム パイプライン関数が spacy でマルチスレッドをサポートするための要件はありますか?