問題タブ [allennlp]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
maxlength - AllenNLP 質問応答のパッセージの長さ制限
私は AllenNLP を初めて使用し、現在、事前トレーニング済みの質問応答モデルを使用しています。性能を確保するための通路の長さの制限があるのだろうか？BERT の最大長は 512 で、それより長いパッセージは切り捨てられることはわかっています。
AllenNLP で長いパッセージを試してみましたが、うまくいっているようですが、確認したいだけです。ありがとうございました。
python - AllenNLP で微調整された sciBERT モデルを読み込むには?
SciIE データセットで SciBERT モデルを微調整しました。リポジトリは AllenNLP を使用してモデルを微調整します。トレーニングは次のように実行されます。
トレーニングが成功すると、出力として model.tar.gz ファイルが作成されます。このファイルには、weights.th、config.json、およびボキャブラリー フォルダーが含まれています。allenlpプレディクターにロードしようとしました：
しかし、次のエラーが表示されます。
ConfigurationError:bert-pretrained は、dataset_reader.token_indexers.bert.type の許容可能な選択肢にありません: ['single_id', 'characters', 'elmo_characters', 'spacy', 'pretrained_transformer', 'pretrained_transformer_mismatched']. --include-package フラグを使用して正しいモジュールがロードされていることを確認するか、構成ファイルで {"model": "my_module.models.MyModel"} のような完全修飾クラス名を使用して自動的にインポートする必要があります。 .
私は allenNLP を使用したことがないので、どうすればよいかかなり迷っています。
参考までに、これはトークン インデクサーを記述する構成の一部です。
私はallenlpバージョンを使用しています
名前: allennlp バージョン: 1.2.1
編集：
私は多くの進歩を遂げたと思います。モデルのトレーニングに使用したのと同じバージョンを使用する必要があり、次のようにモジュールをインポートできます。
今、私はエラーが発生します:
モデル タイプ bert_crf_tagger のデフォルトの予測子がありません。\n予測子を明示的に指定してください
predictor_nameを使用して予測子を明示的に指定できることは知っていますが、どの名前を選択すればそれが機能するかについては、まったくわかりません。
python - AllenNLP Open IE モデルから後処理されたトリプルを抽出する
Allen NLP Open IE 予測子モデルから (subject,relation,object) のタプル形式でクリーンなトリプルを抽出したいと思います。
現在、手順は次のとおりです。
srl_output を印刷すると、次のような文内にタグが付けられます。
[ARG0: Raytheon Technologies Corporation が研究]、開発、および [V: 製造] [ARG1: 先端技術製品] [ARGM-LOC: 航空宇宙および防衛産業]、[C-ARG1: 航空機エンジン、アビオニクス、航空構造を含む、サイバーセキュリティ] [ARGM-ADV: 、ミサイル、防空システム、ドローン] .
問題は、このような例文を (主語、関係、目的語) の複数のタプルに変換するコードが見つからないことです。特に、ARGM-LOC や ARGM-ADV などの特殊なタイプのタグは、事態をさらに困難にします。
私はすでに時代遅れの Github リポジトリhttps://github.com/gabrielStanovsky/supervised_oie_wrapper (これらのタイプのタプルを完全には作成していません) を調べましたが、AllenNLP で見つけることができるこれに最も近い関数はmake_srl_stringメソッドでしたが、出力はタプルを作成するには、後処理が必要です。
AllenNLP Open IE モデルからタプルを作成するコードはありますか? そうでない場合は、これを機能として追加できますか?
詳細はgithub issue https://github.com/allenai/allennlp/issues/4857で説明
allennlp - Allennlp コマンドまたは token_embedders 内に Fine-Tune/Bert_token_embedder モジュールがない
ここから github プロジェクトに取り組んでいます: https://github.com/jiacheng-xu/DiscoBERT 著者によると、Allennlp 0.9.0 が必要です。pipで仮想環境を作って0.9をインストールしようとしたのですが、エラーになってしまいました。そこで、問題なくインストールされた Allennlp 1.2 を試しましたが、次の 2 行でエラーが発生しています。
少なくとも 1.2 バージョンには、fine_tune と bert_token_embedder モジュールがないようです。これらのエラーを回避する簡単な方法はありますか?