問題タブ [google-cloud-tpu]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
tensorflow - TPU で学習する keras に複数の「正しい」メトリックを使用できるようにするための回避策はありますか?
Google colaboratory で Keras を使用して小さなモデルを作成しました。また、TPU で学習を実行すると、間違ったメトリクスが表示されます。
もちろん、CPU/GPU で学習を実行すると、m1 および m2 メトリックは正しい数値を示します。(以下のコードを参照)
しかし、ランタイム タイプを TPU に変更した後、m1 と m2 は正しくなく、これらの値の平均のように見えます。
【CPU/GPUの結果】
【TPUの結果】
CPU/GPU の結果が正しいことは明らかです。なぜこれが起こったのですか?回避策はありますか?
- メトリクス ([m1] など) を 1 つだけ使用する場合、値は正しいです。
tensorflow - Cloud TPU v2 で SQUAD 2.0 を使用して BERT モデルをトレーニングするには?
免責事項: 私はニューラル ネットワークと Tensorflow を初めて使用します。
ユーザーが質問をすると、アプリケーションが答えを返す QA アプリケーションを作成しようとしています。私が試した従来の方法のほとんどは、うまくいかなかったり、精度が不十分だったり、手作業が必要だったりしました。教師なし QA アプリケーションについて調べていたときにBERTに出会いました。
Google が主張するBERTは最先端のニューラル ネットワーク モデルであり、Squad 2.0 のリーダー ボードで最高のスコアを達成しました。このモデルをアプリケーションに使用して、そのパフォーマンスをテストしたいと考えています。
Compute Engineで Windows 2012 Datacenter エディションの仮想マシンを作成しました。ctpuを使用して Cloud TPU を作成しました。
Cloud Storage にBERT の大規模なケースなしモデルがあります。
SQUAD 2.0を使用して BERT の大規模な非ケース モデルをトレーニングするにはどうすればよいですか?
Cloud TPU は CPU や GPU のような単なるデバイスであることは理解しています。ただし、これを読むと、Cloud TPU は仮想マシンであると説明されています (「Cloud TPU では、BERT-Large を次のように実行できます...」)。
hereに記載されているように、run_squad.pyをどこで実行しますか?
この引数の仮想マシンからストレージ バケット ファイルにアクセスする方法を教えてくださいvocab_file
。
外部 IP アドレスは$TPU_NAME
環境変数の値ですか?
keras - 残りのニューラルネットワークモデルは、google colab tpu ハードウェアで非常に遅く実行されますか?
Google Colab で cifar10 データセット用の keras で残差ニューラル ネットワーク モデルを作成しましたが、TPU ハードウェアでの実行が非常に遅くなります。
Google colabで正常に動作する別の通常の畳み込みニューラルネットワークがあります。このモデルは keras Sequential API を使用し、残差ニューラル ネットワークは Functional API を使用しますが、それが問題かどうかはわかりません。私はすでにバッチサイズを変更しようとしましたが、それは役に立ちませんでした。私のプログラムへのリンクは以下です。
各エポックは少なくとも 1 分以内 (通常は最大約 10 秒) で終了すると予想されますが、各ミニバッチが完了するまでに 1 分かかるようです (そして、エポックごとに多くのミニバッチがあります)。