問題タブ [google-cloud-tpu]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
328 参照

tensorflow - TPU で学習する keras に複数の「正しい」メトリックを使用できるようにするための回避策はありますか?

Google colaboratory で Keras を使用して小さなモデルを作成しました。また、TPU で学習を実行すると、間違ったメトリクスが表示されます。

もちろん、CPU/GPU で学習を実行すると、m1 および m2 メトリックは正しい数値を示します。(以下のコードを参照)

しかし、ランタイム タイプを TPU に変更した後、m1 と m2 は正しくなく、これらの値の平均のように見えます。

【CPU/GPUの結果】

【TPUの結果】

CPU/GPU の結果が正しいことは明らかです。なぜこれが起こったのですか?回避策はありますか?

  • メトリクス ([m1] など) を 1 つだけ使用する場合、値は正しいです。
0 投票する
1 に答える
3538 参照

tensorflow - Cloud TPU v2 で SQUAD 2.0 を使用して BERT モデルをトレーニングするには?

免責事項: 私はニューラル ネットワークと Tensorflow を初めて使用します。

ユーザーが質問をすると、アプリケーションが答えを返す QA アプリケーションを作成しようとしています。私が試した従来の方法のほとんどは、うまくいかなかったり、精度が不十分だったり、手作業が必要だったりしました。教師なし QA アプリケーションについて調べていたときにBERTに出会いました。

Google が主張するBERTは最先端のニューラル ネットワーク モデルであり、Squad 2.0 のリーダー ボードで最高のスコアを達成しました。このモデルをアプリケーションに使用して、そのパフォーマンスをテストしたいと考えています。

Compute Engineで Windows 2012 Datacenter エディションの仮想マシンを作成しました。ctpuを使用して Cloud TPU を作成しました。

Cloud Storage にBERT の大規模なケースなしモデルがあります。

SQUAD 2.0を使用して BERT の大規模な非ケース モデルをトレーニングするにはどうすればよいですか?

Cloud TPU は CPU や GPU のような単なるデバイスであることは理解しています。ただし、これを読むと、Cloud TPU は仮想マシンであると説明されています (「Cloud TPU では、BERT-Large を次のように実行できます...」)。

hereに記載されているように、run_squad.pyをどこで実行しますか?

この引数の仮想マシンからストレージ バケット ファイルにアクセスする方法を教えてくださいvocab_file

外部 IP アドレスは$TPU_NAME環境変数の値ですか?

0 投票する
2 に答える
679 参照

keras - 残りのニューラルネットワークモデルは、google colab tpu ハードウェアで非常に遅く実行されますか?

Google Colab で cifar10 データセット用の keras で残差ニューラル ネットワーク モデルを作成しましたが、TPU ハードウェアでの実行が非常に遅くなります。

Google colabで正常に動作する別の通常の畳み込みニューラルネットワークがあります。このモデルは keras Sequential API を使用し、残差ニューラル ネットワークは Functional API を使用しますが、それが問題かどうかはわかりません。私はすでにバッチサイズを変更しようとしましたが、それは役に立ちませんでした。私のプログラムへのリンクは以下です。

各エポックは少なくとも 1 分以内 (通常は最大約 10 秒) で終了すると予想されますが、各ミニバッチが完了するまでに 1 分かかるようです (そして、エポックごとに多くのミニバッチがあります)。