問題タブ [tf.keras]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
tensorflow - NVIDIA V100 で TensorRT FP16 または INT8 を使用しても速度が向上しない
trt.create_inference_graph を使用して、Keras で変換された Tensorflow 保存モデルを FP32 から FP16 および INT8 に変換し、TensorFlow サービングに使用できる形式で保存しようとしています。コードはこちら - https://colab.research.google.com/drive/16zUmIx0_KxRHLN751RCEBuZRKhWx6BsJ
ただし、これをテスト クライアントで実行しても、タイミングに変化は見られません。
ラップトップで NVIDIA V100 32 GB と 8Gb 1070 GTX カードを使用してさまざまなモデルを比較しました。メモリ効果を確認するために、入力形状を減らしたり増やしたりしてみました。全体として、32 GB メモリの利点 (モデルをロードするだけでなく、メモリを使い果たすことなくフレームを処理するため) 以外に、V100 は速度が向上していないようです。特にFP16モードで2倍のスピードアップを考えていました。Keras に変換された TF モデルなのか、モデルの複雑さや設計に何らかの役割があるのか はわかりません。
テストの詳細はこちらhttps://docs.google.com/spreadsheets/d/1Sl7K6sa96wub1OXcneMk1txthQfh63b0H5mwygyVQlE/edit?usp=sharing
FP32 - V100 - 最適化なし
TensorFlow ベースの最適化を使用した FP 32 - TransformGraph
重みまたはモデルの量子化なし
FP ?? TensorFlow ベースの最適化を使用 - +重みの量子化 - TransformGraph
重みが量子化された後。モデルサイズは39MB!! (~149 MB から) しかし、時間は 2 倍です ('Time for ', 10, ' is ', 1.201113224029541)
モデルの量子化 - 機能しません (少なくとも TF Serving では)
NVIDIA TensorRT 最適化の使用 (colab ノートブック)
FP16 - v100
知 8
最適化スニペット https://colab.research.google.com/drive/1u79vDN4MZuq6gYIOkPmWsbghjunbDq6m
注 : 実行ごとに若干の違いがあります
python - 複数のデータセットを 1 つのデータセットに結合する方法は?
、、、という 3 つの tfrecord ファイルがあるとneg.tfrecordしpos1.tfrecordますpos2.tfrecord。
私が使う
このコードは 3 つの Dataset オブジェクトを作成します。
私のバッチ サイズは 400 で、これには 200 個の neg データ、100 個の pos1 データ、および 100 個の pos2 データが含まれます。目的のデータセットを取得するにはどうすればよいですか?
このデータセット オブジェクトを keras.fit() (Eager Execution) で使用します。
私の tensorflow のバージョンは 1.13.1 です。
以前は、データセットごとに反復子を取得し、データを取得した後に手動で連結しようとしましたが、非効率で GPU 使用率が高くありませんでした。
python - Ubuntu 18.04 で Keras MNIST の例を実行する - GPU エラー
Ubuntu 18.04 で Anaconda 2018.12 をセットアップした後、次の Keras/TensorFlow コード コードを実行していました。Nvidia ドライバー 390.116 と GTX 1070 GPU を使用しています。ただし、この単純なMNISTの例を実行しようとすると
新しい NVidia ドライバーが不十分であることを示すトレースバックが表示されます。トレースバック全体が長いですが、キーラインは
ファイル「/home/christopher/anaconda3/envs/tensorflow_gpuenv/lib/python3.6/site-packages/tensorflow/python/client/session.py」、676 行目、init self._session = tf_session.TF_NewSessionRef(self._graph ._c_graph、opts) tensorflow.python.framework.errors_impl.InternalError: cudaGetDevice() が失敗しました。ステータス: CUDA ドライバーのバージョンが CUDA ランタイム バージョンに対して不十分です
これは、利用可能な Ubuntu 18.04 の最新のドライバーであるため、意味がないようです。Nvidia ドライバー 390.116 を使用しているため、これは以前のドライバー不足の問題と重複していません。