問題タブ [tensorflow-datasets]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 入力値の DataSet 正規化範囲
TensorFlow でニューラル ネットワークを使って実験を行っています。最新バージョンのリリース ノートによると、DataSet は今後、入力データを提供するための推奨される API です。
一般に、外界から数値を取得する場合、値の範囲を正規化する必要があります。長さ、質量、速度、日付、時間などの生の数値を差し込むと、結果として生じる問題は悪条件になります。値のダイナミック レンジを確認し、範囲(0,1)またはに正規化する必要があります(-1,1)。
これはもちろん生の Python で行うことができます。ただし、DataSet は多数のデータ変換機能を提供し、その使用を奨励しています。これは、結果として得られるコードが保守しやすくなるだけでなく、実行速度も向上するという理論に基づいています。これは、正規化のための組み込み機能も必要であることを示唆しています。
https://www.tensorflow.org/programmers_guide/datasetsのドキュメントを見てみると、そのような言及は見当たりません。何か不足していますか？これを行うための推奨される方法は何ですか?
tensorflow - tf.data または queues を使用する tensorflow による CNN テキスト分類
この github リンクhttps://github.com/dennybritz/cnn-text-classification-tfでCNN-Text Classification ベースを使用しましたが、私のデータセットは 10000 ドキュメント (サイズ: 120M) で大きすぎます。
効率的なパフォーマンスのために、評価セットを変更してデータのより小さなサブセットを使用するか、Tensorflow キューまたは tf.data を使用してデータをシーケンシャルに読み取りたいと考えています。今、私はこの問題をどのように解決できるかわかりませんか？このパッケージのwitch .pyプロジェクトを変更する必要がありますか?
ありがとう。