問題タブ [tensorflow-estimator]

tf.estimator.train_and_evaluateドキュメントでは、トレーニングですべての例を表示するには、入力データセットを適切にシャッフルする必要があることが明確になっています。

オーバーフィッティング: オーバーフィッティングを避けるために、トレーニング input_fn を設定してトレーニング データを適切にシャッフルすることをお勧めします。入力パイプラインはトレーニングごとに最初から開始されるため、評価を実行する前に、モデルをもう少し長く、たとえば複数のエポックでトレーニングすることもお勧めします。これは、ローカルのトレーニングと評価にとって特に重要です。

tf.data.Dataset私のアプリケーションでは、任意の評価頻度とshuffle()バッファ サイズを使用して、完全なサンプルから均一にサンプルを抽出したいと考えています。それ以外の場合、トレーニングはせいぜい最初のものを見ることができます:

残りの要素を効果的に破棄します。システムメモリに完全なデータセットをロードせずに効率的に回避する方法はありますか?

バッファ サイズに基づいてデータセットをシャーディングすることを検討しましたが、評価が頻繁に行われないと、同じシャードで複数回反復されます (arepeat()はパイプラインを閉じます)。理想的には、データセットを完全に反復した後に別のシャードに移動したいのですが、それは可能ですか?

ご指摘ありがとうございます。

時系列予測用のテンソルフロー実装があります。私のデータには外生的な特徴が含まれています。それらを訓練入力に提供し、入力を評価します。予測ステップpredict_continuation_input_fnで、外因性特徴列の KeyError が発生します。これが私のコードの簡略版です：

この時点でエラーが発生しますKeyError: 'ex_0'。evaluation結果の変数には外因性の特徴が含まれていないため、エラーは明らかです。predict_continuation_input_fnexogenous_features を取得する引数がありますが、評価からその引数に外生データをフィードする方法に関するドキュメントは見つかりませんでした。

これらの機能を予測に提供するにはどうすればよいですか? 私の実装に欠陥はありますか？アドバイスは大歓迎です。

tfrecords を使用してデータを保存し、API を使用してデータをテンソルとして読み取りDataset、EstimatorAPI を使用してトレーニングを実行します。今、データセット内の各アイテムに対してオンラインでデータ拡張を行いたいのですが、しばらく試してみると、それを行う方法が見つかりません。ランダム反転、ランダム回転、その他のマニピュレータが必要です。

このチュートリアルの指示に従って、CNN であるカスタム推定器を使用していますが、データ拡張ステップがどこで発生するかわかりません。