問題タブ [batching]

私はテンソルフローの初心者です。43 の入力と 1 つの出力を持つデータ セットがあります。ディープ ラーニングを実行するためのデータのミニバッチを作成します。

ここに私の入力があります：

私はmatlabファイルからそれらを供給しています:

0:100 レコードを呼び出す代わりに、ランダム バッチを使用します。私が見た

しかし、それがどのように機能するのかわかりませんでした。どうすればそれができるか教えてください。

ありがとう、アフシン

私は、C# を使用して DataTable 入力を取得し、それを SQL Server テーブルに書き込む最も効率的な方法を見つけることを検討するよう求められました。問題は、ソリューション全体で ODBC 接続を使用する必要があることです。これにより、sqlBulkCopy が除外されます。このソリューションは、SQL Server 2008 R2 までさかのぼるすべての SQL Server バージョンでも機能する必要があります。

次の SQL 構文を使用して、一度に 1000 行のバッチ挿入を使用するのが最善の方法だと考えています。

INSERT INTO dbo.Table1(Field1, Field2) SELECT Value1, Value2 UNION SELECT Value1, Value2

DataTable 入力に対応するテーブルが SQL Server に既に存在するかどうかを確認し、存在しない場合は作成するコードを既に作成しました。

INSERT ステートメント自体を作成するコードも作成しました。私が苦労しているのは、データ テーブルの行から SELECT ステートメントを動的に構築する方法です。行の値にアクセスして SELECT ステートメントを作成するにはどうすればよいですか? 値をシングル クォーテーション (') で囲む必要があるかどうかを判断するために、各列のデータ型も確認する必要があると思います。

これが私の現在のコードです：

アドバイスをいただければ幸いです。また、私が提案しているものよりも簡単なアプローチがあれば、その詳細は素晴らしいでしょう.

私は png ファイルを使って mnist のチュートリアルを実行しようとしてきました。

コードの要点はここにありますが、コードの機能と問題が発生している場所について説明します。

私は、slice_input_producer に与えることができるファイル名を生成する関数を持っています。

これは期待どおりに動作します。

本文では、トレーニングとテストのためにこの関数を実行し、それらをテンソルに変換して、それらのテンソルを slice_input_producer に渡します。

この部分も正常に動作します。

これは物事が奇妙になるところです。

変数 asdf は、悪いニュースの担い手だったので、怒って名前が変更されました。ここでの計画は、トレーニングとテストに異なるキューを使用することでした。2 つを切り替えるためのアドホック ブール値として機能する単一の int を feed_dict することを計画しました。

ただし、実行すると、「dtype int32を使用してプレースホルダーテンソル 'Placeholder'の値をフィードする必要があります」というエラーが表示されます。これは、フィードしているため奇妙です。

"print(foo.eval(feed_dict={asdf:0,keep_prob:1.0))" を使用すると、いくつかの興味深い現象に気付くことができました。"image, label" と宣言された個々の変数を評価すると、切り替えが正常に機能するようです。 「read_images_from_disk(input_queue)」から出てくる

ただし、直後のバッチ処理を評価しようとすると、前述のエラーが発生します。

これを実現するためにバッチ処理で何が間違っていますか? このテスト セットとトレーニング セットの切り替えを行うためのより良い方法はありますか? 宇宙とすべての生命の意味は何ですか？StackOverflow を頼りにしています。あなたは私の唯一の希望です。

私は TF Serving を GKE にデプロイする実験を行っており、高可用性のオンライン予測システムを作ろうとしています。複数のリクエストをまとめてバッチ処理することで、レイテンシを最適化しようとしていました。ただし、レイテンシーは改善されるどころか、むしろ悪化しているようです。

• モデルは CNN で、長さ約 50 の入力ベクトルです。
• TF Serving は、6 つの標準ノードを備えた Kubernetes クラスターで実行されます
• サイズ 5 と 10 のバッチを試しました。TF Servingのバッチ処理の実装(batch_size, input_size)は使用しませんでした。(1, input_size)

私の直感では、GPU を使用してスループットを使用する場合にバッチ処理が最大のメリットをもたらしますが、CPU で使用しても速度が低下することはありません。スローダウンは以下のチャートに示されています - req/s はむしろ予測/秒です。つまり、20 はサーバーへの 4 つまたは 2 つのリクエストに分割されます。

リクエスト数が少ない場合、これがクラスター全体にワークロードを均等に分散しないことを理解していますが、60 または 120 を見ても、レイテンシーは単に高くなります。

なぜそうなのか、何か考えはありますか？

バッチ内の文字列を変更しようとしています。文字列の置換は、バッチ処理の範囲外でうまく機能します。

私の例では、ディレクトリの一部を置き換えようとしています。

ありがとうございました

KitKat はセンサーのバッチ処理を導入しましたが、バッチ処理モードでセンサーからデータを読み取ることができません。

私のコード:

ログ:

0.05 秒ごとに 1 つのイベントではなく、毎秒の終わりに 20 のイベントを受け取ることを期待しています

センサーのバッチ処理による

max_report_latency_ns>0 の場合、センサー イベントは検出後すぐに報告する必要はありません。それらは、イベントが max_report_latency_ns ナノ秒を超えて遅延しない限り、ハードウェア FIFO に一時的に保存され、バッチで報告されます。つまり、前のバッチ以降のすべてのイベントが記録され、一度に返されます。これにより、SoC に送信される割り込みの量が減り、センサーがデータをキャプチャしてバッチ処理している間、SoC は低電力モード (アイドル) に切り替えることができます。

助けてください

ありがとう