問題タブ [buckets]

Amazon インスタンスを作成しましたが、現在 SSH 経由でログインできます。scpを使用してターミナルからいくつかのファイルをアップロードしました。さらに、バケットを作成し、その方法でいくつかのファイルをアップロードしました。これらのファイルが端末に表示されません。どうやら別々の場所に保管されているようです..??

バケットとインスタンスの間の接続は何ですか?

誰かがこれについて簡単で汚いことを教えてください.awsでの構築について知っておく必要があるかもしれません.

Pandas の qcut を使用して、機械学習アルゴリズム用にデータを適切に準備しています。価格のある製品があり、次のコードでデータを同じサイズのバケットに離散化しました:

そして、このコードは私のラベルに関する詳細を持っています:

以下に示すように、PriceBucket と PriceBucketTitle があり、完璧です! 今、考慮される要素の数が必要です。このコードは NaN 値を返します (以下を参照)。

PriceBucket で grouby を実行すれば実現可能かもしれませんが、データ形式を維持したいと考えています。これは結果です：

たとえば、これは私が欲しいものです:

ヘルプ ？ありがとう！

この gcloud 例外に詳しい人:

ApiError: Object.parseHttpRespBody (/site/node_modules/gcloud/lib/common/util.js:206) の新しい util.ApiError (/site/node_modules/gcloud/lib/common/util.js:128:10) で見つかりません:30) Object.handleResp (/site/node_modules/gcloud/lib/common/util.js:146:18) で /site/node_modules/gcloud/lib/common/util.js:447:12 で Request.onResponse で[as _callback] (/site/node_modules/gcloud/node_modules/retry-request/index.js:120:7) で Request.self.callback (/site/node_modules/request/request.js:187:22) で Requestリクエストで.emit (events.js:98:17)。(/site/node_modules/request/request.js:1044:10) Request.emit で (events.js:95:17)、IncomingMessage で。(/site/node_modules/request/request.js:965:12) で IncomingMessage.emit (events.js:117:20) で _stream_readable.js:944:16 で process._tickDomainCallback (node.js:492:13) で

それは（もちろん）本番環境でのみ表示され、現在一貫して表示されます。以前は定期的に表示されていましたが、ローカルでは再現できなかったため、gCloud のグリッチであると想定されていました。bucket.uploadこれは、ファイル以外のパラメーターを使用せずに最も単純な gCloud lib メソッドを使用するコードの一部に関連しています...これを実行する現在の関数は次のとおりです。

フィードバックは大歓迎です。

テンソルフロー seq2seq にキュー リーダーを適用して、データセット全体をメモリに読み込まないようにし、それらすべてを事前に処理しました。最初にデータセットを異なるバケット ファイルにバケット化することはしませんでした。これは、バッチごとに 1 つのバケット サイズを確保するのにも多くの時間がかかることを保証するためです。結果として、キュー リーダーからのデータの各バッチには、異なるバケット サイズのシーケンスが含まれている可能性があり、元の seq2seq モデルの実行に失敗する可能性があります (1 つのバッチ内のデータが同じバケット サイズであると仮定し、実行するバケットサイズに応じて 1 つのサブグラフ)

私が試したこと：

元の実装では、バケットと同じ数のサブグラフが構築され、同じパラメーターを共有していました。それらの唯一の違いは、RNN プロセス中に実行する必要がある計算時間です。サブグラフを条件付きグラフに変更しました。これは、switchが True の場合、bucket_lossこのバケットの を計算して に追加しloss_list、switchが False の場合、何もせずに に追加tf.constant(0.0)しloss_listます。最後に、total_loss = tf.reduce_sum(loss_list)すべての損失を収集し、その上に勾配グラフを作成します。switches_listまた、すべてのステップでモデルにフィードします。のサイズはswitches_listバケットのサイズと同じであり、このバッチに i 番目のバケット サイズのデータ​​がある場合、対応する i 番目のスイッチはswitches_listTrue になり、そうでない場合は False になります。

発生した問題:

1. バックプロパゲーション プロセスがtf.cond(...) ノードを通過したとき、gradient.pyいくつかのスパース テンソルが密テンソルに変換されるという警告が表示されました。
2. total_lossorをフェッチしようとすると、次のbucket_lossように言われました。

助けてください:

• 上記の2つの問題を解決するにはどうすればよいですか？
• 要件を満たすためにグラフをどのように変更すればよいですか?
• 1 つのバッチで異なるバケットサイズのデータ​​をトレーニングするためのより良いアイデアはありますか?
• 最初にデータセット全体をバケット化せずに、非同期キュー リーダーを seq2seq フレームワークに適用するためのより良いアイデアはありますか?

「承認済み」、「リリース済み」、またはクローズのいずれかのステータスを持つすべてのドキュメントの数を返す次のリクエストがあります。

私の場合、応答は次のとおりです。

ここで、それらすべてを 1 つのフィールドに追加したいと思います。パイプライン集計を使用してみましたが、次の sum_bucket も試しました (これはマルチバケットでのみ機能するようです)。

これで私を助けることができる人はいますか？