問題タブ [chunks]

ワーカーが数十万のドキュメントを mongodb に並行して一括挿入するジョブ処理システムがあります。各ワーカーはデータ バッチを挿入し、各バッチは同じ group_id に属します。データベース用に 3 つのシャードをセットアップしました。これらの group_id をラウンド ロビン方式で事前に分割したいと考えています。例えば：

group_id: 1 --> シャード1

group_id: 2 --> shard2

group_id: 3 --> shard3

group_id: 4 --> シャード1

group_id: 5 --> shard2

...など

アイデアは書き込みスループットを向上させることであり、ワーカーはグループを段階的に処理するため、この事前分割により、理論的には 3 つのワーカーが互いに待機することなく並列に一括挿入できるはずです (各ワーカーにローカル mongos サーバーがあります)。 ）。

タグ付きシャーディング sh.addTagRange() コマンドを使用して上記のアイデアを実装しました。しかし、チャンクが正しく分割されていませんか? すべてが最終的にプライマリ シャードになります。これは、データを事前に分割するという目的全体を無効にします。タグ認識シャーディングがこのキー値のラウンドロビン分散を実装するための適切な方法ではない場合、誰かがその方法でデータを事前に分割するにはどうすればよいでしょうか? どんな助けにも感謝します！

malloc で使われているチャンク構造体を探したい

ソースコードによると、次のようになります。

しかし、このコードは無効な読み取りを行います:

次に、これでチャンクサイズを見つけようとしました：

そして、私はサイズを取得します:

• 10:22
• 500:12
• 31:31

malloc のメタデータを取得するにはどうすればよいですか?

ファイルをスライスして BLOB を作成するRubaXa / jquery.fileapi という便利なツールを見つけました。しかし、ドキュメントには、アップロードされたパーツをサーバー上で処理する方法に関する情報が不足しています。ページの例は を参照してurl: './ctrl.php'いますが、開発者ページでその内容を確認することはできません。これまで、この (以下を参照) クライアント側スクリプトを使用しましたが、エラーはありませんでした。ファイルがスライスされ、firebug コンソールにいくつかの投稿リクエストが表示されました。それでうまくいくようです。しかし、受信したファイルパーツをサーバー上の PHP で処理するにはどうすればよいでしょうか?

インポートされたスクリプト:

ファイルアップローダーの開始とセットアップ:

HTML ファイルのアップロード「フォーム」:

アーカイブまたはバイナリ データを処理するか、ファイルをコピーする (Python の既定の関数を使用しない) スクリプトのいくつかが、チャンクまたはブロックまたはオフセットまたはバッファまたはセクタを使用するのを見てきました。

Python アプリケーションを作成しましたが、外部ライブラリ (アーカイブ/データの抽出) またはバイナリによって満たされている要件はほとんどありません。独自のモジュールを作成して、サードパーティのライブラリ機能をアプリケーションに組み込むために、さらに深く掘り下げたいと思います。ここで、これらの用語の意味と、どこから始めればよいかを知りたいと思います。上記の件名に関するドキュメントはありますか?

Python プログラミング言語に関するこれらの単語に関連するドキュメントも歓迎します。

次のようなリストがあるとします。

それぞれ2つの要素のリストのリストが欲しい:

Dartでこれを行う良い方法は何ですか?

Python で書かれたサーバーに接続する C# クライアント アプリケーションを作成しています。私の質問は、ループでデータを受信することです。アプリケーションの構造は、クライアントがサーバーに問い合わせる -> サーバーがクライアントに応答するというものです。メッセージが実際のバッファ サイズ (サーバーで設定) よりも小さい場合、すべて正常に動作します。例: サーバー側バッファ: 1024、クライアント バッファ サイズ: 256、データ長 < 1kb。次のコードでアプリケーションを実行します。

次に、アプリケーションは 4 つのループ (それぞれ 256 バイト) でデータを受信します。

そしてタイムアウトが発生すると、送信が終了し、完全なデータが後の分析に渡されます (stb オブジェクトから)。タイムアウトの使用は適切ではないと思いますが、これを行う他の方法はわかりません。ただし、このように機能します。サーバー側バッファ: 1024、クライアント側バッファ: 256、データ長 ~ 8kbytes (Python 側はループでデータを送信します)。

次に、タイムアウトが発生します（そして明らかにデータが不完全です-8kbのうち1kbを取得しました）。28バイトを受信して​​1回実行した後、ループが終了することもあり、それはすべてタイムアウト前です。Python は、データが適切に送信されたと言っています。ソケットと serverStream オブジェクトを作成する方法は次のとおりです。

TcpClient の障害ではありません。次のように作成されたクリアソケットで同じことを試しました：

ただし、それは同様に機能します。すべてのデータを受信して​​、タイムアウトなしでループを機能させる方法はありますか? 可能であれば、ソケットの同期を維持したいと思います。

これについてstackoverflowを検索しましたが、それを行う方法が見つかりませんでした。おそらく itertools が関係しています。

thisisateststring文字列をn（長さが等しいか等しくないかは関係ありません。両方を含める必要があります）文字列に分割すると、考えられるすべての結果を見つけたいと思います。

たとえば、次のようnにします3。