問題タブ [chunks]

私は FUSE オーバーレイ fs (notifyfs) を作成しています。これは、データベース クライアントがクエリを通じてデータを取得できるようにすることができます。私の意図は、エントリとそのプロパティ (属性だけでなく、MIME タイプ、アイコンなど) を表示するときに、キャッシュ/overlayfs/データベース クライアントがデータを取得できるようにすることです。

クエリは、ディレクトリの内容を取得することです。すでに notifyfs への接続 (=fd) を持っているクライアントは、「list_message」を介してデータを要求します。私の質問は、notifyfs が提供しなければならない応答をどのようにプログラミングするかです。私は3つまたは2つの異なる方法について考えています。次の点に注意してください。

異なるエントリを持つ基本形式の notifyfs 応答。ここで、すべてのエントリは次のようなものです。

(これを notifyfs_entry_struct と呼びます)

名前の長さは固定されておらず、最大 255 であることに注意してください。さらにクライアントは、最大で特定の数のエントリを要求します。この最大値について正確にはわかりませんが、80 程度になるでしょう。

a. 1 つの大きなバッファー。サイズは次のようなものです。

80 x (255+sizeof(struct notifyfs_entry_struct))

確かに20400バイト以上になります。

b. iovec や readdir などを使用した固定サイズのチャンク。

最良の選択肢は何ですか？最初の方法は、少なくとも 20400 バイトになるバッファーを使用します。これは大量ですが、それでも実行可能ですか?

ステフ

大きな画像をサーバーにアップロードしたい。
それらをチャンクに変換してサーバーにアップロードすることは可能ですか?

画像をアップロードするためのコードは次のとおりです。チャンクで画像を送信するにはどうすればよいですか??

複数行のコードを使用するプログラムを作成しています。現時点では、それぞれを個別に処理しています -> 各行が入ってくると、sys.stdin.readline() メソッドを介して次の行を要求する前に、それを削除して保存します。私のプログラムは現在遅すぎるため、効率を改善する方法があるかどうか疑問に思っていました。一度にすべての行を取得し (予想される行数はわかっています)、それらをリストに格納してから処理する方が高速ですか? もしそうなら、速度のために構築され、これを効率的に行うことができる組み込み関数はありますか?

ありがとう

How to split an iterable in constant-size chunks のように Python リストをチャンクに分割する方法に関するいくつかの素晴らしい投稿をここで見ます。ほとんどの投稿では、チャンクを分割するか、リスト内のすべての文字列を結合してから、通常のスライス ルーチンに基づいて制限します。

ただし、文字制限に基づいて同様のことを実行する必要がありました。文のリストがあるが、リスト内のスライスを切り捨てることができない場合。

ここでいくつかのコードを大量生産することができました：

出力は次のようなものを返す必要があります: Slices is: [[0, 1, 2, 3, 4, 5, 6], [7, 8, 9, 10, 11, 12, 13], [14, 15, 16, 17, 18, 19, 20]] (各番号は stringlist の項目を参照します)

したがって、このリストのリストを繰り返し処理するときに、"".join([item for item in each]) のようなものを使用して、1 行に 0,1,2,3,4,5,6、7、別の 8,9,10,11,12,13。場合によっては、リストが 2 つの項目しかないことがあります。これらの 2 つの項目はそれぞれ非常に長いためです (合計すると 380 文字の制限を下回る可能性があります)。

コードがかなり悪いので、ジェネレーターを使用する必要があることはわかっています。これを行う方法がわかりません。

ありがとう。

I am calculating the correlation between two data sets but due to the big size of the data (10 GB) while my RAM is only 6 GB I am facing a memory issue. I wonder how can to chunk my code?

But got this error:

ビデオファイルをチャンクに分割し、チャンクを1つずつサーバーに送信しようとしています。しかし、私が書いたロジックまたはコードが正しいかどうかはわかりません! よろしければ、これで私を助けてください。

ありがとうございました

メモリが大きすぎて一度にロードできないログファイルをロードする必要があるタスクがあります。したがって、さまざまなチャンクでファイルをロードする方法が必要です。

そんなこと知ってる：

ファイルから最初のn個のチャンクをロードしますが、残りのチャンクをロードするにはどうすればよいですか？

ありがとう！

シャーディング キーが UUID (16 進文字列) であるコレクションがあります。コレクションは膨大です: 8 億 1,200 万のドキュメント、2 つのシャードに約 9,600 のチャンクがあります。何らかの理由で、UUID の代わりにシャーディング キー フィールドに整数を持つドキュメントを最初に保存しました。後でそれらを完全に削除しましたが、今ではすべてのドキュメントが UUID によって分割されています。しかし、私は現在、チャンクの配布に関する問題に直面しています。UUID ではなく整数のドキュメントがありましたが、バランサーはこれらのドキュメントに対して約 2700 のチャンクを作成し、それらすべてを 1 つのシャードに残しました。これらのドキュメントをすべて削除しても、チャンクは削除されず、空のままで、現在は UUID しか使用していないため、常に空のままです。バランサーは、ドキュメントの数やサイズではなく、シャードごとのチャンク数に基づいてチャンクを分散するため、シャードの 1 つは別のシャードの 3 倍のディスク容量を必要とします。

ここで悲しいことに、mongodb はチャンクを手動で削除またはマージするコマンドを提供していません。私の主な質問は、空のチャンクを取り除くためにこの作業を行うにはどうすればよいかということです:

1. バランサーを停止します。各構成サーバーに接続し、空のチャンクの範囲から削除し、最初の空でないチャンクの先頭で終了するようにスライスをconfig.chunks修正します。minKeyバランサーを起動します。危険に思えますが、私が見る限りconfig.chunks、チャンク情報が保存される唯一の場所です。

2. バランサーを停止します。新しい mongod インスタンスを開始し、それを 3 番目のシャードとして接続します。すべての空のチャンクをこの新しいシャードに手動で移動し、完全にシャットダウンします。バランサーを起動します。確かではありませんが、シャーディング キーに整数値を再度使用しない限り、すべてのクエリが正常に実行されるはずです。

ファイルを少しずつコピーしたい (必要に応じてコピー操作をキャンセルするため)。

私はここでマークされていない解決策に従おうとしています:コピーをキャンセルする機能でファイルをコピーする方法は?

しかし、私は0バイトのファイルを取得しています

私が間違っていることは何ですか？

**

更新 1:

**

Virtlink の回答の手順に従い、不足している部分を元のコードに入れようとしましたが、まだゼロバイトのファイルを取得しています。

**

更新 2:

**

私の最近の失敗した試み：

**

更新 3:

**

解決

問題はVB.NETにあり、ループ条件で変数に値を割り当てることができないため、これが機能するサブです: