問題タブ [chunking]

5行のブロックで構成されたテキストファイルを取り、テキスト全体をこれらのブロックにスライスして個別に作業するプログラムを作成しようとしています。

現時点で私は使用しようとしています：

全くの初心者で申し訳ありませんが、この方法でよろしいでしょうか？作業しているチャンクを指定するチャンク5の行の行で、チャンク5に何かが欠けているように感じます。

テキスト内のすべてのチャンクも終了するまで、プログラムに各チャンクを実行させるにはどうすればよいですか?

FileField.save()250万を超えるファイルの舞台裏での作業はどのように行われますか？FileField.save()私は別の投稿で、保存するファイルの自動チャンク処理を行うことを読みました。しかし、2.5Mを超えるファイルが保存されているtmpディレクトリと同じマシンにファイルを保存する場合は、チャンクが必要ですか？tmpディレクトリがファイルを保存したい同じマシン上にある大きなファイルサイズのアップロード状況では、ファイルsave()だけmvをtmpディレクトリからターゲットディレクトリに移動し、チャンクをバイパスしますか？

データ自体の送信が次のように行われるサーバーを作成しました。

サーバーが実際にメッセージ全体を送信したかどうかを確認するにはどうすればよいですか?

私のクライアント (C# で記述) では、json 文字列が長い場合、json 文字列の長さよりも短い一定量のバイトを取得します (何らかの理由で、常に最大長は 183 バイトです)。

クライアントは非同期接続を使用しています。サーバーが実際にメッセージ全体を送信したかどうかを確認するにはどうすればよいですか? 長いメッセージをチャンクに分割して、次々に送信する必要がある可能性はありますか? 問題がサーバーにあるのかクライアントにあるのかはわかりません。

WCF を使用してクライアントからサーバーに大きなファイル (3 ～ 4 Gb) を転送する必要がありますが、既に配置されているバインディングは wsHttpBidning です。バインディングを使用する必要があります。カスタムバインディングの使用もオプション外です。サービス側でもう 1 つの操作を追加し、クライアント側からそのメソッドを呼び出すだけで、どのようにそれを達成できるかについてのアイデアが必要ですか?

私たちのアプリケーションには、特にバイトのチャンクリストを含むいくつかのデータ構造があります（現在は として公開されていますList<byte[]>）。バイト配列を大きなオブジェクト ヒープに配置できるようにすると、時間の経過とともにメモリの断片化が発生するため、バイトをチャンクアップします。

また、独自に生成したシリアライゼーション DLL を使用して、Protobuf-net を使用してこれらの構造をシリアライズすることも開始しました。

ただし、シリアル化中に Protobuf-net が非常に大きなメモリ内バッファーを作成していることに気付きました。ソースコードをざっと見てみると、List<byte[]>後でバッファの先頭に全長を書き込む必要があるため、構造全体が書き込まれるまで内部バッファをフラッシュできないようです。

残念なことに、これは最初にバイトをチャンク化する作業を元に戻し、最終的にはメモリの断片化のために OutOfMemoryExceptions を発生させます (例外は、Protobuf-net がバッファーを 84k を超えて拡張しようとしているときに発生します。 LOH であり、全体的なプロセス メモリの使用量はかなり低いです)。

Protobuf-net の動作に関する私の分析が正しい場合、この問題を回避する方法はありますか?

アップデート

マークの答えに基づいて、私が試したことは次のとおりです。

次に、それをシリアル化します。

ただし、メソッドの下部に向かっProtoWriter.WriteBytes()て呼び出す場所にブレークポイントを設定してにステップインすると、 equals が原因でバッファーがフラッシュされていないことがわかります。DemandSpace()DemandSpace()writer.flushLock1

次のように ABase の別の基本クラスを作成すると:

次ににwriter.flushLock等しい。2DemandSpace()

派生型を扱うために、ここで見逃した明らかなステップがあると思いますか?

R で S4 クラスを作成して、クラウドから大きなデータセット (チャンク単位) にアクセスできるようにしたいと考えています (ff パッケージの目標と同様)。現在、「range.vec」というおもちゃの例を使用しています (インターネット アクセスはまだ扱いたくありません)。これには、次のような一連の数字が格納されます。

このクラスに「数値」からメソッドを継承させたいのですが、保存しているチャンクだけでなく、ベクトル全体でこれらのメソッドを使用したいのです。たとえば、「平均」に対して独自のメソッドを定義したくありませんが、「平均」が長さ()、「[」、「[ ['、および私が定義した el() 関数。チャンク関数も定義しました。

「平均」などのメソッドを呼び出そうとすると、関数は正しく継承され、長さ関数にアクセスしますが、.Data スロットにデータが保存されていないため、NA が返されます。.Data スロットを使用してチャンク関数を指す方法、またはすべてのメソッドを自分で定義せずに数値メソッドをチャンクするようにクラスに指示する方法はありますか? 可能であれば、C でのコーディングを避けようとしています。どんなアドバイスもとても役に立ちます！

次のような文字列を分離するチャンク分析を実行しようとしています。

の中へ

教師なし学習方法を使用します。

投票の専門家のアルゴリズムについて説明しているいくつかの論文、つまりhttp://w3.sista.arizona.edu/~cohen/Publications/papers/voting-experts.pdfに出くわしました。これは、頻度とエントロピーの組み合わせによってこの目標を達成します。メトリック。

Rでアルゴリズムを使用したいのですが、これまでのところJavaバージョンしかないと思います（ここに含まれています：http ：//code.google.com/p/voting-experts/ ）

a）アルゴリズムの実装を含むRパッケージがあるかどうかb）Rにすでに実装されている同様のアルゴリズムがあるかどうか疑問に思います。

ファイル転送プログラムを書いています。ただし、何らかの理由で、ファイルの最後にいないにもかかわらずpread返されます。0誰でも私のコードを見て問題を確認できますか? それは完全に動作しfreadます。

ありがとう！

私はこのコードを使用しています

しかし、大きすぎるファイルを使用すると、メモリ不足の例外が発生します。

File.ReadAllBytesチャンクで使いたい。私は以下のようなコードを見ました

bytesReadしかし、実際にをテキストに変換するバイト配列に変換する方法がわかりません。

編集：答えが見つかりました。これがコードです！

テキスト形式の読み取り可能なバイトを変更するには、新しいバイトを作成して等しくします（Convert.FromBase64String（Text））。みんな、ありがとう！

ユーザーが大きなファイルをアップロードできるようにしようとしています。ファイルをアップロードする前に、ファイルをまとめたいと思います。各チャンクはC＃オブジェクトである必要があります。その理由は、ロギングを目的としています。長い話ですが、各ファイルチャンクを表す実際のC＃オブジェクトを作成する必要があります。とにかく、私は次のアプローチを試みています：

残念ながら、このアプローチは非常に遅いようです。チャンクごとにオブジェクトを作成しながら、パフォーマンスを向上させる方法を知っている人はいますか？

ありがとうございました