問題タブ [chunking]

チャンク経由で大きなファイルをサポートする HTML5 ファイル アップローダーを構築しようとしています。フロントエンド側で作業するのに十分なドキュメントをオンラインで見つけましたが、チャンクがサーバーにヒットしたときにチャンクを再構築する方法についての情報はありません (Rails を使用しています)。何か助けはありますか?

既存の Linq 関数を使用して、アイテムのリストから任意のサイズのグループを作成する方法はありますか?

例えば：

list.Group(3) のようなことをすると、以下のシーケンスのような IEnumerable の IEnumberable が生成されます。

重複の可能性：
Pythonでリストを均等なサイズのチャンクに分割するにはどうすればよいですか？

iterableを入力として受け取り、iterableのiterableを返す「バッチ」関数が見つからなかったことに驚いています。

例えば：

また：

今、私は非常に単純なジェネレーターだと思ったものを書きました：

しかし、上記は私が期待したものを私に与えません：

だから、私は何かを逃しました、そしてこれはおそらくPythonジェネレーターの私の完全な理解の欠如を示しています。誰かが私を正しい方向に向けることを気にかけますか？

[編集：最終的に、上記の動作は、Python自体ではなくipython内でこれを実行した場合にのみ発生することに気付きました]

TreeTagger の使用方法を理解しようとしています

http://www.ims.uni-stuttgart.de/projekte/corplex/TreeTagger/

tt4j でラップ

http://reckart.github.io/tt4j/

一部のテキストをチャンクします。

チュートリアルが見つかりません。

助けてくれてありがとう

HTTP経由でRESTfulサーバーと通信する組み込みアプリケーションがあります。一部のサービスでは、 flexを使用して作成した非常に単純なレクサーを使用して解釈されるデータをクライアントに送信します。

現在、帯域幅の消費を減らすためにgzip圧縮レイヤーを追加しているところですが、メモリ要件のために現在のアーキテクチャに満足していません。最初にデータ全体をバッファに受け取り、次にバッファ全体を次のように解凍します。新しいバッファを作成してから、データ全体をフレックスにフィードします。

チャンク化されたデータをHTTPクライアントからzlibルーチンにフィードすることで、最初のステップと2番目のステップの間にメモリを節約できます。しかし、zlibチャンク出力とフレックス入力の間で同じことができるかどうか疑問に思っています。

現在、入力の分析にはyy_scan_bytesとのみを使用しています。yylexflexには、データの複数のチャンクをフィードする機能がありますyylexか？複数の入力バッファに関するドキュメントを読みましたが、役に立ちませんでした。

Docbook 5.0 でいくつかの本を書いています。私は次のようにそれらをセットに含めています。

XML を HTML に変換するために、docbook の最新のスタイル シート (1.76.1) を使用しています。単一の html (mydocbook.xsl) を生成するための非常にわずかにカスタマイズされたスタイル シートがあります。

これは問題なく動作し、予想どおり、セット、本、およびより高いレベルのセクションの目次を取得しています。ここで、http://www.sagehill.net/docbookxsl/ChunkingCustomization.htmlの指示に従って、次のように、チャンク バージョン (mychunk.xsl) 用に別のスタイル シートを作成しました。

このスタイル シートを適用すると、期待どおりのチャンクが得られますが、ToC はまったく生成されません (セットの ToC も、書籍の ToC も、より高いレベルのセクションの ToC もありません)。

誰かが私が間違っていることを見ていますか? xsl ファイルにメッセージを追加することはできますが、問題を診断するためにメッセージを追加する場所がわかりません。メッセージでこの問題をデバッグする方法についてのヒントはありますか?

サードパーティが提供するWebサービスへのアクセスに問題があります。Axis2のワイヤートレースを見ると、XMLタグの真ん中に\ r \ n3ff8 \ r \ nが戻ってきているのがわかります。これにより、Axis2が解析しようとしたときにヒスノイズが発生します。

私が知る限り、これはAxis2がうまく処理していないHTTP1.1チャンクと関係があります。

私が抱えている問題は、このフォーラム投稿の問題と同じです

チャンクの問題を回避するためにHTTP1.0を使用するようにWebサービスコードを変更するにはどうすればよいですか？とにかくAxisのデフォルトがCommonsHTTPSenderであると言える限り、上記のリンク先のフォーラム投稿がなぜこれに変更することを提案したのかわかりません。

あるいは、この問題を解決するためのより良い方法はありますか？

バイト ストリームをサイズが大きくなるチャンクに分割しようとしています。

ソース ストリームに不明なバイト数が含まれており、読み取りにコストがかかります。列挙子の出力は、8KB から 1MB まで増加するサイズのバイト配列である必要があります。

これは、ストリーム全体を読み取って配列に格納し、関連する部分を取り出すだけで、非常に簡単に実行できます。ただし、ストリームは非常に大きい場合があるため、一度に読み取ることはできません。また、パフォーマンスは主な関心事ではありませんが、システムの負荷を非常に低く保つことが重要です。

これを実装しているときに、コードを短く維持しやすくするのは比較的難しいことに気付きました。留意すべきストリーム関連の問題もいくつかあります (たとえば、Stream.Read は成功してもバッファーがいっぱいにならない場合があります)。

私のケースに役立つ既存のクラスは見つかりませんでしたし、ネット上でそれに近いものを見つけることもできませんでした。そのようなクラスをどのように実装しますか?

MemoryStream に読み込み、FileStreamResult として返す大きな zip ファイル (500MB 以上) があります。ただし、200MB を超えるファイルに対して OutOfMemory Exception が発生します。私のアクション内には、次のコードがあります。

NLTK ブック (例 7.9) で説明されているように、Maxent Classifier に基づいてセンテンス チャンカーを実装しようとしています。

http://nltk.googlecode.com/svn/trunk/doc/book/ch07.html#code-classifier-chunker

チャンカーを評価しようとすると

または文をチャンクする

次のエラーが表示されます。

私はグーグルで何も見つけられなかったので、この点で立ち往生しています。どんな助けでも本当に役に立ちます！