問題タブ [chunking]

最適なターンキー (すぐに使用できる、産業用強度) の関係検出ライブラリは何ですか?

私は NLTK で遊んでいますが、得られる結果はあまり満足のいくものではありません。

• http://nltk.googlecode.com/svn/trunk/doc/book/ch07.html
• http://nltk.googlecode.com/svn/trunk/doc/howto/relextract.html

理想的には、次のような文を取ることができるライブラリが欲しいです:

「サラは子供を食べていたオオカミを殺した」

それを次のような意味のデータ構造に変換します。

殺された(サラ、オオカミ) AND 食べる(オオカミ、子供)

これは多くの研究対象であり、簡単な作業ではないことを私は知っています。とはいえ、関係を検出するための、かなり堅牢ですぐに使用できるライブラリを知っている人はいますか?

テキスト処理のコンテキストでチャンカーとは何か、その使用法は何か知っている人はいますか？

基本的に、部分的なアップロードをサーバーに保存するための最良の方法を探しています。ファイルはチャンクごとにアップロードされます。チャンクは、並行して任意の順序で来る可能性があります。それらを一時的にどこかに何らかの形で保存してから、アップロードされたチャンクから完全なファイルを作成する必要があります。私はそれを行う方法についていくつかのアイデアを持っていますが、すでにいくつかのベストプラクティス、または標準、またはある種のRFCがあるのだろうかと思います。

アップデート：

アップロードはHTTP経由で行われます。

.NETアプリケーションのパフォーマンスとスケーラビリティの向上を読んでいるときに、「マネージコードのパフォーマンス/ガベージコレクタのガイドラインの向上：」でこれにぶつかりました。

Avoid preallocating and chunking memory.

しかし、この本では、事前割り当てがなぜ悪いのか、またはGCの最適化に照らしてチャンキングが実際に何を意味するのかについては説明していません。

誰かがこの問題にもっと光を当てて、2つが悪い理由と、.netでGCを使用することに関してそれらが実際に何を意味するのかを私に説明できますか？

http://www.microsoft.com/downloads/en/details.aspx?FamilyId=8A2E454D-F30E-4E72-B531-75384A0F1C47&displaylang=en

最近、バインド構成を変更して、WCF サービスでの偽装を許可しました。これを実装することで、ストリーミングではなくバッファリングされた TransferMode.Buffered を使用する必要がありました。これでしばらくは問題が解決したように見えましたが、メッセージで渡すために MemoryStream を割り当てようとすると、大きなファイル (>200MB) が例外をスローすることに気付きました。私の同僚とグーグルは、チャンキングが答えであると私に信じさせ、それ以来、このサンプルのバージョンを実装しようとしました:

MSDN のチャンキングに関する記事

Binding ではなく BasicHttpBinding から派生するように TCPChunkingBinding クラスを変更し、チャンクを試す前に使用した必要な BasicHttpSecurity 属性を追加しました。

以前に BasicHttpBinding を使用していたすべてのエンドポイントが、TCPChunkingBinding を使用するようになりました。TCPChunkingBinding クラスに加えた変更は次のとおりです。

...

私が得るエラーは

サンプルの Service クラスの Host.cs で host.open() を呼び出すと。

基本的に私の質問は、誰かがこのサンプルを偽装とチャンクで動作させる方法を理解するのを手伝ってもらえますか?

誰かが答える前に、チャンキング ロードを試す前に、すべてのバッファ設定を最大にしました。なりすましが必要なため、ストリーミング転送モードを使用できません。前もって感謝します。

透過プロキシ用の HTTP パーサーを作成しています。私を悩ませているのはTrailer:、 の仕様に記載されていることですTransfer-Encoding: chunked。それはどのように見えますか？

通常、HTTP チャンクはこのように終了します。

私が混乱しているのは、ある種の末尾のヘッダーがある場合にチャンクの終わりを検出する方法です...

更新:末尾のヘッダーの終わりを検出するには、単純な\r\n\r\n空行で十分だと思います...それは正しいですか?

Python を使用していくつかのファイルを暗号化していますが、ファイルのチャンクごとの読み取りに問題があります。

最後のチャンクのすべてのデータが返されないことがあります。

ファイルの長さが 307200 バイトの場合、問題はありません。長さが 279363 バイトの場合は、そうします。

このコードを 2 つのファイル (それぞれ 307200 バイトと 279363 バイト) で実行しました。

そして、私はこれを得ました：

ご覧のとおり、最初のファイルのすべてのチャンク サイズの合計は正しく、2 番目のファイルの合計は正しくありません。そして、私には理由がわかりません。

私のPythonバージョンは2.6.5です
（Ubuntu 10.04.2 LTSで実行）

*編集：私の愚かな過ち。書いたばかりのファイルを読み取る前のw.close代わりに使用しましたが、それが問題の原因でした。w.close()

.Net 4.0 と SQL サーバー 2008 R2 を使用しています。

何百万もの結果を返し、完全に実行するのに長い時間がかかる大きな SQL 選択クエリを実行しています。

クエリ全体が完了するのを待たずに、クエリによって返された結果の一部のみを読み取る方法を知っている人はいますか?

つまり、クエリがまだ実行されていて、次の結果を取得している間に、最初の 10,000 レコード チャンクを読み取りたいと考えています。

私は（まだ）PHPを使用してhtmlフォームを介して<200mbの大きなファイルをアップロードしようとしています。

これに関する調査中に、「チャンク」という用語に出くわしました。このプロセスにより、ファイルが 5 MB などの便利なサイズに分割され、サーバー側で完全なファイルに再構築される可能性があることを理解しています。

私の問題はどこから始めればよいのでしょうか? グーグルで正しいリソースを見つけることができないようです (または、検索する用語がわからないことに苦しんでいる可能性があります)。

ですから、今日私が望んでいるのは、基礎を学ぶ機会であり、その方向性は非常に役に立ちます。プラグインなどをダウンロードしたくはありません。実験によって学びたいと思っています。

追加する編集：以下の2つの答えは正しいように見えますが、これはデザイナーとしてできないことの領域に私を連れて行きます...これを読んでいる人が別のアプローチを提案できるなら、私はそれを感謝します.

音楽ファイル (できれば mp3) をチャンクに分割するにはどうすればよいですか?

SDL_mixer API を使用しています。そこにいくつかの便利な機能があるかもしれませんが、私は見つけられませんでした。

目的は、各チャンクで FFT を使用して、視覚化に使用する周波数を取得することです。