問題タブ [chunking]

注: Azure BLOB ストレージに送信する必要がある SAS 文字列の例 (右側の領域にブロック情報が追加されています) を教えてください。それが私が抱えている問題だと思います。各ブロックで Azure に送信される文字列の uri、キーなどの順序を把握する必要があります。

私が達成しようとしているのは、サービスから SAS キーを取得し、ブロックで送信していることを Azure が認識できるように文字列キーを変更し、Web クライアントから sas キーを使用してファイルの個々のブロックを送信することです。 . 各ファイルを 2MB のブロックにチャンクし、それらの 2MB のブロックを一度に JavaScript ライブラリと共に送信しています。したがって、以下のコードの各「ファイル」は、ファイルの 2MB チャンクにすぎません。

問題: サービスから SAS キーを正常に取得し、ブロック チャンク情報が含まれるようにキーを変更し、FIRST チャンクを送信して、BLOB ストレージ サーバーから応答を受け取ることができます。しかし、2 番目のチャンクを送信すると、ブロブ ストレージへのストリームの要求がハングし、最終的にタイムアウトになります。タイムアウトは、特にブロブ ストレージへのストリームに対する 2 番目の要求で発生するようです。このコードのビットはここにあります:

サーバー Web クライアント コード:

2 番目のチャンクがタイムアウトする原因は何ですか? キーのウィンドウが閉じるのが早すぎる可能性がありますか? 以下は私のコードといくつかのスクリーンショットです：

チャンクを Web サーバークライアントに送信する JAVASCRIPT コード:

「サンフランシスコに行く」、「メイン ストリート 123 番地までの道順を教えて」などの音声ナビゲーション コマンドのセマンティック解析に NLTK を使用しようとしています。

これは、次のようなかなり単純な CFG 文法で実行できます。

問題は、これには「go to」などの非アトミック（複数の単語の長さ）リテラルが含まれていることです.NLTKは設定されていないようです（間違っている場合は修正してください）。解析タスクには前提条件としてタグ付けがあり、すべてのタガーは常に個々の単語にタグ付けしているようです。だから、私のオプションは次のようです：

a) 非構文タグを個々の単語ではなく単語シーケンスに割り当てることができるカスタム タガーを定義します (例: "go to" : "COMMAND")。b) 機能を使用して文法を補強します。たとえば、次のようなものです。

c) チャンカーを使用して COMMAND などのサブ構造を抽出し、結果にパーサーを適用します。NLTK はチャンカー -> パーサーのカスケードを許可しますか?

これらのオプションのいくつかは複雑に見えます (ハック)。良い方法はありますか？

私の play-framework ベースの Web アプリケーションでは、ユーザーはさまざまなデータベース テーブルのすべての行を csv または json 形式でダウンロードできます。テーブルは比較的大きく (10 万行以上)、Play 2.2 でチャンクを使用して結果をストリーミングしようとしています。

しかし問題は、println ステートメントは行が Chunks.Out オブジェクトに書き込まれることを示していますが、クライアント側には表示されません! 送り返される行を制限すると機能しますが、すべての行を送り返そうとするとタイムアウトが発生したり、サーバーがメモリ不足になったりすると、最初に大きな遅延が発生します。

私は Ebean ORM を使用しており、テーブルにはインデックスが作成されており、psql からのクエリにはそれほど時間がかかりません。何が問題なのか誰にもわかりませんか？

大変お世話になりました！

コントローラーの 1 つのコードを次に示します。

そしてストリーマー：

そしてモデル：

私はPythonが初めてで、データ型の概念とその変換に苦労しています。

NLTK ツリー形式の文があります (スタンフォード パーサーから取得し、NLTK ツリーに変換します)。NLTK Chunker 用に記述された関数を適用する必要があります。ただし、NLTK ツリー形式は NLTK チャンカー形式とは異なります。どちらの形式も NLTK ツリーですが、要素の構造が異なるようです (以下を参照)。

NLTK ツリーを NLTK Chunker 出力形式に変換する方法を教えてください。

前もって感謝します！

NLTK チャンカーの出力は次のとおりです。

要素と各要素タイプごとに出力されるようになりました:

これはNLTKの「純粋な」ツリー出力です（NLTKドキュメントとまったく同じです）：

要素と各要素タイプごとに出力されるようになりました:

そのため、Eloquentでlaravelのチャンクを試してみましたが、問題が発生しました。次のコードを検討してください（私の問題のより単純化されたバージョン）：

したがって、次のコードを実行すると、メモリ出力は次のようになります。

それでは、値に飛び込んphp.iniで変更せずに、memory_limitなぜそれが機能しないのか手がかりはありませんか? ドキュメントによると、「大量の (数千の) Eloquent レコードを処理する必要がある場合、chunk コマンドを使用すると、RAM をすべて消費することなく処理できます」。

foreach 関数の後に試しunset($data)ましたが、役に立ちませんでした。私がそれをどのように利用できるか、chunkまたはそれが何を誤解したかについての手がかりはありますか?

PHPで大きなファイルを送信するために、独自のバージョンの単純なソリューションを作成しました。ファイルチャンクを使用します。このソリューションはさまざまなソースから保護されており、「チャンク」を実装するために次のコードをコピーして貼り付けました。

各チャンクをブラウザに送信するために使用printするため、PHP スクリプトがエンコードされている文字エンコードに非常に敏感です。たとえば、スクリプトを に保存するとANSI、ダウンロードしたファイルが破損していることに気付きました。でエンコードされたスクリプトを保存してアップロードする場合のみ、utf-8ファイルは問題ありません。

スクリプトファイルのエンコーディングに依存しない同じことを行う（ファイルの一部をブラウザに送信する）よりも優れた機能はありprintますか？たとえば、ブラウザにバイナリ転送を強制するためですか？

xml を作成するコードがあります。

この xml を複数の部分 (それぞれ最大 500kb) に分けて作成したいと考えています。これどうやってするの？作成されたファイルが既に 500kb であることを確認し、残りのデータを別のファイルに書き込む方法はありますか?

これを使ったのですが、base64文字列をデコードした後の画像、切り取った部分で画像が崩れています。