問題タブ [chunks]

私はこれを持っています：

次のようなものを返すには、カンマ区切りのチャンクに分割する必要があります。

これには正規表現が最適だと思いましたが、行き詰まり続けています。基本的に、文字列の置換を試みましたが、2番目の引数で正規表現を使用することはできません。

私はそれをシンプルでクリーンに保ち、このようなことをしたいのですが、うまくいきません：

しかし、現実の世界では、それは単純すぎるでしょう。

出来ますか？

これはおそらく非常に単純で、私は何かを見落としています...

私は整数の長いリストを持っています。この場合、ウェブサイトへの毎日の訪問者を表しています。毎週の訪問者の新しいリストが欲しいです。したがって、元のリストから7つのグループを取得し、それらを合計して、新しいリストに追加する必要があります。

私の解決策はかなりブルートフォースでエレガントではないようです：

これを行うためのより効率的な、またはよりPython的な方法はありますか？

現在簡単なAPIであるlibcurlを使用しています。HTTP Chunked Encoding で応答する Web サーバーにリクエストを送信しています。サーバーからのチャンクがいつ終了したかを知る方法があるかどうか知りたいです。ある種のコールバックを探していました。DEBUGDATA には含まれていないようで、CHUNK_END_FUNCTION は無関係のようでした。

私はここ数日、xnaゲームの1億4400万のタイル表現を保存時に非常に小さいサイズに圧縮する方法に取り組んできました。なんとかそれをやってのけることができたので、私は今、それらをファイルからチャンクで取り戻す方法に困惑していることに気づきました。

私が持っているファイルに。

1. 整数（7BitEncodedIntメソッドを使用してバイトに圧縮されます）
2. バイト

圧縮された整数はタイルの数を表し、後続のバイトによってタイルのタイプが決まります。これはすべてうまく機能し、本当にうまく機能します。最も重要なことは、ファイルサイズを平均でわずか50MBに縮小することです。

問題は、現在ファイル全体を読み戻していることです。ファイルから私はこれを取得しています。

1. 各タイルのインデックス値（タイルを取得するときの基本的な反復）
2. バイト値としての各タイルのタイプ
3. そのタイルのテクスチャを表すバイト値（これを説明するのは難しいですが、タイルごとに必要です）

このすべての最終結果は、私がファイルを保存することに成功し、約50MBしか使用しないことです。しかし、すべてをロードして戻すと、RAM上で約1.5ギガに拡張されます。もうタイル情報を犠牲にする余裕はありません。そのため、プレーヤーの場所に基づいてマップの一部のみをロードする方法が必要です。目標は、100〜200mbの範囲にあることです

私は、クワッドツリーを使用してファイルをメモリマッピングすることを検討してきました。これは、ファイルをチャンクでロードするために見つけることができるほとんどすべてのものです。これらのオプションはすべてかなり良いように見えますが、どれが最適かはわかりません。状況を考えると、さらに良いオプションがあるかもしれません。これらすべてのもう1つの問題は、これらのソリューションがすべて非常に複雑に見えることです（特に、これが初めて使用するため）。長いコーディングに専念することに反対しているわけではありませんが、それが私が行うことを実行することを知りたいです。事前にそれが必要です。

私の質問は、ファイルをプルするときにファイルをどのように処理する必要があるか、そしてプレーヤーの場所に基づいてファイルを処理する必要があるという事実を考えると、これを行うための最良の方法は何でしょうか？ここで方向性を探しています。コードはいつでも歓迎しますが、必須ではありません。

私はウィンドウサービスを持っていて、大きな（約4MB）ファイル（Img、音楽など）をチャンクでアップロード/ダウンロードできるようにしたいと思っています。
サービスファイルとクライアントapp.configファイルの両方で「maxBufferSize」「maxRecivedMessageSize」などを変更してこれを実行しようとしましたが、残念ながら機能しませんでした。
私の質問は、ファイルをチャンクでアップロード/ダウンロードする方法です。App.configファイルだけでそれができるとしたら？
感謝！

さて、CSHARP Lightwave 3D モデル コンバーターを作成して、LWO を Javascript オブジェクトに変換しようとしています。これまでのところ、私はプログラムが機能する根性を持っています。しかし、バイナリ ファイルから UV をエクスポートする際に問題が発生しました。

これは、LWO バイナリーに関する私の参考資料です: http://www.gpwiki.org/index.php/LWO

テスト目的で、2 つの三角形と 6 つの点を持つ単一の正方形モデルを使用しています。すでにおなじみかもしれませんが、16 進数で次のようなテクスチャ UV チャンクを取得します (注釈付きのカンマと、ASCII 変換されたものを使用)。

さて、私がリンクしたドキュメントによると、それは以下に翻訳されます。これを自分で翻訳したい場合、これは 32 ビット HEX を IEEE 754 Single float に変換するための便利なツールだと思います。

http://www.h-schmidt.net/FloatApplet/IEEE754.html

変換された LWO UV バイナリ:

UV 位置を Lightwave の実際の位置と比較するまでは、これは十分に健全に見えます。

おわかりのように、バイナリ ファイルはそれほど遠くないものですが、何千ものこれらのバグをエクスポートすることが意図されている場合は特に、すべての違いを生むのに十分です。現在、この不一致にパターンは見られません。

現時点での私の現在の理論は、数値が IEEE754 形式ではないというものです。しかし、他のすべての値は同じなので、なぜこれらが異なるのでしょうか。足りないものはありますか？もう少し役立つように、他のテスト値をいくつか示します。

いくつかは正しいように見えますが、他のものはただ... 非常に間違っているようです. この質問を読んでくれてありがとう。非常に長く、数字が密集していることに感謝します。どんな助けでも素晴らしいでしょう！enter code here

データベースからJSONの形式でデータをエクスポートしました。これは、基本的に1つの[リスト]であり、その中に{objects}の束（900K）が含まれています。

今、本番サーバーにインポートしようとしていますが、安価なWebサーバーがあります。私が彼らのすべての資源を10分間食べるとき、彼らはそれを好きではありません。

このファイルを小さなチャンクに分割して、1つずつインポートできるようにするにはどうすればよいですか？

編集：実際には、それはPostgreSQLデータベースです。すべてのデータをチャンクでエクスポートする方法について、他の提案を受け入れることができます。サーバーにphpPgAdminをインストールしました。これは、CSV、タブ付き、およびXML形式を受け入れることができると思われます。

phihagのスクリプトを修正する必要がありました。

投げ捨てる：

戻す：

（pg_restoreが何をするのかわかりませんが、エラーが発生します）

これに関するチュートリアルでは、特にこの情報を省略しておくと便利です。ほとんどの-U状況でおそらく必要なオプション。はい、manページでこれを説明していますが、気にしない50のオプションをふるいにかけるのは常に苦痛です。

私はケニーの提案に行き着きました...それはまだ大きな苦痛でしたが。テーブルをファイルにダンプし、圧縮し、アップロードし、抽出してからインポートしようとしましたが、本番環境ではデータがわずかに異なり、外部キーが欠落していました（郵便番号は都市に添付されています）。もちろん、新しい都市をインポートすることはできませんでした。それは、それを黙って無視するのではなく、重複したキーエラーをスローするためです。それで、私はそのテーブルを空にし、都市に対して同じプロセスを繰り返さなければなりませんでしたが、何か他のものが都市に結びついていることに気づいたので、私もそのテーブルを空にしなければなりませんでした。都市を取り戻した後、ようやく郵便番号をインポートできるようになりました。すべてがすべてに関連付けられており、すべてのエントリを再作成する必要があったため、これまでにデータベースの半分を消去しました。素晴らしい。私が持っていない良いこと tはまだサイトを立ち上げました。また、テーブルを「空にする」または切り捨てても、シーケンス/自動インクリメントがリセットされないようです。これは、ID 1にしたい魔法のエントリがいくつかあるためです。したがって、削除またはリセットする必要があります。それらも（方法がわかりません）、手動で編集して1に戻しました。

phihagのソリューションでも同様の問題が発生しました。さらに、エクスポートスクリプトと一致する別のインポートスクリプトを作成しない限り、一度に17個のファイルをインポートする必要がありました。彼は私の質問に文字通り答えましたが、ありがとう。

データが IDAT チャンクにどのように格納されるかを理解しようとしています。私は小さな PHP クラスを書いており、ほとんどのチャンク情報を取得できますが、IDAT で取得したものは画像のピクセルと一致しません:

これは、アルファ (ビット深度 8) 付きの 2×2px トゥルーカラーです。

しかし、IDAT データを次のように解釈すると、次のようになります。

私は得る

00000000ffffff00ffffff000000

ピクセルを一致させる方法がわかりません。それとも、データを破損するのは私のコードですか?

ご協力いただきありがとうございます！

編集：わかりました

08d705c101010000008010ff4f1750a93029e405fb

16 進数で圧縮されたデータであるため、解凍後に数バイトが失われるようです。

各チャンクが書き込まれた後に何かを行い、チャンクに対してのみ有効なコンテキスト内にデータを設定します。このデータは、ChunkListenerのafterChunkメソッド内で使用されます。

を使用StepExecutionContextしてこれを実現できますが、完全に正しいとは思えません。

チャンクに対してのみ有効なコンテキスト情報をどこに保存するかについて、より多くの情報を持っている人はいますか?

Webclient オブジェクトを使用して、それぞれ 5% のチャンクでデータをダウンロードしようとしています。その理由は、ダウンロードされたチャンクごとに進行状況を報告する必要があるからです。

このタスクを実行するために私が書いたコードは次のとおりです。

問題 - str.Read() に到達すると、ストリーム全体を読み取るのと同じくらい一時停止し、カウントが 0 になります。ファイブパーセント変数。最初の試行でストリーム全体を読み取ったように見えます。

チャンクを適切に読み取るようにするにはどうすればよいですか?

ありがとう、

アンドレイ