問題タブ [binary-data]

周囲のストリームインターフェイスを使用して、blobからバイナリデータを読み取りたいのですが。

しかし、blobを完全にクライアント側にロードして、メモリまたはファイルに保存する必要はありません。

BLOBを使用するコードでシークと読み取りができるようにしたいのですが、シーク/読み取りをサポートするために必要なデータだけがネットワーク経由で提供されます。

つまり、ブロブが250MBのPhotoshopイメージであるかのように見せかけます。サムネイルコードは、画像の最初の8バイトを読み取り、それがPSDファイルであることを認識し、3kサムネイルを含むオフセットを探し、それを読み取る方法を知っています。

したがって、250MBのメモリを割り当てようとしたり、一時ファイルを作成したり、250MBがネットワーク経由で転送されるのを待つ必要はありません。架空のSQLServerBlobStreamServerCursorクラスは、実際に要求されたものにトラフィックをデータ化する方法を知っています。

リサーチ

方法：ADO.NETおよびVisual Basic .NETでチャンキングを使用してBLOB列との間でファイルを 読み書きします。これは、チャンクでの読み取りと書き込みが可能であることについて説明しています。しかし、コードが読めないので、私はそれを我慢できません。後で見ていきます。

また、この男は、データを書き込むための新しいSQL Server 2005 [ column .Write（）] 3 T-SQL構文について言及しました-データを小さなチャンクに書き込むために使用できます（サーバーのすべてのメモリを消費しないようにするため）。たぶん[列]があります。読み取り（）疑似メソッド

Microsoftの記事：SQLServerにBLOB値を書き込む際のリソースの節約

次のように宣言されたクラスがある場合：

NHibernate のマッピングを使用して MyData プロパティをデータベースとの間で永続化するにはどうすればよいですか?

サーバーに保存されているファイルタイプから未加工のバイナリを読み取るソリューションが必要です。

AMFPHP のことは聞いたことがありますが、サーバーにサービスをインストールするには管理者アクセスが必要だと思っていたので、最初は気が進まなかったのです。

バイナリファイルの読み取りに使用できますか? これに対する解決策は大歓迎です。

(いいえ、XML CDATA セクションでバイナリを試しましたが、不正な「制御」文字が多すぎます)

django モデルに保存したい 20 バイトの 16 進ハッシュがあります。テキスト フィールドを使用すると、Unicode として解釈され、文字化けして返されます。

現在、私はそれをエンコードしてデコードしていますが、それによってフィルタリングできる必要があるため、コードが本当に混乱しています。

フィルタリングの例を次に示します。

これは django 開発者が推奨するアプローチですが、20 バイトを格納するだけではこれほど醜いという事実を受け入れるのに本当に苦労しています。

多分私は純粋主義者すぎるかもしれませんが、理想的には書くことができるでしょう.

プロパティを使用すると、次のように記述できます。

それは私が尋ねることができるのと同じくらい良いです。

MS SQL Server 2005 データベースのバイナリ データを含むフィールドの内容を表示する方法を知っている人はいますか?

ファイルの類似性を判断することに関連するいくつかの質問をここで見ましたが、それらはすべて特定のドメイン (画像、音声、テキストなど) にリンクされています。ソリューションとして提供される手法では、比較対象のファイルの基になるファイル形式に関する知識が必要です。私が探しているのは、この要件のない方法です。この方法では、含まれるデータの種類を理解する必要なく、任意のバイナリ ファイルを比較できます。つまり、2 つのファイルのバイナリ データの類似性パーセンテージを判断しようとしています。

これは多くのことに適用できる可能性がありますが、私が取り組んでいる特定の問題があります。現在、実用的なソリューションもありますが、理想的ではないと思います。比較方法と結果の保存に関しては、おそらく多くの最適化があります。うまくいけば、ここにいる何人かの人々が私にいくつかの新しいアイデアを与えることができます. 数日後に現在の方法に関する情報を編集する予定ですが、私がすでに行っている方法を説明することで、問題に関する人々の考えを偏らせたくはありません.

私が取り組んでいる問題は、ビデオ ゲームの ROM イメージのクローン検出です。エミュレーションの経験がない方のために説明すると、ROM はゲーム カートリッジのデータのダンプです。ROM「クローン」は通常、同じゲームの修正版であり、最も一般的なタイプは翻訳版です。たとえば、ファミコン用のオリジナルのファイナルファンタジーの日本語版と英語版はクローンです。ゲームはほぼすべてのアセット (スプライト、音楽など) を共有していますが、テキストは翻訳されています。

現在、さまざまなシステムのクローンのリストを維持する作業を行っているグループがいくつかありますが、私が知る限り、これはすべて手動で行われています。私が試みているのは、「これらは同じゲームのように見える」のではなく、データの類似性に基づいて、類似した ROM イメージを自動的かつ客観的に検出する方法を見つけることです。クローンを検出する理由はいくつかありますが、主な動機の 1 つは、Solid 圧縮を使用することです。これにより、すべてのゲーム クローンを同じアーカイブにまとめて圧縮できます。多くの場合、圧縮されたクローン セット全体は、個々の ROM の 1 つよりもわずかに多くのスペースしか占有しません。

潜在的なアプローチを考え出す際に考慮すべきいくつかの懸念事項:

• ROM のサイズは、システムによって大きく異なります。小さいものもありますが、最新のシステムには 256MB 以上の大きなものがある場合があります。一部の (すべての?) システムでは、可能なサイズとして 2 の累乗しかありません。これらのシステムの 1 つで 130MB のゲームを実行すると、256MB の ROM が使用され、ほとんど空になります。このため、ゲームのバージョンがしきい値を超え、2 倍のサイズのカートリッジを使用する必要がある場合、一部のクローンのサイズが大幅に異なる可能性があることに注意してください。
• 現在、多くのシステムには数千の既知の ROM があり、ほとんどのシステムでは新しい ROM が常にリリースされています。古いシステムでも、変更された ROM を頻繁に作成する主要な ROM ハッキング コミュニティがあります。
• ROM のすべての可能なペアの類似性データを格納すると、より一般的なシステムのいずれかで数百万行のデータが生成されます。5000 の ROM を備えたシステムでは、2500 万行の類似性データが必要になり、1 つの新しいゲームでさらに 5000 行が追加されます。
• 中断された場合に中断したところから再開できるように、処理の状態は回復可能でなければなりません。どの方法でも、多くの処理が必要になるため、すべてが 1 つのバッチで実行されると仮定するのは安全ではありません。
• 新しい ROM はいつでも追加される可能性があるため、この方法では、「完全な」セットが既にあると想定しないでください。つまり、既存のすべての ROM の類似性をすでに把握した後でも、新しい ROM が追加された場合 (これは前の処理が完全に終了する前に発生する可能性もあります)、それを以前のすべての ROM と比較して判断する方法が必要です。 （もしあれば）それはのクローンです。
• 精度よりも処理速度を優先する必要があります（ある程度）。2 つの ROM が 94% または 96% 類似しているかどうかを知ることは特に重要ではありませんが、新しい ROM を以前のすべての ROM と比較するのに 1 日かかる場合、プログラムはおそらく完全には完了しません。

取り組むのは興味深い問題でした。他の人が何を考え出すことができるかを楽しみにしています。詳細が必要な場合は、コメントでお知らせください。提供できるように努めます。

さて、私はバイト配列を持っています。バイト配列内の xml serilized オブジェクトを知っていますが、そこからエンコーディングを取得する方法はありますか?

私はそれをデシリアライズするつもりはありませんが、SQLサーバーのxmlフィールドに保存しています...だから、文字列に変換する必要がありますか?

問題が発生しました。

Vb6 を使用して作成されたことがわかっているバイナリ データがあり、C# を使用してすべての情報を読み取りたいと考えています。

これどうやってするの？

私はファイルのデータ構造を知りません!!!

ご清聴ありがとうございました

私の問題は、JAVA で実装されている汎用パーサーを使用して、さまざまな種類のバイナリ ファイルを解析したいということです。おそらく、パーサーによって読み取られる構成ファイルを使用してファイル形式を記述したり、ある種の解析規則に従ってファイルを解析する Java クラスを作成したりします。

インターネットでかなり検索しましたが、このトピックについてはほとんど何も見つかりませんでした。

私が見つけたのは、コンパイラ ジェネレータ (Jay、Cojen など) を扱うものだけですが、それらを使用してバイナリ ファイルを解析するためのものを生成できるとは思いません。しかし、私はその仮定で間違っている可能性があります。

特にバイナリファイルの簡単な解析を扱うフレームワークはありますか、それともパーサー/コンパイラジェネレーターを使用してそうする方法を誰かに教えてもらえますか?

更新:次のような構成ファイルを記述できるものを探しています

そして、「MAGIC」で始まり、10 倍の content-package が続くファイルを解析するものを自動的に生成します (それ自体は、1 バイト、長い文字列、および 10 バイトの文字列で構成されます)。

Update2 : 探しているものに匹敵するもの、「コンストラクト」を見つけましたが、残念ながらこれは Python フレームワークです。たぶん、これは誰かが私が探しているアイデアを得るのに役立ちます.

これは以前 ( large-text-and-images-in-sql )に尋ねられた質問ですが、主に変更されるデータについてです。私の場合、データは保存され、変更されることはありません。すべてをまとめておくのが賢明なようです。

静的バイナリ データをデータベースに格納してはいけない理由はありますか?

それが賢明なことであると仮定すると、そのようなデータを別のテーブルに格納する利点はありますか? (私が DB の専門家ではないことに気付き始めるかもしれません...)

明確化: ユーザー数はおそらく 10 ～ 20 人程度ですが、これらは米国と英国に存在します。いずれの場合も、バイナリ データを転送する必要があります。