問題タブ [flat-file]

私の会社の上層部は、親しい友人から、フラット ファイルが進むべき道であり、私たちが行うすべてのことを SQL Server からフラット ファイルに切り替える必要があると言われました。300 以上のサーバーと数百の異なるデータベースがあります。私が関与しているほんの数件から、かなりの数のレコードに 100 億を超えるレコードがあり、1 日あたり 100,000 件以上の新しいレコードがあり、更新の数は誰にもわかりません... 私と他の数人が応答を考え出す必要がありますなぜこれをしてはいけないのかを述べています。私たちのもののほとんどは、いくつかのレガシー ASP を含む ASP.NET です。フラット ファイル (ネットワークに保存されている) とネットワーク経由の SQL との間の同じやり取りをテスト/計測する単純なコンソール アプリを作成し、大量の挿入、検索、更新などを行い、ネットワークのランダムな切断などを行うことを考えました。これは、フラットファイルがいかに悪いかを彼らに示します。

応答にはどのようなものを使用すればよいですか? これを説明するには、デモ コードをどうすればよいですか?

これまでの私のソートリスト：

• 安全
• 同時アクセス
• 大量のデータでのパフォーマンス
• そのような大規模な書き換え/切り替えと莫大な費用を行うのにかかる時間
• 取引の欠如
• リレーショナル データをフラット ファイルにマップするための PITA
• NTFS は、ディレクトリ内の大量のファイルを適切にサポートしていません
• アドホックなデータ検索/操作の欠如
• データの整合性の強化
• ネットワーク停止からの復旧
• 他のクライアントの変更がコミットされるのを待っている間のクライアントの遅延
• ほとんどの人は、正当な理由により、このタイプのストレージにフラット ファイルを使用するのをかなり前にやめました。
• ロード バランシング/レプリケーション

今すぐ止めることができなければ、いつかデイリー WTF の素晴らしい投稿になるのではないかと心配しています。

さらに

この戦いで HIPPA に関する何かを使用できるかどうか知っている人はいますか? 私たちの記録の多くは患者の記録です...

私はこれまで組み込みシステムのプログラミングをあまり行っていませんでしたが、今では比較的小さなスクリプトを作成する必要があります（<60MB RAM、ほとんどすべてが他のより重要なプロセスですでに使用されており、プロセッサは500MHz未満です）。いつもオンになっているものを実行できないので、Firebirdが出ています。私はsqlliteを提案しましたが、プラットフォームに精通している人々は、それでもメモリと処理能力を消費しすぎる可能性があると言っています。

私はPerlでプロトタイプをプログラミングし、後でパフォーマンスを向上させるためにcで作成したスクリプトを書き直す必要があるでしょう。後でやり直すときに、作成したデータ構造を再利用できるようにしたいと思います。これまでの私の経験のほとんどはMySQLでの経験なので、構文がそれに類似していれば素晴らしいと思います。助言がありますか？

申し訳ありませんが、私が取り組んでいるプラットフォームについてこれ以上説明することはできません。

phpで読みたい大きなファイルがあり、MySQLにさまざまなフィールドを挿入します。

フィード内の各ファイルはプレーンテキスト形式で、列と行に分かれています。各レコードには同じフィールドのセットがあります。以下は、各フィールドとレコードの区切り文字です。

フィールドセパレータ（FS）：SOH（ASCII文字1）レコードセパレータ（RS）：STX（ASCII文字2）+ "\ n"

ファイルの最初の数行を見ると、次のようになっています。

このファイルをPHPに読み込むためにどこから始めればよいかわからないので、基本的なPHPで各レコードを読み取り、各フィールドに変数を割り当てて、MySQLに書き込むことができます。さまざまなフィールドを設定すると、SQLへの書き込みを処理できます。

前もって感謝します、

グレッグ

いくつかの値をハイスコアの形で保存したいと思います。しかし、5つを超える値を格納することはないので、SQLiteを使用することは適切ではないようです。私が検討していたもう1つのオプションはフラットファイルでしたが、どうすればよいかわかりません...

フラットファイルをSQLServerにインポートする必要があります。これまで、SSISパッケージとDelphiプログラムを使用して作業を行ってきましたが、ロードするファイルが増えています。多くは非常に幅が広​​く（90フィールド以上）、すべてに固有の特性があります。固定幅のもの、フィールドと行の区切り文字として使用される幅広い文字セットで区切られるもの、「常に挿入」パターンを使用するもの、その他は「更新または挿入」などを使用します。これらのファイルの多くはサイズが数ギガバイトであるため、処理がさらに困難になります。

今、私はこれを処理するためのより良い方法がないかどうか疑問に思い始めています：合理的な方法で使用できるその種の作業を行うための専用のツール：SSISは素晴らしいですが、率直に言って、GUIを使用して作業の99％を実行すると、重要なタスクを処理するときに完全に非実用的になります。

誰かが解決策を提案したいと思いますか？

Cプログラムで生成されたフラットファイルがあります。ファイル内の各レコードは、固定長のヘッダーとそれに続くデータで構成されます。ヘッダーには、次のデータのサイズを示すフィールドが含まれています。私の最終的な目標は、このフラットファイルをクエリするC＃/。NETプログラムを作成することです。そのため、C＃を使用してファイルを読み取る最も効率的な方法を探しています。

次のコードで7行目に相当する.NETを見つけるのに問題があります。私の知る限り、複数の読み取り（BinaryReaderを使用してヘッダーの各フィールドに1つ）を発行してから、ヘッダーに続くデータを取得するために1つの読み取りを発行する必要があります。2つの読み取り操作（1つは固定長ヘッダーを取得するための読み取り、もう1つは次のデータを取得するための読み取り）でレコードを解析する方法を学習しようとしています。

これは、C＃/。NETを使用して複製しようとしているCコードです。

これはヘッダーのC構造体です。

私はCヘッダーを表すためにこのC＃オブジェクトを思いついた：

ファイル内の列のデータ型を知らなくても、フラット ファイルを新しいテーブルとして SQL Server に読み込む方法はありますか?

BULK INSERT を使用してフラット ファイル データをロードできることはわかっていますが、受信ファイルのデータ型と一致するターゲット テーブルを最初に作成する必要があります。OPENROWSET では、受信データ型を指定するフォーマット ファイルを作成する必要があります。SQL Server がファイルを自動的にイントロスペクトし、データ型を決定し、データを一度にロードする方法はありますか?

私は、Webからフラットファイルを解析し、フラットファイルから管理対象オブジェクトを作成し、後でそれらをUITableViewに表示することになっているiPhoneアプリをプログラミングしています。保存と表示に問題はありませんが、良いパーサーのコツをつかむことができません。

それが私が解析したいファイルです：フラットファイル

私の知る限り、このタスクにNSXMLParserを使用することはできません（明らかにタグがないため）。

だから私は最初にNSScannerをプログラムしようとしましたが、それは私に興味深いプロパティを取得するはずです->うまくいきませんでした

今私はこの方法を使用しています：

私はmemberTempCounterを使用してプロパティを識別しています。

問題は次のとおりです。

• これは4回のうち3回のようにしか機能しません。4回のうち1回はアプリがクラッシュし、理由がわかりません...
• この方法は、1962年のVWビートルのような性能を備えています。私のiPhone3Gでは、データのチャンク全体を解析するのに最大3分かかります

これを行うためのアイデアやより簡単な方法はありますか？

本当にありがたいです。前もって感謝します： -）

200人以上のユーザーがいるゲーム指向のWebサイトがあります。このサイトには、ユーザーのプレイを追跡する大規模なデータベースがあり、継続的な参加の動機の1つは、サイトがユーザーに提供する広範な統計とランキング（S＆R）です。

追跡されるS＆Rのリストが増えるにつれ、ページの読み込み速度を向上させるために、より複雑な計算の一部がオンザフライで生成されるのではなく、データベース内のテーブルに移動されました。

ただし、年末までに大規模なS＆Rから徹底的なS＆Rに移行し、ユーザーが利用できるデータポイントの総数を10倍に増やす予定です。オンザフライクエリの実行を停止し、すべての計算をcronジョブに移動しますが、データをどこに保存するかわかりません。

ユーザーベースが1000未満の場合、このデータをデータベース内に配置するか、各ユーザーの統計のテキストファイルを読み取り/書き込みする方が理にかなっていますか？

これらは私の心の主な長所と短所です：

S＆Rをデータベースに保存する

S＆Rをテキストファイルに保存する

しかし、私はこれまでにこれほどの規模のことをしたことがないので、たとえば、200以上のテーブルのMySQLデータベースが本当に問題であるかどうかはわかりません。

私はあなたが提供できる提案をいただければ幸いです！:-)

固定幅のフラット ファイルがあります。さらに悪いことに、各行は、各行の最初の文字によって識別される、新しいレコードまたは上の行のサブレコードのいずれかになります。

固定幅データを解析するための優れたライブラリと思われるFlatwormを使用してみました。残念ながら、ドキュメントには次のように記載されています。

(同上、「繰り返しセグメント」)。

このためのカスタムパーサーを作成したくありません。(1) Flatworm でこれを行うことは可能ですか、または (2) そのような (複数行、複数サブレコード) 機能を提供するライブラリはありますか?