問題タブ [flat-file]

ばかばかしいほどシンプルにしようとしています。txtファイルをpythonリストに出し入れするのは悪い考えですか? txt ファイルは、おそらく 2 ～ 5,000 エントリになるでしょう。単純なフラット ファイル データベースを作成するための推奨される方法は何ですか?

JDO を使用したい単純なアプリがあります。しかし、私はDBバックを使用したくありません。通常のファイルシステムだけです。jdoの前に、ファイル名が「主キー」であるのに対し、オブジェクトをファイルにシリアル化するこのクラスがありました。JDOでも同じことができるようになりたいです。それは可能ですか？

私のフラットファイルソースでは、すべての列が正しいタイプの出力列にマップされています。

データを取得した後、ファイルに含まれる参照がデータベースに存在するかどうかを確認します。存在しない場合は、行をログに記録し、どの値が一致しなかったかを書き込む必要があります。

そのため、行をログに記録するには、エラー出力「フラット ファイル ソース エラー出力列」のように、完全な元の行を含む列を top に設定したいと思います。

私の質問は次のとおりです。データをフォーマットせずに、行全体を含む列をフラット ファイル ソースに追加する方法はありますか?

ふるいにかけたいログファイルがいくつかあります。内容は、ログ ファイルで期待されるとおりです。コンマで区切られた多数の単一行のテキストです。ファイルはそれぞれ約 4 ギガバイトです。File.each_line または foreach は、そのうちの 1 つに約 20 分かかります。

単純な foreach は単純に見える (そして遅い) ため、2 つの別々のスレッドがどこから開始するかだけを指定できれば、同じファイルで作業できるのではないかと考えていました。しかし、私の（限られた）知識に基づいて、これが可能かどうかを判断することはできません.

任意の行でファイルの読み取りを開始する方法はありますか?

サムネイルの順序を配列としてテキスト ファイルに投稿し、後でPHPで読み取ってエコーしたいと考えています。PHPの現在のfile()関数は、各配列エントリを通知するために文字の戻りを探します。

jQuery:

PHP:

言語ごとに配列を再フォーマットする必要がないように、jQueryとPHPの間で配列を保存して読み取るための最良の方法は何だろうと思っています。

更新:「foreign_key_checks を 1 に設定しても、既存のテーブル データのスキャンはトリガーされません。したがって、foreign_key_checks = 0 のときにテーブルに追加された行は、一貫性が検証されません。」ソース: 5.1.4. サーバーシステム変数 -- foreign_key_checks --その結果、foreign_key_checks をオフにすることはオプションではないようです...

ファイル/テーブルで定義された関係を維持しながら、100,000 以上のレコードを含む単一のファイルから MySQL の複数のテーブルにデータをロードする必要があります。関係がすでに一致していることを意味します。このソリューションは、MySQL の最新バージョンで動作し、InnoDB または MyISAM エンジンのいずれかを使用できます。

私はこれらすべてにまったく慣れておらず、ID の自動生成と外部キー関係の確立の経験がほとんどありません。任意のポインタをいただければ幸いです。

上記の UPDATE の注記を参照してください: ライブ データベースで更新を行う必要はないことを付け加えるかもしれません。つまり、外部キー制約を無効にしてから挿入を実行し、制約を再度有効にしても問題ありません。データベースの参照整合性に問題がある場合、操作が失敗することを理解しているためです。

すべてのアプローチには、挿入が失敗した場合、または参照整合性の維持に失敗した場合の検証とロールバック/クリーンアップ戦略のいくつかを含める必要があります。

繰り返しますが、これはまったく新しいことであり、質問や明確化の要求がある場合は、できるだけ多くの情報を提供するために最善を尽くしています.

ありがとう！

SAMPLE DATA:例をより詳しく説明するために、従業員名、過去に使用したオフィス、およびタブで区切られた役職履歴を含むファイルを読み込もうとしていると仮定します。

ファイル：

注:単一のテーブル データベースは完全に正規化されています (単一のテーブルと同じように)。たとえば、"John Smith" の場合、John Smith は 1 つだけです。つまり、参照整合性の競合につながる重複はありません。

MyOfficeデータベース スキーマには次のテーブルがあります。

MySQL を使用して、従業員、オフィス、および役職の ID を自動生成し、従業員とオフィス、および従業員と役職の間の関係を維持するスキーマにファイルをロードするにはどうすればよいですか?

だからこの場合。テーブルは次のようになります。

私の Android アプリケーションには、ユーザーが実行できる操作がいくつかあります (~50)。これらの操作のそれぞれについて、それらがどのように機能するかを説明する少量のテキスト (「ヘルプ」) を書きます。これらの操作の大部分は自明であるため、ユーザーが「ヘルプ」を読む必要はほとんどありません。

ヘルプを表示するには、次の 2 つの方法が考えられます。

• ヘルプが必要な場合は、すべての操作のヘルプを表示し、必要なヘルプの場所までビューを自動的にスクロールします
• 必要な操作のヘルプを表示するだけ

これを行う通常の方法はありますか？

私はすでに操作のリストを SQLite データベースに保存しています。「ヘルプ」を新しい列に追加する必要がありますか、それともフラット テキスト ファイルに保存する必要がありますか?

私は単純なカスタム「cms」に取り組んでいます。これは、生徒が編集するための管理しやすいウェブサイトが必要な学校向けです。したがって、ワードプレスやその他の事前構築済みの cms システムは使用していません。

私はプロジェクトに約数週間かかり、システムをセットアップしましたが、面倒でかさばっています。私のシステムにモジュラー設計をセットアップする方法を理解するのを手伝ってくれる人はいますか?

これまでのところ、私は持っています:

アップロード システム (ファイルの種類に基づいてディレクトリにアップロード) ページ ローダー (設定されたページをフレームワークにロード) ユーザー マング。(システムとページへのアクセスを許可します)

私が本当に必要としているのは、これをすべてセットアップする方法のアイデアと、おそらくデモです。誰かがこの情報を提供してくれれば、それは素晴らしいことです. それ以外の場合は、探し続けます。

乾杯、ケイラン

かなり長い話ですが、短くするために、データベースの一部をファイルシステムにローカルに保存する必要があります。MySQLのような通常のデータベースを使用できず、XMLファイルを使用できません（理論的にはXMLを使用できますが、柔軟性が十分ではないため、XMLを使用可能にするには非常に複雑なPHPコードのレイヤーが必要になります）。複数のDBテーブルをファイルシステムに移動して通常の操作を実行できるようなソリューションはありますか？

私は何年も前にフラットファイルを扱っていましたが、それらは私が必要としているものに非常に近いものです。ただし、フラットファイルについて私が気に入らなかったのは、それらが粗雑であるということです。すべてを手動で行う必要があります。「SELECT name FROM some_table WHERE age> 30」のようなことはできません。代わりに、手動でファイルを調べる必要があります。必要なエントリを選択します。

それで、SQLを模倣するが、すべてをローカルファイルに保存するいくつかの解決策を提案できますか。また、製品は多くのランダムホスティングに展開され、通常、そこにインストールされるものを制御できないため、これは非常にエキゾチックなものではありません。

助けてくれてありがとう！

私はSSISについてあまり知りません。これについてできる限りグーグルで調べました。私が得ることができる助けを本当に感謝します。

SSIS パッケージを作成していますが、フラット ファイル ソースから特定のデータ セットのみを挿入したいと考えています。WHERE 句を使用して特定のデータのみを取得する方法はありますか?

たとえば、このクエリをデータ フロー タスクにするにはどうすればよいでしょうか。

これは、データ フロー タスクを通じて実現できますか?