問題タブ [flat-file]

SSISを評価して、今後の新しいプロジェクトに適しているかどうかを確認しています。プロセスの1つは、レコードが区切られたフラットファイルを処理する必要があります。ファイルには注文が含まれます。ヘッダー行、（オプションの）配送先住所行、および1つ以上の詳細行があります。各行のフィールドは区切られていますが、同じ形式ではありません。

私はこの答えを読みました：

SSISトランザクションデータ（さまざまなレコードタイプ、1つのファイル）

また、条件付き分割タスクを使用してデータを分割し、いくつかの出力を生成することはできますが、そこからどのように進めるかがわかりません。解決する必要のある2つの問題があります。

1. アドレスと詳細は注文レコードを参照するため、注文ヘッダーを最初にアドレスと詳細の前に挿入する必要があります。そのため、最初にその出力を処理する必要があると思いますが、SSISではそのブランチを作成する方法がわかりません。条件付き分割タスクは、他のブランチの前に処理されます。理想的には、注文ヘッダーを処理してから、注文IDをユーザー変数に格納して、詳細を処理するときにその変数を参照できるようにします。

2. ファイルには複数の注文があるため、分割はより複雑になります。

ファイルを前処理したり、ファイルをステージングテーブルに読み込んだりするアプリケーションを、いつでもC＃で作成できますが、そのアプローチが好きかどうかはわかりません。

このプロセスを経験した人は、どのように対処したかについての洞察を共有できますか？

ありがとう、

クリス

アプリケーションの実際のデータをフラットファイルに保存するのがどれだけ速いかを考えていました。

今では、すべてをフラットファイルに保存するだけでは不十分です...ソートと検索が必要になる場合があり、ディレクトリとファイルを再帰的に調べるのは面倒な場合があります。

ここで、検索可能なすべてのデータをデータベースに保存し、データファイルを指すポインターフィールドを持っていたと想像してみてください。

これはアプリごとに非常に具体的ですが、検索可能なすべてのデータがデータベースに保存されている限り、実際のデータをデータベースに保存する必要があるのはなぜですか？

（ロック、データの整合性は別として）それはより速くなるでしょう、私は確信しています...しかしどれくらい、そしてそれはそれをする価値がありますか？

複数の実行中のPHPスクリプトがデータを共有するための簡単な方法が必要です。

RAMストレージエンジンを使用してMySQLDBを作成し、それを介してデータを共有する必要があります（複数のスクリプトが同じDBに同時に接続できますか？）

または、1行に1つのデータを含むフラットファイルの方が適していますか？

テキストファイルを生成するシステム（Maximo）を使用しています。
ファイルの最初の行だけを削除する必要があります。
そのための方法は、XSLTを使用することです。

何か案が？

フラットファイル接続があり、データの最初の10行のみに関心があります。最初の10行をインポートするにはどうすればよいですか？行のサンプリングはランダムなので、使用できません。自動行番号などの派生列を作成し、そのID <= 10の行のみを保持するようにデータ分割する方法はありますか？

どんな助けでも大歓迎です！

私が持っている CSV ファイルのインスタンスから Visual Studio でフラット ファイル スキーマを作成しました。それは正常に検証され、そのスキーマのファイルを予期するように設定されたポートを送受信するオーケストレーションを接続しました。オーケストレーションを公開し、それを使用してファイルを取得すると、すぐに中断され、次のエラーが表示されます。

サブスクライバーが見つからなかったため、パブリッシュされたメッセージをルーティングできませんでした。このエラーは、サブスクライブしているオーケストレーションまたは送信ポートが登録されていない場合、またはサブスクリプションの評価に必要なメッセージ プロパティの一部が昇格されていない場合に発生します。Biztalk 管理コンソールを使用して、このエラーのトラブルシューティングを行ってください。

送信ポートは登録されており、内容に基づいた処理を行っていないため、何も宣伝する必要はないと思います。現在、PassthroughReceive パイプラインを使用しています。他の 3 つのパイプラインでは、XML を想定しているように見えるため、ファイルを逆アセンブルできないというエラーが表示されます。

ここで明らかな何かが欠けていますか？または、言い換えれば：

カスタム パイプラインを使用せずに、CSV ファイルの内容をオーケストレーションに渡すことはできますか?

テキスト ファイルがあり、それを読み取ってテキストを変更し、新しいテキストを新しい行に追加する必要があります。テキストを含む新しい行を追加するにはどうすればよいですか? 現在、スクリプト コンポーネントを使用して既存の行を読み取って変更していますが、新しい行を追加することはできません :-(

前もって感謝します

よろしくブルノ

フラット ファイルにアクセスし、SQL Server 2005 のテーブルを更新する SSIS ジョブを Visual Studio 2005 で作成しました。これは完全に機能します。次に、保護レベル プロパティのサーバー ストレージ オプションを使用して、SQL Server にコピーを保存します。これを実行しようとすると、フラット ファイルが見つかりません。フラット ファイルはサーバー上にあり、IP アドレスを使用してアクセスします。このサーバーへのマッピングを削除してビジュアル スタジオからジョブを実行すると、ジョブも見つからないことに気付きました。SQL Server 2005 からファイルにアクセスするにはどうすればよいですか? このジョブをスケジュールして、SQL Server で自動的に実行する予定です。あなたが与えることができるどんな助けにも感謝します。ロニー・カーリン

セッションの最新の 10秒を共有ディスクに書き込むことPageStatePersisterに基づいて、独自のクラスを作成しました。これは、すべての Web サーバーがアクセスできるため、セッションを維持するよりも拡張性が高く、期限切れに対処する必要がなく、メモリの使用量が少ないと思います。SessionPageStatePersisterViewstateViewstate

ユーザーがブラウザを閉じると、サーバーに通知され、サーバーは 2 時間アクセスされていないファイルを削除します。Viewstateこれまでのところは順調ですが、代わりに SQL サーバー データベースに格納する方が高速で効率的かどうか疑問に思っています。

1. 各ViewStateファイルは平均で 30k です。 
2. 現在、隠しフィールドを読み取ってViewstateキーを取得し、ファイルに直接アクセスして逆シリアル化します。並べ替えや検索は必要ありません。
3. 1 時間あたり約 2000 人の同時ユーザーが存在し、最近の 20 個の Viewstate セッションを保存すると、1 時間あたり約 20,000 の一時ビュー ファイルになります。
4. ファイルを定期的に繰り返し、最も古いファイルを削除する必要があります。

この場合、フラットファイルシステムとデータベースのどちらが優れていますか?

私はAndroidで、引用の大規模なコレクションから感動的な引用（または詩）をランダムに選択して表示するアプリを開発しています。Androidでは、フラットファイルとSQLiteデータベースのどちらかを選択できます。

アプリは次の条件を満たす必要があります。

1. 10^6の引用および/または詩にスケーラブルである

2. 非常に高速である（つまり、ボタンを押すだけですぐに見積もりを取得して表示する）

3. 外部ソースから新しい見積もりをロードできるようにする（まだ決定していない形式で）

どのデータ形式を使用する必要がありますか？ありがとう。