問題タブ [data-import]

私はデータ インポートに SSIS を使用する初心者です。データベース スキーマにインポートしたいファイルがいくつかありますが、これを 3 か月に 1 回実行する必要があります。ファイル名は四半期ごとに変わります。たとえば、SKU1QTRになりSKU2QTRます。

SSIS でこのような状況に対処するにはどうすればよいですか? ファイル名を指定する方法はありますか (このようなファイルが少なくとも 6 つあります)、またはファイルの残りの部分は常に同じままであるため、数値部分を指定するだけでよいでしょうか?

心拍数データを R data.frame に保存する XML ファイルを polarpersonaltrainer.com からインポートしたいと考えています。XML のインポートを簡単にするパッケージはありますか? それとも、独自のパーサーを作成する必要がありますか?

後で参照できるように、出力を CSV ファイルに保存するスクリプトを作成しましたが、データをインポートするための 2 番目のスクリプトは、データを読み戻すのに非常に時間がかかります。

データの形式は次のとおりです。

ここで、ヘッダーは一番左の列にあり、データ値は行の残りを占めます。大きな問題の 1 つは、データ値の配列の長さがテスト項目ごとに異なる可能性があることです。構造体として保存しますが、MATLAB がインストールされていないコンピューターで不良データの行を削除する必要がある場合があるため、MATLAB 環境の外で編集できるようにする必要があります。本当に、私の質問のパート 1 は次のとおりです。データを別の形式で保存する必要がありますか?

質問の 2 番目の部分: importdata、csvread、およびdlmreadを試しましたが、どれが最適か、またはより良い解決策があるかどうかはわかりません。現在、ループとfgetlを使用して独自のスクリプトを使用していますが、大きなファイルでは非常に遅くなります。助言がありますか？

(これはおそらくひどく書かれたコードであることはわかっています。私はエンジニアであり、プログラマーではありません。怒鳴らないでください。ただし、改善のための提案は大歓迎です。)

Excelシート（列は固定されていますが、シートは任意の数にすることができます）からOracle dbにデータをインポートできるユーティリティを構築したいと考えています。どのようにすべきか提案してもらえますか:

1. Excelシートを読む（n個）？（最善の方法）
2. データを検証しますか?
3. DBに一括挿入？

私の懸念は、ここでのパフォーマンスです。各シートには 200,000 行以上を含めることができます。

PS-私はオラクルの完全な初心者であることを覚えておいてください。

ユーザーがデータをインポートできる機能をWebアプリケーションに追加します。車輪の再発明をしたくないので、これを処理する統合可能なモジュールを探しています。

インターフェイスは、ExcelまたはAccessにファイルをインポートする場合と同様である必要があります。さらに、ETLソフトウェアに通常見られるより複雑なマッピングおよび型変換関数があります。

一般的なフロー：

1. ファイルをアップロードする（CVS、Excelなど）
2. ファイル内のデータをプレビューします-最初の行を列名として使用し、最初のNレコードを表示して、ユーザーがファイルが正しく解析されたことを確認できるようにします
3. マッピングインターフェイスを表示して、ソース列と宛先列をどのように一致させるかを選択します
4. インポートを処理し、データを検証します
5. 失敗した行のみのファイルをダウンロードするオプションを使用して、インポートに失敗したデータのレポートを提供します

PK がシーケンシャル GUID であると予想される SSIS にデータをインポートする方法はありますか?

これまでに思いついた唯一の方法は、列がデフォルトnewsequentialid()でそこにデータをロードし、それを正しいテーブルにコピーする一時テーブルを作成することです。これはあまりエレガントではなく、これに対応するためにパッケージに多数のレイヤーを追加する必要があるため、多少時間がかかります。

xmlファイルに保持されているデータをインポートするインポートユーティリティを作成する必要があります。インポートデータの表現である単純なDTOオブジェクトを作成し、このオブジェクトに基づいてインポートを実行するようにすべてのコードを記述します。

XMLファイルが転送形式の定義になるので、サードパーティがデータをアプリケーションにインポートできる形式でファイルを作成することを期待しています。この形式は、将来、より多くの種類のデータをインポートできるように拡張される可能性もあります。

私が望んでいるのは、XMLファイルから処理するすべてのインポートデータをオブジェクトに取り込む簡単な方法です。

xmlファイルを逆シリアル化できると思っていたのですが、そもそもDTOオブジェクトをシリアル化せずにサードパーティがファイルを作成する際に問題が発生する可能性があるのではないかと心配しています。これは問題になる可能性がありますか？他の選択肢は何ですか、できればxmlファイルを手動で読み取る必要はありませんが、明らかにそれがフォールバックソリューションになります。

データのフラットファイルをインポートするために、かなり簡単な方法でプログラムから呼び出すことができるコンポーネントを探しているだけです。通常、データは 100,000 ～ 500,000 行で、各行には約 5 ～ 250 文字の長さのテキストの約 200 フィールドが含まれます。データは、CSV、タブ区切りなどです。

予算はありますが、できれば安く済ませたいですよね。

データベースでmysqldumpコマンドを実行してからインポートしようとすると、ファイルの後半でテーブルを参照する外部キーがある場合でも、テーブルをアルファベット順に作成しようとして失敗します。ドキュメントには何も記載されていないようですが、次のように作成された後にファイルを更新するという回答が見つかりました。

これらの行を自動的に設定したり、必要な順序でテーブルをエクスポートしたりする方法はありません（面倒でエラーが発生しやすいため、すべてのテーブル名を手動で指定する必要はありません）。これらの行をスクリプトでラップすることはできましたが、ファイルを手動で更新せずにファイルをダンプしてインポートできるようにする簡単な方法があるかどうか疑問に思いました。

Querytables.Add; を使用してテキスト ファイルを Excel セルに挿入しようとしています。エラーはありませんが、ワークシートは空です。Value2 プロパティを使用した単一セル操作を除きます。

私はすでにマクロを使用して、使用されているオブジェクトを記録しています。

これについて私を助けてもらえますか（私はvs2008、C＃、Excel 2003および2007を使用しています;両方とも空のセルを示しています）。

以下は私のコードです。ご協力いただきありがとうございます