問題タブ [data-migration]

私は、会社の手巻きのMicrosoftAccessベースのCRMをMicrosoftCRM4.0に移植する契約を結んでいます。すべてうまくいきましたが、今度はデータを移行する必要があります。

データは、ソース.mdbのいたるところにあります。多くのテーブル、多くの重複、そして一般的に、時間の経過とともに有機的に（雑草のように）成長したアドホックデータベースのすべての兆候を示しています。

だから、私のジレンマはこれです。弾丸を噛み、Access内に多くのクエリを書き込んで、CRMが何らかの方法でインポートできる中間形式にデータをエクスポートしますか？または他の方法はありますか？ここの誰もが知っているデータを一方から他方にマッピングするミドルウェアツールはありますか？

CRMを使用するのはこれが初めてであることに注意してください。質問が明らかな場合は、お詫び申し上げます。

乾杯、シェーン

3 つのテーブルとしてリファクタリングしたい、繰り返しデータがたくさんあるテーブルがあります。

現在の構造は次のようになります。

current_table のデータは次のようになります。

シーケンスからの PK を使用して、ミーティング テーブルとトピック テーブルを作成したいと思います。

私が理解できないのは、新しいテーブルにデータを挿入する方法です。私はもう試した：

しかし、もちろんそれはうまくいきません。データを正規化する簡単な方法はありますか?

64 ビット Vista を使用しており、アクセス データベースを Office 2007 から SQL Server に移行する必要があります。

これを行うために SSIS パッケージを作成する必要はありませんが、それが唯一の選択肢かもしれません。

これを行う他の方法はありますか？Access には移動する必要がある約 330M のデータがあるため、このデータベースを置き換える Web アプリケーションを作成できます。

更新: エラー: アップサイジング ウィザードは、Access プロジェクトが接続されている Microsoft SQL Server のバージョンでは動作しません。最新の情報とダウンロードについては、Microsoft Office Update Web サイトを参照してください。

AccessアプリケーションをWebアプリに置き換えていますが、クライアントはSQL Server 2000を使用しており、SQLServer2008を使用しています。

そのため、外部キーを使用してデータベースを再設計しましたが、クライアントのシステムでデータを取得する必要があります。

問題の一部は、32kを超えるイメージがあるため、コマンドバッファーがいっぱいになるとosqlが失敗することです。

osqlを使用して、少なくとも新しいスキーマをインポートでき、おそらく画像を除くすべてのデータをインポートできるはずです。

ネイティブSQLドライバーとOLEDBSqlドライバーを試しても、エクスポートウィザードが機能しませんでした。

フラットファイルは、画像を処理できるかどうかわからないため、悪い選択のように思われます。

では、2008年から2000年にかけて3億3000万のデータベースをコピーする良い方法は何でしょうか。

私は、ユーザーが MS Access データベース (csv エクスポート) をアップロードし、それを変換して MySQL データベースに移行できるようにする php Web アプリケーションを構築しています。

MS Access データベースは、100k 行の t_product と呼ばれる 1 つのテーブルで構成されています。このテーブルはうまく設計されていません。例として、次のクエリを実行します。

戻ります：

ご覧のとおり、モデル番号は、別のテーブルの個々のレコードではなく、カンマ区切りの値としてリストされています。この性質の問題は他にもたくさんあります。mysql データベースにインポートする前に、このデータを消去するスクリプトを作成しています。このスクリプトは、既存の Access 列を適切なリレーショナル デザイン データベースにもマップします。

私の問題は、スクリプトの完了に時間がかかりすぎることです。私がやっていることを説明するための単純化されたコードは次のとおりです。

ここでの問題は、各 while ループの反復がデータベースに対して膨大な数の呼び出しを行うことです。すべての製品レコードに、N ​​個のモデル番号、Y 個の部品番号、X 個のシリアル番号などを挿入する必要があります...

CSV 全体を配列に格納する別のアプローチを開始しました。次に、次のような 1 つのバッチ クエリを記述します。

しかし、このアプローチでは過剰なメモリ エラーが発生しました。最大メモリ制限を 64M に増やしましたが、まだメモリが不足しています。

この問題に取り組む最善の方法は何ですか?

最初にすべてのクエリを *.sql ファイルに書き込んでから、*.sql ファイルを mysql データベースにインポートする必要がありますか?

SSISを使用して、SQL Server2005テーブルからMySQL5テーブルにデータを取得しようとしていますが、すべての列が正しく挿入されます。

TEXT彼のタイプがSQLServerからMySQLTEXTフィールドにある1つの列を除いて、この列は常にNULLになります。

データベース スキーマを変更する方法について、DBA と話し合いました。彼の意見は、すべての変化は可逆的でなければならないというものです。例えば：

• 古くなったテーブル/列は、冗長になったらすぐに削除しないでください。代わりに、少なくともいくつかのリリースのために保持する必要があります。
• テーブル/列の名前を変更する代わりに、新しいテーブル/列を作成し、内容を古いものから新しいものにコピーします
• 「foo」という名前のストアド プロシージャ/トリガーを変更する必要がある場合は、元のストアド プロシージャ/トリガーをそのままにして、「foo2」という名前の新しいストアド プロシージャ/トリガーを作成します。もちろん、これはストアド プロシージャ/トリガーへのすべての参照を更新して、新しい名前を参照する必要があることを意味します。

このアプローチの利点は、(たとえば) リリースに失敗し、アプリケーションの以前のバージョンに戻す必要がある場合に、データベースを以前のバージョンに切り替えることができることです。テーブルと列が単純に削除された場合、これは不可能です。

私はこのアプローチの賢明さについて私自身の意見を持っていますが、回答に偏りが生じることを恐れて、当面は自分の意見にとどめておきます. 違いがある場合、環境はソーシャル ネットワーク アプリを開発するスタートアップです。

以前の仕事で、データ移行を行う必要があったことを覚えています。その場合、新しいシステムに移行する必要があり、開発する必要があったため、テーブル スキーマが異なります。私は最初に知っておくべきだと思います：

• 一般に、データは (同じスキーマで) 別の DB エンジンにどのように移行されますか。例えば。MySQL -> MSSQL. 私の場合、宛先DBはMySQLで、MySQL Migration Toolkitを使用しました

• エンタープライズアプリでは、インポートする必要があるストアドプロシージャ、トリガーが存在する可能性があると考えています。

• テーブルスキーマが異なる場合、どうすればこれを行うことができますか? 私の前の仕事では、データを (私の場合は Access から) インポート先 (MySQL) にインポートし、テーブル構造を残しました。次に、SQL を使用してデータを選択し、必要に応じて操作して最終的な宛先テーブルを作成します。

• 私の場合、古いデータベースのドキュメントがなく、列の名前が正しくありませんでした。「field1」、「field2」などを使用します。列の意味をアプリケーションコードからトレースする必要がありました。より良い方法はありますか？または、列に区切られたデータに複数の値が含まれている場合、コードを読み取ることが唯一の方法ですか?

OracleDBの一部をSQLServerDBにコピーしたいと思います。Oracleボックスが廃止されているため、データを移動する必要があります。参照目的でのみデータが必要なので、インデックスやストアドプロシージャ、コンテンツなどは必要ありません。必要なのはデータだけです。

SQLServerのOracleDBへのリンクがあります。私は次のクエリをテストしましたが、これは問題なく機能しているようです。

linkedserver.OracleTableからNewTableNameに*を選択します

このアプローチの使用に潜在的な問題があるかどうか疑問に思いましたか？

私は sybase アプリケーションを mysql に移植していますが、もちろん sql の互換性の問題がたくさんありますが、すべての sql を変更しないと簡単に解決できないのは、sybase では db でテーブルを参照できることです。 .table 表記ですが、mysql では db.table が必要です。私はこれについてmysqlの側にいますが、これがそれです。その構文を受け入れるようにmysqlを取得する方法はありますか?