問題タブ [sample-data]

テストやデモの目的で何千もの会社名を検索または生成するにはどうすればよいですか? （住所、電話番号、関連情報もいいでしょう。）

私は、ビジネスの連絡先情報を含むシステムを構築しています。間違いなくかなり一般的です。

現在、私のテスト/デモ データベースには、ランダムに生成された個人の名前がロードされています (見つけた便利な IRS スプレッドシートのおかげです)。これは内部テストとレビューの目的ではうまく機能しましたが、見込み顧客に見せると非常に奇妙に見えます.

さまざまなオンラインの公開情報ソース (EDGAR や郡ベースの財産記録検索など) を試しましたが、これらはすべて、一度に 50 ほどの名前のブロックで結果を手動でつなぎ合わせる必要があります。私はこれを行うことができましたが、この種の情報を簡単に検索して非常に大きなバッチで取得できる検索サービスまたはデータストアを本当に望んでいました.

I need to build a quick feasibility test / proof-of-concept of a remote database for a client, that will be populated with mostly-typical Company and People data (names, addresses, etc); 150K records or so. The sample databases mentioned here were helpful:

Where can I find sample databases with common formatted data that I can use in multiple database engines?

...but, I'd like to be able to generate sample data like this easily on less-typical datasets as well. Anyone have any recommendations for off-the-shelf (or off-the-web) solutions?

Adobe Thermoがデータコントロールの入力に使用する1ワード文字列、3ワード文字列などのデータの「セット」を事前に作成しているように、テスト用のデータが必要になる場合があります。

私は欲しい：

• 連続テキスト、改行なし
• CSV番号、整数
• CSV番号、10進数
• URLエンコードされた文字列

それらのいずれかを取得する方法についてのアイデアはありますか？

ウィキペディアのページのサブセット（たとえば100MB）を取得するにはどうすればよいですか？データセット全体をXMLとして取得できることがわかりましたが、1ギガまたは2ギガに似ています。そんなにいらない。

map-reduceアルゴリズムの実装を試してみたいと思います。

そうは言っても、100メガバイトに相当するテキストサンプルデータをどこからでも見つけることができれば、それも良いことです。たとえば、Stack Overflowデータベースが利用可能な場合は、適切なサイズになる可能性があります。私は提案を受け入れています。

編集：急流ではないものはありますか？私はそれらを働かせることができません。

テスト目的で利用できる SQL Server エンジン用の最大の無料データベースはどれですか?

さて、次のような代替サンプル データベースが存在します。

• 無制限のライセンス
• サンプルデータのロード
• 多くのデータ型
• データベースを db サーバーに追加するための簡単なメカニズム
• ノースウィンドではない

データベースがどのサーバータイプ (MSSQL、SQLite、MySQL など) 向けに設計されているかについては、あまり気にしていません。

こんにちは、ID、名前、名前、年齢、住所などのデータを含むサンプルSQL Server Employeeデータベースが必要です。かなり大きいはずです。Googleで検索しましたが、適切なサンプルが見つかりません。どんな体も助けることができますか？

そこで、Java ベースのデータ変換 / マスキング ツールを用意しました。これを Oracle 10g でテストしたかったのです。Oracle 10g の良いところは、いくつかのサンプル スキーマに 50 万件のレコードが含まれていることです。スキーマは、SH、OE、HR、IX などです。10g をインストールしたところ、インストール スクリプトが ORACLE_HOME/demo/scripts の下にあることがわかりました。

これらのスクリプトをバッチ モードで実行するように少しカスタマイズしました。これで、データ変換ソフトウェアをテストするためのソース データを作成するという私の要件の半分が解決されました。要件の後半は、同じスキーマを異なる名前 (TR_HR、TR_OE など...) でデータなしで作成することです。これらのスキーマは、ターゲット スキーマを表します。つまり、私のソフトウェアはスキーマ内のテーブルからデータを取得し、別のスキーマ内の同じテーブルにロードします。

ここで、ターゲット スキーマを作成して空にする際に 2 つの問題があります。

• バッチジョブでこれが欲しいです。ただし、入手した oracle スクリプトのサンプル スキーマ名は構成できません。そこで、OE を TR_OE に、HR を TR_HR に置き換えて、スクリプトを作成してみました。ただし、このアプローチは、サンプル スキーマの作成方法がやや複雑であるため、やや苛立たしいものです。オラクルはシノニム、ビュー、具体化されたビュー、データ型、および多くの奇妙なものを作成します。
• ターゲット スキーマ (TR_HR、TR_OE、...) を空にしたいと考えています。しかし、一部のスキーマには循環参照が含まれているため、データを削除できません。唯一の回避策は、特定の外部キーを削除し、データを削除してから、制約を追加し直すことです。

大騒ぎせずに、これをすべて行う簡単な方法はありますか? テストには複雑なデータ セットが必要です (トリガーを持つテーブル、複数の階層などのように複雑です。たとえば、最大 5 レベルの子を持つ子テーブル、IOT テーブルと IOT テーブルを参照する親テーブル)。非 IOT テーブルなどを参照します。) サンプル スキーマは、データ セットの観点からはほぼ完璧です。唯一の課題は、ソース スキーマをロードし、ターゲット スキーマを作成して空にするというこのプロセス全体を自動化することです。あなたの助けと提案に感謝します。

アップデート

Oracle サンプル スキーマを手動でインストールするために実行する必要があるメイン スクリプトは、mkplug.sql です。以下は、dmp ファイルからスキーマをロードする行です。

さて、私はこの行を（mkplug.sqlおよび他のすべてのSQLファイルのパス関連の問題にパッチを当てた後）これに変更しようとしました：

そして... それは助けにはなりませんでした。行= n属性にもかかわらず、スキーマは行データで作成されました:(