問題タブ [data-generation]

アルゴリズムを評価しており、人工データを使用したいと考えています。

この StackOverflow answerに見られるように、アルゴリズムは 1 次元の人工データセットに対して正常に機能します。

複数の次元と特定の特性 (ノイズ、相関など) を持つデータセットのアルゴリズムをテストしたいと思います。誰かがRで「人工データセットジェネレーター」をすでに実装しましたか?

どんなフィードバックでも大歓迎です。ありがとう！

VS2010 データベース プロジェクトで、既存のデータを含むテーブルのテスト データを生成しようとしました (プロンプトが表示されたら [いいえ] をクリックします)。ID 列 (主キー) は SQL 計算値であるため、その列のデータ ジェネレーターを変更することはできません。

では、なぜデータ生成プランはデータベース内の既存の主キー値を認識せず、常に重複を挿入しようとするのでしょうか?つまり、プランは常に次の ID 列の値からではなく、シード値から開始しているように見えるのでしょうか? この特定のテーブルの他のシード値からデータ生成計画を強制的に開始することはできますか?

Oracle11gに本番データベースがあります-スキーマ全体。これを使用して、関係を維持した状態でテストデータ（すべての値が文字化け）を生成するにはどうすればよいですか（たとえば、IDや数値ではなく文字列値のみが文字化けします）データジェネレーターのようにこれを行うツールはありますか、それとも手動で簡単に行うことができますか？前もって感謝します

そこで、ハニーポットのクレジットカードデータを作成したいと思います。

クレジットカード番号の作成は簡単です（多分）。特定の範囲の整数値を作成するだけです。野心的な場合は、Luhnの有効な番号を作成しようとするかもしれませんが、おそらくそれほど遠くには行きたくないでしょう。実際、私は既知の無効な番号を作成することを好みます。これは便利な手法です。とにかく、最低限、ランダムな整数を作成します。

秒コードはランダムにすることができます。有効期限は、ランダムに特定の範囲内にすることができます。

難しい部分は次のとおりです。ランダムな名前を作成するにはどうすればよいですか？プライバシー上の理由から、既存の名前を実際に使用することはできません。名前と姓をランダムに再結合したとしても（John Smith、Jane Doe、Bob Jenkins => John Jenkins、Bob Doe、Jane Jenkins）、特にそうでない場合を除きます。一般的に、ランダムデータにJohnSmithの名前を作成してもかまいません。

しかし、無害なデータをシードするために何を使用できますか？

挿入時に外部キー制約の問題に遭遇することなく CRUD 操作をテストできるように、データベースでテスト データを生成する方法を検討してきました。

私がとることにしたアプローチは、Visual Studio 2010 Ultimate のデータ ジェネレーター機能を使用することでした。特定のデータベースのデータ ジェネレーター プランを設定することはそれほど難しくありませんでしたが、データ型の問題で足止めされています。

具体的には、データベース内の列の 1 つが Bit 型に設定されています。ただし、データ ジェネレーター プランはデータ型を int に設定しています。ここから、選択できるジェネレータ オプションは、データ バインド ジェネレータ、整数、シーケンシャル データ バインド ジェネレータ、SmallInt、および TinyInt のみです。

名前に Int が含まれるオプションを除くすべてのオプションは、ジェネレーターの実行時に出力値を生成しません。Int ジェネレーターの 1 つを使用してジェネレーターを実行し、値を生成しようとすると、次のエラーが発生します。

エラー 1 TSD50003: ジェネレーター Int は列 [dbo].[Contract_Relationship].[status] に対して有効ではありません - タイプ ビット

このエラーは、列が実際には Int ではなくビットであることを考えると明らかです。それほど明白ではないのは、列のデータ型を正しいものに変更する方法です。

[ツール] > [オプション] > [データベース] > [既定のジェネレーター] でデータ型ジェネレーターの定義を調べてみましたが、ビットは SQL データ型カテゴリのブール型に関連付けられている既定のデータ ジェネレーター カテゴリに分類されます。

ここから、デフォルト データ ジェネレーター カテゴリのドロップダウンが各 SQL データ型に関連付けられているため、ジェネレーターを変更することもできません。Data Generator プランの Bit 列のデータ型を変更しようとしても、読み取り専用であるため機能しません。

最後に、回避策として列を null に設定しますが、null に設定されていません。列のデータ型をビットに変更する方法について何か提案はありますか?

前もって感謝します！

更新: 開発チームのスキーマ ファイルをもう少し調べたところ、Create Table .sql ファイルで列が実際には Int データ型に設定されていることに気付きました。データ ジェネレーターがスキーマに使用している情報は、これらのファイルから取得されているように思えます。

create table ファイルと SQL Server クライアントの実際のデータベースの間で列が間違っているのは奇妙に思えますが、おそらく私の質問とは直接関係のないものです。

データ ジェネレーターのデータ型を変更する方法や、データ ジェネレーターがどこからスキーマ情報を取得しているかを誰かが知っていれば、私はまだ興味があります。

お時間をいただきありがとうございました。

私は自分のアプリの統合テスト用のデータを作成しているところです。このデータには、Webサービスレイヤーから永続性までが含まれています。これを達成するための2つの主な選択肢がありますが、テスト用に生成されたデータの保守について心配しています。つまり、プログラムでデータを生成する場合、データを生成するスクリプトを更新するよりも、このコードを最新バージョンに更新する方が簡単だと思います。

テスト用のデータを生成する最も一般的な方法は何ですか？

更新：私のアルゴリズム（またはそのことについては任意のアルゴリズム）のすべてのエッジケースのデータを計算する手法を探しています。
私がこれまでに試したのは、エッジケースと「ランダムな」データの生成について考えているだけですが、実際のユーザーが混乱させる可能性のあるものを見逃さなかったと確信できる方法がわかりません。

アルゴリズムで重要なことを見逃していないことを確認したいのですが、考えられるすべての状況をカバーするテストデータを生成する方法がわかりません。

タスクは、すべてのデータのスナップショットを報告することですが、入力および出力データの図で、次Event_Dateのデータに属する可能性のある編集用に別の行を作成します-グループ2）を参照してください：Event_Date

私のアルゴリズム：

1. sのリストを作成し、それらのevent_datesを計算しますnext_event_date
2. 結果を結合して、各スナップショットmain_audit_tableの最大値を計算しtransaction_idます（私の図のグループ1〜4）-、によってグループ化されid、trueevent_dateかどうかに基づいて2つのオプションによってグループ化されますtransaction_date < next_event_date
3. 結果に参加main_audit_tableして、同じものから他のデータを取得しますtransaction_id
4. 結果に参加する-結果よりも小さいcosts_audit_table最大のものを使用するtransaction_idtransaction_id

私の質問：

• 考えられるすべてのシナリオをカバーするテストデータを生成するにはどうすればよいので、アルゴリズムが正しいことがわかりますか？
• 私のアルゴリズムロジックに間違いがありますか？
• この種の質問のためのより良いフォーラムはありますか？

私のコード（テストする必要があります）：

私はperlが初めてなので、正規表現に一致するすべての組み合わせを生成する方法があるかどうか知りたいと思っていました.

に一致するすべての文字列を生成する最良の方法は次のとおりです。

前もって感謝します。

データ生成用のプログラムまたはソース コードはありますか?

Java 用のデータ ジェネレータが必要です。(結果ファイルを取得できれば、言語は問いません)

相関データ、反相関データ、独立データが必要です。

を備えたデータ生成プログラムが欲しい

入力 : 最小、最大、データ分布 (例: 独立、反相関、相関、ガウス、ポアソンなど)、次元、ポイント数 (n)

output : 与えられたデータ分布に従う n ポイント。

ありがとうございました ：）

特にPython用の「テストデータ」生成フレームワークはありますか?

明確にするために、データベースをランダムなユーザーやその他のエンティティで埋めるスクリプトを最初から書くのではなく、簡単にするためのツール/フレームワークがあるかどうかを知りたいのですが、

さらに明確にするために、私はテストフレームワークを探しているのではなく、テストデータを生成してアプリケーションに「負荷をかける」ことを望んでいます。