問題タブ [data-generation]

SQL データベースにデータを生成するクエリを作成しましたが、1 GB のデータの生成には約 45 分かかります。データ生成のパフォーマンスを向上させるには?

サブクエリを含む Postgres クエリがあり、12 行のデータしか出力しません。これらの各行は、データベース内のすべての年にわたるデータの月平均を表しており、各月に 1 つの行があります。クエリ:

出力は次のようになります。

データベースの日時列から抽出した月の列。このクエリの結果を使用して配列に格納していますが、テーブルに存在する年ごとにこれらの正確な結果を 1 回繰り返したいと思います。したがって、データベースに 2 年間のデータがある場合、出力行は 24 行、つまり 12 行の同じ行が 2 回繰り返されるはずです。データベースに 3 年分のデータがある場合、出力行は 36 行、つまり 12 行の同じ行が 3 回繰り返されるはずです。クエリでこれを達成するにはどうすればよいですか? 列の値に基づいてクエリをループする方法はありますか (つまり、日時フィールドに存在する年数は?)

一部のデータに対してフィルタリングを実行したい場合、実行時にこのデータを生成することを回避しながら、これらのフィルターのサイズとデータ分散を変更する柔軟性を維持しながら、クリーンで再利用可能なコードを維持するにはどうすればよいでしょうか。テンプレートを使用して次のようなことができることを知っています。

これは確かに someDistribution(...) に従ってフィルター オブジェクトのインデックス x に従って私のフィルターでデータを生成します。しかし、私の使い方にはいくつかの欠点があります...

1）このデータはオブジェクトの構築時に生成されませんが、プログラムの開始時に一度生成されると言っているのは正しいと思います。-これは許容できますが、むしろフィルターがcomiletimeで計算され、その場で焼き付けられます(これはfloatデータでも可能ですか?)

2) 構造体の長さをトラバースするメンバー関数 (どこかで呼び出される!) がない限り、フィルターは「次の」メンバーをインスタンス化しません。

急落するインスタンス化関数を要求するのは間違っているに違いありません。これは、保守が容易な句に失敗します。

編集:ここで気にする理由は、nextメンバーがインスタンス化されていることを確認して、begin 関数と end 関数を使用して静的な「配列」を走査できるようにしたいからです。

まず、問題 2 を修正してインスタンス化関数を廃止するにはどうすればよいでしょうか。次に、問題 1 を修正して、このデータがコンパイル時に動的に生成されてバックインされるようにすることは可能ですか。

(注意: 同様の問題について、Python のプリコンパイル スクリプトを使用してフィルター データを含むソース ファイルを生成しましたが、ここではそれを使用したくありません。これは独自の魚のやかんです!)

既知の平均、std.dev、およびラムダを使用して Box-Cox 分布で乱数を生成する方法はありますか? たとえば、 random.gauss(mu,sigma) と random.lognormvariate(mu, sigma) を使用して、正規分布および対数正規分布の確率変数を生成しました。Box-Cox ケースで同じことを行うにはどうすればよいですか? 平均値と標準偏差とともにラムダを導入するにはどうすればよいですか?

テキスト ファイルからデータを取得して、jqplot グラフを生成しようとしています。

問題は、デモ版とまったく同じように保存しても、プラグインにデータを読み取らせることができないことです。注: デモ データは私のスクリプトでうまく機能します。

どうもありがとう

これは私のスクリプトです：

それが私のコードです。line1 var が問題です。これは動作する元のサンプル コードです。

これは私のテキストファイルuserschart.txtの内容です：

私が現在受講しているコースでは、ダミーのトランザクション、顧客、製品のデータセットを構築して、ウェブショップ環境と財務ダッシュボードでの機械学習のユースケースを紹介しようとしています。残念ながら、ダミーデータは提供されていません。これは R の知識を向上させる良い方法だと思いましたが、それを実現するのに深刻な問題が発生しています。

アイデアは、いくつかのパラメーター/ルールを指定することです (任意/架空ですが、特定のクラスタリング アルゴリズムのデモンストレーションに適用できます)。私は基本的にパターンを非表示にして、機械学習を利用してこのパターンを再検索しようとしています(この質問の一部ではありません)。私が隠しているパターンは、製品導入のライフ サイクルに基づいており、ターゲットを絞ったマーケティングの目的で、さまざまな顧客タイプを特定する方法を示すことを試みています。

私が探しているものを示します。なるべくリアルに描きたいです。顧客ごとのトランザクション数やその他の特性を正規分布に割り当てることで、そうしようとしました。私はこれを行うための潜在的な他の方法を完全に受け入れていますか?

以下は私がどこまで来たかです。最初に顧客のテーブルを作成します。

次に、選択する製品のテーブルを生成します。

ここで、現在関連している各変数の次のパラメーターに基づいて、n 個のトランザクションを生成したいと思います (番号は上記の顧客テーブルにあります)。

「EarlyAdopters」は、ラベル「BySearchEngine」、60%「ByDirectCustomer」、および 30%「ByPartnerBlog」を持つトランザクションの 10% (平均、正規分布) を持つという考えです。これらの値は互いに除外する必要があります。最終的なデータセットでは、PartnerBlog と検索エンジンの両方を介して 1 つを取得することはできません。オプションは次のとおりです。

さらに、上記の手段を利用して正規分布する割引変数を生成したいと考えています。簡単にするために、標準偏差は平均/5 とすることができます。

次に、最もトリッキーな部分ですが、いくつかのルールに従ってこれらのトランザクションを生成したいと思います。

• 数日にわたってある程度均等に分布し、週末にはわずかに増加する可能性があります。
• 2006 年から 2014 年の間に広がった。
• 長年にわたる顧客のトランザクション数の分散;
• 発売前の商品はご購入いただけません。

その他のパラメータ:

CustomerID 2 の結果は次のようになります。

R コードを書くことにますます自信を持っていますが、グローバル パラメーター (毎日のトランザクションの分布、顧客ごとの年間最大 # トランザクション) とさまざまなリンケージを維持するためのコードを書くのに苦労しています。

• 適時性: リリース後の購入の速さ
• ReferredBy: この顧客がどのようにして私の Web サイトにたどり着いたか?
• 顧客がどれだけの割引を受けているか (顧客が割引にどれほど敏感かを示すため)

これにより、顧客テーブルに for ループを記述して顧客ごとにトランザクションを生成する必要があるのか​​、それとも別のルートを取るべきなのかがわかりません。どんな貢献も大歓迎です。R を使用してこの問題を解決したいと考えていますが、代替のダミー データセットも歓迎します。この投稿は、進行に応じて更新されます。

私の現在の擬似コード:

• sample() を使用して顧客を顧客タイプに割り当てます
• Customers$NumBought トランザクションを生成する
• ... まだ考えています？

編集: トランザクション テーブルを生成します。次は、正しいデータを入力する必要があります。