問題タブ [random-sample]

最近、置換の有無にかかわらず、リストから要素を加重ランダムに選択する必要がありました。重み付けされていない選択にはよく知られた優れたアルゴリズムがあり、置換なしの重み付けされた選択 (resevoir アルゴリズムの変更など) もありますが、置換を使用した重み付けされた選択に適したアルゴリズムは見つかりませんでした。また、メモリに保持するのに十分小さいリストのかなりの部分を選択していたので、resevoir メソッドを避けたかったのです。

この状況での最善のアプローチについて何か提案はありますか? 私には独自の解決策がありますが、より効率的でシンプルなもの、またはその両方を見つけたいと思っています。

ファイルからランダムに 1/100 行を選択したい 10^7 行のファイルがあります。これは私が持っている AWK コードですが、事前にすべてのファイル コンテンツを丸呑みします。私の PC メモリは、そのようなスラープを処理できません。それを行うための他のアプローチはありますか？

この質問は、SQL Server でランダムな (っぽい) レコードのサンプルを取得することについて尋ねたもので、答えは を使用することでしたTABLESAMPLE。Oracle 10に同等のものはありますか?

そうでない場合、クエリ セットから結果のランダム サンプルを取得する標準的な方法はありますか? たとえば、通常は数百万を返すクエリから 1,000 のランダムな行を取得するにはどうすればよいでしょうか?

この質問のフォローアップnとして、ファイル（またはstdin）からランダムに正確に行を取得する必要があります。headこれはまたはに似ていますtailが、真ん中からいくつか欲しい点が異なります。

リンクされた質問の解決策を含むファイルをループする以外にn、1回の実行で正確に行を取得するための最良の方法は何ですか？

参考までに、私はこれを試しました：

ここ$ratioで、必要な行の大まかなパーセンテージを示します。たとえば、10行に1行が必要な場合：

ただし、これでは正確な金額はわかりません。

私が持っていたもう1つの考えは、入力ファイルを丸呑みしてnから、配列からランダムに選択することでしたが、非常に大きなファイルがある場合は問題になります。

何か案は？

編集：これはこの質問の正確な複製です。

ウィキペディアのウィキペディア記事のランダム化を管理するperlスクリプトをここで見つけました。コードはわずかにコンピューターで生成されたようです。私は現在MySQLに興味を持っているので、データベースにリンクと関連データがある可能性があると思いました。

MySQLはテーブル間の関係を維持するのに優れていることは知っていますが、Perlで簡単に実装できるようです。彼らの専門分野に線を引くのは、なんとなく曖昧な感じがします。それで：

MySQLとPerlを使用してウィキペディアの記事をランダム化するにはどうすればよいですか？

これは一種の初心者の質問ですが、解決策が見つかりませんでした。ファイルから文字列のリストを読み取り、random.sample を使用してランダムな 5 要素のサンプルを取得しようとしましたが、結果のリストには文字しか含まれていません。何故ですか？文字列のランダム サンプル リストを取得するにはどうすればよいですか?

これが私がすることです：

これにより、次のような 5 つの要素の文字リストが得られます。

random.sample 部分を省略してリストを出力すると、ファイルのすべての行が出力されます。これは予想される動作であり、ファイルが正常に読み取られたことを証明します。

これは楽しいものです:ピアソンの積率相関係数 (ピアソン r )の特定の値で相関するランダムな x/y ペアを生成する必要があります。これは、配列 X と配列 Y の 2 つの配列として想像できます。ここで、配列 X と配列 Y の値は、ピアソン r の特定のレベルで相互に相関するまで、再生成、再順序付け、または変換する必要があります。キッカーは次のとおりです。配列 X と配列 Y は一様分布でなければなりません。

正規分布でこれを行うことができますが、分布を歪めずに値を変換すると困惑します。配列内の値を並べ替えて相関を高めようとしましたが、並べ替えだけでは配列が 1.00 または -1.00 に相関することはありません。

何か案は？

--

これは、車輪を回転させるためのランダム相関ガウスの AS3 コードです。

データベースから一般的なリスト コレクション (List) を返すメソッドがあります。このコレクションには、注文の詳細、つまり、注文 ID、注文名、製品の詳細などがあります。

また、このメソッドは、注文日の降順でソートされた上位 5 つの注文のみを含むコレクションを返します。

私の要件は、クライアントがこのメソッドを呼び出すたびに、5 つのランダムな順序を持つコレクションを返す必要があるということです。

C# を使用してこれを達成するにはどうすればよいですか?

行レベルの条件に基づいて大規模なデータセットから多数のランダム サンプルを選択する map/reduce ジョブを作成したいと考えています。中間キーの数を最小限に抑えたい。

擬似コード:

このようなことをしたことがありますか？よく知られているアルゴリズムはありますか？

連続した行を含むサンプルでも十分です。

ありがとう。