問題タブ [histogram]

私はたくさんのcsvデータセットを持っており、それぞれのサイズは約10Gbです。それらの列からヒストグラムを生成したいと思います。しかし、numpyでこれを行う唯一の方法は、最初に列全体をnumpy配列にロードしてから、numpy.histogramその配列を呼び出すことだと思われます。これにより、不要な量のメモリが消費されます。

numpyはオンラインビニングをサポートしていますか？csvを1行ずつ繰り返し、値を読み取るときに値をビン化するものを期待しています。このようにして、一度に最大1行がメモリに保存されます。

私自身を転がすのは難しいことではないでしょうが、誰かがすでにこのホイールを発明したかどうか疑問に思います。

.datファイルにすでに適切にビニングされたデータがある場合は、gnuplotでヒストグラムを作成する方法を知っています（「ボックス付き」を使用するだけです）。数値のリストを取得し、gnuplotにユーザーが提供する範囲とビンサイズに基づいたヒストグラムを提供させる方法はありますか？

ポイントとその重みのペアがあります。

カラーバーで素敵な2Dヒストグラム画像をプロットする方法は？密度マップの説明がわかりましたが、Pythonを使用するつもりはありません。gnuplotスクリプトのみを使用する方法はありますか？

生データ（.txt）を含む入力ファイルからMatplotlibでヒストグラムを作成したいと思います。入力ファイルを参照する際に問題が発生しています。かなり小さなプログラムだと思います。Matplotlibの達人、助けはありますか？

私はコードを求めていません、いくつかの入力は私を正しい方向に導くはずです！

ヒストグラムを計算するPythonプログラムを作成する方法はたくさんあります。

ヒストグラムとは、でオブジェクトの出現をカウントiterableし、そのカウントを辞書に出力する関数を意味します。例えば：

この関数を作成する1つの方法は次のとおりです。

この関数を書くためのより簡潔な方法はありますか？

Pythonで辞書の内包表記があれば、次のように書くことができます。

しかし、Python 2.6にはそれらがないため、次のように記述する必要があります。

このアプローチは読みやすいかもしれませんが、効率的ではありません。Lは複数回ウォークスルーされます。さらに、これはシングルライフジェネレーターでは機能しません。この関数は、次のようなイテレータジェネレータでも同様に機能するはずです。

reduce関数（RIP）を使おうとするかもしれません：

おっと、これは機能しません。キー名は'x'、ではなく、xです。:(

私はで終わりました：

（Python 3では、のlist(d.items())代わりに記述する必要がありますd.items()が、そこにないため、これは架空のreduceものです。）

より良い、より読みやすいワンライナーで私を打ち負かしてください！;）

2 つのヒストグラムがあります。

Hist1 の分布はマルチモーダル タイプです。

Hist2 の分布は、単一の顕著なピークを持つユニモーダル タイプです。

私の質問は

1. プログラムで配布の種類を特定する方法はありますか?
2. これらの 2 つのヒストグラムが類似しているかどうかを定量化する方法は?

ありがとう

CUDAを使用して次のアルゴリズムを実装する方法を考えようとしています。

大量のボクセルで作業し、ボクセルごとにインデックスiと値を計算しますc。計算後に実行する必要histogram[i] += c
cがあるのはfloat値であり、ヒストグラムには最大15,000のビンを含めることができます。

CUDAを使ってこれを効率的に実装する方法を探しています。最初の明らかな問題は、私が使用しているコンピューティング機能1.3ではatomicAdd()、フロートを実行することさえできないので、どうすれば確実に何かを蓄積できるかということです。

nVidiaによるこの例は、やや単純なことをします。ヒストグラムは共有メモリに保存され（サイズが原因で実行できません）、整数のみが累積されます。このアプローチを私の場合に一般化できますか？

ヒストグラム用のCUDAカーネルを画像に書き込んでいますが、カーネルから配列を返す方法がわかりませんでした。他のスレッドが配列を読み取ると、配列が変更されます。それに対する可能な解決策はありますか？

@para d_dst：入力画像のTColorはfloat4と同じです。

@paraデータ：ヒストグラムサイズの配列[255]

starPrint メソッドを介して、配列に入力された各数値の頻度をヒストグラムで表示する必要があります。

等々。表示される数の頻度に等しい星の数が必要です! 現時点では、配列の長さのアスタリスクの数を取得しています。

おそらく非常に簡単な質問がありますが、まだわかりません!

実際には、ヒストグラムを滑らかにしたいだけで、次の方法のどれが正しいかわかりません。私はこのようにしますか：

または、通常は次のようにしますか?:

私のQuestinは次のとおりです。最初にヒストグラムを追加のベクトルにコピーして、ビンで平滑化するときにi元の値を使用できるようにするi-1か、元の値の代わりにsmoothedValue += (*histogram)[bin-1+i]*mask[i];すでに平滑化された値を使用するか.i-1

よろしく＆お返事ありがとうございます。