問題タブ [fromfile]

いくつかの基本的な情報を含むヘッダーとともに、y センサーの x 個の int16 データ ポイントを含む非常に大きなバイナリ ファイルがあります。バイナリ ファイルは、最大 x サンプルまでの各サンプル時間の y 値として書き込まれ、次に別の一連の読み取り値などが書き込まれます。すべてのデータが必要numpy.fromfile()な場合は、これを使用しています。ただし、センサー データのサブセットまたは特定のセンサーのみが必要な場合は、現在、 、、およびをfor使用した恐ろしい二重ループがあり、それには永遠に時間がかかります。Pythonでこれをより速く行う別の方法はありますか? おそらく私はよく理解していませんか？それとも全体を使用してからサブサンプリングしますか?file.seek()file.read()struct.unpack()mmap()fromfile()

@rrauenza on からのアドバイスに従いましたmmap。これは素晴らしい情報でした。コードを次のように編集しました。

これは以前よりも高速ですが、それでも桁違いに遅いです

これを、30 秒のデータを含む 16 個のセンサーのみである 30 Mb の小さなファイルでテストしました。元のコードは 160 秒、mmap105 秒、np.fromfileサブサンプリングは 0.33 秒でした。

残りの質問は -numpy.fromfile()小さいファイルを使用する方が明らかに優れていますが、数時間または数日のデータと最大 500 個のセンサーで最大 20 Gb になる可能性のあるはるかに大きなファイルでは問題が発生しますか?

2次元で構成された衛星データがたくさんあります。

(H5 を緯度情報を含まない 2 次元配列データに変換し、Lat/Lon 情報データを追加で作成しました。)

1 つのデータで実際の Lat/Lon 調整とグリッド調整を知っています。

Python で 2D サテライト ファイルを部分的に読み取るにはどうすればよいですか?

「numpy.fromfile」は通常、バイナリ ファイルの読み取りに使用されました。

オプションを numpy.fromfile の count として使用すると、バイナリ ファイルを部分的に読み取ることができます。

ただし、保存メモリ用に1つのデータで先頭のレコードをスキップしたい。

たとえば、次のような 3x3 2d データがあります。

パイソン

a= [[1,2,3] [4,5,6] [7,8,9]]

Python で a[3][0] を読みました。(結果 = 7)

Fortran でファイルを読み込むときは、「recl, rec」を使用しました。

フォートラン

open(1, file='exsmaple.bin', access='direct', recl=4) ! recl=4 は 4 つの btype を意味します

read(1, rec=lat*x-lon) ファイル名

閉じる(1)

lat は、データ内の緯度の位置を意味します。(上記の例では緯度 = 3、Fortran では開始番号は 1 です。)

lon は、データ内の経度の位置を意味します。(上記の例では lon = 1 です。Fortran では開始番号は 1 です。)

×はいいえです。行。(x = 3、上記の例では、配列は 3x3 です)

ファイルを読み取ることができ、4 バイトのメモリしか使用しません。

Pythonで同様の方法を知りたいです。

時間と記憶を節約するために特別な情報を教えてください。

私の質問を読んでくれてありがとう。

2016.10.28. 解決

python データ = [1,2,3,4,5,6,7,8,9]、dtype = int8、ファイル名 = 名前

a = np.memmap(name, dtype='int8', mode='r', shape=(1), オフセット=6)

[0]を印刷

結果 : 7

スクリプトと同じフォルダーからいくつかの画像を使用する必要があるスクリプトを準備しています。画像は WinForms GUI に表示されます。

クリックするだけでフォルダーから ps1 スクリプトを手動で実行すると、画像が読み込まれて表示されます。残念ながら、これをどのようにセットアップしたか正確には覚えていませんが、できる限り、ps1 ファイルに使用するデフォルトのプログラムにすぎませんでした。cmd ファイルからスクリプトを実行すると (cmd ウィンドウを非表示にするため)、スクリプトも読み込まれます。

しかし、Powershell IDE で開いて実行すると、エラーが発生し、GUI にアイコンが表示されません。Powershell で開くと、読み込みにも失敗します。

私が見つけることができるこれらの実行モードの唯一の違いは次のとおりです。

cd $scriptPath を実行するときと同じ動作であるため、現在のフォルダーが問題のあるフォルダーではない可能性が高くなります。

各ファイル読み取り行 (FromFile) に $scriptPath/red.png を記述できることはわかっていますが、それを 1 回 (FromFile のデフォルトの場所) 定義してから、実行方法に関係なく単純なファイル名を機能させることが必要です。 .

デフォルトのファイル読み取りパスがスクリプトの場所と同じになるようにするには、何を変更すればよいですか?

np.fromfileメソッドで使用するいくつかのレガシー コードを更新しようとしています。このメソッドのnumpyソースを検索しようとすると、np.core.records.fromfileしか見つかりませんが、ドキュメントを検索するとnp.fromfileが見つかります。これら 2 つのメソッドを見ると、それらが異なる kwargs を持っていることがわかり、まったく異なるメソッドであると感じさせられます。

私の質問は次のとおりです。

1) のソースはどこにnp.fromfileありますか?

2) 同じ名前で 2 つの異なる関数があるのはなぜですか? 2 つの動作が異なるため、違いに注意しないと、明らかに混乱する可能性があります。特にnp.core.records.fromfile、ファイルに含まれるよりも多くのバイトを読み込もうとすると、エラーが発生しますnp.fromfile。以下に最小限の例を示します。

私が達成しようとしている目標は、単純に API から画像を要求し、それをappendメソッドの形式でクライアント側に返すことです。

いいえ、API のユーザー/パス要件のため、クライアント側でこれを完全に処理することはできません。

いいえ@Url.Action(ImageFromPath)、画像の src でメソッドを使用できません。

そうは言っても、ここに私のバックエンドコードがあります：

クライアント側の目標は次のとおりです。

私が抱えている問題はオンラインsrcImage = Image.FromFile(URL)で、エラーがあります:

タイプ 'System.IO.FileNotFoundException' の例外が CoreCompat.System.Drawing.dll で発生しましたが、ユーザー コードで処理されませんでした

違いがある場合は、API URL 自体の呼び出しで画像が返されるまでに数秒かかります。

これを達成するための適切な方法を誰かアドバイスできますか? または、少なくとも現在のアプローチを機能させるのに役立ちますか?

EDIT - How can I convert image url to system.drawing.imageWebClientで答えを見てきましたが、ASP.Net Core ではまだ利用できないソリューションのみを提供します。