問題タブ [python-iris]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
performance - netcdf データセットの読み取りで Python-iris の実行が非常に遅い
最近、Python で netcdf ファイルを読み取るために、netcdf4 から iris に切り替えました (Python 2.7 を使用しています)。これにより多くの面でコードが改善されましたが、一部のデータセットでパフォーマンスの問題が発生しています。一部のファイル (すべてではない) の読み取りは、以前は netcdf4 では数秒しかかからず、iris では 1 分以上かかりました。
これは私が使用した簡単なテストです。最初の読み取りは、netcdf4 で 4 秒、アイリスで約 90 秒かかります。通常、1 回の実行で多くのファイルを読み取るため、これによりコードのパフォーマンスが大幅に低下します。
誰かが同じ行動を見つけましたか?それは私が虹彩で間違っていることですか?
python - CDFファイルのNumPY配列からの読み取りが非常に遅いのはなぜですか
データのキューブ、つまりLAT、LONG、TIMEを3次元として持ち、Temperatureを格納する単純なnetCDFファイルがあります。NumPy に Masked Array の形式で格納されます。以下のコードは、CSV 形式で抽出します。しかし、20 MB のファイルを処理するには非常に時間がかかります。つまり、反復ごとに 20 秒かかるため、合計で 4 * 548 * 20 秒 = 43840 秒 = 703 分 = 12 時間になります。
コメント TAKES_LONG_TIME のある行を見ると、さらに時間がかかります。セルごとに、Python から NumPy の C コードへの切り替えが行われていると思います。以下のシナリオでどのように解決できるかわかりません。お知らせ下さい。ありがとう。