問題タブ [lustre]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
c - マクロ定義の ({;}) と ({0;}) は何を意味しますか?
私は光沢のソースコードを調べていて、マクロ定義で立ち往生していました:
ファイルで定義されていますlustre/ldlm/ldlm_resource.c。
このマクロ定義は何を意味しますか?
parallel-processing - Lustre ファイル システム: OST の数は?
システム管理者を盗聴する以外に、並列システムにある Lustre OST の数を特定する方法はありますか?
linux - CentOS 7 - sge を自動的に開始するには、ブート順序を変更する必要があります
サーバーの起動時に光沢がマウントされる前に sge が起動しようとしているようで、再起動時に自動的に起動するとエラーが発生します。誰かが起動時に順序を変更する方法を教えてもらえますか?光沢がマウントされた後に sge が開始されますか?
ログからのエラー メッセージ:
performance - 多数の小さなファイルを使用して Fortran 形式の I/O を改善する
シミュレーションからモニター ファイルを書き込むための次の要件があるとします。
- 通常は 10000 のオーダーで、多数の個々のファイルを書き込む必要があります。
- ファイルは人間が読める形式、つまりフォーマットされた I/O でなければなりません。
- 定期的に、各ファイルに新しい行が追加されます。通常は 50 秒ごと。
- 新しいデータにはほぼ瞬時にアクセスできる必要があるため、大きな手動書き込みバッファはオプションではありません
- 私たちが使用している Lustre ファイル システムは、ほぼ反対の目的で最適化されているように見えます。つまり、少数の大きなファイルへの順次書き込みです。
要件を策定したのは私ではないため、残念ながら要件について議論する意味はありません。上記の前提条件で可能な限り最善の解決策を見つけたいと思います。いくつかの実装をテストするために、少し実用的な例を考え出しました。これが私がこれまでにできる最高のものです：
主な機能は次のとおりです。OpenMP の並列化と手動書き込みバッファー。16 スレッドの Lustre ファイル システムでのタイミングの一部を次に示します。
- cachesize=5: I/O の経過時間: 991.627404 秒
- cachesize=10: I/O の経過時間: 415.456265 秒
- cachesize=20: I/O の経過時間: 93.842964 秒
- cachesize=50: I/O の経過時間: 79.859099 秒
- cachesize=100: I/O の経過時間: 23.937832 秒
- cachesize=1000: I/O の経過時間: 10.472421 秒
参照用に、非アクティブ化された HDD 書き込みキャッシュ、16 スレッドを使用したローカル ワークステーション HDD での結果:
- cachesize=1: I/O の経過時間: 5.543722 秒
- cachesize=2: I/O の経過時間: 2.791811 秒
- cachesize=3: I/O の経過時間: 1.752962 秒
- cachesize=4: I/O の経過時間: 1.630385 秒
- cachesize=5: I/O の経過時間: 1.174099 秒
- cachesize=10: I/O の経過時間: 0.700624 秒
- cachesize=20: I/O の経過時間: 0.433936 秒
- cachesize=50: I/O の経過時間: 0.425782 秒
- cachesize=100: I/O の経過時間: 0.227552 秒
ご覧のように、通常の HDD と比較して、Lustre ファイル システムでの実装は依然として驚くほど遅く、I/O オーバーヘッドを許容できる範囲まで削減するには、巨大なバッファ サイズが必要になります。これは、出力が遅れることを意味し、以前に定式化された要件に反しています。別の有望なアプローチは、連続する書き込みの間でユニットを開いたままにすることでした。残念ながら、同時に開くユニットの数は、ルート権限なしでは通常 1024 ～ 4096 に制限されています。ファイル数がこの制限を超える可能性があるため、これはオプションではありません。
要件を満たしながら、I/O オーバーヘッドをさらに削減するにはどうすればよいでしょうか?
編集 1 Gilles との議論から、光沢ファイル システムは通常のユーザー権限でも微調整できることがわかりました。そこで、提案どおりにストライプ数を 1 に設定してみました (これは既にデフォルト設定でした)。ストライプ サイズをサポートされている最小値の 64k (デフォルト値は 1M) に減らしました。ただし、私のテスト ケースでは、これによって I/O パフォーマンスが向上しませんでした。より適切なファイル システム設定に関する追加のヒントがある場合は、お知らせください。
unix - Lustre ファイル システムをアンマウントしようとするとエラーが発生する
Lustre FS をアンマウントすると、次のように表示されます。
force オプションを追加すると-f、同じ結果が得られます。
ディレクトリを一覧表示しようとすると、次のようになります。
原因がわからず、解決できません。