問題タブ [nfs]

私は FreeBSD NFS サーバーを実行していますが、最近、クラスター全体で奇妙な問題が発生しています (NFS 共有からファイルをロードするときに Apache サーバーが「lockf」状態でハングするなど)。

私はこれにかなり慣れていないので、私の質問は、サーバーの IO が過負荷になっているかどうかをどのように確認できますか?

これが私の現在のiostatです：

高いと思われる値はありますか? システムが負荷を効率的に処理しているかどうかを確認するためにできる他のテストはありますか?

ありがとう！

単純に並列化可能な計算がたくさんあり、SSH + NFS ネットワーク上に分散された多くの (100 の) コアがあります。並列化の最も簡単な方法は何ですか。問題は、各タスクにかかる時間がわからないため、何らかのキューが必要なことです。とても使いやすいものはありますか？

ヘッド ノードに 1 つの NFS 共有フォルダーがある 8 ノード クラスターで NAMD シミュレーションを実行しています。ただし、「無効なクロスデバイス リンク」というエラーが表示され、シミュレーションが途中で停止することがあります。これが NAMD や NFS に起因するものかどうかはよくわかりませんが、無効なクロスリンクに関する限り、何らかのファイルシステムの問題に関連しているのではないでしょうか?

ありがとう。

アップロードされたファイルを保存するシステムに取り組んでいます。メタデータはローカルでアクセス可能なデータベースに保存されますが、ファイル自体は NFS 経由でリモート ボックスに保存されるため、PHP はディレクトリのようにサーバーと対話できます。

NFS サーバーがダウンしているか、それ以外の理由で利用できないときに誰かがファイルをアップロードしようとすると、スクリプトがエラーになったりハングしたりする可能性があるという問題が発生する可能性があることを確認しました。明らかに、このシナリオを回避し、適切な方法で処理したいと考えていますが、これを行う方法がわかりません。

a) ページ表示時にサーバーをチェックし、サーバーがダウンしている場合はフォームのファイル アップロード部分をゴースト アウトするか、b) move_uploaded_file を実行してアップロードされたドキュメントを保存する前にリンクをチェックすることを考えています。

PHP内からこれを行うことは可能ですか？

Ruby コードで実行中のサーバーに NFS がインストールされているかどうかを検出する必要があります。

クロスプラットフォームの方法で（または少なくともunix/linuxで）これを行う方法があれば？

NFSまたはCIFSを使用してデータベースで使用するためにRAWデバイスをエクスポートするにはどうすればよいですか？

最近、inotifyを使用してドロップボックスシステムを作成し、特定のディレクトリに作成されたファイルを監視しています。私が監視しているディレクトリはNFSサーバーからマウントされており、inotifyの動作は予想とは異なります。/ some / nfs / dir / also / visible / to / Bを監視しながら、マシンAでinotifyスクリプトが実行される次のシナリオを考えてみます。

-マシンAを使用して/some/ nfs / dir / also / visible / to / Bにファイルを作成すると、スクリプトは期待どおりに動作します。マシンBを使用して同じアクションを実行すると、ディレクトリにドロップされた新しいファイルについてスクリプトに通知されません。
-スクリプトをNFSサーバーで実行すると、マシンAとマシンBの両方からファイルが作成されたときに通知が届きます。

これは、inotofyにアクセスするために使用しているパッケージのバグのバグですか、それとも予想される動作ですか？

CentOS 5.5

サーバー上で実行されているWebアプリケーションがあり、同じネットワークで実行されている別のCentOSサーバーのファイルシステムに（プライベートIP経由で）アクセスする必要があります。たくさんのグーグルを行った後、NFSを介してドライブをマウントすることは良い方法のように見えますが、それを行う方法についてのステップバイステップの説明が見つかりません。マウントコマンドのmanドキュメントを読み、CentOS wikiのドキュメントもいくつか読みましたが、何かが足りないように感じます。これが私が試していることです

「ホストへのルートがありません」というエラーが表示され続けますが、サーバーに正常にpingを実行できます。開く必要のあるポートなどが見つからない可能性があると思いますが、やはり、私のような非システム管理者にとって意味のある情報を見つけることができません。

助けてくれてありがとう。

大量のファイルを同時に処理する必要があります（数千の異なるファイル、ファイルあたりの平均サイズは2MB）。

すべての情報は1台の（1.5TB）ネットワークハードドライブに保存され、約30台の異なるマシンで処理されます。効率を上げるために、各マシンは異なるファイルを読み取り（および処理）します（処理する必要のあるファイルは数千あります）。

すべてのマシンは、1.5TBハードドライブの「incoming」フォルダからファイルを読み取った後、情報を処理し、処理された情報を1.5TBドライブの「processed」フォルダに出力する準備が整います。すべてのファイルで処理される情報は、入力ファイルとほぼ同じ平均サイズです（ファイルあたり約2MB）。

何をするのが良いですか：

（1）すべての処理マシンMについて、 Mによって処理されるすべてのファイルをローカルハードドライブにコピーしてから、マシンMでローカルにファイルを読み取って処理します。

（2）ファイルをすべてのマシンにコピーする代わりに、すべてのマシンが「着信」フォルダーに直接アクセスし（NFSを使用）、そこからファイルを読み取り、ローカルで処理します。

どちらのアイデアが良いですか？そのようなことをしているときに「する」と「しない」はありますか？

30台ほどのマシンが同じネットワークドライブに同時に情報を読み取る（または書き込む）ことが問題になるかどうか、私は主に興味がありますか？

（注：既存のファイルは読み取りのみで、追加/書き込みは行われません。新しいファイルは最初から作成されるため、同じファイルへの複数のアクセスの問題はありません...）。予想すべきボトルネックはありますか？

（私はLinux、Ubuntu 10.04 LTSをすべてのマシンで使用しています）

AとBの2つのサーバーがあります

Aには/alphaと/betaの2つのファイルシステムがあります

シンボリックリンクがあります：

そのような：

次に、NFSマウントを介してBにリモートで/betaをマウントします

リンクは機能しなくなります。

これを達成する方法はありますか？サーバーBのA：/ alpha / fooにアクセスできるようにしたいのですが、/ beta/barシンボリックリンクを介してアクセスできるようにしたいのです。

マウントまたはリンクを変更する必要がありますか？それとも私は不可能を達成しようとしていますか？

アップデート

'サーバーBに/alphaをマウントせずに'を追加する必要があります。つまり、サーバーBが/ beta / barにアクセスするたびに、問題の実際のファイルへのシンボリックリンクをたどってほしいのです。