問題タブ [raid]

通称:

1. 主キーによる DB パーティショニング
2. インデックス サイズの問題。
3. DB サイズは 1 日あたり約 1 ～ 3 GB 増加します
4. レイドのセットアップ。
5. ハイパーテーブルの経験はありますか?

長いバージョン:

ホームサーバーを構築/購入しました：

• Xeon E3-1245 3,4 HT
• 32GBのRAM
• 6x 1.5 TB WD Cavier Black 7200

Server Board INTEL S1200BTL Raidを使用します(Raid コントローラーを購入するお金はありません)。http://ark.intel.com/products/53557/Intel-Server-Board-S1200BTL

メインボードには、4x SATA 3GB/s ポートと 2x SATA 6GB/s ポートがあります。

RAID 10 で 6 台すべての HDD をセットアップできるかどうかはまだわかりませんが、

不可能な場合は、4x hdds Raid 10 (MYSQL DB) & 2xhdds Raid 0 (OS/Mysql インデックス) を考えました。

(RAID 0 が壊れても問題ありません。DB を確保するだけで済みます)

DBについて：

ドメイン、URL、リンクなどが保存されるWebクローラー DBです。したがって、(1-1000000) (1000001-2000000) などの各テーブルの主キーでDBを分割すると考えました。

DBで検索/挿入/選択クエリを実行するとき、ホールテーブルをスキャンする必要があります.ROW 1にあるものとROW 1000000000000にあるものがあります.

主キー (auto_increment) でこのようなパーティションを作成すると、すべての CPU コアが使用されますか? 各パーティションを並行してスキャンするように？または、パーティションなしで 1 つの巨大な DB に固執する必要があります。

DBは非常に大きくなります。現在、私のホームシステムでは、

externlink とリンク インデックスを修正できることがわかりました。externlinkを追加したところ、そのフィールドをクエリする必要があり、リンク インデックスを使用できませんでした。わかりますか、インデックスで何を調整できますか? 私の新しいシステムは 32 GB になりますが、DB がこの速度で成長する場合、RAM の 90% を数週間/月で使用します。

パックされたINDEXは役に立ちますか? （パフォーマンスの低下はどうですか？）

他の重要なテーブルは 500MB 未満です。

必要なものをすべて抽出したら、このテーブルからデータを消去できます。

ハイパーテーブルの経験はありますか? http://hypertable.org/ <= Google の Bigtable。ハイパーテーブルに移行すると、パフォーマンスが向上しますか (データの抽出/検索/挿入/選択 & DB サイズ)。私はページを読みましたが、まだ無知です。MYSQL と Hypertables を直接比較することはできません。すぐに試してみます。最初にドキュメントを読む必要があります。

私が必要としているのは、私のセットアップに適合するソリューションですが、他のハードウェアのセットアップにお金が残っていないためです。

手伝ってくれてありがとう。

Amazon デプロイのスクリプトを作成していますが、そのステップを自動化できていません。

ステップは、(mdadm を介して) RAID をセットアップしてから、新しいマウントされたディレクトリに私のデータベース (mongo) をインストールすることです。これは、mongo をインストールする前に、mdadm がバックグラウンドで完了するのを待つ必要があるためです。次のコマンドを実行すると、mdadm がいつ終了するかがわかります。

mdadm がまだ進行中の場合、このコマンドは進行状況インジケーターを生成します。

mdadm が終了すると、このステータスはなくなります。

mdadm が終了したときにスクリプトを完全に単独で実行し、mdadm が完了したら mongo のインストールを続行できるようにするためのクリーンなソリューションを誰かが持っていますか?

現時点では、boto を使用してボックスにある種のスクリプトを配置し、boto からスクリプトを実行し、解析して mdadm が終了したことを読み取ったらスクリプトを終了させることを検討しています...

助けてくれてどうもありがとう！

私の目的は、RAID 構成のシステムでソリッド ステート ドライブを検出することです。smartmontools の次のコマンドを使用すると、ビット 434 (217) が SSD の値 1 を示していることがわかります: smartctl -i -r ataioctl,2 /dev/csmi0,0

同じ 512 バイトのデータを読み取ろうとして、次の 2 つの方法で IDENTIFY DEVICE コマンドを送信しようとしています。

方法 1 は DeviceIoControl() set GetLastError() as 87 (ERROR_INVALID_PARAMETER) で失敗します。何が問題なのかを理解するのを手伝ってもらえますか?私は正しい方向に進んでいますか?

方法 2 には info->IoctlHeader.ReturnCode = 3 があり、これは CSMI_SAS_STATUS_INVALID_PARAMETER を意味します (提供された CSMI バッファーが小さすぎます)。

///////// 方法 1 /////////

//////// 方法 2 //////////

私は 3x3TB の Raid を持っており、Raid を拡張する予定の日に再同期を開始することにしました。これは数日前のことで、再同期はまだ完了していません。終了していない理由は、何らかの理由でマシンがハード ストール (完全に無反応) しているように見えるためです。突然のランダム ハングの原因が見つからないので、少なくとも自分の RAID を再構築する機会を与えたいと思います。ビットマッピングを有効にすると、0% から開始するのではなく、クラッシュ時に再同期を再開できることを読みました。

私はもう試した：

これは、停止要求が /dev/md0 でキューに入れられたことを示していますが、実際には停止しません。

次に私はこれを試しました：

そのファイルのテキストはすぐに「再同期」に戻されます。

問題：

このコマンドを発行する方法を見つける必要があります。

しかし、このコマンドを発行すると、raid は再同期できません。

起動時にビットマップを有効にする方法はありますか? ライブLinuxディストリビューションを起動して、そこからraidを再同期させることはできますか（ハードフリーズが私のUbuntuインストールである場合）？

43 TB までのメディア ドライブを多数備えたサーバーがあります。ビンロウジュ 1882ix-16 は、ほとんどの場合、個々のドライブが使用されていないため、30 分間非アクティブになった後にドライブをスピンダウンするように設定されています。これは、不要な電力と熱を防ぐためにうまく機能します。この場合、ドライブは引き続き Windows エクスプローラーに表示されますが、クリックしてアクセスすると、ドライブがスピンアップするのを待たなければならないため、フォルダー リストが表示されるまでに約 10 秒かかります。

管理作業のために、すべてのドライブを起動して検索できるようにする必要があります。Windows エクスプローラーで各ドライブをクリックし、スピンアップするのを待ってから次のドライブをクリックするのは非常に面倒です。複数のエクスプローラー ウィンドウを使用すると明らかに高速になりますが、それでも面倒です。私は、powershell スクリプトが痛みを和らげてくれるのではないかと考えました。

そこで、次のことから始めました。

これは、アレイ内の各ドライブのルート フォルダ名がリストされていることを要求しているだけです。これはドライブをウェイクアップするために機能しますが、これも線形関数です。スクリプトは、印刷前にドライブごとに一時停止します。各ドライブを同時に起動する方法に関する解決策を探しています。マルチスレッドなどの方法はありますか?

RAIDコントローラーを介してLinuxボックスにインターフェースされたRAID-0（ストライピングのみ）を使用して2つのディスクをセットアップしたとします。したがって、基本的には 1 つの大きなパーティションが表示されます。2 つのブロック (A|B) を含むファイルを書き込むと、ディスク 1 に A が保存され、ディスク 2 に B が保存されます。

ここで、これら 2 つのディスクをいじるために RAID-1 (ミラーリング) を実装したいとします。FUSE を使用してこれを行うことはできますか? 私は次のように想像しています: 私のヒューズ実装が 3 つのブロック (A|B) のファイルを書き込み、代わりに (A|A|B|B) を書き込み、A がディスク 1 に 2 回書き込まれるとします。 B はディスク 2 に 2 回書き込まれます。

いくつかの消去コードと RAID スキームをいじってみたいし、ディスクに書き込む内容を制御したいと思っています。ソフトウェアRAIDをいじりたくないので、これはより簡単なアプローチのように見えます。

これでも機能しますか?それについて何か知っておく必要がありますか? ブロックサイズを知っていると仮定できることに注意してください。また、必要に応じてゼロパディングを行います。

こんにちは、テラステーションが死んでしまいました (マザーボードが揚げられました)。これには 4 つの ide ドライブが必要で、2 つの ide ポートを備えたコンピューターしかありません (まあ 1 ポートで、2 ポート ケーブルを使用しています)。

これらのドライブを一度に 2 つ接続し、はるかに大きなドライブにイメージを作成したので、ドライブの 4 つの dd イメージがあり、それぞれをループバック デバイスとしてマウントし、パーティションを次のようにマッピングしました。

次に、このコマンドで md0 を作成しようとしました

どの /dev/md0 が現在マウントできないが、現在表示されているか、

私が実行した他のコマンド (より多くの情報は少ないよりも優れています)

私は経験豊富なLinux / UNIX管理者ですが、この襲撃は私の尻尾を蹴っています。私が見逃しているのはばかげていると確信しています

サーバーの iostat 出力をもう少し理解しようとしていますが、助けが必要です。ボトルネックがあるかどうかを確認したい。

RAID-1 (md3) のこの 2 つのディスク (xvdn と xvdo) があります。私はこの出力に同意しません..2つのディスクには「待機」があり、md3にはないのはなぜですか? iostat を使用して RAID アレイを監視できますか?

Raid Array は、Linux の MD コマンドを使用して作成されました。ディスクは ECS の EBS です。POISPはありません。ディストリビューションは Oracle Linux 6.1 です。

その他の例