Web クローラーには、InnoDB と MYiSAM のどちらのデータベース エンジンを使用すればよいですか? 2 台の PC があり、それぞれに 1 TB のハード ドライブが搭載されています。1 つがいっぱいになったら、もう一方の PC に自動的に保存したいのですが、読み取りは正しい PC に送られるべきです。それ、どうやったら出来るの？
2 に答える
1
質問の最初の部分については、正確な実装に依存します。ネットワーク帯域幅によって制限される単一のクローラーを使用する場合は、MYiSAM の方が高速です。複数のクローラーを使用している場合、InnoDB は、役立つトランザクションなどの利点を提供します。
AFAIK MySQL は、提案しているハードウェア構成をサポートしていません。大容量のストレージが必要な場合は、MySQL Cluster を検討してください。
于 2010-08-17T15:29:18.197 に答える
0
MyISAM が最初の選択肢です。なぜなら、書き込み専用の操作があり、クローラーが (並列で実行されていても) 異なるドメイン/URL をクロールするように構成されているからです。したがって、アクセスの競合に注意する必要はありません。
大量のデータ (特にテキスト!) を Mysql に書き込む場合は、MySQL の速度が大幅に低下するため、トランザクションやインデックスなどを避けてください。
于 2010-08-19T12:31:16.817 に答える