問題タブ [rds]

Amazon EC2 インスタンスに150 GBの Postgres データベース ダンプ ファイルがあります。EC2 サーバーから RDS にデータをダンプしているときに、エラーが発生します。

コマンドの出力は次のとおりです。それはエラーを与えています

アプリケーション構成:

データのコピー中に壊れている理由を教えてください。接続が確立され、コマンドが実行されているため。コピーコマンドの実行中に突然壊れています。

調査結果の更新

データをダンプするために使用しているコマンド/スクリプトは次のとおりです。

以下のような問題を見つけるための回避策:

このコマンドを実行すると変換された大きなファイルから取得head 100 rowsしtail 200 rowsて作成したところ、正常にダンプされました。1 file150 GB56KB.

そのため、ファイルサイズが問題を引き起こしています。RDSでデータをダンプするための小さなサイズのファイルに対して同じコマンドが実行されています。

この問題を解決するにはどうすればよいですか?

動的 Web サイトのコンテンツを提供するために、MySQL RDS で EC2 を実行しています。RDS データベースで「接続が多すぎます」というエラーが発生したため、サーバーがダウンしました。

緊急だったので、すぐにデータベース サーバーを再起動したところ、問題はなくなりました。ただし、どのクエリがそれらの接続を生成するかを確認できません (RDS を再起動する前に SHOW PROCESS LISTS を実行しなかったため)。

CloudWatch は、問題の期間中に 250 以上の接続を示します。これは、他の日の通常の運用とは明らかに大きな違いです。

RDS のログを参照して問題に対処しようとしましたが、ごくわずかなメッセージしか表示されません。

エラーメッセージ

2014-05-03 06:10:08 3628 [Warning] IP address '173.244.206.19' has been resolved to the host name '173.244.206.19.static.midphase.com', which resembles IPv4-address itself.

上記から、173.244.206.19 は、パブリックとプライベートの両方の IP リストに含まれていません。(ただし、パスワードで保護された 0.0.0.0 への接続は、すぐにセキュリティ グループで IP リモートを制限する予定です)

質問

1. 173.244.206.19.static.midphase.com は、デフォルトで RDS と関係があります。これは明らかに攻撃の兆候だと思いますが、確認したいだけです。
2. 「IPv4 アドレス自体に似ている」とはどういう意味ですか? これは RDS データベース サーバーのみであるため、サーバーが DNS を解決する必要があるのはなぜですか?
3. これをさらに詳細に調べる方法はありますか (たとえば、特定のクエリを表示するなど)。
4. これを防ぐために、IP アクセスと 10 以上の接続に対する CloudWatch アラーム設定のみを制限します。他にすべきことは何でも。

この人たちを読んでくれてありがとう。スタートアップ企業で、フロントエンド/バックエンド/アプリケーション/ネットワークのすべてを担当する開発者は私だけです。したがって、ここにダミーの質問がある場合はお詫び申し上げます。

しかし、あなたの助けは本当にありがたく、レポートを書いている私の人生を少し救ってくれます.

AWS コンソールからテスト RDS インスタンスを作成したところ、正常に作成されました (実行中であり、使用可能であると表示されます)。現在、セキュリティ グループを SSH ポート 22 (MyIP) カスタム TCP ルール ポート 3307 (myIP) および HTTPS ポート 443 (MyIP) に構成しています。現在、MySQL ワークベンチを介して接続しようとしています。「RDS_URL」:3307 のエンドポイントを使用し、ユーザー名とパスワードを入力しています。接続しようとするたびに、次のエラーが表示されます。

MySQL サーバー "-RDS_URL-" に接続できません (10060)

助言がありますか？

検索したいいくつかの列 (いくつかは地理空間データを含む) に大量のデータを含むテーブルを持つ RDS データベースを持っています。このデータに対する SQL クエリと優れたカバー インデックスは、AJAX 型先行提案フィールドのようなものに使用するにはまだ遅すぎます。

そのため、検索のオプションを調査していて、Amazon CloudSearch (現在は Apache Solr を利用) に出会いました。これは私のニーズに合っているようです。問題は、AWS コンソールを介して RDS からデータをインポートまたは提供する方法が見つからないように見えることです。何か不足していますか？ElasticSearch などの他のソリューションriverには、MySQL データの変換に接続するプラグインがあります。

CSV および XML データを CloudSearch にアップロードするためのコマンドライン ツールがあることは知っています。これまでのところ、mysqldump テーブルを CSV または XML 形式に変換し、CLI ツールを使用して手動でロードするのが最も簡単な方法です。これは、データを取得するための最良の方法であるいくつかの再発生するcronジョブを使用していますか?

AWS Elastic Beanstalk を使用して、本番アプリケーションとステージング アプリケーションの両方をデプロイする必要があります。

RDS データベースを破棄せずに環境を再構築できるように、実稼働環境で個別に作成された RDS データベースを使用したいと考えています。

ステージング環境が展開されるたびに新しい RDS データベースを作成するようにしたいと考えています。

私の環境を初期化した後

質問の1つ

RDS DB インスタンスを作成しますか? [はい/いいえ]:

この構成の結果は、.elasticbeanstalk ディレクトリ内のファイル「config」に格納されているようです。このディレクトリは .gitignore に追加されます。

では、本番とステージングの 2 つの git ブランチを構成して、一方が起動時に RDS データベースを作成し、もう一方が RDS データベースを作成しないようにするにはどうすればよいでしょうか?

SQL DB を Amazon rds に接続したいと考えています。DB インスタンスを起動しようとすると、Visual Studio がスローされ、次のエラー メッセージが表示されました。

修正方法は？

2 つのリージョンにまたがる RDS MySQL マルチ AZ データベースインスタンスを持つことは可能ですか?