問題タブ [aws-rds]

データベースの移行に関するいくつかのベスト プラクティスと利用可能なツールについて質問があります (次のリリース用にデータベース スキーマをアップグレードします)。

現在、mysql データベースもホストしている 1 つのサーバーを使用しています。新しいリリースを展開する場合は、コードを含むデータベースの移行をサーバーにプッシュします。サーバーでは、移行スクリプトを使用してデータベースを変更し、現在展開されているデータベースの移行 (番号) をファイルに保存します。次に、システムを AWS に移行し、水平スケーリングの利点を活用したいと考えています。複数のサーバーが同じデータベース (AWS RDS) にアクセスするため、この新しいシステムで現在のデータベース移行スクリプトを使用することはできません。

最終的には、サーバー管理に AWS OpsWorks を使用し、chef スクリプトを使用して新しいサーバーをセットアップしたいと考えています。しかし、データベースの移行を本番データベースに自動的に展開する方法をまだ見つけていません。ヒントやアイデアはありますか？

どうもありがとう。

PSこれは珍しい問題ではないと思いますが、「DB移行AWS」をグーグルで検索すると、AWSサービスでデータベースを別のサーバーからAWSに移行することができますが、これは別の目的に役立ちます;)

MySQL Workbench を使用して、ローカル マシンから RDS インスタンスに接続できません。毎回エラー 10006 が発生します。接続を作成するときに、RDS エンドポイントをホスト、ポート 3306、ユーザー、パスワードとして入力しますが、失敗します。私の RDS インスタンスは VPC にあり、それが問題である可能性があると考えています。

私はこれに慣れていないので、変更する必要があることを誰かが説明できれば、私のインスタンスは VPC にあるので助かります。

ということですか

1. データベースが保存されているストレージ ボリュームが暗号化されている
2. またはデータベースの各列はデータベースによって自動的に暗号化されます

バックアップと復元のために RDS インスタンスのスナップショットを作成するためのアクセス権をユーザーに付与する必要がありますが、これは AWS で可能ですか。また、同じユーザーが必要で、s3 バケットをバージョン管理する必要がありますが、これは可能ですか??

私は当初、cakephp 3 アプリケーションにローカルの mysql データベースを使用していましたが、すべて正常に機能していました。Cakephp3 アプリケーションをデプロイ中なので、RDS MySql インスタンスを作成して MySql ワークベンチに接続し、以前に持っていたデータベースを RDS データベースにコピーしました。私のapp.phpの設定はそうです。

私が持っている私の定数を定義するには

次に、app.php ファイルの datasources セクションで

AWS コンソールでは、RDS インスタンスに接続していると表示されます。ただし、登録/ログインしようとすると、CakePHP 内部エラーが発生しました。次に、エラー ログを確認したところ、error.log ファイルでこれが見つかりました。

私が間違っていることを理解していませんか？所有しているデータベースのローカル コピーに戻ると、すべてが正常に機能します。どんな助けでも大歓迎です。

===================編集=======================

インスタンスの AWS コンソールでエラー ログを読み取ると、次のような出力が得られました。率直に言って、RDS を使用するのはこれが初めてなので、これが何を意味するのかわかりませんが、他の人にとっては役立つかもしれません.

合計 450,000 行と 90 列で構成されるテーブルがあります。単純な Select * from table を実行すると、GC オーバーヘッドの問題が発生し、プロセスが失敗します。

テーブルサイズは140～160MB

フィールドのインデックスがありますが、クエリに WHERE 句がないため、それが役立つかどうかわかりません。

10K レコードのバッチ サイズでクエリを実行しようとしています。それは失敗しています。奇妙なことに、バッチ サイズを 10K からちょうど 10 (はい 10) に減らしても、GC オーバーヘッドの同じエラーが発生します。

Postgresql側の構成は次のとおりです（AWS RDSを使用しています）

これを機能させるには、データベース テーブル レベルでどのような最適化を行うことができますか?

本番用に使用する aurora データベース (aws) があります。毎日更新され、qa (本番環境から qa データベースへの一方向同期) に使用されるクローン データベースが必要です。それを行う最良の方法は何ですか？ありがとう

私はウェブサイトを運営しており、リアルタイムの訪問者は 500 人まで、毎日の訪問者は 5 万人まで、総ユーザー数は 130 万人までです。サーバーをAWSでホストしています。そこでは、さまざまな種類のインスタンスをいくつか使用しています。私がウェブサイトを開始したとき、さまざまなインスタンスの費用はほぼ同じでした。Web サイトがユーザーを獲得し始めたとき、RDS インスタンス (MySQL DB) の CPU が絶え間なく天井にぶつかり続け、何度かアップグレードする必要がありましたが、今ではパフォーマンスと月額コスト (約 95% の(2,8k$/月))。現在、16vCPU と 64GiB の RAM を備えたデータベース サーバーを使用しています。また、マルチ AZ 配置を使用して障害から保護しています。データベースがそれほど高価なのは普通のことなのか、それとも私が何かひどく間違ったことをしたのだろうか?

データベース情報

現時点では、私のデータベースには 40 個のテーブルがあり、そのほとんどが 10 万行、一部は 200 万行、1 つは 3,000 万行です。不要になった 21 日より古い行をアーカイブするシステムがあります。

ウェブサイト情報

ウェブサイトは主に PHP を使用していますが、一部の NodeJS と Python も使用しています。

Web サイトのほとんどの機能は次のように機能します。

1. 取引開始
2. 行を挿入
3. 最後に挿入された ID を取得する (lastrowid)
4. いくつかの計算を行います
5. 挿入された行を更新しました
6. ユーザーを更新する
7. トランザクションをコミットする

また、データベースから 10 ～ 30 秒間隔でポーリングする約 100 個のボットを実行しています。また、データベースを挿入/更新することもあります。

追加

データベースの負荷を下げるために、いくつかのことを行いました。データベース キャッシュを有効にする、一部のクエリに redis キャッシュを使用する、非常に遅いクエリを削除しようとする、ストレージ タイプを「Provisioned IOPS SSD」にアップグレードしようとするなど。しかし、何も役に立たないようです。

これは、設定パラメーターに対して行った変更です。

いくつかの小さなインスタンスの MySQL クラスターを作成することについて考えましたが、これが役立つかどうかはわかりません。また、これがトランザクションでうまく機能するかどうかもわかりません。

さらに情報が必要な場合は、お問い合わせください。この問題に関するヘルプは大歓迎です。

OQGRAPH を AWS RDS インスタンスにインストールすることはできますか? はいの場合、どのように？

インストール ガイドを読む: https://mariadb.com/kb/en/mariadb/installing-oqgraph/ OQGRAPH をインストールするには、サーバーへの管理者アクセスが必要です。これは明らかに RDS では許可されません。

とにかくそれをインストールする方法についてのアイデアはありますか？

明らかに私がただ走るなら

次のエラー メッセージが表示されます。

共有ライブラリ '/rdsdbbin/mariadb-10.0.24.R1/lib/plugin/ha_oqgraph.so' を開けません (エラー番号: 2、共有オブジェクト ファイルを開けません: そのようなファイルまたはディレクトリはありません)