問題タブ [oltp]

私たちは通常OLTP（購入システムを考えてください）であるアプリケーションの設計に取り組んでいます。ただし、これは特に一部のユーザーがオフラインになる必要があるため、ユーザーはDBを自分のマシンにダウンロードして作業し、LANに接続したら同期し直す必要があります。

私はこれが以前に行われたことを知っていることに注意したいのですが、私はこの特定のモデルの経験がありません。

私が考えたアイデアの1つは、GUIDをテーブルキーとして使用することでした。したがって、たとえば、発注書には番号（自動数値）ではなくGUIDが含まれるため、すべてのオフラインクライアントがそれらを生成でき、DBに接続し直したときに衝突が発生することはありません。

これは何らかの理由で悪い考えですか？GUIDキーを介したこれらのテーブルへのアクセスは遅くなりますか？

これらのタイプのシステムの経験はありますか？この問題をどのように解決しましたか？

ありがとう！
ダニエル

現在取り組んでいる OTLP プロジェクトで Db のパフォーマンスの問題が発生しています。別の開発者と私は、これまで蓄積してきたパフォーマンスに関する知識が限界に達したため、アプリケーションの高速化を支援してくれるチームに参加してくれる人を探しています。

背景として、データの一部を非正規化するためにスキーマを変更し、すべてのクエリを最適化し、複数のデータベース チューニング アドバイザーを実行してインデックスを適切に取得し、MSSql のサーバー オプションをチューニングしました。

参加が遅くなる可能性があることやデッドロックとは何かを教えてくれる人は必要ありません。上記のすべての手順を実行した後に何をすべきかを知っている人が必要です。

OLTP DBA を雇って共有するためのヒントや経験をお持ちの方はいますか? 面接プロセス中に DBA にどのような質問をすることができますか?

現在のチームよりも多くのことを知っている人が必要であることはわかっていますが、次のステップが何であるかがわからないため、どのような質問をすればよいかわかりません. それは理にかなっていますか？

典型的なエンティティリレーションシップOLTPデータベースモデルからキンボールスタースキーマデータウェアハウス/マーツモデルにデータをロードする際に採用される一般的な設計アプローチは何ですか？

• ステージング領域を使用して変換を実行してから、倉庫にロードしますか？
• ウェアハウスとOLTPデータベースの間でデータをどのようにリンクしますか？
• 変換プロセスをどこで/どのように管理しますか？データベース内で、sprocs、dts / ssisパッケージ、またはアプリケーションコードからのSQLとして管理しますか？

SQL Server が実際にクエリの実行をより詳細に処理する方法に関する情報を探しています (たとえば、どのデータがバッファー/メモリに保持されているか、テーブルの 1 つの列だけに更新の変更があった場合でも新しいデータを取得することをどのように決定するかなど)。クエリなどで）

ソースを知っている人がいたら教えてください。

SQLサーバー2000を使用するWebアプリケーションがあり、30秒ごとにテーブル（ダッシュボード）のほぼ70％を頻繁に読み取ります。同時に多くの書き込みが発生しています。

上記のシナリオを最適化するためのヒントを教えてください。

複数の大陸で使用されている Web アプリがあります。大規模なレポートを実行すると、基礎となるトランザクション DB がロックアップします。したい：

1. レポート DB に SQL Server 2005 データベースのリアルタイムを作成します。
2. すべてのレポートをレポート DB に送信します

理論的には、これにより、挿入と更新のトランザクション ロックが防止されます。レポート DB が一時的にロックされても、トランザクションが継続する限り問題ありません。レポート DB は、負荷が軽いときに新しいトランザクションを受け取ることができます。トランザクション DB のほぼリアルタイムのコピーを維持する最善の方法は何ですか? レプリケーション、ミラーリング、またはその 2 つの組み合わせを使用する必要がありますか? 従うべき一般的なガイドラインは何ですか?

ありがとう！

私が働いている会社は、出版、eコマース、オンライン印刷などのさまざまなアドオンを備えたコンテンツ管理システム（CMS）を作成しています。現在、「レポートモジュール」を追加中です。どの戦略を検討する必要がありますか？従う。「レポートモジュール」は、ビジネスインテリジェンスまたはBIとも呼ばれます。

このモジュールは、アイテムのダウンロードを追跡し、検索を実行し、そこからさまざまなレポートを作成できるようになっています。実際、長期的には、必要と思われるものをプッシュしてレポートを取得できるようにしたい場合があるため、どのような種類のデータがチャーンされているかはそれほど重要ではありません。

大まかに言えば、2つの選択肢があります。

オプション1は、Apache Solrに基づくソリューションを作成することです（具体的には、https： //issues.apache.org/jira/browse/SOLR-236を使用します）。このアプローチの長所：

• 無料/オープンソース/良質
• 他の場所でSolr/Luceneを使用しているため、ドメインをよく知っています
• 受信データ（XML形式）を取得し、XSLTを介してプッシュし、Solrにフィードできるため、インデックス作成されているものに対する完全な柔軟性
• 検索結果を表示する方法の完全な柔軟性。上記の手順と同様に、カスタムXSLT検索テンプレートを使用して、必要と思われる形式で結果を表示することができます。
• フロントエンド開発者はXSLTに精通しているため、このメカニズムを別の顧客に適合させるのは比較的簡単です。
• Solrは、私たちにとって絶対に必要なリアルタイム/全文/ファセット検索を提供します。クイックプロトタイプ（Solr、1Mレコードに基づく）は、55ミリ秒で検索結果を提供することができました。レコードの推定最大数は約10億行であり（これは通常のBIアプリではそれほど多くありません）、さらに悪化した場合は、SolrCloudなどをいつでも確認できます。
• Solrを使用して非常に類似したことをしている会社があります（たとえば、Honeycomb Lexicon）

このアプローチの短所：

• SOLR-236は安定している場合とそうでない場合があります。さらに、公式リリースの一部としていつリリースされるか、またはリリースされるかどうかはまだ明確ではありません。
• BI固有の機能を動作させるには、作成する必要のあるものがいくつかある可能性があります。これは、車輪の再発明のように聞こえます
• 最大の問題は、将来何が必要になるかわからないことです（BIソフトウェアとの統合、Excelへのエクスポートなど）。

オプション2は、無料または商用のBIソフトウェアと統合することです。これまで、Wabitについて見てきましたが、QlikView、おそらく他の人についても見ていきます。このアプローチの長所：

• 車輪の再発明をする必要はありません。ソフトウェアは（うまくいけば）試され、テストされています
• 私たちが専門とする問題の解決に費やすことができる時間を節約できます

短所：

• 私たちはJavaショップであり、ソリューションはクロスプラットフォームであるため、市場に出回っている多くのオプションを排除する必要があります。
• BIソフトウェアがどれほど柔軟にできるかわかりません。一部のBIオファリングを調べて、柔軟なインデックス作成、リアルタイム/全文検索、完全にカスタマイズ可能な結果などを実行できるかどうかを確認するには時間がかかります。
• オープンソースのBIオファーは十分に成熟していないと言われましたが、商用BI（SAP、その他）は大金がかかり、ライセンスは数万ポンド/ドルから始まります。私はそれ自体が商業的選択に反対しているわけではありませんが、それは簡単に大きくなりすぎる可能性がある全体的な価格になります
• BIがスキーマレスデータでどの程度うまく機能するかわからない

私は市場で最も適切な統合オプションを見つけるのに最適な候補ではありませんが（主にBI分野の知識がないため）、迅速に決定を下す必要があります。

誰かが同様の状況にあり、どのルートを取るべきか、またはさらに良い方法についてアドバイスすることができますか？オプション＃2の可能な長所/短所についてアドバイスしますか？ここでの最大の問題は、私が知らないことを知らないということです;）

WCFを使用してOLTPシステムを実現するのは良い考えですか? システムは毎秒 5 ～ 8k のリクエストを処理する必要があります。

さて、質問以外に質問することはあまりありません。OLTPDBのスループットが高い必要があるとはどういう意味ですか。

ウィキに行きます。

「イーサネットやパケット無線などの通信ネットワークでは、スループットまたはネットワークスループットは、通信チャネルを介したメッセージ配信の平均成功率です。このデータは、物理リンクまたは論理リンクを介して配信されるか、特定のネットワークノードを通過します。スループットは通常、1秒あたりのビット数（ビット/秒またはbps）で測定され、1秒あたりのデータパケットまたはタイムスロットあたりのデータパケットで測定されることもあります。」

つまり、これは、OLTPデータベースの挿入率が高い/速い（つまり、デッドロックの回避など）必要があるということですか？

航空業界などのデータベースを利用する場合、私は常に印象に残りました。データベースは迅速に挿入する必要がありますが、同時に、その運用にとって重要であるため、迅速な応答時間です。そして、多くの点で、これはデータベースへのメッセージ/データの配信に関係するプロトコルに限定されるべきではありませんか？

私はOLTPシステムの「唯一の」特徴を特定しようとはしていません。一般的に、OLTPシステムに固有の特性について理解したいと思います。

乾杯！

私たちはOLTP金融システムを設計しています。1秒あたり10.000トランザクションをサポートでき、レポート機能を備えている必要があります。

だから私たちは使用するという考えに到達しました：

• メインストレージとしてのNoSQLDB
• MySQL DB（実際にはPerconaサーバー）は、レポートデータを格納するためにNoSQLDBからいくつかのETLを作成します

NoSQLジョブにはMongoDBとRiakを検討しています。RiakはMongoDBよりもスムーズにスケーリングすることを読みました。そして、皆様のご意見をお待ちしております。

• OLTP金融システムにどのNoSQLDBを使用しますか？
• MongoDB / Riakのスケーリングの経験はどうですか？

OLAPの作成に使用されるWikiから読んだHadoopハイブと少し混同しています。今、Mysql を使用する OLTP データベースから Hive で OLAP を作成したいと考えています。

どうすればこれを解決できますか? Hive で OLAP を作成するために Kettle を使用できますか? OLTP mysql から Hive で OLAP を作成する方法についてのガイダンスはありますか?

わかりました。