問題タブ [mongodb-oplog]

MeteorobserveとobserveChangesメソッドの仕組みが気に入っています。問題は、バックグラウンドで使用していて、データを監視および変更するインスタンスが 1 つだけ必要なことです。また、CPU リソースが不足しています。私のオブザーバーは、特定の変更に対してジョブを実行します。それ以来、メインアプリにオブザーバーを配置して、水平方向にスケーリングすることはできません。そのため、その目的のために軽量なものを探しています。

モンゴを観察するためのベストプラクティスは何ですか? 他の技術はありますか？

oplog テーリングについては知りません。この質問はまさにそれについてです。oplog テーリングのためのいくつかの軽量テクノロジー。

Meteor.js アプリのパフォーマンス、可用性、冗長性を向上させるために Oplog テーリングを使用できる MongoLab クラスターがあります。

問題は : 私はそれを使い続けているので、すべての出版物が完成するまでに時間がかかります。200 ミリ秒程度しかかからない場合、それは問題ではありませんが、ここで説明した出版物を購読している場合のように、多くの場合、それよりもはるかに多くの時間がかかります。

このパブリケーションはすでに応答時間が長すぎます。また、oplog の観察によっても応答が遅くなっていますが、oplog の観察にそれほど時間がかかる唯一のパブリケーションではありません。

何が起こっているのか誰か説明してもらえますか? Web で検索しても、なぜ oplog を監視すると私の出版物がそれほど遅くなるのかについての説明は見つかりません。

私が言っていることを説明するために、カディラのスクリーンショットをいくつか示します。

別の pub/sub のスクリーンショットを次に示します。

そして最後に、oplog を観察するのにかなりの時間がかかる場合 (ただし、それでも私の pub/sub は少し遅くなります) :

Meteor.js でアプリを開発しています。そのために、oplogテーリング用のmongoインスタンスのクラスターがあります。さらに、アプリのパフォーマンスを追跡するために Kadira を使用しています。

oplog テーリングを有効にしたため、多くの pub/sub が以前より遅くなりました。私が見ているのは、oplog「クエリ」の「wasMultiplexerReady」属性が false に設定されていると、速度が大幅に低下することです。

問題は、ウェブ上でそれについてまったく何もないことです. 私はそれとそれがどのように機能するかについてのリソースを探していましたが、文字通り何もありません.

ここで何が起こっているのかについてのヒント/説明を教えてもらえますか? この属性「wasMultiplexerReady」とは何か、どのように使用されるのか、oplog テーリングの計算時間を短縮するにはどうすればよいかなど...

ありがとうございます。

あるMongoDB relpSetに挿入されたドキュメントを変更し、mongo-oplogとnode.jsを使用して別のドキュメントに挿入しています

node.jsを使用してmongoにドキュメントを挿入するために、このリンクをたどっています。ドキュメントを引数として挿入するラッパーを作成しました。

このラッパー関数を、挿入する json ドキュメントを作成する関数 (parseJSON) のコールバックとして呼び出しています。

私は mongo-oplog の中で parseJSON を呼び出しています:

これは、ドキュメントを挿入した後、次のような出力で無限ループに陥っています。

どんな助けでも大歓迎です。ありがとうございました。

次のコードがあります。

私は得る：

oplogmongo データベースから最新のタイムスタンプを取得するにはどうすればよいですか?

Spark mongo-connector を使用して、mongodb コレクションから hdfs ファイルにデータを同期します。コレクションが mongos を介して読み取られる場合、私のコードは正常に動作しますが、local.oplog.rs に関しては、レプリカ コレクションは mongod を介してのみ読み取ることができます。私に例外を与えます:

原因: com.mongodb.hadoop.splitter.SplitFailedException: 入力分割を計算できません: 分割キー上のインデックスが見つかりませんでした { _id: 1 }

oplog.rs と通常のコレクションではデータ構造が違うと思いますが、oplog.rs には「_id」プロパティがないため、newAPIHadoopRDD は正常に動作しません。

MongoDB をダウンロードし、コンピューターにレプリケーションをセットアップしました。node.jsも実行しており、mongodbに接続しています。テキストファイルまたはコンソールに出力しようとしています。私のデータベースは現在小さいので、接続をテストしたかっただけです