問題タブ [leveldb]

LevelUP Documentation には、pipe()使用できると書かれています ( https://github.com/rvagg/node-levelup/#pipes-and-node-stream-compatibility )。

私は次のコードを試しました：

しかし、私はそれを行うことができませんでした.エラーが発生しました:

実際の問題は、イベント 'data' () を使用するときのメモリ使用量に関するものです。次に、stream.Transform を作成しpipe()て、必要なことを行うために使用しようとしていました。イベントエミッターのメモリリークが問題になると: Node.js でストリームを使用するときのメモリリーク?

アップデート

@paul-mougel を試してみましたが成功しませんでした。エラーイベントの関数が呼び出されず、クラッシュしました。これはコードの一部です:

Ubuntu 12.04 precision および leveldown@0.10.2 (警告なしでコンパイル) で nvm を使用してノード v0.11.9 をインストールしましたが、leveldown をロードしようとすると、次のエラーが発生します。

leveldb データベースのキーの値だけを変更する方法はありますか?

すでに 1,800 万行のデータベースがあり、キーを変更してプレフィックスを追加したいと考えています。

node.jsでleveldbを使用しています。しかし、どのソリューションも適合する必要があります。

すでにこのデータベースを再構築しようとしましたが、時間がかかりすぎます。

オープン ソース プロジェクトの問題を管理するためのよりクリーンなワークフローを実現するために、問題追跡ツールを作成しています。

modelと を使用して問題が発生しました。levelこの問題について詳しく説明しました - https://github.com/diasdavid/issue-tracker/issues/1 - 適切なファイルにリンクする方が簡単だからです。

繰り返す方法の手順があり、どんな助けも大歓迎です:)

ありがとうございました！

複数のプロセスをサポートする Node.js 用の最速の非メモリ キー値ストアは何ですか?

単純なキーと値の文字列/文字列のペア (ドキュメントや JSON ではなく、文字列のみ) を保存する必要があります。
以下にいくつかの例を示します (何百万もの例があります)。

• 12345678 – abcdefghijklmnopabcdefghijklmnop
• 86358098 – ahijklmnopbcdefgahijklmnopbcdefg
• abcdefghijklmnopabcdefghijklmnop - 12345678
• ahijklmnopbcdefgahijklmnopbcdefg - 86358098

私が試してみました：

• Redis : 非常に高速で、必要なことはすべて実行しますが、RAM の消費量が多すぎます。
• LevelDB : 高速で、RAM に重すぎませんが、単一プロセスのみです。

LevelDB の回避策は multilevel で、 HTTP を介して単一の LevelDB プロセスを公開します。
しかし、もちろんそれには代償が伴います。私は何か速いものが必要です。

次のキー値ストアはありますか。

• Node.js をサポートしているか、それに対するバインディングがあります。
• 文字列/文字列のペアを格納します。
• 複数のプロセスをサポートします。
• 完全にメモリに存在するわけではありません。
• 速いですか？

読むことだけが気になります。高速なマルチプロセス読み取りは必要ですが、書き込みは必要ありません。
LevelDB の現在の速度には満足していますが、単一プロセスであるという事実には満足していません。

追加の詳細：

• 私が話しているのは、8 から 500 文字のキーと値を持つ、約 5000 万のキーと値のペアです。
• コードは通常の Linux サーバーで実行されます。
• メモリ使用量は数ギガバイトに制限する必要があります (4GB で問題ありませんが、8GB も許容されます)。
• 読むことは、書くことよりもはるかに多く起こります。実際、私は書かなくてもできました。
• 速度は何よりも重要です (メモリとマルチプロセスの制約が考慮される場合)。

私はC ++から始めていますが、すでにうまくいきません...

levelDB の小さなテストをコンパイルしようとしています:

g++ コマンドは次のとおりです。

出力：

インクルード フォルダーは、levelDB ヘッダーを含むフォルダーです。

私は LevelDB をローカル プロセスの一部として使用しています。すべてが完了すると、1000 万から 1000 万の JSON エントリが含まれます。

これらを移植可能な形式にする必要があります。理想的には、1 つ以上の csv (または行区切りの json) ファイルとして別の mongodb システムにインポートする必要があります。

node.js で db コンテンツをファイルにストリーミングする簡単なテストを行いました ( node-levelupを使用して、私のマシンでは 1,000 万ペアで約 18.5 分かかりました。かなり遅いようです。

leveldb からの迅速なダンプ/エクスポートに関する提案を探しています。

ローカル処理のストアとして mongodb を使用することを検討しました。これmongoexportははるかに高速であるためですが、書き込みの速度を上げるにはいくつかのシャードが必要になるため、セットアップのオーバーヘッドがはるかに大きくなります。

LevelDB ライブラリと Snap フレームワークを併用しています。私は持っている：

今私のハンドラーではMonadResource IO、データベースを照会するために戻る方法がわかりません:

これにより、次のことがわかります。No instance for (MonadResource IO) arising from a use of 'get'

何か案は？モナド「スタック」を適切に作成する方法について何かが欠けているように感じます。ありがとう