問題タブ [near-real-time]

Solr 4.0 でリアルタイム検索を有効にしようとしています (つまり、コミットせずに新しいドキュメントを表示できます)。

私は追加しました：

ただし、ドキュメントはコミット (またはソフトコミット) の前には表示されません。どんな助けでも大歓迎です。

• この機能は Solr RA でしか利用できないと思いますが、それを実現する方法についての情報は素晴らしいものになるでしょう。

ありがとう、アヴナー

組織内のさまざまな製品チームへの参照データのソースとして機能する製品があります。データは、クライアントにこのデータへのアクセスを提供するサービスを公開した solr インデックスに格納されています。

ここで、サーバー側で何かが発生したときにクライアントが通知されるように、一種のイベント駆動型メカニズムを提供する必要があります。

これは Oracle coherence などの製品で簡単に実装できることはわかっていますが、solr はこの目的に適した製品ではありません。しかし今では、過去に戻ってソリューションを変更することはできません。

したがって、この要件を達成するために、特定のインデックス内のすべてのドキュメントを返す RESTFul サービスを公開し、クライアント アプリケーションはこの resful サービスにアクセスし続け、特定の反復回数で完全なデータセットを取得します。

これが最善の方法ではないことは承知していますが、このためだけに別のデータストアが必要なかったため、利用できるオプションは限られていました。

このアプローチの改善として、特定の時間枠での solr インデックスへの挿入/更新/削除を返す別のサービスを公開したいと考えています。/companyIndex/itr/15 のようなもので、過去 15 分間に会社のインデックスに対して行われた変更を示します。これは、クライアントが処理するデータ量を削減するのに役立ちます。クライアントがインデックスから完全なデータセットを取得すると、後で増分更新を行うことができます。このようにして、クライアントのデータ セットはマスター データセットと同期されます。多少のラグはまだありますが、それで問題ありません。

solr/lucene 自体を使用してこれを達成する方法はありますか? solr は公開可能な監査証跡を保持していますか?

データ読み込みレイヤーでそのような情報を保持できますが、solr で利用できるものを使用できるかどうかを知りたいですか?

提案/意見はありますか？

(ほぼ) リアルタイムの Web 分析エンジンの設計と実装に取り​​組んでいます。これは、Google アナリティクスやChartBeatに似ています。1 日あたり約 1 億 5000 万のリクエストが予想されます。2.5 GHz (8 コア) CPU と 16 GB の RAM をそれぞれ搭載した 5 ～ 8 台のマシンを利用できます。

この要件に対して、水平方向にスケーラブルなソリューションを検討しています。現在、この目的のためにmongo-hadoopの組み合わせを分析しています。これまでの経験から、分析のためにすべてのデータを 1 つの場所 (1 つのマシン) に保持することは困難であることがわかりました。したがって、データ プロセッサとしての Hadoop とデータ ストレージとしての MongoDB は、私には良い組み合わせのように思えます。

この種のアプリケーションの標準または (言うべきですが) 実証済みのアーキテクチャはありますか? 考慮すべき設計上の考慮事項は何ですか? mongo-hadoop の組み合わせは誰かのために働いていますか?

自動化テストの実行中は、テストを中断してしまうため、テスト コンピューターに接続してログ ファイルをチェックしてテストの進行状況を確認することができません。この方法で hdd をマップしてファイルを確認できますが、sinatra アプリケーションに新しい機能を追加したいと考えています。

アプリケーションはテストを実行し、テスト結果を表示するので、sintra 経由でログ ファイルのリアルタイム ストリームを追加したいと考えています。ログ ファイルは 2MB にもなる可能性があるため、ログ ファイルが更新されるたびにファイル全体を送信するのは得策ではないと思いますが、サーバーとクライアントの通信は 99% LAN 経由でのみ行われます。また、ログ ファイルの最新の最終行を Web ブラウザの上部に表示したいと考えています。

誰かがそれを行う方法を提案できますか?

最後の行として受信した行の番号をsinatraに渡す、定期的に行われるajax呼び出しを考えることができます。そして、sinatra は更新があればそれを返します。

アップデート

• Windows 7 64 ビット
• ルビー 1.9.3p194 (2012-04-20) [i386-mingw32]
• シナトラ (1.3.3)
• sinatra-contrib (1.3.1)
• シナトラリローダー (1.0)

最近WebSocketに出会い、その可能性に圧倒されました。XMPPやWebRTCなど、リアルタイム (およびほぼリアルタイム) の通信プロトコルとテクノロジの完全なリストを検索しましたが、ほぼ完全なリストは見つかりませんでした。ここでリストを組み立てるのを手伝ってください。

更新: Web で利用できるリアルタイム プロトコルを探しています。

「準リアルタイム検索」のようないくつかの機能を使用して、検索システムの速度を向上させ、索引のオープンを高速化したいと考えています。

次のコードのいずれかを使用することの違いと利点を教えてください。

と

最初のケースでは、indexWriter が IndexReader と同じプロセスにある必要はないことに注意してください。

全て。

私は lucene の初心者で、spring-mvc (3.2.5.RELEASE) と lucene(4.6.0) を使用しています。どちらも現在最新バージョンです。NEAR REAL TIME 検索を使用するにはどうすればよいですか?

このコードを書いて、IndexWriter (sington) のインスタンスを取得します

このユーティリティは、静的メソッドで DirectoryReader を取得します。

そして、この Bean を私の spring-mvc コントローラーに注入します。'create' メソッドで、IndexSearcher を作成する前に新しいリーダーを取得しようとしていますが、古いリーダーをどのように処理すればよいですか? 直接閉じることはできますか？他のスレッドがまだ古いリーダーを使用している場合、非常に悪いことが起こりますか?

助言がありますか？ありがとうございました。

ほぼリアルタイムのチャットを備えた Web サイトを開発しようとしています。xmpp または websocket プロトコルを使用して実装できることを知っています。xmpp プロトコルが 1999 年に開発されたことも知っていますが、今日では成熟していると思います。一方、websocket プロトコルは 2011 年に開発されました。

1. xmpp がリアルタイムの会話の処理に優れていた場合、websocket の必要性は何でしたか?
2. 2 つのプロトコルの主な違いは何ですか?
3. そして、いつそれらのいずれかを選択する必要がありますか?

SOLRサジェスターを介してほぼリアルタイムで結果を表示するのに問題がありますが、検索ハンドラーを使用しようとすると、ほぼリアルタイムの検索で適切に機能します。ドキュメントを追加すると、検索ハンドラを介してほぼ相対時間でそのドキュメントを取得できますが、コアをリロードした後でのみ、suggester で同じレコードを使用できます。これはなぜですか? ここにsolr-config.xmlのsuggesterのエントリがあります

これがオートコミットとソフトコミットのエントリです（デフォルト値を使用）

私の会社は、1 つの Windows 分析アプリケーションを開発しました。Azure を使用してリアルタイム分析を提供できるように、この Windows アプリケーションを呼び出す方法を見つけるように依頼されました。

データのソースは、Azure イベント ハブまたは Azure サービス バスなどのいずれかです。このアプリケーションを Azure VM にインストールしましたが、このアプリケーションを呼び出す方法がわかりません。

Azure 関数と Azure ロジック アプリを検索しましたが、何も見つかりませんでした。

誰でもこれで助けてもらえますか？