問題タブ [near-real-time]

アプリケーションを「リアルタイム」または「ほぼリアルタイム」、あるいはそれ以外のものとして分類するかどうかを判断するのに問題があります。

ソフトウェアは、ソースから生成されたデータをすぐに受信し、特定のルールに基づいて、特定の条件が満たされたときにアラートを生成します。ルールの基準が満たされているかどうかを確認するために、30秒ごとに最後の30秒のデータをチェックするというアプローチが採用されています。

それはリアルタイムですか？リアルタイムとほぼリアルタイムの定義のしきい値は何ですか？

編集

これは、ビジネス向けのWebでのリアルタイムの定義の複製だと思います。

上記のスレッドがあなたの質問に答えるのに不十分であるかどうかを判断してください。

ほぼリアルタイムのサウンド処理 (フィルタリングなど) を行う iPhone ベースのアプリケーションを実行している可能性があります。始めるのに最適な方法を考えていました。ここで説明されているように、サウンドを録音および処理するためのオーディオ キューを作成しますか?

編集：

私は明確にする必要があります。一般に、信号処理の方法を尋ねているわけではありません。私はその一部を知っており、私のチームの専門家が残りを処理します。iPhoneのサウンドデータへの「低レベル」インターフェースとは何かを尋ねます。

編集2:

私の iPhone 開発は 1 週間か 2 週間延期されたので、今は開発キットにアクセスできません。キットにアクセスできるようになったら、いずれかの回答に正解をマークします。

しばらく前に、ドイツの企業のウェブサイトで一連の興味深いビデオ プレゼンテーションを見つけました。彼らは再生中にビデオ ストリームを変更することを扱いますが、私はこの技術の正確さと滑らかさに感銘を受けました。これらすべてのプレゼンテーションの中で、動的な再生ビデオ内でのテキストのブレンドという点で、非常に魅力的なプレゼンテーションの1 つを考えました。ビデオの再生中にテキスト ボックスに文字列を入力することができ、現実的な正確さで、ビデオで書いたテキストの変換されたバリアントを埋め込むことができます。私の質問は、そのような機能に必要なアルゴリズムの種類を知っている場合、リアルタイムのテキストと画像をビデオストリームにプログラムで埋め込むにはどうすればよいですか? 詳細を調べる必要がある研究論文や図書館はありますか?

PS。ビデオの内容で私を非難しないでください。私が興味を持っているのはプログラミング手法です。ビデオは私が見つけた最良の例です。

次の仮定を考慮してください。

1. フルテキスト検索に Lucene 3.0 を使用することを検討している Java 5.0 Web アプリケーションがあります。
2. 1000K 以上の Lucene ドキュメントがあり、それぞれに 100 語 (平均) が含まれます。
3. 新しいドキュメントは作成直後に検索可能でなければなりません (リアルタイム検索)
4. Lucene ドキュメントには、quality という名前の整数フィールドが頻繁に更新されます。

Lucene 3.0 の準リアルタイム検索のコード例 (単純だが可能な限り完全) はどこにありますか?

頻繁に更新される可能性のあるドキュメント フィールド (品質) のいずれかでソートされたクエリ結果を取得することは可能ですか (既にインデックスが作成されているドキュメントの場合)。このようなドキュメント フィールドの更新は、Lucene インデックスの再構築をトリガーする必要がありますか? そのような再構築のパフォーマンスは何ですか？効率的に行う方法 - 完全なソリューションの例/ドキュメントが必要です。

ただし、この場合、インデックスの再構築が必ずしも必要ではない場合、検索結果を効率的に並べ替えるにはどうすればよいですか? 大量のドキュメント (>50K) を返すクエリが存在する可能性があるため、Lucene から並べ替えられていないドキュメントを取得し、品質フィールドで並べ替えて、最後に並べ替えられたリストをページ分割のためにページに分割するのは効率的ではないと考えています。

Lucene 3.0 は Java 内での最良の選択ですか、それとも他のフレームワーク/ソリューションを検討する必要がありますか? SQL Server自体が提供する全文検索かもしれません（私はPostgreSQL 8.3を使用しています）？

変更可能なピンを使用して Google マップ オーバーレイを作成したいと考えています。これを視覚化する簡単な方法は、ピンの位置が絶えず変化するほぼリアルタイムのオーバーレイを考えることです。

ただし、 ItemizedOverlayでこれを行う安全な方法は考えられないようです。問題は populate の呼び出しにあるようです - size() が一部のマップ スレッドによって呼び出され、その後データが変更された場合、マップ呼び出しが getItem() にアクセスしたときの結果は IndexOutOfBoundsException になる可能性があります。

populate をオーバーロードして super.populate を同期ブロックにラップするよりも良い解決策を考えられる人はいますか?

おそらく、通常のオーバーレイを使用して運が良くなるでしょうか? 項目化されたものはデータを管理するために存在しているようですが、それを使用することで根本的な間違いを犯している可能性がありますか?

助けてくれてありがとう、私の脳は痛いです！

ハミー

バックグラウンド：

OLTP用に大幅に最適化されたPostgreSQL（v8.3）データベースがあります。

半リアルタイムでデータを抽出する必要があります（誰かが半リアルタイムの意味を尋ねる必要があり、答えは合理的に可能な限り頻繁に行われますが、ベンチマークが言うように、私は実用的です15分ごとに期待しています）そしてそれをデータウェアハウスに送ります。

どのくらいのデータ？ピーク時には、OLTP側に到達する1分あたり約80〜100k行を話しますが、オフピーク時には、これは15〜20kに大幅に低下します。最も頻繁に更新される行はそれぞれ最大64バイトですが、さまざまなテーブルなどがあるため、データは非常に多様で、1行あたり最大4000バイトの範囲になります。OLTPは24時間365日アクティブです。

最善の解決策？

私がまとめることができるものから、最も実用的な解決策は次のとおりです。

• TRIGGERを作成して、すべてのDMLアクティビティを回転するCSVログファイルに書き込みます
• 必要な変換を実行します
• ネイティブのDWデータポンプツールを使用して、変換されたCSVをDWに効率的に送ります

なぜこのアプローチ？

• トリガーを使用すると、システム全体ではなく、選択したテーブルをターゲットにすることができます。+出力は構成可能（つまり、CSVに）であり、作成と展開が比較的簡単です。SLONYは同様のアプローチを使用しており、オーバーヘッドは許容範囲内です
• CSVを簡単かつ迅速に変換
• CSVをDWに簡単に送り込む

検討された代替案...。

• ネイティブロギングの使用（http://www.postgresql.org/docs/8.3/static/runtime-config-logging.html）。これに関する問題は、私が必要としていたものに比べて非常に冗長に見え、解析と変換が少し難しいことです。ただし、TRIGGERに比べてオーバーヘッドが少ないと思われるため、より高速になる可能性があります。確かに、システム全体であるため、管理が容易になりますが、ここでも、一部のテーブルは必要ありません（一部は、ログに記録したくないJMSメッセージの永続ストレージに使用されます）
• TalendなどのETLツールを介してデータを直接クエリし、それをDWに送り込む...問題は、これをサポートするためにOLTPスキーマを微調整する必要があり、多くの悪影響があります。
• 微調整/ハッキングされたSLONYの使用-SLONYは、変更のログ記録とスレーブへの移行を適切に行うため、概念フレームワークは存在しますが、提案されたソリューションはより簡単でクリーンに見えます
• WALの使用

誰かがこれを以前にやったことがありますか？あなたの考えを共有したいですか？

上記のスクリプトをブラウザから実行すると、10秒間ロードされ、スクリプトの出力が画面にダンプされます。もちろん、これは正常です。しかし、シェルスクリプトによってSTDOUTに書き込まれたデータをリアルタイムで画面に表示したい場合、それを行う方法はありますか？

オーディオサンプルを11025および22050から44100に変換する必要があります。私は最速で最高のサウンドの変換ルーチンを探しています。外部ルーチンやライブラリを必要とせずに、純粋なJavaで答えを出す必要があります。ソースは、左右のチャネルを表す短い値の配列であり、そのようにインターリーブされています。LRLRLRLR
ガウス変換が最適であると聞きましたが、CPUキラーです。

更新
詳細を追加するために、最高と最速を組み合わせたいと思います。答えは、ほぼリアルタイムのコミュニケーションに適した素晴らしいサウンドのオーディオを提供します。
アップデート2
私はこれのいくつかの短いコード例を探しています、あなたのオーディオの第一人者のためのezポイントでなければなりません

ここで、deltaImportを使用してデータをdbからindexに更新します。しかし、リアルタイム検索またはほぼリアルタイム検索が必要な情報がいくつかあります。これを解決するためにsolrを使用する場合はどうすればよいですか？

結果のリアルタイムのインデックス作成を必要とするサイト ATM を構築しています (1 秒あたり 10,000 ドキュメントではなく、ミリ秒単位の更新を意味します)。私はさまざまな技術を調査し、当初は数十の異なるプラットフォームを思いつきました。控除を使用して、選択肢を約 3 つに絞り込むことができました (ドキュメントの複雑さ、さまざまな種類のサポートなど)。

• ルーセンス
• ザピアン
• スフィンクス

私は当初、それらを使用しているサイトによってこれらのいずれかを選択しようとしましたが、驚いたことに、非常に多くの知名度の高いサイトがこれら 3 つすべてを信頼しています。また、これら 3 つすべてでミリ秒単位の更新が可能であることもわかりました。

私が最初に Sphinx について考えたのは、3 つの中で唯一、ほぼリアルタイムのインデックス作成ではなく完全なリアルタイムのインデックス作成と言って、まだベータ版であることがわかったからです (この技術がリアルタイムのインデックス作成でどれほど信頼できるかはわかりません)。

solr がリアルタイムのインデックス作成を取得すると、スキーマを solr に移動するのが非常に簡単になるため、私は lucene に傾倒しています。

また、私が知っている多くのサイトが Xapian をうまく実装しているため、Xapian に傾倒しています。

これらの技術と、どれが最も適しているかを決定するのに大きな問題があります。

私は、リアルタイムで追加/削除/更新できるインデックスを必要とする数百万、場合によっては数千万のレコードを持つサイトを見ています。

リアルタイム検索プラットフォームを使用した経験を共有して、自分に適したプラットフォームを選択するのに役立つ人はいますか? 私はここにない提案を受け入れます:)。

PS私はMongoDBを使用しているので、SQLのみの検索プラットフォームを投稿しないでください:)。