問題タブ [stream-processing]

WebGL を使用して、1 つのデータ レコードを以前は不明な数のレコードに処理できるスキームはありますか?

たとえば、OpenGL を使用すると、ジオメトリ プログラムを使用して、属性に応じて頂点を乗算し、未知の長さのデータを出力できます。

同様の方法で WebGL を使用するためのトリックはありますか、またはこれは JavaScript 側でのみ可能ですか?

JSR-353 ( https://jsonp.java.net/index.html ) を使用して、json ファイルを開き、ルート配列にいくつかのオブジェクトを追加したいと思います。

私はこのようなコードを希望します:

そして最後に取得します：

注：データを追加するために完全なjsonをメモリ内にロードする必要はありません。

Amazon クラウドでアプリケーションの分散タイミング イベントを生成する問題を解決しようとしています。

サーバーがメッセージを受け取ります。その結果、システムは X 分以内に何かをしなければなりません。私の問題は、システムがピーク時に毎秒数百万のメッセージを潜在的に処理する必要があることです。また、その時間間隔中に、メッセージを受け取ったサーバーがクラッシュする可能性があります。そのため、メッセージを受信し、数分後に保証付きで別のメッセージを送信できる分散ソリューションを探しています。

シャード システムを自分で設計することもできましたが、分散型ストリーミング フレームワークでこれが簡単にできることを期待していました。しかし、これまでに見つけたのは、トランザクションをすぐに完了するものです。

私は、Haskell と関数型言語全般で多くの作業を行った後、C++ を学んでおり、常に同じ問題を解決しようとしていることがわかりました。

• 入力ストリームからデータを読み取る
• 特定のアルゴリズムに基づいてそれらをトークン化する
• トークンを処理する

これが Haskell の場合、すべてが怠惰であるという事実を単純に利用して、考えながら変換を記述すれば、ダウンストリームが消費されるときに適用されます。この正確なパターンを実行するライブラリさえあります (コンジットおよびパイプ)。

1 2 3 4 5 6 ...シーケンスと出力を取得したいとしましょう12 34 56 ...。ストリーム上で動作し、その場でデータを処理するアドホック コードの書き方がわかります。しかし、別のストリームからデータを (考えられる方法で) 変換することにより、新しいストリームを構築できる抽象化メカニズムがあるかどうかを知りたいです。この抽象化により、単一の要素を新しい値に単純にマッピングするだけでなく、処理中にデータをバッファリングできるようになります。

制限事項は次のとおりです。

• stdlib 以外のライブラリは使用できません。
• C++03 で動作する必要があります (C++11 の機能がないことを意味します)。

と思ったら、これは宿題ですか？そうですね、データのストリームを操作する必要がある多くのクラス割り当てを取得しています (これが、ライブラリと C++03 の制限がない理由です)。ループを使用してこれを行う方法がわからないわけではありませんがwhile、stl に既存のストリーム抽象化が存在するかどうかを知りたいのですが、発見されて使用されるのを待っています。

しかし、これを行う唯一の方法が C++11 を使用することである場合は、知りたいです。

私は、activemq 5.9 と spring xd 1.1 を使用しています。activemq トピックをサブスクライブしたい。だから、私はjmsソースを使用しています。Activemq は、*、> などのワイルドカードをサポートしています。> は、この名前から始まる任意の宛先に再帰的に一致させるために使用されます。このワイルドカードを使用して、次のように jms ソースをサブスクライブしようとしています:
stream create --name streamname --definition "jms --clientId=1 --destination=springin.> --durableSubscription=true --pubSub=true --subscriptionName=streamName | null"

エラー :コマンドが失敗しました org.springframework.xd.rest.client.impl.SpringXDException: XD133E:(pos 42): 'queue' または 'topic' のチャネル プレフィックスが必要ですが、'--' jms --clientId=1 -- が見つかりましたdestination=springin.> --durableSubscription=true --pubSub=true --subscriptionName=streamName | ヌル

しかし、私がこのようなことをしようとしているとき:
stream create --name streamname --definition "jms --clientId=3 --destination=springin.*.tp1 --durableSubscription=true --pubSub=true --subscriptionName=streamName | null"
ストリームが作成されています。

したがって、'*' はサポートされていますが、'>' は機能しません。この「>」ワイルドカードを使用したい。これに対する回避策はありますか?

を使用してjsonStreamに変換しているxmlStreamがありorg.apache.wink.json4j.utils.XMLます。ここにコードがあります

XML.toJson が例外をスローすると、メイン スレッドが終了しないことがわかります。どうすればこれを処理できますか? これは、XMLストリームをJsonストリームに変換してさらに処理する良い方法だと思いますか? 提案があれば本当に感謝します。どうもありがとう！

Streamparse を使用して Python で単純な Storm トポロジを記述しようとしています。私が書いた単純な Kafka スパウトを除いて、すべてが機能しています。「next_tuple」を継続的に呼び出しているようです。私のボルトはかなり遅いので、システムはメモリ内で非常に急速に爆発するようです.

トポロジを起動し、トポロジに多くのメッセージが追加されないように、topology.max.spout.pending を 1 に設定しようとしました。

ただし、ボルトがはるかに遅いにもかかわらず、結果は依然として次のとおりです。

私の単純なカフカスパウト:

私のボルトにはデフォルトの構成しかありませんが、process() メソッドを完了するのにかなりの時間がかかります。それらがどのように問題になるかはわかりませんが、関連性がある場合は投稿できます。