問題タブ [data-stream]

昇順の整数の入力ストリームがあります。私のタスクは、そのストリームからバランス二分探索木をその場で作成することです。リンク: BBST from a stream of integersを調べて、赤黒木を利用できることを理解しました。問題は、入力データから「ソートされた情報」を使用する、より最適なソリューションを探していることです。

これは私の最初の質問であり、今日この未知の問題に悩まされています。カスタムリストビューコンポーネントを作成し、クライアントからいくつかのメッセージを読み取るための新しいコードを追加するまで、アプリは正常に実行されていました。

MainActivity.java

MyCustomAdapter

content_main.xml

および layout_list_item.xml

私はAndroidが初めてで、このコードの多くは、いくつかのandroid-erの投稿と以前のstackoverflowの回答から参照されています。起動時にアプリがクラッシュする理由を誰かに教えてもらえれば。

編集: エラーを解決しましたが、クライアント アプリの doInBackground() の doInBackground() コードで、クライアントの ASyncTAsk で例外が発生しました。

データ ストリームの 2 次モーメントを推定するために、Python で関数を再作成しようとしています。

ウルマン・ブック「大規模なデータセットのマイニング」で述べられているように、2 番目の瞬間:

m_i の平方和です。これは、ストリーム内の要素の分布がどの程度不均一であるかを測定するため、サプライズ ナンバーと呼ばれることもあります。

m_i 要素は、ストリーム内の一義的な要素です。

たとえば、このおもちゃの問題\データ ストリームがあるとします。

次のように 2 番目のモーメントを計算します。

('a' はデータ ストリームで 5 回、'b' は 4 回など)

すべてのデータ ストリームをメモリに格納することはできないため、次のアルゴリズムを使用して 2 次モーメントを推定できます。

次の式を使用して 2 次モーメントを推定するAlon-Matias-Szegedy アルゴリズム (AMS アルゴリズム) :

ここで、X はランダムに選択されたストリームの一義的な要素であり、X.value はカウンターであり、ストリームを読み取るときに、選択した時点から x 要素の別の発生に遭遇するたびに 1 に加算されます。

n はデータ ストリームの長さを表し、「E」は平均表記です。

前のデータ ストリームの例で、データ ストリームの 13 番目の位置で "a"、8 番目で "d"、3 番目で "c" を選択したとします。「b」は選択していません。

このように選択すると、次のようになります。

AMS アルゴリズムによる推定値は次のとおりです。

これは、以前に計算された 2 番目のモーメントの真の値 (59) にかなり近いものです。

ここでコードに注目して、「真の」2 番目のモーメントを計算するためにこの関数を作成し、vector(1d array) と for によってデータ ストリームをシミュレートします。

および 2 次モーメントの推定値を計算する AMS 関数:

問題は、小さなおもちゃの問題 (上記のようなもの) の評価を計算しようとすると、値がある程度正しいことですが、ベクトルをたとえば 10000 要素に拡張しようとすると、値が真の Second Moment になります。と自尊心はかなり異なります。

問題は、データストリームを生成する方法と、X.element を選択する方法に関連していると思います。

あれは：

ランダム vector\data ストリームの生成用

と

X.element の選択 (上記のコードの AMS 関数で実行)

ランダムな vector\data ストリームの生成について、ベクトルの「可変性」の欠如が問題の原因である可能性があると考えられました (string.ascii_letters は 52 要素しか取得しませんでした)。

配列内の異なる (!) 要素の最長の行をどのように見つけますか?

行列があります。私たちのタスクは、この行列の中で、異なる要素の最も長い行を見つけることです。

たとえば、0 1 2 3 4 1 2 3 カウントする必要があります 0 1 2 3 4 = 5 要素

こんにちは、iOS デバイスで録音されたオーディオを Web サービスにストリーミングするアプリケーションを実装しようとしています。ライブで音声を流してほしい。このために、Audio Queues を使用して実装しました。オーディオを録音できます。AudioInputCallBack が呼び出されますが、データを送信する要求は発生しません。

これについて私を助けてください。ここにサンプルコードを投稿しています

継続的なデータ ストリームがあります。私はリアルタイムでデータに少量の処理を行いたいと思っています (ほとんどの場合、圧縮、最後からいくつかのデータをロールアウトするなど、必要なことは何でも)、データを保存します。おそらく問題ありません。HDF5 ファイル形式は素晴らしいはずです! OOC データ、問題ありません。ピタブル。

今トラブル。時折、データがまだ収集されているように、完全に別のプロセスとして、データ (注文分) を含む時間のかかる計算を実行したいと思います。これには、私が書いているのと同じファイルを読むことが含まれます。

人々はこれをどのように行いますか？

もちろん、あなたが現在書いているファイルを読むのは難しいことですが、過去には、人々がある種の巧妙な解決策、または少なくとも自然な回避策を検討するほど十分に話題になっているようです。

部分的な解決策:

1. HDF5-1.10.0 には SWMR - Single Write, Multiple Read という機能があるようです。これはまさに私が欲しいもののようです。この最新バージョンの Python ラッパーが見つからないか、存在する場合でも、Python が適切なバージョンの hdf5 と対話することができません。ここでのヒントは大歓迎です。Conda パッケージ マネージャーを使用しています。

2. ときどきフラッシュされて大規模なデータベースに追加されるバッファへの書き込みを想像できます。これを行っている間にデータが失われないようにするにはどうすればよいですか?

これも計算コストがかかるように思えますが、おそらくそれを回避することはできません。

3. より少ないデータを収集します。それの何が楽しいの？

Unity3D 内のプロジェクトに取り組んでおり、大量のデータをクライアント コンピューターからマスター/サーバー コンピューターに送信する必要があります。

各クライアント コンピューターには、Kinect センサーが接続されています。Kinect データの一部は、何らかの形でローカライズされたマスター コンピューターに送信される予定です。

私の質問は、これを行う最善の方法は何ですか? 現在、Unity3D 内の C# で RPC ネットワーク プロトコルを使用しています。私は基本的に、クライアントコンピューターでクライアントUnityを実行し、kinectからデータを取得し、バイトに変換して、LAN経由でサーバーに送信します（別のUnityプログラムによって取得されます）。

ただし、1 つのクライアントを使用するだけで 10Mb/s のダウンロード/アップロード速度が使用され、約 30 秒のストリーミングの後、ネットワークが停止したように見え、クライアントを再起動するまでデータの送信を拒否します。

私はネットワーク手順に精通していません。しかし、私は使用するより良い方法があるかどうか疑問に思っていますか?

ノート：

• すべてのクライアントとマスター コンピューターは、実際には同じ部屋にあります (つまり、すべてがローカルです)。

• 私の計算によると、各クライアントは約 10Mb/s を処理する必要があります。お客さんはだいたい6人くらい。合計 60Mb/s のストリームを意味します。ネットワーク ルートを正しく使用する場合、問題にならないのはどれですか? （すべてローカルであるため）。

• ストリームは必ずしも Unity3D 内で発生する必要はありませんが、マスター側で Unity に実際にデータを取得できる限りはそうです。

• データ自体は 1 秒間に約 30 回送信されます (「10Mb/s」が考慮されます)。

ありがとう。

- - アップデート - -

私は何をやっている？

アイデアは、すべてのクライアント (Kinect が接続されている) からマスターに 3D 深度データをストリーミングできるようにすることです。次に、マスターはこのすべてのデータを処理し、すべての Kinect が面している部屋の中心の 3D 表現を (点群を使用して) 構築します。

• これはリアルタイムで行われます (状況によっては、可能な限りリアルタイムで行われます)。

• 私は確かに有線LANを使用しています（すべてギガビットイーサネットを備えた新しいルーターを介して接続します）-すべてローカライズされ、すべて互いに10フィート以内です。

• マスター コンピューターは 2.3 GHz Intel Core i7 であるため、10Mbs のストリームを受信できるはずです。

• 先に述べた「動かなくなった」問題は、私が知る限り、Unity の RPC システムが原因である可能性があります?! :/

• 私は、Kinect データをマスター IP にストリーミングし、Unity がそれを取得する小さな Windows プログラムを書きたいと思っています (どういうわけか - それを達成する方法がわかりません - より論理的に思えますよね?)

ありがとう。

私は自分のコメットアプリケーションにデータをストリーミングしたいとyaws思っています。私はそれを読んで理解しようとしましたが、yaws の例は私にとって少し複雑なようです (私は Erlang を初めて使用します)。ただ頭が回らない…

これはyawsの例です（少し変更しました）：

必要なのは、上記のスクリプトを変換して、次のスクリプトと組み合わせることができるようにすることです。

Whereparse_data(FieldValues, [], [], [], [], [])は、エントリの JSON 文字列を返します。 このスクリプトを組み合わせると、データベースへの新しいエントリを常にチェックし、存在する場合は、comet のようにフェッチする必要があります。

ありがとう、皆さんが楽園に行けますように！