問題タブ [dataflow]

提案されたBoost::Dataflowライブラリに出くわしました。興味深いアプローチのようで、C++ 用の代替フレームワークが他にあるかどうか、また関連する設計パターンがあるかどうかを知りたいと思っていました。Boost::Dataflow を除外したわけではありません。ドメインと自分のオプションをよりよく理解できるように (または必要に応じて自分でロールバックできるように)、利用可能な代替手段を調べているだけです。

デジタル信号取得システムでは、多くの場合、データは1つのスレッドによってシステム内のオブザーバーにプッシュされます。

Wikipedia / Observer_patternの例：

たとえば、GUIスレッドからのユーザーアクションでデータの流れを停止する必要がある場合は、サブジェクトとオブザーバーの接続を切断し、オブザーバーをまとめて破棄する必要があります。

議論の余地があるかもしれません。データソースを停止し、番兵の値が接続を破棄するのを待つ必要があります。ただし、システムの遅延が大きくなります。

もちろん、データポンピングスレッドがオブザーバーのアドレスを要求したばかりの場合は、破壊されたオブジェクトにメッセージを送信していることに気付く可能性があります。

誰かがこの状況に対抗する「公式の」デザインパターンを作成しましたか？彼らはすべきではありませんか？

Java 用の Dataflow / Concurrent Programming API を探しています。DataRush
があることは知っていますが、無料ではありません。私が特に興味を持っているのは、マルチコア データ処理であり、分散ではなく、MapReduceやHadoopを除外します。 何かご意見は？ ありがとう、ロロ

私の雇用主はスイスの大手通信会社です。パフォーマンス管理、障害管理、構成管理など、さまざまなタスクのデータ転送に使用される多くのシステムがあります。

これらのシステムがどのように相互作用するかを「管理者」（とんがり髪など）に説明するために、データフロー/フォーマット/プロトコルに関する情報を「データベース」（カンマ区切りの説得力）に収集し、Graphviz のコードを生成しました（http: //www.graphviz.org/ ) と Yed ( http://www.yworks.com/en/products_yed_about.html ) を使用して、これらのグラフを視覚化します。

私のDBから生成されたこれらのグラフを表示することは、最初はかなり効果的でした..しかし、新しいシステム/データフローを追加すると、GraphvizとYedの両方がグラフを再レイアウトする原因となります.昨日見たあのグラフを今日のグラフに。

エンタープライズ アプリケーション間のデータ フローをどのように表示/レイアウトしますか?

Pig は、非常に大きなファイルを処理するためのデータフロー プログラミング環境です。Pig の言語は Pig Latin と呼ばれます。

PigLatinの優れたリファレンスマニュアルを知っている人はいますか? 言語のすべての構文とコマンドの説明を含むものを探しています。残念ながら、Pig wiki の wiki ページは壊れています。

> 結果を返す必要があるときに >= 結果を返す SSIS データ フローの条件付き分割変換があります。

最初から...私のSSISパッケージは、パッケージスコープを持つDateTime型の変数User::max_dateに1つのテーブルからmax(date)を格納するSQLタスクを実行します。

次に、パッケージは、条件付きの分割変換を含むデータ フロー タスクの実行に進みますdate > @[User::max_date]。結果セットは常に User::max_date に等しい DateTime 値を持つ単一の行です。つまり、max(date) より新しい日付を持つ行が追加されていない場合、max(date) を含む行を返します。これは予期しない動作です。

さらに、条件付き分割からの他の出力は正しくありません。期待どおりのdate < @[User::max_date]すべての行ではなく、すべての行です。date <= @[User::max_date]

なぜこうなった？

アップデート：

これがどのように起こっているかはわかりましたが、理由はわかりません。 User::max_dateは DateTime を格納しておりdate、データ フロー タスクの値はDT_DBTIMESTAMP. それらを a と比較すると、DATEDIFF(..)ミリ秒以上の差しかありません。

だから私は問題を回避することができますが、なぜこれがこのように実装されるのか分かりません。

コメント?

データフロー プログラミング言語とは なぜそれを使用するのですか？そして、それには何か利点がありますか？

ファイルの最初のレコードだけを読み取る方法、つまりヘッダー情報を読み取って、ファイルの残りを処理するかどうかを決定できる方法はありますか?

分割変換コンポーネントを使用すると、ヘッダー内のキーワードに基づいて、ヘッダー以外のすべての行を無視する式を記述できることを知っています。ファイル内のすべてのレコードを非効率的に読み取るため、そのルートには行きたくありません。

具体的には、最初のレコードが読み取られた後にファイルを閉じてデータフローを終了するために実装できるスクリプト コンポーネント ロジックはありますか?

VB.NETソースコードから直接データフロー図とエンティティ関係図を生成できるツールはありますか？

ブロードキャストを受信して​​ を起動するアプリケーションを開発しました。 これは、リアルタイムで DNS から情報を取得するクエリActivityを実行します。ActivityContentProvider

これをシャッフルして、次の代わりに実行できるようにしたいと思います。

それは行く：

つまり、query()がデータを返さない場合は、 の起動を逃して Activity、ブロードキャスト メッセージを通常どおりに通過させます。

query()がデータを返す場合は、それCursorを に提供してActivity、再度データをクエリする必要がないようにします。

にはActivity、ユーザーが応答する必要がある独自の UI があります。

これは可能ですか？