問題タブ [data-integration]

複数のデータ バックエンド (できれば Java およびオブジェクトに基づく) でビューを定義できる (無料の) ツールまたはフレームワークはありますか?

たとえば、2 つのデータベースがあります。1 つのデータベースはテーブルまたはクラス (あまり重要ではありません) を提供し、PersonX(name, address) を提供し、もう 1 つのデータベースは PersonY(name, dateOfBirth) を提供します。

次に、それらを結合するビューを作成したいと思いますPerson(name, address, dateOfBirth)(疑似コード):

しかし、私はビューだけが欲しいのではなく、変更をソースに委譲する必要があるビューで更新を実行できるようにしたいと考えています。ここでのこの "Couple" キーワードは、フィールド Persion.name の更新を両方の基になるソースに委任する必要があることを意味する必要があります。

したがって、データ統合について私が見たことから、それは何らかのビューを作成することがすべてであるため、私の質問はそれに関連していますが、そのトピックに関する経験はあまりありません.

それについての助けをいただければ幸いです-thx :)

WHERE句の関連データがLinkedOpenDataクラウドにあるという基準に基づいて、ローカルのHibernate管理対象データストアに永続オブジェクトを照会する必要があります。

HibernateセッションをRDFとして読み取る方法はありますか？その場合、少なくとも結合されたデータセットを使用して、Hibernateから取得するオブジェクトを決定できます。

できれば、このソリューションは、私が精通しているように、Hibernateセッションをイエナの内部として公開することをお勧めします。さらに、検索のためにRDFS推論とSPARQLのサポートが必要になります。

多くのデータをフラット ファイル (区切りレコードまたは固定長レコード) として受け取ります。ファイルに実際に含まれているものを見つけるのが難しい場合があります。

ファイルを一目瞭然にするために、ファイルのスキーマをファイルの最初または最後に埋め込むための確立された慣行はありますか?

アイデアを得るために、次のようなものを想像してください。

最初に xml を解析し、それを使用してレコードを読み取ります。

私の 4 人の開発チームは、しばらく前からこの問題に直面しています。

場合によっては、同じデータ セットを処理する必要があります。そのため、ローカル コンピューターで開発を行っている間、開発データベースはリモートで接続されています。

ただし、他の開発者のデータを踏む操作をデータベースで実行する必要がある場合があります。つまり、関連付けを解除します。これには、ローカル データベースが適しています。

このジレンマを回避するためのベスト プラクティスはありますか? 「データの SCM」ツールのようなものはありますか?

奇妙なことに、SQL の挿入/削除/更新クエリのテキスト ファイルを git リポジトリに保持すると便利ですが、これはすぐに非常に遅くなる可能性があると思います。

皆さんはこれにどのように対処しますか？

短縮版：

複数のチームがあり、それぞれが複数のアプリを開発しています。彼らはいくつかのデータを共有する必要があります。これらのアプリを1つの大きなアプリに組み合わせてデータ統合を簡素化する必要がありますか、それともアプリを分離してデータ交換/キャッシュメカニズムを利用する必要がありますか？

長いバージョン：

それぞれが一連のアプリケーションに取り組んでいる多くのチームがあります。これらのアプリケーションの多くは、データを共有する必要があります。1つのオプションは、非同期メッセージングを使用して、すべての書き込みが発生する1つの記録システムを作成し、そのデータを必要とする他のシステムにブロードキャストすることです。これらのシステムは、必要なデータのビットを（データベース内の）読み取り専用キャッシュに格納します。

このレイアウトの利点は、1つのシステムが他のシステムに影響を与えることなく爆発できることです。また、個々のチームが個々のアプリケーションで作業するのも簡単になります。これにより、リリースのスケジューリングが容易になり、ナビゲートするコードベースが小さくなります。

もう1つのオプションは、これらのアプリが共有するデータが多すぎること、およびメッセージング/キャッシュによるオーバーヘッドが高すぎることを判断することです。この場合、これら3つのアプリケーションを1つの大きなアプリにマージすることを決定できます。次に、統合をアプリの個々のモジュールのサービス/トランザクションレイヤーに移動するため、データ統合の問題を完全に排除できます。言い換えると、MyGiantAppは、他のモジュールのトランザクションサービスAPIを介して相互に通信するさまざまなモジュール（jar、アプリコンテキストなど）に分割できます。私たちの場合、Springをサービスバスのように使用し、Webサービスや非同期メッセージングの代わりにメソッド呼び出しを使用します。

この2番目のオプションはデータ統合を簡素化しますが、開発を複雑にします。Xチームは同じコードベースで作業する必要があります。これは、ブランチ、継続的インテグレーション、個別のライブラリ/コンテキストなどを使用することでいくらか緩和できますが、結局のところ、それは私たち全員が構築している1つの嘆かわしいアーティファクトです。また、1つのチームのミスがアプリ全体に広がりやすくなりました。ヒープを吹き飛ばす1つのアプリは、すべてを停止させる可能性があります。

ソリューション＃1をいつ使用するか、ソリューション＃2をいつ使用するかをどのように決定しますか？

まず、データ統合を定義しましょう。「さまざまなソースからのデータを結合し、ユーザーに統一されたビューを提示する」私は、データ ソースを、テーブル、ファイルなどを含むデータベースとして解釈します。私の質問: 機能レベルで追加の対話が必要な場合、それを何と呼びますか?

例: たとえば、最初に国コードを提供する必要がある Web サービスを考えてみましょう。その後、天気の結果が返されます。この場合、天気予報の属性が必要です。

同じテーブル内に非常によく似た行を持つデータベースがあります。これらの行は、列の値がほぼ等しいため、類似しています。これらの対応する行を1つの行に統合する必要があります。

たとえば、これら2つのユーザー（u1とu2）を統合する必要があります。

私はいくつかの編集距離とステミングテクニックを使用することを考えています。他のアルゴリズムとテクニックの提案？使用するのに役立つライブラリはありますか（できればPythonまたはJavaで）？

MSSQL と MYSQL を統合するための SSIS パッケージを作成しようとしています。私は入札や SSIS を使用した経験がなく、ここの指示に従っています。

OLE DB Source、Lookup、Conditional Split、OLE DB Destination、および OLE DB Command コンポーネントをデータ フローに追加し、条件付き分割コンポーネントまでの接続マネージャーと列マッピングを構成しました。

ここから、私は2つの問題に直面しています -

1) OLE DB 変換先を構成した後、コンポーネントに というエラー シンボルが表示されますcould not convert between unicode and non unicode string datatypes。これを解決するために、Conditional Split と Destination の間に Data Conversion Component を挿入して、問題のある列用に構成しようとしました。しかし、それは役に立たないようです

2) OLE DB コマンドの構成中に、[列マッピング] タブの右側の列に列が表示されません。疑問符付きの Sql コマンドを追加したので、間違っていなければ、「Param_0」、「Param_1」などの名前の列を表示する必要があると思います。入力および出力プロパティタブから手動で追加しようとしましたが、警告が表示されます。external columns for OLE DB command are out of sync with data source

ここで何が欠けていますか?

ありがとう

バックグラウンド：

私は誰かに私の仕事をさせようとしているのではないと言って、これを前置きする必要があります。目標を達成するための方法が複数あるというちょっとした岐路に立っているような気がしますが、どれが「標準」であるか、および/または私の比較的限られた知識が不足しているかどうかはわかりません。

私は6か月間進化しているシステムを持っており、1月11日以降、DBスキーマはかなり安定しています。（毎月の会計サイクルに対応するために毎月のデータベースを作成するのに大きな間違いを犯したかどうかはわかりませんでしたが、それ以外の方法で行うノウハウがありませんでした）

今：

上司から、すべての月次データベースのレコードで構成される年次レポートを作成するように依頼されています。

私が始めたこと：

メタデータスキーマをまとめて、ETL操作を実行するアプリケーションを作成するのに十分な情報を入力しました。

外観は次のとおりです。

問題：

これが合理的/通常の方法であるかどうかはわかりません。一つのことを始めるのに十分な時間はありますが、どの道を進むべきかを自分で理解することはできません。

質問：説明したように、広告申込情報データを取得して複数のデータベースに集約する必要がある場合、カスタムETLソリューションを駆動するメタデータテーブルを定義する代わりの方法はありますか？（私の目的では、C＃アプリとSSISプロジェクトは同等ですが、ここでAnalysisServicesまたはReportingServicesを使用できるかどうかを知りたいと思います）

2 つの企業が合併した後、エンタープライズ統合に最適なツールは次のうちどれですか? - Camel と XAware のどちらですか? - または異なるニーズに合わせて両方?

XAware はデータ統合に重点を置いており、Camel は統合のより広い視野 (ワークフロー、ルーティングなどを含む) と重複しているようです。

あなたのコメント？

そのような状況における各製品の長所と短所は何ですか?