問題タブ [data-integration]

フラットファイルをデータベースにインポートし、続いてxmlファイルをエクスポートするETLツールを研究しています。

ツールの多くは、アプリケーションで使用するコードの生成をサポートしています。ただし、アプリケーションですでにコードの使用をサポートしているものは見つかりませんでした。私たちのモデルは複雑です（関係、検証、ポリモーフィックな関連付け、コールバックなど）。

既存のコードの再利用を可能にする利用可能なツールは何ですか？または、ETLツールでモデルを再作成（および維持）することに固執していますか？

注：ETLの要件（一括挿入やactiverecord-importではなく）は変換です。200以上の異なるソースから、さまざまな形式、完全性のレベル、および清潔さでデータを受け取ります。また、最も含まれる「設計者」は、変換を定義する技術の少ないユーザーにとってより現実的です。

セマンティック Web は初めてです。1 つのクエリでさまざまなデータ ソースからデータをクエリできるサンプル アプリケーションを実行しようとしています。地域を定義するための dbpedia リソースへの参照を含む小さな rdf ファイルを作成しました。私の質問は、私のファイルに含まれるデータと、遠く離れたリソースの説明にあるその他の情報を取得するにはどうすればよいですか (例: ローカルファイルからの人の名前、都市の総人口 dbpedia-owl :populationTotal (遠い rdf ファイルから)。sparql クエリ言語がよくわかりません。JENA ARQ API を SERVICE キーワードで使用しようとしましたが、問題は解決しません。何か助けてください。

データ統合/ETLプロジェクト用にTalendのOpen Studioを検討していますが、すぐに入力または出力できるフォーマットのリストが見つからないようです。たとえば、ファイル システム I/O、MS Excel、Access、XML、JSON、SAP、さまざまな SQL データベースなどをすぐにサポートできる Pentaho の Kettle と比較しています。Talendに関する同様の情報はどこにありますか?

「すぐに使える」とは、手動で変換を行うために Java プラグインをコーディングする必要がないことを意味します。

変換する CSV があります。データを自分のスキーマに変換するのは少し問題があります。エンド テーブルに locationID があり、CSV では、約 10 列に 1 または NULL があります (それぞれが異なる場所です)。

私の論理は次のとおりです。 column("locationThree") == 1 の場合、locationID を 5 に設定します (たとえば)

SQL でこれを行う方法がわかりません。Pentaho でこれを行うためのツールはありますか、または SQL でこれを行うにはどうすればよいですか?

例えば

そのようなことは可能ですか？

簡単な質問:

JSP ファイル内に記述された Javascript コードに対して、特に JStestDriver を使用して単体テストを行うことは可能ですか?

または、必ず外部の js ファイルに抽出する必要がありますか?

Pentaho データ統合ツールは初めてです。ソース テーブルからターゲット テーブルにデータを移動しようとしています...どちらも SQL Server です。テーブルは同一で、ID 列があります。

多くのオプションを試しましたが...「Indentity insert is set to OFF」というたびにエラーが発生します

"SET identity_insert tblname ON" への SQL ステートメントを実行するためにホップを導入しようとしましたが、まだうまくいきません。

どんな提案でも大歓迎です。

ありがとう。

変換を構成するための最も適切でベストプラクティスに基づく方法は何ですか？

言い換えると、異なるデータソースに接続することで処理を行うケトルに基づく大きなETLソリューションがあると想像してください。これらのデータソースを一元化された場所に保存し、どこかに接続する必要があるたびに各変換で検索するようにします。

SSISにはパッケージ構成がありますが、pentahoで使用できる代替手段は何ですか？

追伸：サードパーティのフレームワークをインストールしたくありません。

ありがとうございました

入力データのテーブルが与えられた場合、同じレコードの兄弟列を記述する「フラグ列」のセットが必要です。

• Microsoft SQLServer2005を使用しています。
• まず、ターゲットテーブルにデータをロードする必要があります。次に、これらのフラグ列に値を配置するためのチェックを実行する必要があります。

たとえば、次のようなおもちゃのテーブルがあるとします。

次に、次のおもちゃのデータがあります（「古い」2005 SQLバージョンのため、すべてのレコードに対してINSERT / VALUESステートメントを繰り返す必要があります）。

ここで、値を内部に配置し、兄弟列とがであるかどうかvalue_x_FLAGを評価する簡単な方法が必要です。value_y_FLAGvalue_xvalue_yNULL

ISNULL()、、、などの関数があることは知っていますが、別の列の値を指定して列を更新しようとしてCOALESCE()いるため、これは当てはまらないと思います。

ステートメントを使用できることは知っていますIF / ELSEが、フラグ変数の同じ「更新」ステートメントですべて一緒に機能するように、多くのブールフラグ（2 ^ n）のすべてのケースを設定するのは非常に複雑です。

どのように対処しますか？

すべてのフラグを設定した後、何らかの方法でテーブルを要約したいと思います。たとえば、COUNTすべてのフラグ変数にを設定したい場合はCOUNT、「色のカテゴリ」を指定します。

おそらく、サポートフラグ変数のセットは必要ありませんが、テーブルをはるかに読みやすくし、SQLコードもはるかに読みやすくするためにそれらを使用したいと思います。ありがとう！

Pentaho のデータ統合製品でサポートされている I/O フォーマットの公式リストがどこにあるのか知りたいです。

私はPDI 4.1で作業しています。変換とジョブを作成しました。データベースからのデータを含む Excel ファイルがあります。私の Excel ファイルの列はname、 、dateでhour、先月のデータを持ってくる必要があります。このようなことはできますか？

前もって感謝します。