問題タブ [data-integration]

認証済みサーバーから別の Windows サーバーにファイルをコピーするファイルのコピー手順を使用するジョブがあります。ローカルからジョブを実行すると正常に動作するように見えますが、ジョブをサーバーに配置して実行すると、エラーがスローされます。

サーバーに配置されたときにジョブを実行する方法についてのアイデアはありますか?

前もって感謝します。

1 つのメイン オフィスにリンクされているいくつかのオフィスの予測値があるという要件があります。たとえば、office 1、office 2、office 3 は mainoffice にリンクされています。予測値は 1 か月全体のものです。ここで、リンク オフィスに基づいて mainoffice の需要を作成する数式を使用する必要があります。

今月の本店必要アウトプット - ((officetotal1+officetotal2+officetotal3)/30)*5

この同じ値は、月の 3 つのバケットの形式で入力する必要があります。つまり、1 日、11 日、21 日です。

オフィス mainoffice のマッピング ------ --------- office1 mainoffice1/n

office2 mainoffice1/n

office3 mainoffice2/n

テーブル入力を使用して、データベース内のテーブルから行データを選択するための単純な変換を作成しました。

私はテーブル入力がすべての結果を一度に返すことを知っています。しかし、私がする必要があるのは、行ごとに結果を取得してプロセスを続行し、次の行に戻ることです。

アイデアはありますか？

ETL ツール (Talend) を使用してデータ統合プロセスを作成しようとしています。

私が直面している課題は、さまざまなソース (さまざまな形式) から単一の形式にデータを取り込もうとするときです。

ソースの列名と構造 (順序、データ型など) が異なる場合があります。つまり、メタデータが異なります。私が見る限り、それは非常に一般的なケースです。ただし、このツールは動的マッピング機能を提供しないため、これを処理できません。

そのようなシナリオを処理するための最良のアプローチは何ですか?

Talend (ETL ツール) でジョブを設計しています。受信データには、異なる順序で列が含まれる場合があります。

どうすればこれを処理できますか? それらを静的ターゲットにマップしたい（これにはtMapを使用しています）。また、列の数に注意する必要があります（予想よりも少ないか多い場合があります）

次のように、タイムスタンプが異なる列があります。

5771.10.04 16:07:23.800913000

0967.06.17 06:20:28.800906000

3857.06.18 03:49:03.800906000

01.04.29 16:45:04.400909000

次のように、これらを小数に変換する必要があります (数百万行の結合に使用します)。

57711004160723800913

9670617062028800906

38570618034903800906

10429164504400909

そして、私はこの関数を使用してこれを行います:

cast( substr(to_char($timestamp,'YYYYMMDDHH24MISSFF'),1,20), 'decimal(20,0)');

問題は、YYYY 変換が行われる年が 2 桁しかない最後のタイムスタンプです。01 を 0001 に変換する必要がありますが、代わりに 2001 に変換されます。

これを迅速/非集中的な方法で解決する方法はありますか?

Tl;dr BODS で 01 年を 2001 年ではなく 0001 年に変換する必要があります。

Windows 8システムのUbuntu 14.04 VMでHadoop 2.4を正常に構成しました。Hadoop のインストールは問題なく動作しており、Windows ブラウザから Namenode を表示することもできます。以下の添付画像：

したがって、私のホスト名は : ubuntu および hdfs ポート : 9000 です (間違っている場合は修正してください)。

Core-site.xml :

問題は、Pentaho データ統合ツールから HDFS に接続しているときに発生します。以下の添付画像。 PDI バージョン: 4.4.0 使用する手順: Hadoop コピー ファイル

PDI を使用して HDFS に接続する方法を教えてください。これにはjarをインストールまたは更新する必要がありますか?? さらに情報が必要な場合はお知らせください。