問題タブ [datastage]

1 つのデータ セット、1 つの順次ファイル、およびそれらを結合するルックアップ ステージで構成される並列ジョブがあります。

順次ファイルには 15,811 行が含まれます。正常にインポートされます (これはログで確認できます)。

問題はルックアップ ステージにあり、次のエラーがスローされます。

IBM Web サイトや他のフォーラムで読んだように、考えられる解決策はノード数を増やすことです。そこで、APT ファイルを 1 ノードから 6 ノードに変更しました。

それでも、同じエラーが発生し、ジョブが最初の DataSet フォルダーにのみ書き込みを行うことに気付きました (/var/opt/ascential/adm/DataSet1/lookuptable.20140330.spzjazc というファイルがあり、サイズが ~ に達するまで大きくなります) 4GB の場合、ジョブは失敗し、ファイルは削除されます)。

1. ファイルが 1 つしかないため、ジョブは実際には複数のノードで実行されていないと思います。これは正しいです？4 GB の制限を克服できるように、6 つのノードすべてで強制的に実行するにはどうすればよいですか?

2. これに対する他の回避策はありますか？

文字列「TREFFLAGDATAC000000EN」に対して Java を使用して MD5 チェックサム値を生成しようとしていますが、同じ文字列に対して IBM InfoSphere DataStage が異なる MD5 チェックサム値を生成しています。

データステージで指定された同じ MD5 チェックサム値を生成する方法を教えてもらえますか?

Java コードによって生成された md5: 4659dff22b357cd9cc9fe0979603d1ab データ ステージによって生成された md5: fd607ac2a5d19980795c584dff24b899

以下は私のJavaコードです

public static void main(String[] args) throws UnsupportedEncodingException{ String value = "TREFFLAGDATAC000000EN"; String hashCode = DigestUtils.md5Hex(value.getBytes("UTF-8")); System.out.println(hashCode); }

次の文字列を持つ Name という列があります。

文字列を「,」を使用してから「-」で分割し、Product、Brand、Description という 3 つの列に分割したくありません。これに使用できる文字列分割関数が見つかりませんでした。文字列を分割して列に追加するにはどうすればよいですか?

ジョブを実行しようとするたびにジョブをコンパイルする必要がありますか? 仕事で何も変更していませんが、実行しようとするたびにコンパイルを求められます。なぜ必要なのですか？コンパイル中に何が起こっていますか？

1 列と 5 行のシーケンシャル ファイルがあり、それを別の列に転送する必要があります。以下のより詳細な説明：

このようなサンプル出力が必要です

Infosphere Datastage & Quality Stage 8.5 を使用しています。サーバーでのクラッシュ イベントを防ぐために、DB2 ファイル、構成などを含むデータステージ環境全体をバックアップする方法を知る必要があります。書類も一緒に提出してください。

2014-Q2 のように、年と四半期をリストするデータ レコードのラベルを作成したいと考えています。

SQL では、次のような方法でこのタスクを達成できます。

DataStage (v 8.5) のトランスフォーマー ステージで同じ結果を収集しようとしています。

おそらく、Transformer ステージは最適なオプションではありません。現在、派生がエラーを発生させるため、すべての提案を歓迎します。

次のエラーが表示されます:Service Invocation Exeption バージョン 8.7 IBM InfoSphere DataStage and QualityStage Designer を使用しており、サーバー ジョブを使用しています。そこには、1 つのシーケンシャル ファイル、Web サービス、シーケンシャル ファイルがあります。

このエラーの理由は何ですか?

数億行のシーケンシャル ファイル (CSV) 出力を正常に生成するジョブがあります。出力が 100 の個別のシーケンシャル ファイルに書き込まれ、それぞれが 100 万行である例を誰かが提供できますか?

シーケンシャル ファイル ステージはどのようなもので、どのように構成されていますか?

これは最終的に、大きなテキスト ファイルを表示できる特別なテキスト エディターがなくても、QA が個々の出力のいずれかを確認できるようにするためです。

現在、地理的領域で競合 (重複) が発生しているレコードを特定する次の SQL があります。テーブルの内容を説明するために、CTE として以下を提供しました。

入力シーケンシャル ファイル (CSV) ファイルで地域が提供されると、次のようなファイルが得られます。

オーバーラップが存在し、DataStage でクロス結合をエミュレートする方法がわからない場合、ジョブを拒否または失敗させたいと考えています。