問題タブ [dataflow]

または、おそらくロギングデバイスの構成に一貫性がないため、SSISを介してcsvファイルのコレクションをロードする必要があります。このファイルには、列名の最初の行がある場合とない場合があります。それ以外のファイル形式は同じです。

ロギング構成を標準化できる可能性があるので、各ファイルを開いてヘッダー行があるかどうかを判断し、それに応じて異なる方法で処理するスクリプトタスクでプログラミング時間を無駄にしたくありません。

むしろ、Destination.MaxNumberOfErrorsのように、ファイルごとに最大1つのエラー行を許可するものを指定したいと思います（したがって、ファイルの唯一の問題がヘッダーである場合、失敗しません）。ただし、フラットファイルソースエラーは致命的であるため、続行する方法がわかりません。

失敗コードの意味はコンポーネントによって定義されますが、エラーは致命的であり、パイプラインは実行を停止しました。この前に、障害に関する詳細情報を含むエラーメッセージが投稿される場合があります。

私の最善の選択は、今のところ最初のデータ行を単に無視して、より均一な構成が実現できるかどうかを確認することです。もちろん、この戦略が実施されている間は、データセットは無効です。データが非常に大きいため、ETLルーチンは可能な限り効率的である必要があることを付け加えておきます。私の意見では、これは、代替手段がある場合、ファイルの解析または条件付き分割を禁じています。

問題は、この致命的なエラーから続行するようにファイルソースを構成する方法があるかどうかです。

SSISフラットファイルの宛先を使用しようとしていますが、出力ファイルに同じ名前の2つの列を含めるための回避策を思い付くことができません。

出力ファイルに列ヘッダーを含める必要があります。

ソースデータをマップしようとすると、「この列名は既に存在します」や「「email」という名前のデータソース列が複数あります」などのエラーメッセージが表示されます。

最善の回避策は何ですか？

ありがとう

SSIS で、Web サービスからのデータを使用して csv ファイルを作成しようとしています。

制御フローで、出力をユーザー変数に保存する Web サービス タスクを作成しました。

Web サービス タスクが完了すると、データ フロー タスクが開始されます。

データ フロー タスクには単一の XML ソースがあり、データ アクセス モードは "変数からの XML データ" に設定され、(おそらく) Web サービスからの XML データを持つ変数を指します。

DFT の前後にブレークポイントを設定すると、その変数が期待どおりの XML テキストに設定されていることが証明されます。

たとえば、XML は次のようになります (機密情報を保護するために名前が変更されています)。

そのデータ フロー タスクは、単純にフラット ファイルの宛先 (csv ファイル) に処理されます。フラット ファイルの列は、XML の値にマップされます。

ただし、これを実行すると、列名のみが取得され、データは取得されません。

同じ Web サービスを使用して別の Web サービス タスクを実行し、その出力を直接ファイルに入れることで、Web サービス タスクが期待どおりの結果を返すことを確認しました。

私の問題は次のとおりです。他のプロパティから派生したプロパティを持つ python クラスがいくつかあります。これらは計算後にキャッシュする必要があり、基本プロパティが変更されるたびにキャッシュされた結果を無効にする必要があります。

手動でもできますが、物件数が増えるとなかなか維持が難しそうです。そのため、再計算が必要なものを自動的に追跡するために、オブジェクト内にMakefileルールのようなものを用意したいと考えています。

望ましい構文と動作は次のようになります。

それで、このようなものはすでに利用可能ですか、それとも独自の実装を開始する必要がありますか? 2 番目のケースでは、提案を歓迎します :-)

ビッグデータセットの結果を準備するアルゴリズムを書きたいです。各データセットが変更されると、影響を受けるすべての出力が段階的に更新されます。

それは :インクリメンタル コンピューティングと呼ばれます。

このアプローチをサポートするプログラミングツール、ライブラリ、コンパイラ、プログラム分析などはありますか?

PSインクリメンタルコンピューティングは、アルゴリズムを適切に構築して「手作業で」実装することで簡単に実現できることを知っています。データフローの依存関係をより自動化するために、そのようなアプローチをサポートするツール (プログラム アナライザー、コンパイラー、ライブラリーなど) があるかどうかは疑問です。

次の形式のコードがあります。

コンパイラは次のように述べています。

興味深いことに、ループに次の変更を加えるとうまくいきます!

• ループの内容を次のように変更しますA u = null
• ループを削除します (ただし、保持しますfinal A u = null;)
• foreach スタイルのループを従来のカウント ループに置き換える

ここで何が起こっているのですか？

注：エラーを引き起こす最小限の例を取得できなかったため、「環境」（約1400 loc）に問題がある可能性があります。tただし、t他のどこにも書かれていないように、の初期化を妨げる可能性のあるものはわかりません。

楽しい事実: IntelliJ IDEA は、「変数 'u' は 'final' 修飾子を持つことができます...」と表示します。

javac 1.6.0_26 を使用しています。

更新：ほら、この例はとても最小限です：

でのコンパイルに失敗しますがjavac 1.6.0_26、でコンパイルされjavac 1.7.0_02ます。それで、私はいくつかの邪悪なコーナーケースに遭遇したと思います...何か？

のいずれかを実行できることに注意してください。

• いずれかのメンバーを削除する
• finalループ内を削除A()
• forループを通常のループに置き換えます。for ( int i=0; i<100; i++ ) { ... }

そしてそれはコンパイルされます。

文字列「helloworld」を進化させる単純な遺伝的アルゴリズムを作成しました。二回書きました。最初はクラスを使って書かれました。そして 2 回目は、データ フロー パラダイムを模倣するために、遺伝的世界の状態全体が 1 つの関数から次の関数に渡される関数のみを使用して記述されました。驚くべきことに、コードは両方の実装でうまく機能しました。しかし、バグをひとつひとつ丁寧に取り除くという、かなりの骨の折れる作業を経てやっと動くようになりました。

そして、私は自問しました..もっと良い方法があるはずです。クラスを使用してコードを記述することは、単純な関数を使用して同じコードを記述するよりも比較的困難でした。同じコードを視覚的に記述すると、たとえば labview などを使用して単純な関数のみを使用して記述するよりもはるかに簡単になると思います。

その範囲で、私はデータ フロー プログラミングとビジュアル プログラミングについて読みましたが、率直に言って、ほとんどのプログラミング言語が可能にするステートメント単位の方法よりも、視覚的でデータ指向の方法でプログラミングする方が自然で直感的であるように思えます。今日すること。私の質問は..もしそうなら、なぜ「labview」のようなデータフロー、ビジュアルプログラミングが標準にならないのですか?

追加された数百の製品があります。私が今探しているのは、製品の画像をインポートすることです。

DataFlow を使用してエクスポートした CSV には、 forimageとsmall_image次thubmbnailのものがあります。

/IMAGE_NAME.jpgIMAGE_NAMESKU はどこですか。

DataFlow インポートを実行すると、各画像について得られるのは次のとおりです。

Image does not exist.

に画像をアップロードしました/media/import and /media/catalog/product/import

誰もこれを見たことがありますか？修正できましたか？

私はMagento v1.6.1を使用しています

Dataflow CTPの使用（TPL内）

タイムアウト後に、現在キューに入れられている、または延期されているアイテムの数がBatchSize未満の場合、BatchBlock.TriggerBatchを自動的に呼び出す方法はありますか？

さらに良いことに、このタイムアウトは、ブロックが新しいアイテムを受信するたびに0にリセットする必要があります。

私は特に、信号処理アルゴリズムをどちらか一方、または両方の組み合わせで作成することを検討しています。

パフォーマンスは大きな問題ではありません。意図を明確に表現することがより重要です。

次の「ブロック」を実装して構成することを検討しています。

• フィルタ（FIRとIIRの両方）
• 位相検出器
• インテグレーター
• ミキサー
• 関数発生器
• PLL（上記をビルディングブロックとして使用）

Rxは「Linq-to-streams」と見なすことができ、TPLは並行性を抽象化したものであることがわかりました。また、Rxは内部でTPLを使用して非同期ビットを管理し、TPLデータフローはTPLに構成可能性を追加します。

したがって、両方とも非同期であり、両方とも構成可能であり、両方とも非常に高レベルです（Rx moreso）。一般的に、そして上記の信号処理項目の両方で、それぞれをどこで使用する必要がありますか？