問題タブ [flat-file]

SSISデータインポートウィザードを使用して、タブ区切りのフラットファイル（TSVファイル）からSQLServer2005にデータをアップロードする際に問題が発生しました。SQL Server 2000で同等の手順を使用してもこの問題は発生しませんでした。また、SQL Serverのアップグレードが行われるかなり前から、インポートしようとしているファイルの内部構造が変更されていないことを確認しました。

問題は、数値データ型（smallint、floatなど）の列のすべての空白値が、インポート時にNULLではなく0に変換されることです。これは、これらのデータ全体でAVGを実行すると、誤った出力が得られることを意味します。

TSVファイルにはテキスト修飾子が含まれていませんが、一部のダミーデータで修飾子の使用をテストしても、この問題の解決にはつながりませんでした。

VARCHAR列にインポートすることでNULLを保持することは可能ですが、これは理想からはほど遠いものです。SSISインポート/エクスポートウィザードに、フラットファイルから数値データ型が0ではなくNULLの列に空白の値をインポートするように指示する方法はありますか？

着信 EDI 940 (X12) を c#.net のパイプ区切りのフラット ファイル (|) に変換する際に役立つリンクやアドバイスを探しています。

VS 2008 で、共有フォルダーからフラット ファイルを解析し、レコードを SQL Server db に格納する SSIS パッケージを作成しました。

最近、新しいワークステーションに Windows 7 と VS 2008 をインストールしました。TFS からパッケージをインポートして開くと、エラーが発生します

検証エラー。カタログ フラット ファイルの解析とインポート: MySSISPackage: 接続で指定されたファイル名 "\\shared\flatfile.txt" が無効でした。

フラット ファイル接続マネージャー エディターを開くと、次のようなエラーが表示されます。

有効なファイル名を選択する必要があります

エディター内からファイルを参照して選択することはできますが、このエラーが原因でプロパティを変更したり、[全般] タブから離れたりすることはできません。

パッケージが最初に作成されたラップトップ (Windows XP) に戻ると、エラーは発生しません。両方のワークステーションが同じドメインにあり、同じ資格情報を使用してログインしています。

あるワークステーションからこのエラーが発生し、別のワークステーションでは発生しない理由についてのアイデアはありますか?

更新: 実行中のワークステーションから .dtsx パッケージを取得し、サーバー上の SSIS に読み込むと、実行しようとすると次のエラーが発生します。

エラー: 接続で指定されたファイル名 "\\shared\flatfile.txt" は無効です。

と...

エラー: 接続 "MySSISPackage" の検証に失敗しました。

と...

エラー: ファイル名のプロパティが無効です。ファイル名がデバイスであるか、無効な文字が含まれています。

更新 2 :

a) フラット ファイルをプルしようとしている共有フォルダーは、Unix ボックスの Samba 共有です。

b) 64 ビット プラットフォーム (Windows 7 64 ビット、Vista 64 ビット、Windows Server 2008) で SSIS を使用してファイルにアクセスすると、「有効なファイル名を選択する必要があります」というエラーが表示されます。

c) 32 ビット環境 (Windows XP 32 ビット、Windows Server 2003 32 ビット) から SSIS を使用してファイルにアクセスしても問題ありません。

d) ファイルを Windows サーバーの共有フォルダーに移動すると、64 ビット SSIS がファイルを認識します。

データのフラットファイルをインポートするために、かなり簡単な方法でプログラムから呼び出すことができるコンポーネントを探しているだけです。通常、データは 100,000 ～ 500,000 行で、各行には約 5 ～ 250 文字の長さのテキストの約 200 フィールドが含まれます。データは、CSV、タブ区切りなどです。

予算はありますが、できれば安く済ませたいですよね。

私が作成した Delphi アプリケーションで現在実行されているプロセスがあり、Web アプリケーションで実行される Java プロセスに変換する必要があります。基本的に、州の財務 (レガシー) システムでは、特定の出力でこのファイルが必要です。Delphi では次のようになります。

Java で Format オプションに相当するものはありますか? それとも、テキスト ファイルに保存される TStringList ですか?

情報をありがとう....Java プログラミングをあまりやったことがありません!

レスリー

多くのデータをフラット ファイル (区切りレコードまたは固定長レコード) として受け取ります。ファイルに実際に含まれているものを見つけるのが難しい場合があります。

ファイルを一目瞭然にするために、ファイルのスキーマをファイルの最初または最後に埋め込むための確立された慣行はありますか?

アイデアを得るために、次のようなものを想像してください。

最初に xml を解析し、それを使用してレコードを読み取ります。

私は現在、データ ウェアハウス プログラマーの立場で働いているため、多数のフラット ファイルを ETL プロセスに通す必要があります。もちろん、ファイルをロードする前に、その内容を認識しておく必要があります。問題は、ファイルの大部分が 1 GB を超えており、旧友の「メモ帳」を使用してファイルを開くことができないことです。冗談です。通常は VIM または Notepad++ を使用しますが、ファイルを開くのにまだ時間がかかります。VIM またはその他のエディタを使用して、ファイルの「部分的な」読み取りを実行できますか?

PSファイルを「データサンプル」にするために10行のスクリプトを書くことができることは知っていますが、私が書いたスクリプトよりも、チームメンバーにエディターの機能を使用するよう説得する方が簡単です.

お気づきの点がございましたら、よろしくお願いいたします。

私は、さまざまな言語で機能するようにサイトをアップグレードする作業を行っています。

私の計画は、テキストの段落を複数の言語で保存し、各段落に識別子を付けることです。

例
id=>'1'
brief =>'welcome_paragraph'
en =>'当社のWebサイトへようこそ！'
de =>'Willkommen auf unserer Website！'

要件

• すばやく取得
• いつでもCMS経由で編集
• 新しい言語を簡単に追加できます

では、これをデータベーステーブルに保存するための最良の解決策はありますか？もしそうなら、次のうちどれが最良のテーブル設定です：

1つのテーブル、各言語の列、および各ブリーフの行：

または、2つのテーブル、1つはブリーフ付き、もう1つは翻訳付き：

各ページで、やろうと思っています…。

echo $ page-> translate（$ language、$ brief）;

必要なテキストを引き出すために何度も....これは、次のコマンドでデータベースを呼び出し続けるのに時間がかかります。

各ページに複数回？したがって、これをフラットファイルとして保存するためのより良い方法はありますか？または、大量の翻訳を含む更新時に生成されるPHPファイルですか？

Zend Translateページの例と同じように、 現時点ではZend Translateの使用を検討していません...コストがかかると思いますか？

着信 CSV ファイルをインポートしてデータベース テーブルにダンプする Biztalk プロジェクトがあります。インポートは正常に機能しますが、100 万行以上のファイルから約 200 ～ 300 レコードを保持するだけで済みます。私のオーケストレーションはこれらの行を破棄しますが、問題はインポートしているフラット ファイルがまだ 250 MB であり、通常のフラット ファイル パイプラインを使用して XML に変換すると、処理に数時間かかり、サーバーのメモリが不足することがあります。

カスタム パイプライン自体に関係のない行を破棄させるためにできることはありますか? 各 CSV 行の最初の項目は数少ない文字列の 1 つであり、特定の文字列で始まる行のみを保持したいと考えています。

ご協力いただきありがとうございます。

友人と私は、Web サイトのバックエンドに MySQL を使用するか、フラットファイル データベースを使用するかについて議論していました。私は彼に MySQL を使うように言いました。一方、彼はむしろスピードを求めると言った。ファイルの読み取りは、MySQL に接続するよりもはるかに高速であり、彼が正しかったかどうか疑問に思いました。たとえば、次のようにテーブルごとにフォルダを作成しないのはなぜですか。users/ groups/ posts/フォルダ内には ID ( 1、2、3) で名前が付けられたファイルがあり、データには次のような形式を使用します。username: John\npassword: e2fc714c4727ee9395f324cd2e7f331f\nemail: example@example.com

言い換えれば、フラットファイルに対する MySQL の利点は何ですか?