問題タブ [data-import]

txt ファイルがあり、次の設定で完全に Excel にインポートできます。

タイプ:区切られた

区切り文字: TAB

テキスト修飾子:なし

入力ファイルを String[] 配列に読み込み、その String[] 配列を分割して DataTable にロードしようとしました。

しかし、文字列を分割するときにタブをどのように表現しますか? これは可能ですか？

TAB 区切りの txt ファイルを DataTable にインポートするにはどうすればよいですか? コンマで区切られていれば、コードは機能すると思いますが、タブを表す方法の手がかりはありませんか?...

これを行う方法を示すアイデアやコード サンプルはありますか?

どんな助けでも大歓迎です。

ダン

400 万行のデータを読み込むのに約 4 日かかりますが、ストアド プロシージャは 1 行あたり約 500 ミリ秒かかるようです。そのため、一時的に 2 台のコンピューターを再利用することをお勧めします。各マシンは、大量のメモリーを備えた 4 cpu、2 コア/cpu のコンピューターです。

データのロード方法については、競合する 2 つのアイデアがあります。

1. インポート コンピューターでは、VM を使用して維持するため、4 コアの使用に制限されます。
2. ロード用の VM を捨てて、ロード用に 8 つのコアすべてを使用します。

データベースは VM ではなく、実際のコンピューター上にあります。

VM を使用するとパフォーマンスにかなりの影響があることを示すのに一苦労しますが、それは単なる直感です。それを証明する必要があるので、より小さなデータセットでテスト ロードを行うことを提案します。12G 程度のデータをロードするのではなく、おそらく 6G だけをロードして数値を取得します。

しかし、これは 1 回しかないので、両方の環境で使用できるスレッドの数を合理的に推測したいと思います。

データベース トランザクションにはスレッドの待機時間がかなりかかるため、私の推測では 4 スレッド/コアですが、VM 上のスレッドが多すぎるかどうかはわかりません。提案するスレッドの妥当な数を判断する方法がわかりません。

制限要因は、データをロードするプログラムを持つコンピューターではなく、実際にはデータベース コンピューターである可能性があり、32 の同時データベース接続は 8 コア マシンには多すぎる可能性があります。

では、両方の環境でコアあたり 4 スレッドという私の推測は妥当でしょうか?

コンピューターの OS は Windows Server 2008 R2 で、VM は Hyper-V を使用します。

アップデート：

念のため、並列フレームワークを使用して .NET 4 を使用しているため、構成ファイルで変更して同時スレッドの数を調整し、PLINQ を多用しています。

更新 2:

私は今日、物事をスピードアップするためのアイデアを思いつきました。ベンチマークには 1 つの 4 コア VM を使用しますが、コンピューターには 48G RAM があり、データベースは完全にメモリ内にあるため、SQL Server は 24G 仮想ドライブ (RAM ドライブ) を使用します。 . このようにして、フィーダープログラムと同じくらい速く複数のスレッドでフィードできるはずです。それが十分に高速でない場合は、12 個のコアすべてを使用してフィードしますが、必要ないと予想されます。したがって、すべてのデータを 1 か月ほどではなく 1 日でロードできるようになることを願っていますが、ベンチマークを取得したら、全員にお知らせします。VM を使用することによるペナルティがあるかどうかを確認するために、小さなデスクトップを使用してフィードすることを検討するかもしれませんが、このボックスには VM が 1 つしかないため、8 コアは使用されません。Hyper-V ボックスの OS は Windows Core です。

チュートリアルを実行する目的で、米国政府統計のスプレッドシートを mysql テーブルにインポートしました。

ただし、米国政府は書式設定を変更して、数値の一部を引用符で囲み、文字列に変換したようです。

たとえば、これは、ダウンロードしたはずのタブ区切りデータの形式です。

CN010010 01 001 「アラバマ州オートーガ郡」 2005 23831 23061 770 3.2

ただし、次のようになります: CN010010 01 001 "Autauga County, AL" 2005 "23,831 " "23,061 " 770 3.2

その結果、整数としてインポートしたいデータの 2 つのキー列 (23831 ビットと 23061 ビット) が 0 として登録されます。おそらく、データ型を満たしていないためです。

現在および将来、この問題を解決するための最善の解決策は何ですか?

前もって感謝します。

Excel シートにデータがあります。Excel のすべてのデータを sqlite3 にインポートしたいのは大きなデータです。このデータを iPhone に使用しています。

ありがとう

FreeTDSはSQLServer2008 R2をサポートしていますか？SQLサーバーからcentosマシンにデータをインポートするための他の優れたツールはありますか？

データ ウィンドウからデータをエクスポートしようとしていますが、特定の列の基準に従って、そのデータを 1 つの Excel ファイルの異なるスプレッドシートに入れたいと考えています。たとえば、Name 列の名前が John の場合、その行のデータは sheet1 にある必要があり、Name が David の場合、sheet2 にある必要があります。

これを行う方法はありますか？

C#でXMLファイルにアクセスするには? そのxmlファイルのノード数を数える方法は? そのxmlファイルのすべてのノードにアクセスするにはどうすればよいですか?

2 つの xml ファイルがあり、そのうちの 1 つはこのコードを持つ dev.xml です。

2 番目のファイルは、guj.xml です (構造は非常に似ています)。

これを文字マッピングの 2 次元配列に変換する必要があります。

データをインポートするために、プリンター制御言語 (PCL) を含む古いメインフレーム テキスト ファイルをスクレイピングする必要があります。メインフレームの機能を変更することはできません。印刷物には製品販売情報が含まれており、階層的な出力があります。

私の希望は、Sql Server Integration Service インポート (SSIS) をセットアップすることです。最終的に、これは SQL 2005 データベースを使用したデータ インポート ASP.NET MVC 3 Web サイトになるため、SSIS を回避できます。私は現在、C# ASP.NET MVC 3 Web サイトを構築しているため、関連するテクノロジを使用することは管理しやすいはずです。

C# または SSIS でテキスト パターン (正規表現など) を使用して、テキスト レポートを解析して有用なデータ インポートに戻すことに成功した人はいますか? 状態の設計パターンを使用した例はありますか?

これらの回答の多くは、回答のごく一部を示しています。テキスト ファイルをロードして C# で n 番目の列を取得する方法です。これはより複雑です。現在のインポート状態に基づいたパターンで各ライン タイプを識別する必要があります。既製のソフトウェアはさらに優れています。

テキスト ファイルの例:

前のメッセージ で テーブルを列名でマトリックスに変換

csv テーブルまたは R のテーブルに同じアプローチを使用したいのですが、最初のコマンド ラインを変更する方法を教えていただけませんか?

data.csv ファイルに以下を使用する必要がありますか

xyzという名前のRテーブルに次を使用する必要がありますか

キャストコマンドを使用するには、textConnection が必要ですか?

ありがとうございました。